我翻阅了一些关于这个主题的问题,但我仍不确定我是否理解正确。
我有一个PHP文件,根据GET参数返回XML / JSON响应。
http://someDomain.com/get.php?param=option1
谷歌已经索引了很多这些网址。
据我所知,我可以通过添加someDomain.com/robots.txt来限制机器人进一步索引someDomain.com上的网址:
User-agent: *
Disallow: *
我知道通过添加robots.txt文件,搜索引擎将无法看到noindex
元标记来删除当前索引的URL。
但是get.php并没有返回任何元标记/头部信息,因为它只返回json/xml数据。
那么我该如何让Google从搜索结果中删除已经被索引的URL?
Redirect 301 /get.php /blackwhole/
?我该如何只重定向谷歌机器人而不影响其他内容? - James May