如何在robots.txt中为特定的爬虫分配特定的站点地图？

Question

3

由于一些网络爬虫不喜欢为Google制作的网站地图版本，因此我制作了不同的网站地图。

同时还有一个选项可以放置

Sitemap: http://example.com/sitemap.xml

将robots.txt文件放置位置是否可以像这样：

to robots.txt. 但是，是否可以把它放置在类似这样的位置:

User-agent: *
Sitemap: http://example.com/sitemap.xml

User-agent: googlebot
Sitemap: http://example.com/sitemap-for-google.xml

我找不到任何与此主题相关的资源，而robots.txt并非我想要轻率处理的内容。

- Kalle H. Väravas

只是一个想法：使用例如PHP脚本，根据User-Agent提供不同的robots.txt。 - Scintillo

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- unor · Accepted Answer

这在robots.txt中是不可能的。所有支持的消费者都将使用Sitemap:值。 Sitemaps.org协议：

此指令与用户代理行无关，因此您在文件中放置它的位置并不重要。