由于一些网络爬虫不喜欢为Google制作的网站地图版本,因此我制作了不同的网站地图。
同时还有一个选项可以放置
Sitemap: http://example.com/sitemap.xml
将robots.txt文件放置位置是否可以像这样:
to robots.txt. 但是,是否可以把它放置在类似这样的位置:
User-agent: *
Sitemap: http://example.com/sitemap.xml
User-agent: googlebot
Sitemap: http://example.com/sitemap-for-google.xml
我找不到任何与此主题相关的资源,而robots.txt并非我想要轻率处理的内容。