我在谷歌上搜索了很多,但找不到答案。
robots.txt文件可以包含以下行:
Sitemap: http://www.mysite.com/sitemapindex.xml
但是在robots.txt中指定多个网站地图索引文件,并且让搜索引擎识别并爬取每个网站地图索引文件中引用的所有网站地图,这是否有可能呢?例如,以下内容是否有效:
Sitemap: http://www.mysite.com/sitemapindex1.xml
Sitemap: http://www.mysite.com/sitemapindex2.xml
Sitemap: http://www.mysite.com/sitemapindex3.xml
robots.txt
中是否可以存在多个站点地图 索引 条目,而不是是否可以存在多个站点地图条目。 - Nigel Aldertonrobots.txt
使用多个索引文件以进行跨域索引使用是必要的。 - hakre