在同一个robots.txt文件中列出不同域名的站点地图是否可行？

Question

在同一个robots.txt文件中列出不同域名的站点地图是否可行？

sitecoresitemaprobots.txt

4

我们有多个网站，这些网站使用同一个Sitecore实例和生产Web服务器。每个网站都有自己的主要和Google新闻网站地图，并且到目前为止，我们已经在.NET网站的单个robots.txt文件中包含了每个网站的网站地图规范。

我们的SEO专家提出了将不同域名存在于同一个robots.txt文件中可能会成为问题的问题，我找不到任何明确说明一种或另一种方法的文档。谢谢。

- Iucounu

1

请查看这个问题，我认为它会对你有所帮助：https://dev59.com/MHjZa4cB1Zd3GeqPgJ0A#19708405 - user459491

非常感谢提供链接。我仍然找不到关于这是否真正必要的文档。 :) - Iucounu

1

我不是SEO专家，但我知道最好的方法是使用robots.txt文件向搜索引擎通告自己域名下的站点地图。 - user459491

这个问题已经以各种方式被问过，而答案都非常相似。这里有另一个非Sitecore的例子：https://dev59.com/JWQn5IYBdhLWcg3wLkod - Martin Davies

这些答案实际上并不适用于我的问题，我的问题不是关于如何为不同的机器人.txt文件提供服务，而是关于在同一个机器人.txt文件中列出不同域名的站点地图是否有效。 - Iucounu

1

我刚意识到我指向了sitemaps.xml，今天真的很长！无论如何：https://dev59.com/72gu5IYBdhLWcg3wYF-3 - jammykam

2个回答

1

最好的方法是从 Sitecore 内容树中处理 Robots.txt。

我们也有类似的结构，从单个 Sitecore 实例提供多个网站。

我已经为此撰写了一篇博客，请在下面找到。这正是你想要的。

http://darjimaulik.wordpress.com/2013/03/06/how-to-create-handler-in-sitecore/

- Maulik Darji

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- plasticinsect · Accepted Answer

这对于Google至少是可以的。但对于其他搜索引擎如Bing可能不起作用。

根据https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt：

sitemap：[absoluteURL]

[absoluteURL]指向站点地图、站点地图索引文件或等效的URL。该URL不必与robots.txt文件位于同一主机上。可以存在多个站点地图条目。作为非组成员记录，这些记录不与任何特定的用户代理相关联，所有爬虫都可以跟随，前提是没有被禁止。