这是一个非常基本的问题,但我在网上找不到直接的答案。当在谷歌上搜索我的网站时,搜索结果中会返回sitemap.xml和robots.txt(以及更有用的结果)。为了防止这种情况发生,我应该在robots.txt文件中添加以下行吗?:
Disallow: /sitemap.xml
Disallow: /robots.txt
这不会阻止搜索引擎访问站点地图或机器人文件吗?另外/或者,我应该使用谷歌的URL删除工具吗?
这是一个非常基本的问题,但我在网上找不到直接的答案。当在谷歌上搜索我的网站时,搜索结果中会返回sitemap.xml和robots.txt(以及更有用的结果)。为了防止这种情况发生,我应该在robots.txt文件中添加以下行吗?:
Disallow: /sitemap.xml
Disallow: /robots.txt
Allow: /
# Sitemap
Sitemap: http://www.mysite.com/sitemap.xml
sitemap.xml
或robots.txt
文件——它们是专门用机器可读文件格式编写的机器可读文件。如果你的站点地图引用了任何HTML文件,并且你的站点地图被认为有价值,那么搜索引擎会呈现该文件。 - Barney