如何防止Google和其他搜索引擎索引我的网站？
2个回答
11
我知道这是一个非常老的问题，但我想强调@Julien的评论作为实际答案。
根据Joost de Valk的说法，robots.txt确实可以防止搜索引擎爬取您的网站，但如果其他网站链接到您的网站，则仍然可能在搜索结果中出现指向您网站的链接。
解决方案之一是在页面头部添加robots meta标签：
<meta name="robots" content="noindex,nofollow"/>
或者，更简单的方法是在您的.htaccess文件中添加以下内容：
Header set X-Robots-Tag "noindex, nofollow"
显然，您的Web主机必须允许.htaccess规则，并安装mod_headers模块，才能使用该选项。
这两个标签都可以防止搜索引擎跟随指向您网站的链接，并在搜索结果中显示您的页面。双赢，宝贝。
- kmgdev
9
在您的网站根目录下创建一个名为
robots.txt的文件，其内容如下：# robots.txt for yoursite
User-agent: *
Disallow: /
搜索引擎（以及大多数机器人）将尊重此文件的内容。您可以放置任意数量的Disallow: /path行以使机器人忽略。更多详细信息请参见robotstxt.org。
- Rex M
3
这个人说你应该做一些其他的事情，可能会很有趣：http://yoast.com/prevent-site-being-indexed/ - Julien
是的。这个答案应该更新为关于元标记更好的答案。 - Alan Klement
1获取索引和排名是有区别的。元标签<meta name="robots" content="noindex,nofollow"/>告诉网络爬虫不要对您的网站进行排名。如果您使用robots.txt，它们将永远看不到这个标签，但仍可能对您的网站进行排名和列出。 - JBaczuk
网页内容由stack overflow 提供, 点击上面的可以查看英文原文，
原文链接
原文链接