logo标签列表

如何隐藏网站不被搜索引擎检索？

searchhide
12
我想隐藏一个网站，使其不会出现在任何搜索引擎中，想知道如何实现这一点？请问我该怎么做？
这是“安全通过模糊不清”还是你在做一些恶意的事情？ - maple_shaft
8个回答
7
1
同时对整个网站进行密码保护。 - Chirag
4
根据该链接所述，“您不应使用robots.txt来隐藏您的网页，以使其不出现在Google搜索结果中。这是因为其他页面可能会指向您的页面，并通过此方式将其索引，从而避免了robots.txt文件的限制。如果您希望阻止您的页面出现在搜索结果中，请使用其他方法，例如密码保护或noindex标签或指令。”请参见https://developers.google.com/search/reference/robots_meta_tag。 - Stephen Oberauer
3
除了给您的网站加上密码保护，您还可以在robots.txt文件中添加以下内容：
User-agent: *
Disallow: /

这并不会隐藏网站，而是指示机器人不要爬取该内容。
2
你可以使用robots.txt来减少你的网站被列出，但这取决于网络爬虫的“善意”，一些垃圾邮件机器人会明确查看你不允许的位置。然而，唯一安全可靠的方法是不将其放在互联网上。
简单地不链接到您的网站并不能奏效。网络爬虫从许多来源获取信息，包括浏览器引用和域名注册者。因此，为了“隐形”，您必须不访问您的网站，不注册域名（只通过IP地址访问）。如果您基于IP地址运行Web服务器，则仍然有所有垃圾邮件机器人探索随机地址。虽然需要一段时间，但他们会找到你。
对网站进行密码保护应该有效，使其无法访问。尽管（我无法理解如何发生这种情况），例如Google中列出了数千篇ACM论文，您无法在没有帐户和登录的情况下查看它们。但它们确实存在。
1
0

您可以使用 robots.txt 文件。将该文件放置在网站根目录下，并包含以下内容：

User-agent: *
Disallow: /
0

大多数合适的搜索引擎使用机器人或爬虫来访问网站并对其进行索引。您可以使用机器人文件方法。

-1
-1
网页内容由stack overflow 提供, 点击上面的
可以查看英文原文，
原文链接