看一下这个网站的robots.txt文件:
文件内容如下:
User-Agent: Googlebot
Disallow: /
那应该会告诉谷歌不要索引这个网站,对吧?
如果是这样的话,为什么这个网站还会出现在谷歌搜索结果中呢?
看一下这个网站的robots.txt文件:
文件内容如下:
User-Agent: Googlebot
Disallow: /
那应该会告诉谷歌不要索引这个网站,对吧?
如果是这样的话,为什么这个网站还会出现在谷歌搜索结果中呢?
或者,您可以使用noindex元标记。当我们在页面上看到这个标记时,即使其他页面链接到它,Google也会完全从我们的搜索结果中删除该页面。如果您没有直接访问网站服务器的权限,这是一个很好的解决方案。(您需要能够编辑页面的HTML源代码)。
https://git.habd.as/robots.txt
并且文件的完整内容如下:
User-agent: *
Disallow:
User-agent: Google
Disallow: /
谷歌仍然对其进行了索引。
自去年三月取消我的帐户后,我不再使用谷歌,也从未将此网站添加到除Yandex之外的Webmaster控制台,这让我有两个假设:
我还没有检查过我的日志,但我会去查找,我的假设是我会发现谷歌蜘蛛在那里行为不端。