logo标签列表

我能否防止搜索引擎索引我网站上的整个目录？

staging
16

我有一个暂存网站，用于草拟新功能、更改和实际网站的内容。

我不希望这被索引，但我希望有一个比在每个页面上都添加以下内容更容易的解决方案：

<meta name="robots" content="noindex, nofollow">

我能否以类似于使用.htaccess文件为域名添加密码的方式来完成这个操作？

6个回答
28

这个可以用 robots.txt标准 来实现。示例：

User-agent: *
Disallow: /protected-directory/

搜索引擎会遵守这个规则，但当然内容仍会被发布（如果您在 robots.txt 中放置了 URL，则可能更容易被发现），因此也可以通过 .htaccess 进行密码保护。

我选择了密码保护。 - Andrew Truckle
6
你需要的是一个robots.txt文件。
该文件应位于您的服务器根目录中，其内容应类似于以下内容；
User-agent: *
Disallow: /mybetasite/

这将礼貌地要求搜索索引服务不要索引该目录下的页面，所有表现良好的搜索引擎都会尊重此要求。
5

实际上，在网站根目录下放置robots.txt文件是最好的方法。 如果要添加多个条目（如OP所建议的），请按照以下步骤进行：

User-agent: *
Disallow: /test_directory_aaa/
Disallow: /test_directory_bbb/
Disallow: /test_directory_ccc/

或者，采用 .htpasswd 方法：
在 .htaccess 文件中添加以下内容：
AuthType Basic
AuthName "Marty's test directory"
AuthUserFile /test_directory_aaa/.htpasswd
AuthUserFile /test_directory_bbb/.htpasswd
AuthUserFile /test_directory_ccc/.htpasswd
require valid-user

在 .htpasswd 文件中添加：
username1:s0M3md5H4sh1
username2:s0M3md5H4sh2
username3:s0M3md5H4sh3
这会导致用户名和密码提示吗？我以前从未听说过 .htpasswd。 - Doug
以下是 .htpasswd 的 Apache 文档链接：https://httpd.apache.org/docs/current/programs/htpasswd.html。维基百科文章中也包含与上述示例类似的内容：https://en.wikipedia.org/wiki/.htpasswd。 - Old McStopher
3
将以下代码放置在位于根目录下的 robot.txt 文件中，可以拒绝搜索引擎索引整个网站：
``` User-agent: * Disallow: / ```
User-agent: *
Disallow: /
2
在您的public_html目录下创建一个名为Robots.txt的文件。 将以下代码放入其中。
    User-agent: * 
    Disallow: /foldername/

foldername 是您想要阻止的目录名称。

0
网页内容由stack overflow 提供, 点击上面的
可以查看英文原文，
原文链接