Robots.txt阻止访问所有https://页面。

Question

如何阻止所有机器人访问https://页面？ 我有一个旧网站，现在没有SSL，我想阻止访问所有https://页面的访问。

- YodasMyDad

Answer 1

我不确定在机器人使用/请求不同协议的情况下是否有效。但是您可以为HTTPS请求提供不同的robots.txt文件，以此来达到不同的目的。

因此，当请求http://example.com/robots.txt时，您会提供普通的robots.txt文件。而当请求https://example.com/robots.txt时，您会提供一个禁止所有内容的robots.txt文件。

- Gumbo

---

有什么办法可以轻松地做到这一点吗？我使用ISAPI重写，可以用它来提供不同的robots.txt文件吗？ - YodasMyDad

我不是很熟悉ISAPI重写语法。但可以尝试像这样的方式： RewriteCond %SERVER_PORT ^433$ RewriteRule ^/robots.txt$ /robots.txt.https [L] - Gumbo