Apache反向代理中的robots.txt

Question

我需要帮忙解决一些与如何阻止网络爬虫访问到web服务器有关的问题，但停在反向代理级别并读取位于反向代理根目录下的robots.txt文件。

为了实现我的目标，我已经进行了以下配置：

将/etc/httpd/conf.d/servername.conf配置如下：

<Location "/robots.txt">
  ProxyPass !
</Location>

<Location "/">
  ProxyPass balancer://servername/
</Location>

然而这并没有帮助...测试后，我可以到达servername/robots.txt

有什么想法将不胜感激！ 谢谢！

- Ciprian

---

请在您的问题中使用4个空格缩进代码。（目前只有“-----”被标记为代码。） - unor

Answer 1

明白了...需要重新启动httpd服务

service httpd graceful

重新启动服务后，我可以看到反向代理中的robots.txt文件生效了 :)

- Ciprian