我需要帮忙解决一些与如何阻止网络爬虫访问到web服务器有关的问题,但停在反向代理级别并读取位于反向代理根目录下的robots.txt文件。
为了实现我的目标,我已经进行了以下配置:
将
为了实现我的目标,我已经进行了以下配置:
将
/etc/httpd/conf.d/servername.conf
配置如下:<Location "/robots.txt">
ProxyPass !
</Location>
<Location "/">
ProxyPass balancer://servername/
</Location>
然而这并没有帮助...测试后,我可以到达servername/robots.txt
有什么想法将不胜感激! 谢谢!