如何防止必应搜索不规律地涌入我的网站流量？

Question

16

Bingbot每天会在几个小时内频繁抓取我的网站，其余时间则非常少。我希望可以平滑它的爬行、降低其速率限制或完全阻止它。因为它并没有发送任何真实访问者。

有没有办法可以平滑Bingbot的爬行或者对其进行速率限制？

- Tim Haines

1

您已将robots.txt添加为标签。这对您不起作用吗？ - EboMike

3个回答

1

您可以通过设置IPTables来限制爬虫对f.i.的连接数量为5(需要防火墙Root访问权限):

IPTables的设置: iptables -I INPUT -p tcp -m connlimit --connlimit-above 5 -j REJECT

这将限制每个IP地址的连接数不超过5个。这种“配额”式的连接方式能够避免爬虫同时访问站点。

- Joel Box

0

你可以使用HTACCESS封禁他的IP。

order allow,deny
deny from 192.168.44.201
deny from 224.39.163.12
deny from 172.16.7.92
allow from all

更多相关信息请点击这里：关于机器人阻止的博客

- Tomáš Zato

3

这会产生一个不好的副作用：它会降低您的页面排名。 - knocte

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- nick · Accepted Answer

他们的网络管理员博客表示，他们支持在您的robots.txt文件中添加一个爬行延迟参数来限制bingbot的抓取速度。请注意，不要删除html标签。

User-agent: msnbot
Crawl-delay: 1