我正在使用Python爬取网页。到目前为止，我没有遇到任何复杂的问题。
我想要爬取的网站使用了许多安全检查，并且有一些机制来防止爬取。
使用Requests和lxml，我能够在被封禁之前爬取大约100-150页。有时我甚至在第一个请求（新的IP，之前没有使用过，不同的C块）上就被封禁了。我已经尝试过伪造标题、随机化请求之间的时间，但结果都相同。
我尝试过用Selenium，获得了更好的结果。使用Selenium，我能够在被封禁之前爬取大约600-650页。在这里，我也尝试了随机请求（3-5秒之间），并在每300个请求上使用time.sleep(300)进行调用。尽管如此，我仍然被封禁了。
从这里我可以得出结论：如果在一个打开的浏览器会话中请求的页面超过X页，则该网站会禁用IP。
根据您的经验，还应该尝试什么？ 关闭并重新启动Selenium中的浏览器是否有帮助（例如，在每100个请求之后关闭并重新启动浏览器）？我正在考虑尝试使用代理，但是网站有大约一百万个页面，这将非常昂贵。
Scrapy网络爬虫框架，您将能够重复使用一些旨在防止和解决封禁问题的工具：
这是一个用于根据Scrapy服务器和您正在爬取的网站的负载自动限制爬取速度的扩展。
scrapy-fake-useragent中间件轮换用户代理：每个请求都使用fake-useragent提供的随机User-Agent。
轮换 IP 地址:
您还可以通过本地代理和 TOR 运行它 ：
我也遇到了这个问题。我在Python3中使用urllib和tor。
打开终端并输入：
curl --socks5-hostname localhost:9050 <http://site-that-blocked-you.com>
如果你看到结果就说明它已经起作用了。
import socks
import socket
from urllib.request import Request, urlopen
from bs4 import BeautifulSoup
#set socks5 proxy to use tor
socks.set_default_proxy(socks.SOCKS5, "localhost", 9050)
socket.socket = socks.socksocket
req = Request('http://check.torproject.org', headers={'User-Agent': 'Mozilla/5.0', })
html = urlopen(req).read()
soup = BeautifulSoup(html, 'html.parser')
print(soup('title')[0].get_text())
如果您看到
恭喜。此浏览器已配置为使用Tor。
这也适用于Python，并且这意味着您正在使用Tor进行网络爬取。
您可以使用代理。
您可以很便宜地购买数百个IP，并像以前一样使用selenium。 此外，我建议您更改使用的浏览器和其他用户代理参数。
您可以迭代使用单个IP地址仅加载x个页面，并在被封禁之前停止。
def load_proxy(PROXY_HOST,PROXY_PORT):
fp = webdriver.FirefoxProfile()
fp.set_preference("network.proxy.type", 1)
fp.set_preference("network.proxy.http",PROXY_HOST)
fp.set_preference("network.proxy.http_port",int(PROXY_PORT))
fp.set_preference("general.useragent.override","whater_useragent")
fp.update_preferences()
return webdriver.Firefox(firefox_profile=fp)