我最近接手了一个Python项目,现在正在维护它。代码的一部分从网站发出几十万个请求,并将结果保存到数据库中。代码重复使用相同的httplib.HTTPConnection对象进行每个请求,然后只是循环执行。
conn.request("GET",someString,'',headers)
response = conn.getresponse()
部分。几天前在我的日志中,我看到其中一个请求抛出了异常:
[Errno 104] Connection reset by peer
紧接着每次conn.request()失败。 我最初的想法是为每个请求建立一个新连接,但这样做会对性能造成严重和可怕的影响。 所以我的问题是,我该如何解决这个问题,特别是因为我甚至不确定如何真正测试它。
如果我在异常后只调用conn.connect(),它会正确重新连接吗?
我正在寻求有关如何修复它以及可能如何测试它的建议。
感谢您的时间。