使用Python Requests库从Twitter用户流中消费 - 如何检测断开连接？

Question

我正在尝试使用Requests来创建一个健壮的方式从Twitter用户流中进行消费。到目前为止，我已经制作了以下基本的工作示例：

"""
Example of connecting to the Twitter user stream using Requests.
"""

import sys

import json

import requests

from oauth_hook import OAuthHook

def userstream(access_token, access_token_secret, consumer_key, consumer_secret):
    oauth_hook = OAuthHook(access_token=access_token, access_token_secret=access_token_secret, 
                           consumer_key=consumer_key, consumer_secret=consumer_secret, 
                           header_auth=True)

    hooks = dict(pre_request=oauth_hook)
    config = dict(verbose=sys.stderr)
    client = requests.session(hooks=hooks, config=config)

    data = dict(delimited="length")
    r = client.post("https://userstream.twitter.com/2/user.json", data=data, prefetch=False)

    # TODO detect disconnection somehow
    # https://github.com/kennethreitz/requests/pull/200/files#L13R169
    # Use a timeout? http://pguides.net/python-tutorial/python-timeout-a-function/
    for chunk in r.iter_lines(chunk_size=1):
        if chunk and not chunk.isdigit():
            yield json.loads(chunk)

if __name__ == "__main__":
    import pprint
    import settings
    for obj in userstream(access_token=settings.ACCESS_TOKEN, access_token_secret=settings.ACCESS_TOKEN_SECRET, consumer_key=settings.CONSUMER_KEY, consumer_secret=settings.CONSUMER_SECRET):
        pprint.pprint(obj)

然而，我需要能够优雅地处理断开连接。目前，在流断开连接时，以上代码将无限期挂起，并且不会引发任何异常。

那么最好的解决方法是什么？是否可以通过urllib3连接池检测到这种情况？应该使用超时吗？

- wintron

Answer 1

我建议在client.post()调用中添加一个超时参数。http://docs.python-requests.org/en/latest/user/quickstart/#timeouts

但是，需要注意的是，requests不会设置TCP超时，因此您可以使用以下方法进行设置：

import socket
socket.setdefaulttimeout(TIMEOUT)

- Nathaniel