使用Python的"requests"库读取流式的HTTP响应

Question

使用Python的"requests"库读取流式的HTTP响应

15

我正在尝试使用 requests 模块消费由 Kubernetes API 提供的事件流。我遇到了一个缓冲问题：似乎 requests 模块落后了一个事件。

我的代码大致如下：

r = requests.get('http://localhost:8080/api/v1beta1/watch/services',
                 stream=True)

for line in r.iter_lines():
    print 'LINE:', line

随着Kubernetes发出事件通知，当新事件到来时，此代码仅会显示最后一个发出的事件，这使得它对需要响应服务添加/删除事件的代码几乎完全无用。

我通过在子进程中生成curl而不是使用requests库来解决这个问题：

p = subprocess.Popen(['curl', '-sfN',
                      'http://localhost:8080/api/watch/services'],
                     stdout=subprocess.PIPE,
                     bufsize=1)

for line in iter(p.stdout.readline, b''):
    print 'LINE:', line

这个方法虽然可行，但会牺牲一些灵活性。是否有一种方法可以使用requests库避免这个缓冲问题呢？

- larsks

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- larsks · Accepted Answer

这种行为是由于requests库中iter_lines方法的错误实现导致的。

iter_lines使用iter_content迭代器以chunk_size块数据的形式迭代响应内容。如果从远程服务器读取的数据少于chunk_size字节（通常在读取输出的最后一行时会出现这种情况），则读取操作将阻塞，直到有chunk_size字节的数据可用。

我编写了自己的iter_lines例程，可以正确地处理这个问题：

import os


def iter_lines(fd, chunk_size=1024):
    '''Iterates over the content of a file-like object line-by-line.'''

    pending = None

    while True:
        chunk = os.read(fd.fileno(), chunk_size)
        if not chunk:
            break

        if pending is not None:
            chunk = pending + chunk
            pending = None

        lines = chunk.splitlines()

        if lines and lines[-1]:
            pending = lines.pop()

        for line in lines:
            yield line

    if pending:
        yield(pending)

这是因为 os.read 将返回少于 chunk_size 字节的数据，而不是等待缓冲区填满。