Python C程序子进程在“for line in iter”时挂起

Question

好的，所以我正在尝试从Python脚本运行一个C程序。目前我正在使用一个测试C程序：

#include <stdio.h>

int main() {
    while (1) {
        printf("2000\n");
        sleep(1);
    }
    return 0;
}

为了模拟我将使用的程序，该程序会不断从传感器中读取数据。然后我尝试使用Python中的subprocess读取C程序的输出（在本例中为"2000"）：

#!usr/bin/python
import subprocess

process = subprocess.Popen("./main", stdout=subprocess.PIPE)
while True:
    for line in iter(process.stdout.readline, ''):
            print line,

但是这并没有生效。通过使用打印语句，它运行.Popen行，然后在for line in iter(process.stdout.readline, ''):等待，直到我按Ctrl-C。

为什么会这样？这正是我看到的大多数示例代码，但它并没有读取文件。

是否有办法只在有内容可读时才运行它？

- theo-brown

---

删除 while True。一旦 for 循环结束，你将不再从 process.stdout 中获取任何内容。 - jfs

我认为答案应该改为J.F. Sebastians版本。请看我的评论，了解原因。 - Scheintod

谢谢@Scheintod，好观点。 - theo-brown

Answer 1

这是一个块缓冲问题。

接下来是我的答案的扩展版本，针对Python: read streaming input from subprocess.communicate()问题。

直接在C程序中修复stdout缓冲

如果一个基于stdio的程序在终端交互式地运行，则通常是行缓冲的；当它们的stdout被重定向到一个管道时则是块缓冲的。在后一种情况下，除非缓冲区溢出或者刷新，否则你不会看到新的行。

为了避免每次printf()调用后都要调用fflush()，你可以在C程序中在最开始就调用以下方法来强制输出行缓冲：

setvbuf(stdout, (char *) NULL, _IOLBF, 0); /* make line buffered stdout */

一旦打印出换行符，缓冲区就会被刷新。

或者在不修改C程序源代码的情况下进行修复

有一个名为stdbuf的实用程序，可以让您更改缓冲类型而无需修改源代码，例如：

from subprocess import Popen, PIPE

process = Popen(["stdbuf", "-oL", "./main"], stdout=PIPE, bufsize=1)
for line in iter(process.stdout.readline, b''):
    print line,
process.communicate() # close process' stream, wait for it to exit

还有其他实用程序可用，请参见关闭管道缓冲。

或使用伪终端

为了欺骗子进程以认为自己正在交互式运行，您可以使用pexpect模块或其类似模块。有关使用pexpect和pty模块的代码示例，请参见Python subprocess readlines() hangs。这里是那里提供的pty示例的变体（它应该在Linux上工作）：

#!/usr/bin/env python
import os
import pty
import sys
from select import select
from subprocess import Popen, STDOUT

master_fd, slave_fd = pty.openpty()  # provide tty to enable line buffering
process = Popen("./main", stdin=slave_fd, stdout=slave_fd, stderr=STDOUT,
                bufsize=0, close_fds=True)
timeout = .1 # ugly but otherwise `select` blocks on process' exit
# code is similar to _copy() from pty.py
with os.fdopen(master_fd, 'r+b', 0) as master:
    input_fds = [master, sys.stdin]
    while True:
        fds = select(input_fds, [], [], timeout)[0]
        if master in fds: # subprocess' output is ready
            data = os.read(master_fd, 512) # <-- doesn't block, may return less
            if not data: # EOF
                input_fds.remove(master)
            else:
                os.write(sys.stdout.fileno(), data) # copy to our stdout
        if sys.stdin in fds: # got user input
            data = os.read(sys.stdin.fileno(), 512)
            if not data:
                input_fds.remove(sys.stdin)
            else:
                master.write(data) # copy it to subprocess' stdin
        if not fds: # timeout in select()
            if process.poll() is not None: # subprocess ended
                # and no output is buffered <-- timeout + dead subprocess
                assert not select([master], [], [], 0)[0] # race is possible
                os.close(slave_fd) # subproces don't need it anymore
                break
rc = process.wait()
print("subprocess exited with status %d" % rc)

或者使用pexpect通过pty

pexpect将pty处理封装成更高级别的接口：

#!/usr/bin/env python
import pexpect

child = pexpect.spawn("/.main")
for line in child:
    print line,
child.close()

Q: 为什么不直接使用管道（popen()）？解释了伪终端的用处。

- jfs

---

我认为这个答案应该被标记为正确，因为它是最完整、简洁并提供了各种可能的解决方案和进一步阅读材料（这是一个很棒的答案）。但是我真的认为为了让读者能够处理这些密集的信息，绝对需要在不同的方法之间加上一些标题。我认为大多数人看到大的Python代码块就会被吓跑，而没有意识到这只是众多可能解决方案之一。 - Scheintod

@kuchi 看一下pywinpty。我不知道这是否回答了你的问题，但它似乎可以在Windows上执行类似于pty的操作。 - flutefreak7

我认为在第二个例子中，bufsize=1参数被默默地忽略了。现在它会报告/usr/local/lib/python3.10/subprocess.py:961: RuntimeWarning: line buffering (buffering=1) isn't supported in binary mode, the default buffer size will be used - 这个警告缺失的问题已经在https://bugs.python.org/issue32236中修复了。 - undefined

@DavidWaterworth 在答案中的代码中的打印语句表明使用的是Python 2。在Python 3中，I/O被重新设计（从C stdio到POSIX read/write）。预计在管道的字节与Unicode之间的变化，对应的缓冲区的变化。答案中关于子进程缓冲的部分应该保持不变（与Python无关）。 - undefined

@jfs 感谢你的澄清 - 我没有注意到它是py27版本。 - undefined

Answer 2

你的程序没有挂起，只是运行非常缓慢。你的程序正在使用缓冲输出；"2000\n" 数据不会立即写入stdout，但最终会被写入。在您的情况下，可能需要BUFSIZ/strlen("2000\n")秒（大约1638秒）才能完成。

在这一行之后：

printf("2000\n");

添加

fflush(stdout);

- Robᵩ

---

非常感谢！那正是问题所在。 - theo-brown

谢谢Rob，我正要添加这个，这样他就可以更快地看到它了。@theoB610，请注意你仍然需要换行符。 - codnodder

非常正确！感谢 @codnodder - theo-brown

Answer 3

请查看readline文档。

您的代码：

process.stdout.readline

等待EOF或换行符。

我不知道你最终想要做什么，但是在printf中添加一个换行符，例如printf("2000\n");，至少可以让你开始。

- codnodder