在Python中停止阅读进程输出而不挂起？

Question

我有一个几乎与这个程序相似的Linux Python程序：

import os
import time

process = os.popen("top").readlines()

time.sleep(1)

os.popen("killall top")

print process

程序卡在这一行：

process = os.popen("top").readlines()

并且这种情况会发生在那些不断更新输出的工具中，比如"Top"

我的最佳尝试：

import os
import time
import subprocess

process = subprocess.Popen('top')

time.sleep(2)

os.popen("killall top")

print process

它比第一个（被称为“kelled”）效果更好，但它返回：

<subprocess.Popen object at 0x97a50cc>

第二次尝试：

import os
import time
import subprocess

process = subprocess.Popen('top').readlines()

time.sleep(2)

os.popen("killall top")

print process

第二个问题与第一个问题相同。由于 "readlines()" 而挂起。

它的返回应该像这样：

top - 05:31:15 up 12:12,  5 users,  load average: 0.25, 0.14, 0.11
Tasks: 174 total,   2 running, 172 sleeping,   0 stopped,   0 zombie
Cpu(s):  9.3%us,  3.8%sy,  0.1%ni, 85.9%id,  0.9%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:   1992828k total,  1849456k used,   143372k free,   233048k buffers
Swap:  4602876k total,        0k used,  4602876k free,  1122780k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND            
31735 Barakat   20   0  246m  52m  20m S 19.4  2.7  13:54.91 totem              
 1907 root      20   0 91264  45m  15m S  1.9  2.3  38:54.14 Xorg               
 2138 Barakat   20   0 17356 5368 4284 S  1.9  0.3   3:00.15 at-spi-registry    
 2164 Barakat    9 -11  164m 7372 6252 S  1.9  0.4   2:54.58 pulseaudio         
 2394 Barakat   20   0 27212 9792 8256 S  1.9  0.5   6:01.48 multiload-apple    
 6498 Barakat   20   0 56364  30m  18m S  1.9  1.6   0:03.38 pyshell            
    1 root      20   0  2880 1416 1208 S  0.0  0.1   0:02.02 init               
    2 root      20   0     0    0    0 S  0.0  0.0   0:00.02 kthreadd           
    3 root      RT   0     0    0    0 S  0.0  0.0   0:00.12 migration/0        
    4 root      20   0     0    0    0 S  0.0  0.0   0:02.07 ksoftirqd/0        
    5 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 watchdog/0         
    9 root      20   0     0    0    0 S  0.0  0.0   0:01.43 events/0           
   11 root      20   0     0    0    0 S  0.0  0.0   0:00.00 cpuset             
   12 root      20   0     0    0    0 S  0.0  0.0   0:00.02 khelper            
   13 root      20   0     0    0    0 S  0.0  0.0   0:00.00 netns              
   14 root      20   0     0    0    0 S  0.0  0.0   0:00.00 async/mgr          
   15 root      20   0     0    0    0 S  0.0  0.0   0:00.00 pm

并存储在变量“process”中。大家有什么想法吗？我现在真的卡住了？

- Barakat

---

subprocess.Popen 对象没有 readlines 属性。 - jfs

Answer 1

#!/usr/bin/env python
"""Start process; wait 2 seconds; kill the process; print all process output."""
import subprocess
import tempfile
import time

def main():
    # open temporary file (it automatically deleted when it is closed)
    #  `Popen` requires `f.fileno()` so `SpooledTemporaryFile` adds nothing here
    f = tempfile.TemporaryFile() 

    # start process, redirect stdout
    p = subprocess.Popen(["top"], stdout=f)

    # wait 2 seconds
    time.sleep(2)

    # kill process
    #NOTE: if it doesn't kill the process then `p.wait()` blocks forever
    p.terminate() 
    p.wait() # wait for the process to terminate otherwise the output is garbled

    # print saved output
    f.seek(0) # rewind to the beginning of the file
    print f.read(), 
    f.close()

if __name__=="__main__":
    main()

仅打印输出部分的类似尾部的解决方案

您可以在另一个线程中读取进程输出并将所需数量的最后几行保存在队列中：

import collections
import subprocess
import time
import threading

def read_output(process, append):
    for line in iter(process.stdout.readline, ""):
        append(line)

def main():
    # start process, redirect stdout
    process = subprocess.Popen(["top"], stdout=subprocess.PIPE, close_fds=True)
    try:
        # save last `number_of_lines` lines of the process output
        number_of_lines = 200
        q = collections.deque(maxlen=number_of_lines) # atomic .append()
        t = threading.Thread(target=read_output, args=(process, q.append))
        t.daemon = True
        t.start()

        #
        time.sleep(2)
    finally:
        process.terminate() #NOTE: it doesn't ensure the process termination

    # print saved lines
    print ''.join(q)

if __name__=="__main__":
    main()

这个变量需要q.append()是原子操作。否则输出可能会损坏。

signal.alarm()解决方案

您可以使用signal.alarm()在指定的超时后调用process.terminate()，而不是在另一个线程中读取。尽管它可能与subprocess模块的互动不太好。基于@Alex Martelli's answer的答案：

import collections
import signal
import subprocess

class Alarm(Exception):
    pass

def alarm_handler(signum, frame):
    raise Alarm

def main():
    # start process, redirect stdout
    process = subprocess.Popen(["top"], stdout=subprocess.PIPE, close_fds=True)

    # set signal handler
    signal.signal(signal.SIGALRM, alarm_handler)
    signal.alarm(2) # produce SIGALRM in 2 seconds

    try:
        # save last `number_of_lines` lines of the process output
        number_of_lines = 200
        q = collections.deque(maxlen=number_of_lines)
        for line in iter(process.stdout.readline, ""):
            q.append(line)
        signal.alarm(0) # cancel alarm
    except Alarm:
        process.terminate()
    finally:
        # print saved lines
        print ''.join(q)

if __name__=="__main__":
    main()

这种方法仅适用于*nix系统。如果process.stdout.readline()没有返回，可能会阻塞。

threading.Timer解决方案

import collections
import subprocess
import threading

def main():
    # start process, redirect stdout
    process = subprocess.Popen(["top"], stdout=subprocess.PIPE, close_fds=True)

    # terminate process in timeout seconds
    timeout = 2 # seconds
    timer = threading.Timer(timeout, process.terminate)
    timer.start()

    # save last `number_of_lines` lines of the process output
    number_of_lines = 200
    q = collections.deque(process.stdout, maxlen=number_of_lines)
    timer.cancel()

    # print saved lines
    print ''.join(q),

if __name__=="__main__":
    main()

这种方法在Windows上也适用。这里我使用了process.stdout作为可迭代对象；它可能会引入额外的输出缓冲，如果不需要，可以切换到iter(process.stdout.readline, "")方法。如果进程在process.terminate()后仍未终止，则脚本将挂起。

无线程、无信号的解决方案

import collections
import subprocess
import sys
import time

def main():
    args = sys.argv[1:]
    if not args:
        args = ['top']

    # start process, redirect stdout
    process = subprocess.Popen(args, stdout=subprocess.PIPE, close_fds=True)

    # save last `number_of_lines` lines of the process output
    number_of_lines = 200
    q = collections.deque(maxlen=number_of_lines)

    timeout = 2 # seconds
    now = start = time.time()    
    while (now - start) < timeout:
        line = process.stdout.readline()
        if not line:
            break
        q.append(line)
        now = time.time()
    else: # on timeout
        process.terminate()

    # print saved lines
    print ''.join(q),

if __name__=="__main__":
    main()

这个变体既不使用线程，也不使用信号，但是在终端中会产生乱码输出。如果process.stdout.readline()被阻塞，它将会被阻塞。

- jfs

Answer 2

建议使用"ps"而不是"top"，这将为您提供相同的信息，但只需要一次而不是永远每秒一次。

您还需要使用一些带有标志的ps命令，我倾向于使用"ps aux"。

- OmnipotentEntity

---

顶部就是那种程序的完美例子。 - Barakat

那么...你不使用top命令吗？你用的是哪个程序？ - OmnipotentEntity

airodump-ng 是 Aircrack-ng 工具中的一个工具，其输出类似于 top。 - Barakat

Answer 3

(J.F. Sebastian你的代码很棒，我认为比我的解决方案更好 =) )

我用另一种方式解决了它。

我没有直接在终端上输出，而是将其制成一个文件“tmp_file”:

top >> tmp_file

然后我使用了工具“cut”将其输出“即top输出”作为进程的值

cat tmp_file

它做了我想要的事情。这是最终代码：

import os
import subprocess
import time

subprocess.Popen("top >> tmp_file",shell = True)

time.sleep(1)

os.popen("killall top")

process = os.popen("cat tmp_file").read()

os.popen("rm tmp_file")

print process

# Thing better than nothing =)

非常感谢大家的帮助

- Barakat

---

1. 上述代码存在许多问题，例如，代码中不应使用os.popen()。
2. 我已更新我的答案，包括一个变体，可以打印所有程序输出（而不仅仅是从末尾指定的行数）。https://dev59.com/I2855IYBdhLWcg3wUCeC#4418891

- jfs

Answer 4

事实上，如果您填充输出缓冲区，您将得到一些答案。因此，一种解决方案是使用大量垃圾输出（~6000个字符，bufsize=1）填充缓冲区。

假设您有一个编写在sys.stdout上的Python脚本，而不是顶部：

GARBAGE='.\n'
sys.stdout.write(valuable_output)
sys.stdout.write(GARBAGE*3000)

在启动器端，不要使用简单的process.readline()：

GARBAGE='.\n'
line=process.readline()
while line==GARBAGE:
   line=process.readline()

我相当确定这有点不太干净，因为2000依赖于子进程实现，但它运行良好且非常简单。设置除bufsize=1以外的任何内容都会使情况变得更糟。

- Raynald

Answer 5

我会采取的方法不是这种方式，而是检查您正在获取信息的程序，并确定该信息的最终来源。它可能是API调用或设备节点。然后，编写一些Python代码从相同的源获取它。这样可以消除“抓取”“加工”数据的问题和开销。

- Keith