我有以下代码，它将md5sums写入日志文件
for file in files_output:
p=subprocess.Popen(['md5sum',file],stdout=logfile)
p.wait()
这些会同时进行吗？例如，如果对于其中一个文件，md5sum需要很长时间，那么在等待上一个文件完成之前是否会启动另一个文件的处理？
如果上述答案是肯定的，我可以假设写入日志文件的md5sum顺序可能会因为每个文件的md5sum所需时间不同而有所不同吗？（一些文件可能非常大，一些可能很小）
此外，您在for循环后使用p.wait()将只等待最后一个md5sum进程完成，而其余进程可能仍在运行。
但是，您可以稍微修改此代码，以便即使将md5sum输出收集到临时文件中，也可以获得并行处理和同步输出可预测性的好处，并在所有进程完成后将其收集回一个文件中。
import subprocess
import os
processes = []
for file in files_output:
f = os.tmpfile()
p = subprocess.Popen(['md5sum',file],stdout=f)
processes.append((p, f))
for p, f in processes:
p.wait()
f.seek(0)
logfile.write(f.read())
f.close()
所有子进程并行运行。（为避免这种情况，必须显式等待它们完成。）它们甚至可以同时写入日志文件，导致输出混乱。为了避免这种情况，您应该让每个进程写入不同的日志文件，并在所有进程完成时收集所有输出。
q = Queue.Queue()
result = {} # used to store the results
for fileName in fileNames:
q.put(fileName)
def worker():
while True:
fileName = q.get()
if fileName is None: # Sentinel?
return
subprocess_stuff_using(fileName)
wait_for_finishing_subprocess()
checksum = collect_md5_result_for(fileName)
result[fileName] = checksum # store it
threads = [ threading.Thread(target=worker) for _i in range(20) ]
for thread in threads:
thread.start()
q.put(None) # one Sentinel marker for each thread
之后应该将结果存储在result中。
Queue.Queue和一些十几个线程的线程池，让每个线程从队列中读取一个元素并为此元素启动一个子进程，等待该子进程完成，获取结果（md5校验和），将结果存储在映射中。如果队列为空，则线程应终止。 - Alfe使用线程池并从主进程向文件写入是收集并行 md5sum 子进程输出的简单方法：
from multiprocessing.dummy import Pool # use threads
from subprocess import check_output
def md5sum(filename):
try:
return check_output(["md5sum", filename]), None
except Exception as e:
return None, e
if __name__ == "__main__":
p = Pool(number_of_processes) # specify number of concurrent processes
with open("md5sums.txt", "wb") as logfile:
for output, error in p.imap(md5sum, filenames): # provide filenames
if error is None:
logfile.write(output)
md5sum的输出很小，因此可以将其存储在内存中imap保留顺序number_of_processes可能与文件数或CPU核心数不同（更大的值并不意味着更快：它取决于IO（磁盘）和CPU相对性能的关系）您可以尝试一次性传递多个文件给md5sum子进程。
在这种情况下，您不需要外部的子进程；您可以在Python中计算md5：
import hashlib
from functools import partial
def md5sum(filename, chunksize=2**15, bufsize=-1):
m = hashlib.md5()
with open(filename, 'rb', bufsize) as f:
for chunk in iter(partial(f.read, chunksize), b''):
m.update(chunk)
return m.hexdigest()
md5sum() 在利用多个CPU并行运行），只需从上面代码中的导入中删除.dummy即可。
要使用多个进程而非线程（以便利用多个CPU并行运行纯Python md5sum()），只需从上述代码中的导入中删除.dummy即可。
Pool支持异步调用。这是否意味着它按照（filenames的）顺序维护md5的顺序？而不是简单地启动x个线程？ - imagineerThat
processes[]将保留files_output[]的原始顺序，并确保每个 md5sum 进程都已完成。但如果您担心操作系统的资源，您应该考虑使用任务队列和线程池，并在每个线程中同步运行 md5sum，如 @Alfe 建议的那样，使用subprocess.check_output()。 - dkz