迭代Python文件对象是否线程安全？

Question

在寻找解决这个问题的优雅解决方案时，我在想是否迭代Python文件对象是线程安全的。

from concurrent.futures import ThreadPoolExecutor
import sys, time

f = open("big_file")

def worker():
    running = True
    while running:
        try:
            line = next(f)
        except StopIteration:
            return
        # process line
        time.sleep(3)
        sys.stdout.write(line + "\n")

no_workers = 4
with ThreadPoolExecutor(max_workers=no_workers) as e:
    for _ in range(no_workers):
        e.submit(worker)

f.close()

我的问题是，如果上面的示例是安全的，或者不安全，那么获取线程安全的文件对象（逐行读取文件，不需要写入）的简单方法是什么？

- tobigue

---

相当安全的方法是一次性读取文件，然后逐行迭代。这符合您的需求吗？ - Tadeck

@Tadeck 很遗憾，因为文件太大而无法放入内存中。 - tobigue

Answer 1

不，文件输入/输出不是线程安全的。锁定是一种解决方法，但我认为让一个单独的线程来处理每个外部资源的选项更好。其他线程将工作请求发送到Queue.Queue实例上的专用线程（并提供自己的另一个队列以防需要返回结果），专用线程大部分时间都在等待该队列上的.get，每当它收到一个请求时就会处理它，并可能返回结果。

- Michael Foukarakis