95得票6回答
如何在concurrent.futures中使用tqdm?

我有一个多线程函数,我想使用tqdm来显示状态栏。是否有一种简单的方法可以在ThreadPoolExecutor中显示状态栏呢?让我感到困惑的是它的并行化部分。import concurrent.futures def f(x): return f**2 my_iter = ran...

7得票2回答
Python concurrent.futures 在退出时出现错误:OSError: handle is closed,只在 Visual Studio 调试模式下运行。

我想实现concurrent.futures,但一直遇到问题。我编写了一段代码,在执行时: Python Terminal Enters in some infinite loop in my last loop and do not finish the code, this cod...

16得票2回答
多进程队列已满

我正在使用concurrent.futures实现多进程。 我收到了一个queue.Full错误,这很奇怪,因为我只分配了10个作业。A_list = [np.random.rand(2000, 2000) for i in range(10)] with ProcessPoolExecut...

7得票2回答
当迭代Future结果时,如何获取我发送到ThreadPoolExecutor的参数?

我使用ThreadPoolExecutor来快速检查代理列表,以确定哪些代理可用或不可用。 with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor: futures = [] for prox...

12得票1回答
如何以非阻塞的方式链接 futures?也就是说,如何在另一个 future 中使用一个 future 作为输入而不会阻塞?

在下面的示例中,future1完成后,future2如何使用future1的结果(而不阻止提交future3)?from concurrent.futures import ProcessPoolExecutor import time def wait(seconds): time...

12得票2回答
asyncio中的yield from concurrent.futures.Executor Future

我有一个名为long_task的函数,它运行重型的CPU计算。我想通过使用新的asyncio框架将其异步化。生成的long_task_async函数使用ProcessPoolExecutor将工作转移到不受GIL约束的不同进程中。 问题在于,由ProcessPoolExecutor.subm...

7得票2回答
如何在Python中为ThreadPoolExecutor线程赋予不同的名称

我有以下代码来创建线程并运行它们。 from concurrent.futures import ThreadPoolExecutor import threading def task(n): result = 0 i = 0 for i in range(n)...

7得票1回答
将asyncio与多工人进程池执行器和for async结合使用

我的问题与将asyncio与多进程ProcessPoolExecutor结合使用非常相似,但是我认为稍微改变了一下(async for),使得那里的优秀答案对我不可用。 我正在尝试以下 MWE: import concurrent.futures import asyncio import...

12得票2回答
为什么asyncio.Future与concurrent.futures.Future不兼容?

这两个类都是并发编程的优秀抽象,但有点令人不安的是它们不支持相同的API。 具体来说,根据docs: asyncio.Future几乎与concurrent.futures.Future兼容。 差异: - result()和exception()不接受超时参数,并在未完成future时...

24得票2回答
检查 `concurrent.futures.ThreadPoolExecutor` 的运行情况

我有一个活动的concurrent.futures.ThreadPoolExecutor。我想要检查它的状态,想知道有多少个线程,有多少个处理任务和哪些任务,有多少个是空闲的,以及哪些任务在队列中。我该如何找出这些信息?