18得票2回答
如何在Python3的concurrent.futures中检测异常?

由于其并发 futures 模块,我刚刚开始使用 Python3 。我想知道能否让它检测错误。如果有更高效的模块,请告诉我,因为我想使用并发 futures 进行并行编程。 我不喜欢 multiprocessing,因为它过于复杂,而且没有太多的文档说明。但是,如果有人可以使用 multip...

18得票3回答
在ProcessPoolExecutor中使用ThreadPoolExecutor

我对futures模块感到陌生,但我的任务可以从并行化中受益;但我似乎无法弄清楚如何设置线程函数和进程函数。希望有人能提供任何帮助。 我正在运行粒子群优化(PSO)算法。不想过多介绍PSO本身,以下是代码的基本布局: 有一个Particle类,其中有一个getFitness(self)方法...

18得票1回答
Python中concurrent.futures相对于multiprocessing的优势是什么?

我正在使用Python编写一个应用程序,需要同时执行一些任务。multiprocessing模块提供了Process类,而concurrent.futures模块则提供了ProcessPoolExecutor类。两者似乎都使用多个进程来执行任务,但它们的API有所不同。请问我应该使用其中的哪一...

18得票1回答
Python ThreadPoolExecutor - 回调函数是否保证在提交的函数所在的线程中运行?

在线程池执行器(TPE)中,回调函数是否总是保证在与提交的函数相同的线程中运行? 例如,我使用以下代码进行了测试。我多次运行它,似乎func和callback总是在同一个线程中运行。import concurrent.futures import random import thread...

17得票2回答
Python并行执行与Selenium

我对使用selenium在Python中进行并行执行感到困惑。似乎有几种方法可以实现,但其中一些方法已经过时了。 有一个名为python-wd-parallel的Python模块似乎具有某些功能用于此操作,但它来自2013年,现在是否仍然有用?我还发现了这个示例。 还有concurrent...

17得票2回答
concurrent.futures.ThreadPoolExecutor.map(): 超时无效

import concurrent.futures import time def process_one(i): try: ...

16得票1回答
存储结果的ThreadPoolExecutor

我对使用"concurrent.futures"进行并行处理还比较新,并正在测试一些简单的实验。我编写的代码似乎可以工作,但是我不确定如何存储结果。我尝试创建一个列表("futures") 并将结果附加到其中,但这会显著减慢过程。我想知道是否有更好的方法。谢谢。import concurren...

16得票2回答
多进程队列已满

我正在使用concurrent.futures实现多进程。 我收到了一个queue.Full错误,这很奇怪,因为我只分配了10个作业。A_list = [np.random.rand(2000, 2000) for i in range(10)] with ProcessPoolExecut...

15得票3回答
能将concurrent.futures.Future转换为asyncio.Future吗?

我写了多年的多线程代码后,正在练习asyncio。注意到一些我觉得奇怪的事情,就是在asyncio和concurrent中都有一个Future对象。from asyncio import Future from concurrent.futures import Future 每个都有自己的角...

14得票2回答
在concurrent.futures中检测失败的任务

我一直在使用concurrent.futures,因为它具有简单的接口并且可以让用户轻松控制线程/进程的最大数量。然而,似乎concurrent.futures隐藏了失败的任务,并在所有任务完成/失败后继续主线程。import concurrent.futures def f(i): ...