如何使用asyncio与boost.python？

Question

如何使用asyncio与boost.python？

python-3.xboost-pythonpython-asyncio

4

能否使用Python3的asyncio包与Boost.Python库一起使用？

我有一个使用Boost.Python构建的C++扩展。用C++编写的函数可能需要很长时间才能运行。我想使用asyncio调用这些函数，但是res = await cpp_function()代码无法工作。

cpp_function在协程内部调用时会发生什么？
如何避免因调用长时间运行的C++函数而被阻塞？

注意：C++没有进行某些I/O操作，只是计算。

- Illia Ananich

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Mikhail Gerasimov · Accepted Answer

当在协程中调用cpp_function时会发生什么？

如果在任何一个协程中调用长时间运行的Python/C函数，它将冻结您的事件循环（在所有地方都会冻结所有协程）。

您应该避免这种情况。

如何通过调用长时间运行的C++函数而不被阻塞？

您应该使用run_in_executor在单独的线程或进程中运行函数。run_in_executor返回可等待的协程。

由于GIL的存在，您可能需要ProcessPoolExecutor（我不确定ThreadPoolExecutor是否适合您的情况，但建议您进行检查）。

以下是等待长时间运行代码的示例：

import asyncio
from concurrent.futures import ProcessPoolExecutor
import time


def blocking_function():
    # Function with long-running C/Python code.
    time.sleep(3)
    return True


async def main():        
    # Await of executing in other process,
    # it doesn't block your event loop:
    loop = asyncio.get_event_loop()
    res = await loop.run_in_executor(executor, blocking_function)


if __name__ == '__main__':
    executor = ProcessPoolExecutor(max_workers=1)  # Prepare your executor somewhere.

    loop = asyncio.new_event_loop()
    asyncio.set_event_loop(loop)
    try:
        loop.run_until_complete(main())
    finally:
        loop.run_until_complete(loop.shutdown_asyncgens())
        loop.close()