我正在使用Pandas 0.18/Python 3.5编写代码,运行在一台四核Intel i3的电脑上。我读过这篇文章:https://www.continuum.io/content/pandas-releasing-gil,同时我的工作主要是IO绑定的(将CSV文件解析成数据框),需要大量计算,而这些计算主要是在数据框内进��的乘法操作。
目前,我正在使用
通常情况下,我应该使用线程来并行运行pandas任务,还是pandas会自动有效地利用所有的CPU核心,不需要我显式地告诉它呢?如果是后者,那么我会逐个执行我的任务。
目前,我正在使用
concurrent.futures ThreadPoolExecutor
并行执行代码。我的问题是:通常情况下,我应该使用线程来并行运行pandas任务,还是pandas会自动有效地利用所有的CPU核心,不需要我显式地告诉它呢?如果是后者,那么我会逐个执行我的任务。