我正在寻求并行化numpy或pandas操作。为此，我一直在研究pydata的blaze。我的理解是无缝并行化是它的主要卖点。
不幸的是，我无法找到可以在多个核心上运行的操作。目前blaze中是否可用并行处理或仅为陈述目的？我做错了什么吗？我正在使用blaze v0.6.5。
我希望并行化的一个函数示例：（去重一个太大而无法放入内存的pytables列）
但请注意，Blaze似乎报告了一个错误的版本：
不幸的是，我无法找到可以在多个核心上运行的操作。目前blaze中是否可用并行处理或仅为陈述目的？我做错了什么吗？我正在使用blaze v0.6.5。
我希望并行化的一个函数示例：（去重一个太大而无法放入内存的pytables列）
import pandas as pd
import blaze as bz
def f1():
counter = 0
groups = pd.DataFrame(columns=['name'])
t = bz.TableSymbol('t', '{name: string}')
e = bz.distinct(t)
for chunk in store.select('my_names', columns=['name'],
chunksize=1e5):
counter += 1
print('processing chunk %d' % counter)
groups = pd.concat([groups, chunk])
groups = bz.compute(e, groups)
编辑1
我在按照菲利普的示例时遇到了问题:
In [1]: from blaze import Data, compute
In [2]: d = Data('test.bcolz')
In [3]: d.head(5)
Out[3]: <repr(<blaze.expr.collections.Head at 0x7b5e300>) failed: NotImplementedError: Don't know how to compute:
expr: _1.head(5).head(11)
data: {_1: ctable((8769257,), [('index', '<i8'), ('date', 'S10'), ('accessDate', 'S26')])
nbytes: 367.97 MB; cbytes: 35.65 MB; ratio: 10.32
cparams := cparams(clevel=5, shuffle=True, cname='blosclz')
rootdir := 'test.bcolz'
[(0L, '2014-12-12', '2014-12-14T17:39:19.716000')
(1L, '2014-12-11', '2014-12-14T17:39:19.716000')
(2L, '2014-12-10', '2014-12-14T17:39:19.716000') ...,
(1767L, '2009-11-11', '2014-12-15T13:32:39.906000')
(1768L, '2009-11-10', '2014-12-15T13:32:39.906000')
(1769L, '2009-11-09', '2014-12-15T13:32:39.906000')]}>
我的环境：
C:\Anaconda>conda list blaze
# packages in environment at C:\Anaconda:
#
blaze 0.6.8 np19py27_69
但请注意，Blaze似乎报告了一个错误的版本：
In [5]: import blaze
In [6]: blaze.__version__
Out[6]: '0.6.7'
对于其他数据源，blaze似乎可以工作：
In [6]: d = Data([1,2,2,2,3,4,4,4,5,6])
In [7]: d.head(5)
Out[7]:
_2
0 1
1 2
2 2
3 2
4 3
In [16]: list(compute(d._2.distinct()))
Out[16]: [1, 2, 3, 4, 5, 6]
pip install git+https://github.com/ContinuumIO/blaze --upgrade- MRocklin