我最初在此处提出了一个相关的问题,但似乎没有得到有效解答。如果我具体地重述一部分内容,也许会有所帮助。我有使用Matlab稀疏格式(HDF5,我认为是csc)存储的文件,并尝试使用Pytables直接操作它们,但至今尚未成功。使用h5py,我可以执行以下操作:
但是如果我尝试在Pytables中进行相同操作:
# Method 1: uses h5py (WORKS)
f1 = h5py.File(fname)
data = f1['M']['data']
ir = f1['M']['ir']
jc = f1['M']['jc']
M = scipy.sparse.csc_matrix((data, ir, jc))
但是如果我尝试在Pytables中进行相同操作:
# Method 2: uses pyTables (DOESN'T WORK)
f2 = tables.openFile(fname)
data = f2.root.M.data
ir = f2.root.M.ir
jc = f2.root.M.jc
M = scipy.sparse.csc_matrix( (data,ir,jc) )
等待很长时间后,此操作失败,出现以下错误:
TypeError Traceback (most recent call last)
/home/tdiethe/BMJ/<ipython console> in <module>()
/usr/lib/python2.6/dist-packages/scipy/sparse/compressed.pyc in __init__(self, arg1, shape, dtype, copy, dims, nzmax)
56 self.indices = np.array(indices, copy=copy)
57 self.indptr = np.array(indptr, copy=copy)
---> 58 self.data = np.array(data, copy=copy, dtype=getdtype(dtype, data))
59 else:
60 raise ValueError, "unrecognized %s_matrix constructor usage" %\
/usr/lib/python2.6/dist-packages/scipy/sparse/sputils.pyc in getdtype(dtype, a, default)
69 canCast = False
70 else:
---> 71 raise TypeError, "could not interpret data type"
72 else:
73 newdtype = np.dtype(dtype)
TypeError: could not interpret data type
看一下f2
:
In [63]: f2.root.M.data
Out[63]:
/M/data (CArray(4753606,), zlib(3)) ''
atom := Float64Atom(shape=(), dflt=0.0)
maindim := 0
flavor := 'numpy'
byteorder := 'little'
chunkshape := (8181,)
In [64]: f2.root.M.ir
Out[64]:
/M/ir (CArray(4753606,), zlib(3)) ''
atom := UInt64Atom(shape=(), dflt=0)
maindim := 0
flavor := 'numpy'
byteorder := 'little'
chunkshape := (8181,)
In [65]: f2.root.M.jc
Out[65]:
/M/jc (CArray(133339,), zlib(3)) ''
atom := UInt64Atom(shape=(), dflt=0)
maindim := 0
flavor := 'numpy'
byteorder := 'little'
chunkshape := (7843,)
我有两个问题:
- 如何使用Pytables加载此文件?
- 我是否需要将其转换为scipy稀疏矩阵才能在其上执行操作,还是可以直接在磁盘文件上执行操作(矩阵乘法等)-即不必将文件加载到内存中(如果不能,那么使用Pytables的意义是什么)?
data
、ir
或jc
进行操作的能力。Numpy对数据(即dtype、shape等)有何看法?结果是否符合预期?它们是否与该调用签名在“scipy.sparse.csc_matrix”中所期望的相对应? - dtlussierM = sparse.csc_matrix( (f2.root.M.data[...], f2.root.M.ir[...], f2.root.M.jc[...]) )
但第二个问题我还不确定。看起来在PyTables上只能进行逐元素操作? - tdc