使用HDF5和Pandas分块读取数据

Question

使用HDF5和Pandas分块读取数据

3

当从CSV中查询内存数据的子集时，我总是这样做：

df = pd.read_csv('data.csv', chunksize=10**3)

chunk1 = df.get_chunk()
chunk1 = chunk1[chunk1['Col1'] > someval]

for chunk in df:
    chunk1.append(chunk[chunk['Col1'] >someval])

我最近开始尝试使用HDF5，并且无法做到这一点，因为TableIterator对象没有get_chunk()方法或接受next()。

df = pd.read_hdf('data.h5', chunksize=10**3)
df.get_chunk()
---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-19-xxxxxxxx> in <module>()
----> 1 df.get_chunk()

AttributeError: 'TableIterator' object has no attribute 'get_chunk'

有什么绕过的办法吗？（我知道可以使用Pandas从磁盘上的hdf5数据库中查询，但是为了这个目的，我想尝试这种方式）

- jesseWUT

2个回答

1

简单来说：

chunk1 = pd.concat([chunk[chunk['Col1'] > someval] for chunk in df])

- Kartik

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- MaxU - stand with Ukraine · Accepted Answer

在这种情况下，使用HDF索引确实是更高效的选择。

这里有一个小的演示：

生成测试DataFrame（10M行，3列）：

In [1]: df = pd.DataFrame(np.random.randint(0,10**7,(10**7,3)),columns=list('abc'))

In [2]: df.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 10000000 entries, 0 to 9999999
Data columns (total 3 columns):
a    int32
b    int32
c    int32
dtypes: int32(3)
memory usage: 114.4 MB

In [3]: df.shape
Out[3]: (10000000, 3)

将DF保存到HDF文件。确保列a被索引（使用data_columns=['a',...]或data_columns=True - 以索引所有列）

fn = r'c:/tmp/test.h5'
store = pd.HDFStore(fn)
store.append('test', df, data_columns=['a'])
store.close()
del df

测试从HDF文件读取：

fn = r'c:/tmp/test.h5'
chunksize = 10**6
someval = 100

时间:

分块读取HDF文件，并将过滤后的块连接成结果数据框。

In [18]: %%timeit
    ...: df = pd.DataFrame()
    ...: for chunk in pd.read_hdf(fn, 'test', chunksize=chunksize):
    ...:     df = pd.concat([df, chunk.ix[chunk.a < someval]], ignore_index=True)
    ...:
1 loop, best of 3: 2min 22s per loop

以块的方式读取HDF（根据HDF索引有条件地过滤数据），并将块连接成结果DF：

In [19]: %%timeit
    ...: df = pd.DataFrame()
    ...: for chunk in pd.read_hdf(fn, 'test', chunksize=chunksize, where='a < someval'):
    ...:     df = pd.concat([df, chunk], ignore_index=True)
    ...:
10 loops, best of 3: 79.1 ms per loop

结论：通过索引（使用where=<terms>）搜索HDF相比于读取所有数据并在内存中进行过滤，速度快1795倍：

In [20]: (2*60+22)*1000/79.1
Out[20]: 1795.19595448799