我可以通过以下方式重现此问题:
原始样本DF:
In [147]: df
Out[147]:
a b c
0 0.163757 -1.727003 0.641793
1 1.084989 -0.958833 0.552059
2 -0.419273 -1.037440 0.544212
3 -0.197904 -1.106120 -1.117606
4 0.891187 1.094537 100.000000
让我们将其保存到 HDFStore 中:
In [149]: df.to_hdf('c:/temp/test_dup.h5', 'x')
文件大小:6992字节
让我们再做一次:
In [149]: df.to_hdf('c:/temp/test_dup.h5', 'x')
文件大小:6992字节
注意:它没有改变
现在让我们打开HDFStore:
In [150]: store = pd.HDFStore('c:/temp/test_dup.h5')
In [151]: store
Out[151]:
<class 'pandas.io.pytables.HDFStore'>
File path: c:/temp/test_dup.h5
/x frame (shape->[5,3])
文件大小: 6992字节
注意: 没有改变
让我们再次将DF保存到HDFStore中,但请注意store
是打开的:
In [156]: df.to_hdf('c:/temp/test_dup.h5', 'x')
In [157]: store.close()
文件大小:12696字节
# 爆炸!!!
根本原因:
当我们执行:store = pd.HDFStore('c:/temp/test_dup.h5')
时,它默认以'a'
(追加)模式打开,因此它准备修改存储,并且当您写入相同的文件但不使用此store
时,它会复制文件以保护打开的存储...
如何避免:
在打开存储时使用mode='r'
:
In [158]: df.to_hdf('c:/temp/test_dup2.h5', 'x')
In [159]: store2 = pd.HDFStore('c:/temp/test_dup2.h5', mode='r')
In [160]: df.to_hdf('c:/temp/test_dup2.h5', 'x')
...
skipped
...
ValueError: The file 'c:/temp/test_dup2.h5' is already opened, but in read-only mode. Please close it before reopening in append mode.
更好的管理HDF文件的方法是使用store:
store = pd.HDFStore(filename)
store.append('key_name', df, data_columns=True)
...
store.close()