将许多数据集插入群组时,会出现显著的减速。
我发现减速点与名称长度和数据集数量成比例。较大的数据集确实需要更长时间来插入,但并不影响减速发生的时间。
以下示例夸大了名称的长度,只是为了说明这一点而不用等待很长时间。
- Python 3
- HDF5版本1.8.15(1.10.1甚至更慢)
- h5py版本:2.6.0
示例:
import numpy as np
import h5py
import time
hdf = h5py.File('dummy.h5', driver='core', backing_store=False)
group = hdf.create_group('some_group')
dtype = np.dtype([
('name', 'a20'),
('x', 'f8'),
('y', 'f8'),
('count', 'u8'),
])
ds = np.array([('something', 123.4, 567.8, 20)], dtype=dtype)
long_name = 'abcdefghijklmnopqrstuvwxyz'*50
t = time.time()
size = 1000*25
for i in range(1, size + 1):
group.create_dataset(
long_name+str(i),
(len(ds),),
maxshape=(None,),
chunks=True,
compression='gzip',
compression_opts=9,
shuffle=True,
fletcher32=True,
dtype=dtype,
data=ds
)
if i % 1000 == 0:
dt = time.time() - t
t = time.time()
print('{0} / {1} - Rate: {2:.1f} inserts per second'.format(i, size, 1000/dt))
hdf.close()
输出:
1000 / 25000 - Rate: 1590.9 inserts per second
2000 / 25000 - Rate: 1770.0 inserts per second
...
17000 / 25000 - Rate: 1724.7 inserts per second
18000 / 25000 - Rate: 106.3 inserts per second
19000 / 25000 - Rate: 66.9 inserts per second
20000 / 25000 - Rate: 66.9 inserts per second
21000 / 25000 - Rate: 67.5 inserts per second
22000 / 25000 - Rate: 68.4 inserts per second
23000 / 25000 - Rate: 47.7 inserts per second
24000 / 25000 - Rate: 42.0 inserts per second
25000 / 25000 - Rate: 39.8 inserts per second
为了快速重现问题,我夸大了名称的长度。在我的问题中,名称的长度约为25个字符,在一个组中有约700k个数据集时出现减速点。在约1.4M个数据集后,它变得更慢。
为什么会发生这种情况?
是否有解决方案/补救措施?