我有很多hdf5文件,每个文件中只有一个数据集。我想将它们合并成一个数据集,使数据在同一卷中(每个文件都是图像,我想要一个大的时间序列图像)。
我编写了一个Python脚本,将数据提取为numpy数组,存储它们,然后尝试将其写入新的h5文件。但是,这种方法行不通,因为合并的数据使用的RAM超过了我的32 GB。
我还尝试使用h5copy,即命令行工具。
这个方法可以实现,但会导致新文件中存在许多数据集,而不是将所有数据集串联在一起。
我编写了一个Python脚本,将数据提取为numpy数组,存储它们,然后尝试将其写入新的h5文件。但是,这种方法行不通,因为合并的数据使用的RAM超过了我的32 GB。
我还尝试使用h5copy,即命令行工具。
h5copy -i file1.h5 -o combined.h5 -s '/dataset' -d '/new_data/t1'
h5copy -i file2.h5 -o combined.h5 -s '/dataset' -d '/new_data/t2'
这个方法可以实现,但会导致新文件中存在许多数据集,而不是将所有数据集串联在一起。