120得票2回答
将NumPy数组输入和输出到h5py

我有一段Python代码,它的输出是一个大小为 的矩阵,其所有元素都是 float 类型。如果我将其保存为扩展名为 .dat 的文件,文件大小约为 500 MB。我了解到使用 h5py 可以显著减小文件大小。那么,假设我有名为 A 的 2D numpy 数组。如何将其保存到一个 h5py 文...

114得票1回答
使用HDF5进行大型数组存储是否比使用平面二进制文件具有更快的分析速度或更低的内存使用率?

我正在处理大型三维数组,我经常需要以各种方式切片来进行各种数据分析。一个典型的“立方体”可能达到约100GB(未来可能会更大)。 似乎在Python中大型数据集的典型推荐文件格式是使用HDF5(h5py或pytables)。我的问题是:与存储为简单的平面二进制文件相比,使用HDF5存储和分析...

67得票2回答
如何使用h5py将数据追加到一个特定的数据集中的hdf5文件中

我正在寻找一种使用Python(h5py)将数据追加到现有的.h5文件中的可能性。 我的项目简介:我正在尝试使用医学影像数据训练CNN。由于数据量巨大且在将数据转换为NumPy数组期间占用内存较多,因此我需要将“转换”拆分成几个数据块:加载和预处理前100个医学图像并将NumPy数组保存到h...

50得票3回答
如何使用h5py覆盖h5文件内的数组

我试图覆盖一个numpy数组,它是一个相当复杂的h5文件的一小部分。 我正在提取一个数组,更改一些值,然后希望重新将该数组插入到h5文件中。 我没有问题提取嵌套的数组。f1 = h5py.File(file_name,'r') X1 = f1['meas/frame1/data'].val...

50得票5回答
在Ubuntu服务器上安装h5py

我正在Ubuntu服务器上安装h5py,但似乎返回错误信息说找不到h5py.h。使用pip或setup.py文件安装时都会出现相同的错误提示。我错过了什么吗? 我的Numpy版本是1.8.1,高于所需的1.6或更高版本。 完整输出如下:van@Hulk:~/h5py-2.3.1⟫ sudo...

46得票7回答
H5PY中打开文件出错(未找到文件签名)

我一直在使用以下代码来使用H5PY在Python中打开由MATLAB生成的一些HDF5文件:import h5py as h5 data='dataset.mat' f=h5.File(data, 'r') 然而我遇到了以下错误:OSError: Unable to open file (Fi...

46得票2回答
在Python中使用h5py处理大数据的分析工作经验?

我从事大量的统计工作,并使用Python作为主要语言。然而,我处理的一些数据集可能需要20GB的内存,这使得使用numpy、scipy和PyIMSL等内存函数来操作它们几乎是不可能的。统计分析语言SAS在这里有一个很大的优势,它可以处理硬盘中的数据,而不是严格的内存处理。但是,我想避免在SAS...

39得票6回答
如何列出h5py文件中的所有数据集?

我有一个存储numpy数组的h5py文件,但在尝试使用我记得的数据集名称打开它时,出现了“对象不存在错误”,那么我能以某种方式列出文件中包含哪些数据集吗? with h5py.File('result.h5','r') as hf: #How can I list all ...

37得票6回答
将HDF5文件读入numpy数组

我有以下代码可以将一个hdf5文件读取为numpy数组:hf = h5py.File('path/to/file', 'r') n1 = hf.get('dataset_name') n2 = np.array(n1) 当我打印n2时,输出如下:Out[15]: array([[<HDF...

35得票3回答
如何在M1芯片的MacOS上安装h5py(Keras所需)?

我有一台M1 MacBook。我使用pyenv安装了Python 3.9.1,并拥有pip3版本21.0.1。 我已经安装了Homebrew和hdf5 1.12.0_1,通过brew install hdf5命令进行安装。 当我输入以下命令时:pip3 install h5py 我收到了这个错...