HDF5结构体含有指针数组

Question

我正在尝试写一个包含 int 和 float* 的结构的 HDF5 文件。

typedef struct s1_t {
int    a;
float *b;
} s1_t;

然而，在分配了float*并将值放入其中后，我仍然无法在我的hdf5文件中输出数据。我相信这是因为写入函数假定复合数据类型是连续的，而动态分配的数组则不会连续。是否有办法通过仍使用指针数组来解决此问题？

    /*
 * This example shows how to create a compound data type with an array member,
 * and write an array which has the compound data type to the file.
 */
#include "stdio.h"
#include "stdlib.h"
#include "hdf5.h"

#define FILE          "DSwith_array_member.h5"
#define DATASETNAME   "ArrayOfStructures"
#define LENGTH        10
#define RANK          1
#define ARRAY_RANK    1
#define ARRAY_DIM     3 

int
main(void)
{

    /* First structure  and dataset*/
    typedef struct s1_t {
    int    a;
    //float  b[ARRAY_DIM];
    float *b;
    } s1_t;
    s1_t       s1[LENGTH];

    hid_t      s1_tid;     /* File datatype identifier */
    hid_t      array_tid; /* Array datatype handle */
    hid_t      file, dataset, space; /* Handles */
    herr_t     status;
    hsize_t    dim[] = {LENGTH};   /* Dataspace dimensions */
    hsize_t    array_dim[] = {ARRAY_DIM};   /* Array dimensions */

    int        i, j;

    /*
     * Initialize the data
     */
    for (i = 0; i< LENGTH; i++) {
        s1[i].a = i;
        s1[i].b = (float*)calloc(ARRAY_DIM, sizeof(float));
        for (j = 0; j < ARRAY_DIM; j++) {
             s1[i].b[j] = i+j;
        }
    }

    /*
     * Create the data space.
     */
    space = H5Screate_simple(RANK, dim, NULL);

    /*
     * Create the file.
     */
    file = H5Fcreate(FILE, H5F_ACC_TRUNC, H5P_DEFAULT, H5P_DEFAULT);

    /*
     * Create the array data type. 
     */
     array_tid = H5Tarray_create(H5T_NATIVE_FLOAT, ARRAY_RANK, array_dim);

    /*
     * Create the memory data type. 
     */
    s1_tid = H5Tcreate (H5T_COMPOUND, sizeof(s1_t));
    H5Tinsert(s1_tid, "a_name", HOFFSET(s1_t, a), H5T_NATIVE_INT);
    H5Tinsert(s1_tid, "b_name", HOFFSET(s1_t, b), array_tid);

    /* 
     * Create the dataset.
     */
    dataset = H5Dcreate(file, DATASETNAME, s1_tid, space, H5P_DEFAULT, H5P_DEFAULT, H5P_DEFAULT);

    /*
     * Wtite data to the dataset; 
     */
    status = H5Dwrite(dataset, s1_tid, H5S_ALL, H5S_ALL, H5P_DEFAULT, s1);

    /*
     * Release resources
     */
    H5Tclose(s1_tid);
    H5Tclose(array_tid);
    H5Sclose(space);
    H5Dclose(dataset);
    H5Fclose(file);


    return 0;
}

- foboi1122

Answer 1

你说得对。将你的结构更改为：

typedef struct s1_t {
    int   a;
    float b[ARRAY_DIM];
} s1_t;

会起作用，但我想你已经知道了。

我可以看到两个解决方案：

1. 使用一个临时缓冲区，比如上面结构体的数组，进行写入。
2. 使用可变长度数组代替b_name数组。

使用可变长度数组的示例：b_name

#include "stdio.h"
#include "stdlib.h"
#include "hdf5.h"

#define FILE          "DSwith_array_member.h5"
#define DATASETNAME   "ArrayOfStructures"
#define LENGTH        10
#define RANK          1
#define ARRAY_RANK    1
#define ARRAY_DIM     3 

typedef struct s1_t {
int    a;
float *b;
} s1_t;

typedef struct s1_buffer_t {
    int   a;
    hvl_t b;
} s1_buffer_t;

int main(void)
{
    s1_t       s1[LENGTH];
    hid_t      s1_tid;                          /* File datatype identifier */
    hid_t      file, dataset, space, vlen_tid;  /* Handles */
    hsize_t    dim[] = {LENGTH};                /* Dataspace dimensions */
    int        i, j;
    s1_buffer_t s1_buffer[LENGTH];
    for (i = 0; i< LENGTH; i++) {
        s1[i].a = i;
        s1[i].b = (float*)calloc(ARRAY_DIM, sizeof(float));
        for (j = 0; j < ARRAY_DIM; j++) {
             s1[i].b[j] = i+j;
        }
    }
    space = H5Screate_simple(RANK, dim, NULL);
    file = H5Fcreate(FILE, H5F_ACC_TRUNC, H5P_DEFAULT, H5P_DEFAULT);
    vlen_tid = H5Tvlen_create(H5T_NATIVE_FLOAT);
    s1_tid = H5Tcreate(H5T_COMPOUND, sizeof(s1_buffer_t));
    H5Tinsert(s1_tid, "a_name", HOFFSET(s1_t, a), H5T_NATIVE_INT);
    H5Tinsert(s1_tid, "b_name", HOFFSET(s1_t, b), vlen_tid);
    dataset = H5Dcreate(file, DATASETNAME, s1_tid, space, H5P_DEFAULT, H5P_DEFAULT, H5P_DEFAULT);
    for (i = 0; i < LENGTH; ++i)
    {
        s1_buffer[i].a = s1[i].a;
        s1_buffer[i].b.len = ARRAY_DIM;
        s1_buffer[i].b.p = s1[i].b;
    }
    H5Dwrite(dataset, s1_tid, H5S_ALL, H5S_ALL, H5P_DEFAULT, s1_buffer);
    H5Tclose(s1_tid);
    H5Tclose(vlen_tid);
    H5Sclose(space);
    H5Dclose(dataset);
    H5Fclose(file);
    return 0;
}

正如您所看到的，您仍然需要一个临时缓冲区，但至少它只需要存储指针（从中的 b 指针）而不是大小为的数组，这在上面的解决方案1中是这种情况。

- Simon

---

我尝试使用变量数组来实现b_name，但是当我尝试调用H5Dwrite()时，我一直遇到未处理的异常错误。您能否为我提供一个以b_name作为可变长度数组的简单示例？ - foboi1122

@foboi1122 我添加了一个例子。 - Simon

谢谢你提供的示例，现在对我来说更清楚了。有没有办法直接将这个文件读入到一个标准结构中？我的意思是当我们调用 H5Dread 函数时，我将数据读入到一个名为 s1_buffer_t 的缓冲区结构中，然而 s1_buffer 类型包含一个 hvl_t 类型的数组。在标准数据结构中，我不使用这些类型的数组。通常它们只是浮动数组。所以目前，我正在将 s1_buffer_t 结构体中的内容使用 memcpy 复制到我自己类似的结构体中，我的结构体使用 float *b 而不是 hvl_t b。然而，这会占用更多的内存，因为我需要同时持有缓冲区和结构体。 - foboi1122

我知道，我希望我们能在这种情况下避免临时缓冲区，但似乎不可能。如果您正在使用C ++，可以将其封装在一个类中：存储s1_buffer_t数组，但公开s1_t的接口...这实际上取决于您的应用程序中读/写或数据使用哪个更关键。 - Simon