HDF5是否适合存储JSON数据？

Question

HDF5是否适合存储JSON数据？

jsonhdf5

3

我继承了一些代码，该代码调用Web API并获得深度嵌套（最多八级）响应。

我编写了一些代码来展平结构，以便可以将其写入.csv文件和SQL数据库，以便人们更轻松地使用。

但是，我真正想做的是保留原始响应的版本，以便如果我需要它，就有原始结构的参考。

我知道HDF5主要用于存储数字数据。是否有任何理由不使用它来转储JSON Blob？这似乎比设置NoSQL数据库容易得多。

- Batman

1

我一点也不建议这样做。首先，如果您使用变长字符串，您的h5文件将比您预期的要大得多。我对此感到非常惊讶。其次，hdf5是为存储数值数据而设计的。对于JSON，我建议使用MongoDB，因为它主要是为JSON设计的，并且具有许多您会喜欢的功能。而且运行它非常容易。如果您使用docker，那么docker run -d mongo就可以完成工作。如果您不喜欢docker，那么您可以用几个命令设置它... - ziky

2个回答

2

决定使用Mongo数据库更容易设置。

- Batman

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- John Readey · Accepted Answer

应该没问题。听起来你会将每个JSON响应存储为HDF5变长字符串，这很好，对于库来说只是一个字符串。

你计划将每个响应作为单独的数据集存储吗？如果你要处理的是1000多个响应，那么这可能效率不高。

另一种选择是创建一个一维可扩展数据集，并在每个响应后附加到它上面。