我想将一个大小为500GB的键值表转储到HDF5中,然后检索与特定键匹配的行。
对于HDF5文件,像所有数据访问一样,使用整数“行”号,因此似乎我必须在HDF5之外实现一个“键到行号映射”。
使用像Hadoop或Spark这样的分布式系统更有效地检索,这些系统使用HDFS。我应该使用分布式系统来实现映射/哈希函数吗?
对于HDF5文件,像所有数据访问一样,使用整数“行”号,因此似乎我必须在HDF5之外实现一个“键到行号映射”。
使用像Hadoop或Spark这样的分布式系统更有效地检索,这些系统使用HDFS。我应该使用分布式系统来实现映射/哈希函数吗?