用于存储大文件的最佳技术数据库

3

我希望找到一款软件来帮助我构建一个程序,它可以实现以下功能:

  • 简单的键值存储,其中键是哈希值,值是一个可能很大的文件(10-100mb。总数据集可以轻松达到200gb以上)
  • 请求量非常低。每小时可能只有1000个请求,甚至更少
  • 读写比为2倍至5倍
  • 自动删除长时间未被查询的数据以控制磁盘空间
  • 系统丢失数据是可以接受的。
  • 易于安装/依赖性较少/易于跨平台

像Redis和MongoDB这样的软件似乎是有趣的候选者,但它们也非常努力地解决了处理每秒许多请求的问题,通常用于支持网站。这不是我所要解决的问题。

我想知道您是否知道一款更适合我需要解决的特定问题的工具。


你预计会使用什么查询语言/访问模型? - Randy
1个回答

3

根据您的要求,最简单的解决方案是使用文件系统来存储数据。使用哈希键作为文件名。

查找将是高效的,并且数据将自动缓存在内存中。

如果您的文件系统支持,可以根据每个文件的上次访问时间进行定期清理。


网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接