Kubernetes 分布式文件系统

Question

3

嗯，我们公司正在考虑从Hadoop转移到Kubernetes。在Kubernetes中，我们可以找到针对cassandra、sparks等工具的解决方案。那么对于我们来说，最后的问题是如何在Kubernetes中存储大量文件，例如1 PB。值得注意的是，我们不想使用S3等在线存储服务。

据我所知，在Kubernetes中仅仅使用了HDFS，并且有一些替代产品，例如Torus和Quobyte。因此，我的问题是：在Kubernetes上有没有文件系统的推荐？或者有更好的解决方案吗？

非常感谢。

- Steven Luo

1

这是两种完全不同的技术，具有完全不同的用途。Hadoop是一个分布式数据处理框架，Kubernetes是一个容器编排工具。这就像比较苹果和大象一样。 - Ben Watson

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- OneCricketeer · Accepted Answer

您可以使用Hadoop兼容的文件系统，例如Ceph或Minio。两者都提供了S3兼容的REST API进行读写操作。在Kubernetes中，可以使用Rook项目部署Ceph。

但是，要在Kubernetes中运行HDFS，需要具有适当亲和力和网络规则的NameNode和DataNodes等有状态服务。 Hadoop Ozone项目意识到对象存储对于微服务工作负载而言比HDFS块存储更常见，因为使用分布式微服务分析PB级数据并不可行。（我只是猜测）

另一种选择是使用Hadoop＆YARN 3.x中的Docker支持。