Hadoop HDFS最大文件大小

Question

8

我的同事认为HDFS没有最大文件大小限制，即通过将任何文件分区成128/256兆块即可存储（显然，HDFS磁盘具有一定的容量限制，但这是唯一的限制吗？）。我找不到任何关于存在限制的说法，所以她是正确的吗？

谢谢，吉姆

- jimmyb

3个回答

1

我认为她说HDFS上没有最大文件大小是正确的。你唯一能设置的就是数据块大小，默认值是64MB。我猜任何长度的文件都可以存储，但唯一的限制可能就是文件越大，需要更多硬件去容纳。

- Vinayak Ponangi

0

我不是Hadoop的专家，但据我所知，单个文件大小没有明确的限制，尽管有一些隐含因素，如总存储容量和最大命名空间大小。此外，可能会对实体数量和目录大小设置管理引用。关于HDFS容量主题在这个文档中有很好的描述。引用在这里中描述，在这里中讨论。

我建议特别注意最后一个链接提到的Michael G Noll的博客，它涵盖了许多Hadoop特定的主题。

- Andrey

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Rich Garris · Accepted Answer

显然，存在实际限制。但是从物理上讲，HDFS块ID是Java long类型的，因此它们最大为2^63。如果你的块大小为64 MB，则最大大小为512 哥字节。