我的同事认为HDFS没有最大文件大小限制,即通过将任何文件分区成128/256兆块即可存储(显然,HDFS磁盘具有一定的容量限制,但这是唯一的限制吗?)。我找不到任何关于存在限制的说法,所以她是正确的吗? 谢谢,吉姆
我不是Hadoop的专家,但据我所知,单个文件大小没有明确的限制,尽管有一些隐含因素,如总存储容量和最大命名空间大小。此外,可能会对实体数量和目录大小设置管理引用。关于HDFS容量主题在这个文档中有很好的描述。引用在这里中描述,在这里中讨论。 我建议特别注意最后一个链接提到的Michael G Noll的博客,它涵盖了许多Hadoop特定的主题。