HADOOP HDFS不平衡问题

Question

4

我有一个Hadoop集群，其中有8台机器，这8台机器都是数据节点。有一个程序在一台机器上运行（假设是A机器），该程序将在HDFS中连续创建序列文件（每个文件约为1GB）。

问题在于：所有8台机器的硬件和容量都相同。当其他机器的HDFS磁盘仍有约50%的空闲空间时，A机器只剩下5%的空间。我检查了块信息，并发现几乎每个块都在A机器上有一个副本。

有没有办法平衡副本？谢谢。

- avhacker

2个回答

1

有一种方法。您可以使用Hadoop命令行平衡工具。 HDFS数据可能不总是均匀地放置在DataNode上。为了在群集中将HDFS数据均匀分布在DataNode上，可以使用此工具。

 hadoop balancer [-threshold <threshold>]

其中，threshold是磁盘容量的百分比。

详见以下链接：

- khanmizan

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Remus Rusanu · Accepted Answer

这是默认的放置策略。对于典型的M/R模式非常有效，其中每个HDFS节点也是计算节点，并且编写机器均匀分布。

如果您不喜欢它，则可以使用HDFS-385在HDFS中设计可插拔的接口来放置块的副本。您需要编写一个实现BlockPlacementPolicy接口的类，然后将该类设置为hdfs-site.xml中的dfs.block.replicator.classname。