Hadoop dfs.include 文件

4
请解释dfs.include文件的作用及如何定义它。 我向Hadoop集群添加了一个新节点,但是namenode没有识别它。我在一篇帖子中发现dfs.include可以解决此问题。 谢谢, Vladi
1个回答

2
仅在dfs.include和mapred.include中包含节点名称是不够的。slave文件必须在namenode/jobtracker上更新。新节点上必须启动tasktracker和datanode,并在NameNode和JobTracker上运行refreshNodes命令,以使它们知道新节点的存在。
以下是如何执行此操作的说明
根据{{link2:'Hadoop:权威指南'}}:

dfs.hosts和mapred.hosts属性指定的文件(或文件)与slaves文件不同。前者用于确定哪些工作节点可以连接到namenode和jobtracker。 slaves文件由Hadoop控制脚本用于执行整个集群的操作,如集群重新启动。 它从未被Hadoop守护程序使用。


网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接