伪分布式单节点集群实现
我正在使用Windows 7 CYGWIN并成功安装了 hadoop-1.0.3。我仍然可以在端口(localhost:50030、localhost:50060和localhost:50070)上启动服务作业跟踪器、任务跟踪器和名称节点。我已经完成了单节点的实现。
现在我想要实现伪分布式多节点集群。但是我不知道如何通过网络IP地址将其划分为主系统和从系统?
伪分布式单节点集群实现
我正在使用Windows 7 CYGWIN并成功安装了 hadoop-1.0.3。我仍然可以在端口(localhost:50030、localhost:50060和localhost:50070)上启动服务作业跟踪器、任务跟踪器和名称节点。我已经完成了单节点的实现。
现在我想要实现伪分布式多节点集群。但是我不知道如何通过网络IP地址将其划分为主系统和从系统?
针对您的ssh问题,请按照单节点集群链接进行操作:
http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/
是的,您需要在配置文件中指定主节点和从节点的IP地址,可以参考以下链接:
http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/希望这能帮到您。
尝试创建您想要添加到群集中的VM数量。确保这些VM具有相同的Hadoop版本。 找出每个VM的IP地址。 您将在$HADOOP_HOME/conf中找到名为master和slaves的文件,将要作为主节点处理的VM的IP写入conf/master文件,并使用从节点IP在conf/slaves中执行相同操作。
确保这些节点具有无密码SSH连接。 格式化您的namenode,然后运行start-all.sh。
谢谢,