多节点集群Hadoop安装设置

Question

伪分布式单节点集群实现

我正在使用Windows 7 CYGWIN并成功安装了 hadoop-1.0.3。我仍然可以在端口（localhost：50030、localhost：50060和localhost：50070）上启动服务作业跟踪器、任务跟踪器和名称节点。我已经完成了单节点的实现。

现在我想要实现伪分布式多节点集群。但是我不知道如何通过网络IP地址将其划分为主系统和从系统？

- ruchi

---

嗨Ruchi，我也在尝试做同样的事情，即使在单个节点上也遇到了问题。我正在按照http://ebiquity.umbc.edu/Tutorials/Hadoop/00%20-%20Intro.html的步骤进行操作，请问您能否帮助我或分享配置设置教程？ - Josh

嗨，如果你有任何关于单节点的疑问，请问我，同时你也可以查看以下链接：http://ruchi0711.blogspot.in/2013/04/hadoop-implementationsetup-with-window.html - ruchi

谢谢Ruchi，我将从单节点开始。你还在尝试集群节点吗？Jai Hind ;) - Josh

你使用的Hadoop版本是哪个？使用1.2.0版本可以吗？ - Josh

我正在使用 hadoop-1.0.3 和 hbase 0.94。是的，这很好，但请检查兼容性。 - ruchi

Answer 1

针对您的ssh问题，请按照单节点集群链接进行操作：

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

是的，您需要在配置文件中指定主节点和从节点的IP地址，可以参考以下链接：

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/

希望这能帮到您。

- Naresh

Answer 2

尝试创建您想要添加到群集中的VM数量。确保这些VM具有相同的Hadoop版本。 找出每个VM的IP地址。 您将在$HADOOP_HOME/conf中找到名为master和slaves的文件，将要作为主节点处理的VM的IP写入conf/master文件，并使用从节点IP在conf/slaves中执行相同操作。

确保这些节点具有无密码SSH连接。 格式化您的namenode，然后运行start-all.sh。

谢谢，

- Alok Tripathi

---

谢谢您的回答。实际上，我有两个系统在同一个网络中，使用ips（192.167.1.1和192.167.1.2），系统名称为hadoop@master和hadoo@slave。我正在做与您所说相同的工作，但问题是从slave访问master机器，但master给出了异常（ssh：connect to host slave-pc port 22: Connection timed out）。我也检查了端口22是否运行，请建议现在出了什么问题。我正在按照教程http://hayesdavis.net/2008/06/14/running-hadoop-on-windows/进行操作。 - ruchi

先生，当我将主机的id复制到从机时，它会显示(ssh:connect to host slave-pc port 22: Connection timed out)，但是当我将从机的id复制到主机时，它可以正常工作并建立连接。我们可以通过命令切换(ssh hadoop@master)。请建议主机电脑存在什么问题，以便解决连接问题。 - ruchi

你可以从从机连接到主机，然后将主机的.ssh/authorized_keys文件替换为从机的.ssh/authorized_keys文件。这样肯定能行。 - Alok Tripathi

先生，正如您所说，我现在正在执行，从而使它在从机上工作，但主机出现了异常： hadoop@hadoop-master ~ $ scp /.ssh/id_dsa.pub hadoop@hadoop-slave:/.ssh/master-key.pub ssh：无法连接到主机hadoop-slave端口22：连接超时 连接丢失 - ruchi

我正在更改C:\Windows\System32\drivers\etc\hosts文件中的主从IP地址...在conf/master和conf/slaves文件中写入主从IP地址很重要吗？ - ruchi