我有一个由12个节点组成的群集。其硬件信息如下:
NameNode:CPU Core i3 2.7 GHz | 8GB RAM | 500 GB HDD
DataNode:CPU Core i3 2.7 GHz | 2GB RAM | 500 GB HDD
我已经安装了hadoop 2.7.2版本,使用ubuntu上的普通安装过程,并且它正常工作。但是我想添加客户端机器,我不知道如何添加客户端机器。
问题:
- 客户端机器的安装过程是什么?
- 如何在该客户端机器上运行pig/hive脚本?
我有一个由12个节点组成的群集。其硬件信息如下:
NameNode:CPU Core i3 2.7 GHz | 8GB RAM | 500 GB HDD
DataNode:CPU Core i3 2.7 GHz | 2GB RAM | 500 GB HDD
我已经安装了hadoop 2.7.2版本,使用ubuntu上的普通安装过程,并且它正常工作。但是我想添加客户端机器,我不知道如何添加客户端机器。
问题:
hadoop fs
命令:hadoop fs -put /home/user1/data/* /user/user1/data
- 如果需要多次运行这些命令,您也可以编写 shell-scripts 来运行它们。如果我们仅使用ssh
远程连接到主节点,为什么要在客户端安装hadoop?
ssh
进行连接,而是在客户端节点上执行一些操作,所以你需要 hadoop 二进制文件。ssh
被用于客户端节点上的 hadoop 二进制文件,当你从客户端节点运行这样的操作,比如 hadoop fs -ls/
到集群上时。 (请记得在安装过程中 添加 $HADOOP_HOME/bin
到 PATH
)ssh
”时 - 对我来说这听起来像你想从集群中进行更改/访问 hadoop 配置文件时,你正在使用ssh
连接到集群节点 - 你在执行管理工作的时候会这样做,但当你需要从客户端节点对集群运行 hadoop 命令/作业时,你不需要手动 ssh
- 安装了客户端节点上的hadoop 将会处理好这一切。3. 用户名 'user1' 是否必须相同?如果不同会怎样? - 它也将正常工作。您可以在组用户下在客户端节点上安装 hadoop,例如: qa
或 dev
,并将客户端节点上的所有用户作为sudo用户添加到该组中。那么当客户端节点上的user1
需要在集群上运行任何 hadoop 作业时:user1
应该能够以 sudo -i -u qa
的身份运行 hadoop 命令。