如何检查HDFS是否正在运行?

4
我想确认Hadoop的hdfs文件系统是否正常工作。我知道jps列出了正在运行的守护程序,但我不知道应该查找哪些守护程序。
我运行了以下命令: $HADOOP_PREFIX/sbin/hadoop-daemon.sh start namenode $HADOOP_PREFIX/sbin/hadoop-daemon.sh start datanode $HADOOP_PREFIX/sbin/yarn-daemon.sh start resourcemanager $HADOOP_PREFIX/sbin/yarn-daemon.sh start nodemanager 只有namenode、resourcemanager和nodemanager在输入jps时才会出现。
hdfs/Hadoop需要哪些守护程序才能正常运行?如果hdfs没有运行,你可以做什么来修复它?

如果您不确定它是否正在运行,也不记得哪些守护进程对应于HDFS,则可以检查hadoop dfs -ls /命令输出了什么。 - vefthym
2个回答

11

使用以下任何一种方法来检查您的守护进程状态:

  1. JPS命令将列出所有活动守护进程

  2. 以下是最合适的方法

   hadoop dfsadmin -report

这将列出数据节点的详细信息,基本上就是您的HDFS。

  • 在HDFS路径中查看任何可用文件。


  • “cat”是什么意思? - user2590144
    sudo -u hdfs hadoop dfsadmin -report,这样可以生成全面的报告。 - Hammad Haleem
    "hadoop dfsadmin -report"已被弃用,应使用"hdfs dfsadmin -report"。 - Diepie

    4

    所以,我花了两个星期来验证我的设置(一切都很好),最终找到了这个命令:

    sudo -u hdfs jps
    

    起初,我的简单JPS命令只显示一个进程,但在Ubuntu LTS 14.04下运行的Hadoop 2.6已经启动。我使用'Sudo'来运行启动脚本。

    以下是与JPS一起工作并列出多个进程的启动过程:

    sudo su hduser
    /usr/local/hadoop/sbin/start-dfs.sh
    /usr/local/hadoop/sbin/start-yarn.sh
    

    网页内容由stack overflow 提供, 点击上面的
    可以查看英文原文,
    原文链接