我正在使用 Hadoop 2.6.0 (emr-4.2.0
镜像)。我对 yarn-site.xml
进行了一些更改,并希望重新启动 Yarn 以使更改生效。
是否有命令可以实现此操作?
我正在使用 Hadoop 2.6.0 (emr-4.2.0
镜像)。我对 yarn-site.xml
进行了一些更改,并希望重新启动 Yarn 以使更改生效。
是否有命令可以实现此操作?
Edit (10/26/2017): AWS官方已经发布了一篇更详细的知识中心文章,介绍如何操作 - https://aws.amazon.com/premiumsupport/knowledge-center/restart-service-emr/.
您可以通过ssh连接到EMR集群的主节点并运行 -
"sudo /sbin/stop hadoop-yarn-resourcemanager"
"sudo /sbin/start hadoop-yarn-resourcemanager"
重新启动Yarn资源管理器的命令。EMR AMI 4.x.x使用upstart,/sbin/{start,stop,restart}都是指向/sbin/initctl的符号链接,它是upstart的一部分。有关更多信息,请参阅initctl man页面。
或者,您可以按照这里的说明将更改传播到yarn-site.xml - yarn-change-configuration-on-yarn-site-xml
对于那些从谷歌过来的人
为了在 EMR 中重新启动服务,执行以下操作:
通过运行以下命令找到服务的名称:
initctl list
例如,YARN资源管理器服务的名称为hadoop-yarn-resourcemanager
。
运行以下命令停止服务:
sudo stop hadoop-yarn-resourcemanager
等待几秒钟,然后通过运行以下命令来启动服务:
sudo start hadoop-yarn-resourcemanager
注意: 需要停止/启动; 不要使用重启命令。
通过运行以下命令来验证进程是否正在运行:
sudo status hadoop-yarn-resourcemanager
使用ps命令检查进程,然后在日志目录 /var/log/ 中检查日志文件是否存在错误。
来源:https://aws.amazon.com/premiumsupport/knowledge-center/restart-service-emr/
如果您想要实现日志聚合,那么最简单的方法就是按照文档中所述创建已启用日志聚合的集群。
http://docs.aws.amazon.com/ElasticMapReduce/latest/ManagementGuide/emr-plan-debugging.html
如果您正在使用emr-4.3.0
,则实际上默认已启用此功能。
也尝试重新启动这个服务:
hadoop-yarn-nodemanager