我的spark.cores.max设置为24[3个工作节点]，但是如果我进入我的工作节点并查看只有一个进程[命令=Java]正在运行，消耗内存和CPU。 我怀疑它没有使用所有的8个核心(在m2.4x large上)。
如何知道这个数字？
如何检查Spark使用的核心数？
5
- user3279189
1个回答
3
您可以在Spark Web UI下看到集群中每个worker占用的核心数量：
- Dan Osipov
4
我能在这里看到...但我的问题是...当我登录工作节点并检查与Spark相关的进程数量时，通常每个工作节点只有一个...我想知道是否利用了所有核心？ - user3279189
1只需触发并行计算，就可以看到您的核心负载。您会看到它们会突然上升。 - Dan Osipov
默认端口为18080用于Web UI。否则，访问机器（ssh）然后使用top命令会提供更多详细信息。 - Akshay Hazari
端口18080不是用于WebUI的。如果您启动此服务器（$SPARK_HOME/sbin/start-history-server.sh），则18080是记录日志的默认端口。WebUI与Spark应用程序一起启动，并默认绑定在4040端口上。 - user1551605
网页内容由stack overflow 提供, 点击上面的可以查看英文原文，
原文链接
原文链接