Spark工作器在驱动程序命令关闭后停止了工作

Question

基本上，Master节点也扮演着其中一个从节点的角色。一旦主节点上的从节点完成了处理，它就会调用SparkContext停止执行，然后该命令会传播到所有的从节点，使得处理在中途停止。

其中一个worker的错误日志:

INFO SparkHadoopMapRedUtil: attempt_201612061001_0008_m_000005_18112：已提交

INFO Executor: 完成第 5.0 个任务，位于第 8.0 阶段（TID 18112）。将 2536 字节的结果发送给驱动程序

INFO CoarseGrainedExecutorBackend: 驱动程序命令进行关闭

ERROR CoarseGrainedExecutorBackend: 收到信号TERMtdown

- pooshan Singh

---

我遇到了相同的错误 - 没有明显的原因，结构化流作业被驱动程序终止，尽管根据日志文件，驱动程序仍有很多可用内存。 - Regenschein

你是否找到了导致 ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM 的原因？ - Elvish_Blade

Answer 1

请检查您的资源管理器用户界面，如果您看到任何执行器失败-它详细说明了内存错误。然而，如果执行器没有失败，但仍然会出现驱动程序调用关闭-通常是由于驱动程序内存不足，请尝试增加驱动程序内存。让我知道它的进展如何。

- user500377