为什么Spark执行器会收到SIGTERM信号？

Question

我正在使用Spark API（Spark核心API，不是流式处理、SQL等）。 我经常在Spark的日志中看到类似于以下的错误信息： Spark环境：1.3.1 yarn-client

ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL 15: SIGTERM

1. 谁会触发SIGTERM信号。YARN、Spark还是我自己？
2. 这个信号会终止Spark Executor吗？如果不会，它会如何影响Spark程序。

我按Ctrl + c键，但那将是SIGINT。如果YARN杀死执行器，那将是SIGKILL信号。

- worldterminator

---

大多数情况下是YARN。检查您的节点管理器日志以获取特定时间。有时由于OOM，YARN会杀死容器。 - Sohaib

Answer 1

您可能会在yarn日志中找到原因。如果您启用了日志聚合，可以键入 并查找异常。

- Bacon

---

我查看了日志，没有发现任何异常。一切都似乎很正常，然后突然遇到了 SIGTERM 和 ERROR CoarseGrainedExecutorBackend，整个 Spark 应用程序提前关闭了。 - theferrit32