Apache Spark中的任务失败后会重新提交吗？

Question

在Apache Spark中，失败的任务是否会自动重新提交到同一台或另一台执行器?

- poiuytrez

---

Spark 中失败的任务会被重新计算，或者如果您已经对它们进行了检查点，则可以从检查点重新计算。这篇论文提供了更详细的解释。论文链接 - aaronman

Answer 1

是的，但是有一个参数集限制了最大失败次数。

spark.task.maxFailures  4   Number of individual task failures before giving up on the job. Should be greater than or equal to 1. Number of allowed retries = this value - 1.

- chanllen

Answer 2

我认为失败的任务会被重新提交，因为我在Web UI上看到同一个失败的任务被提交了多次。但是，如果同一个任务失败多次，整个作业将失败：

org.apache.spark.SparkException: Job aborted due to stage failure: Task 120 in stage 91.0 failed 4 times, most recent failure: Lost task 120.3 in stage 91.0

- poiuytrez