在Apache Spark中,失败的任务是否会自动重新提交到同一台或另一台执行器?
在Apache Spark中,失败的任务是否会自动重新提交到同一台或另一台执行器?
是的,但是有一个参数集限制了最大失败次数。
spark.task.maxFailures 4 Number of individual task failures before giving up on the job. Should be greater than or equal to 1. Number of allowed retries = this value - 1.
我认为失败的任务会被重新提交,因为我在Web UI上看到同一个失败的任务被提交了多次。但是,如果同一个任务失败多次,整个作业将失败:
org.apache.spark.SparkException: Job aborted due to stage failure: Task 120 in stage 91.0 failed 4 times, most recent failure: Lost task 120.3 in stage 91.0