任务在Airflow中重试次数超过指定次数

Question

任务在Airflow中重试次数超过指定次数

airflowairflow-scheduler

12

我最近将我的airflow升级到1.10.2版本。一些任务在dag中运行正常，而有些任务的重试次数超过了指定的重试次数。

其中一个任务日志显示-尝试第2次的第26次尝试。即使失败了两次，为什么调度程序仍然要进行调度？

有人遇到类似的问题吗？

示例Dag-

args = {
    'owner': airflow,
    'depends_on_past': False,
    'start_date': datetime(2019, 03, 10, 0, 0, 0),
    'retries':1,
    'retry_delay': timedelta(minutes=2),
    'email': ['my@myorg.com'],
    'email_on_failure': True,
    'email_on_retry': True
}

dag = DAG(dag_id='dag1',
    default_args=args,
    schedule_interval='0 12 * * *',
    max_active_runs=1)

data_processor1 = BashOperator(
    task_id='data_processor1',
    bash_command="sh processor1.sh {{ ds }} ",
    dag=dag)

data_processor2 = BashOperator(
    task_id='data_processor2',
    bash_command="ssh processor2.sh {{ ds }} ",
    dag=dag)

data_processor1.set_downstream(data_processor2)

- Vipul Pandey

你能否提供一个DAG的例子，其中出现了这样的行为？ - dorvak

@dorvak Dag非常简单，只有两个任务，即通过Bash Operator运行shell脚本。但在任务的日志中显示-依赖项未满足<TaskInstance：dag_id.task_id execution_date [running]>，依赖项“任务实例尚未运行”失败：任务已在运行，它开始于execution_date。依赖项未满足<TaskInstance：dag_id.task_id execution_date [running]>，依赖项“任务实例状态”失败：任务处于“运行”状态，这不是执行的有效状态。必须清除任务才能运行。 - Vipul Pandey

每次重试时都会出现上述错误，并且重试尝试不会停止。 - Vipul Pandey

在stackoverflow上提问，建议您发布一个MCVE，它可以帮助人们重现您的问题并最终找到解决方案。 - SergiyKolesnikov

@dorvak，我已经添加了示例dag。在dag_processor2任务中，dag会不断重试。 - Vipul Pandey

这种情况也发生在我身上，原始任务尝试在执行过程中被标记为失败，即使它没有抛出任何异常，然后另一个尝试开始。 - qwwqwwq

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Gaurav Shimpi · Answer 1

这可能会有用，

我尝试在airflow中生成与您面临的相同错误，但我无法生成它。

在我的Airflow GUI中，它仅显示单个重试，然后将任务和DAG标记为失败，这是一般的airflow行为，我不知道您为什么会遇到这个问题。

点击此处查看我为您的DAG准备的airflow GUI图像截屏

您能否添加有关问题的更多详细信息（如日志等）。