Airflow 1.9.0正在排队但未启动任务。
Airflow偶尔不会运行排队的任务，有些任务甚至不会被排队状态。我在调度程序日志中不断看到以下内容： [2018-02-28 02:24:58,780] {jobs.py:1077} INFO - No tasks to consider for execution. 我在数据库中看到一些任...
Airflow - 如何将xcom变量传递到Python函数中
我需要引用由 BashOperator 返回的变量。在我的 task_archive_s3_file 中，我需要从 get_s3_file 中获取文件名。该任务只会将 {{ ti.xcom_pull(task_ids=submit_file_to_spark) }} 作为字符串输出，而不是值。...
安装Airflow时出现错误：默认情况下，Airflow的一个依赖项安装了GPL许可证的软件包。
在运行pip install airflow[postgres]命令后，出现以下错误：> raise RuntimeError("By default one of Airflow's dependencies installs > a GPL " > ...
首次登录Apache Airflow时会要求输入用户名和密码，这里的用户名和密码是什么？
我刚刚安装了Apache Airflow，并且第一次启动Web服务器时它要求我输入用户名和密码，我没有设置任何用户名或密码。 请问Airflow的默认用户名和密码是什么？
使用UI连接Airflow和S3
我一直在尝试使用Airflow来调度DAG。其中一个DAG包括从S3存储桶中加载数据的任务。 为了达到上述目的，我需要设置S3连接。但Airflow提供的UI并不是很直观（http://pythonhosted.org/airflow/configuration.html?highlight...
如何在Airflow上重新启动失败的任务
我正在使用 LocalExecutor，我的dag有3个任务，其中任务(C) 依赖于任务(A)。任务(B) 和 任务(A) 可以并行运行, 像下面这样： A-->C B 所以任务(A) 失败了, 但是任务(B) 运行正常。由于任务(A) 失败，任务(C) 尚未运行。 我的问题是，如何重...
如何重新启动Airflow Web服务器？
我正在使用Airflow来进行我的数据流水线项目。我已经在Airflow中配置了我的项目，并使用以下命令启动Airflow服务作为后端进程。airflow webserver -p 8080 -D True 后端服务器已成功运行。现在我想在airflow中启用身份验证并在airflow.cfg...
Airflow与AWS Step Functions的工作流比较
我正在开发一个项目，从AWS S3中获取一组输入数据，进行预处理和分配，启动10K批量容器并在AWS Batch上并行处理拆分的数据，后聚合数据并将其推回S3。 我已经从其他项目中获得了Airflow + Batch的软件模式，但没有涉及到10k个并行任务的规模因素。Airflow很好用，因为...
Airflow并行性
当调度任务时，本地执行器会生成新的进程。它创建进程的数量是否受限？我需要对此进行更改。请问airflow.cfg中调度程序的"max_threads"和"parallelism"有何区别？