Airflow回填澄清说明
我刚开始使用 Airbnb 的 airflow，还不清楚何时会进行回溯。具体来说，有两个用例让我感到困惑: 如果我运行airflow scheduler几分钟，停止一分钟，然后再次启动它，我的DAG似乎会多运行一些任务大约30秒钟左右，然后继续正常运行（每10秒运行一次）。这些额外的任务是...
为Airflow设置S3日志记录
我正在使用docker-compose来设置一个可扩展的airflow集群。我基于这个Dockerfile的方法https://hub.docker.com/r/puckel/docker-airflow/。 我的问题是如何设置日志以从s3中读写。当dag完成时，我会收到类似以下错误的信息。...
如何限制Airflow每次只运行一个DAG实例？
我希望DAG中的所有任务都在执行下一次运行的第一个任务之前全部完成。 我的 max_active_runs = 1，但是仍然发生了 这种情况。default_args = { 'depends_on_past': True, 'wait_for_downstream': Tru...
如何在Airflow中使用“>>”运算符定义任务依赖关系？
我正在学习Apache Airflow，参考了这个教程https://github.com/hgrif/airflow-tutorial，遇到了定义任务依赖的章节。with DAG('airflow_tutorial_v01', default_args=default_args, ...
无法导入Airflow插件
在此遵循Airflow教程这里。 问题：Web服务器返回以下错误 Broken DAG: [/usr/local/airflow/dags/test_operator.py] cannot import name MyFirstOperator 注: 目录结构看起来像这样: air...
如何向Airflow添加新的DAGs？
我已经在名为的文件中定义了一个DAG（实际上是教程中提供的的副本，但将更改为）。 当我查看默认未修改的（位于中）时，我发现设置为。 我运行。现在我有一个与中设置的路径相匹配的文件夹，并且包含我之前创建的文件。 但是，当我运行时，我只能看到与默认教程DAG名称对应的名称。 我想让显示在我...
运行简单的Airflow BashOperator时出现了TemplateNotFound错误
我正在尝试编写我们的第一个Airflow DAG，当我尝试使用命令airflow list_tasks orderwarehouse列出任务时，出现以下错误： Traceback (most recent call last): File "/usr/local/lib/python2....
在Airflow DAG中导入本地模块（Python脚本）
我正在尝试将本地模块（一个Python脚本）导入我的DAG中。 目录结构：airflow/ ├── dag │ ├── __init__.py │ └── my_DAG.py └── script └── subfolder ├── __init__.py ...
如何在Airflow中运行Spark代码？
大家好，我正在使用Airflow来调度和运行Spark任务。 到目前为止，我发现的只有Airflow可以管理的Python DAG。 DAG示例：spark_count_lines.py import logging from airflow import DAG from airflow...
使用Apache Airflow存储和访问密码
我们正在使用Airflow作为调度程序。我想在DAG中调用一个简单的bash操作符。这个bash脚本需要一个密码作为参数来进行进一步处理。 我该如何安全地存储密码在Airflow(config/variables/connection)中并在dag定义文件中访问它？ 我对Airflow和Pyt...