MWAA 在生产环境中 - 任务因未知原因被排队
有人在生产中使用MWAA吗？ 我们当前有大约500个DAG正在运行，我们发现任务会因为未知原因停留在“排队”状态。 任务处于“排队”状态，这不是执行的有效状态。必须清除任务才能运行。 这种情况发生得很随机，可能能完美地运行一天，然后几个任务就会保持在排队状态。任务会一直停留在这种状态...
Docker Compose 文件用于 Airflow 2（版本 2.0.0）
我希望编写docker compose文件，以在类生产环境中本地执行airflow。 对于较旧的v1.10.14版本的airflow，docker compose能够正常工作。 但是相同的docker compose对于最新的稳定版本，airflow调度程序和Web服务一直无法正常工作。 错...
如何在Cloud Composer中导入自定义模块
我使用Apache Airflow创建了一个本地项目，现在希望在Cloud Composer中运行该项目。我的项目包含自定义模块和调用它们的主文件。 示例：from src.kuzzle import KuzzleQuery 结构： main.py src kuzzle.py ...
Airflow中针对外部连接的连接池化
我正在尝试为Airflow中创建的外部连接寻找连接池管理方法。 Airflow版本：2.1.0 Python版本：3.9.5 Airflow数据库：SQLite 已创建的外部连接：MySQL和Snowflake 我知道在airflow.cfg文件中有一些属性。 sql_alchemy_po...
由BashOperator发送到SSHOperator的Airflow XCOM通信
我刚开始学习Airflow，但是理解Xcom的概念还是有些困难。因此，我写了一个类似下面这样的dag： from airflow import DAG from airflow.utils.edgemodifier import Label from datetime import dat...
如何在Airflow 2.0中设置LDAP身份验证
我目前正尝试在Airflow中设置与现有LDAP服务器的集成。以前，我曾尝试创建一个cacert（ldap_ca.crt），并遵循 这个指南和这个指南。 当我启动Airflow时，出现一个登录屏幕，该屏幕不接受LDAP服务器上的任何用户，并在尝试登录时仅清除用户名/密码框。 以下是我的we...
Airflow调度程序存活探针崩溃（版本2.0）
我刚将Airflow从1.10.13升级到了2.0版本。我正在使用Kubernetes Executor在Kubernetes (AKS Azure)上运行。不幸的是，由于活性探针失败，我看到我的调度程序每15-20分钟就会被杀掉。因此，我的Pod一直在重新启动。 在1.10.13中，我没有...
Airflow: Docker-Compose: "您正在以root用户身份运行pip，请使用普通用户身份运行pip"
要求：使用官方docker-compose运行本地Airflow，版本为2.3.0。 问题： "您正在以root身份运行pip，请使用用户来运行pip" Airflow版本2.3.0 操作系统 - macOS 我能够成功运行2.2.4版本，但无法运行2.3.0版本。 在运行docker-...
在Airflow中根据SQL查询结果创建动态任务。
我正在尝试使用TaskGroup创建动态任务，并将结果保存在变量中。根据数据库查询，该变量每N分钟进行修改，但当第二次修改变量时，调度程序会崩溃。 基本上，我需要根据查询接收到的唯一行数来创建任务。 使用TaskGroup(f"task")创建任务组： data_variable...
Airflow S3连接类型缺失。
我正在使用Airflow 2.5.1和Python 3.10版本。我需要在Admin>Add connection中创建S3连接类型。但是下拉菜单中的S3连接类型已经消失了。 我已经安装了apache-airflow-providers-amazon提供的插件，并尝试重新启动，但问题仍...