我们计划从自行管理Airflow转换为AWS托管的Apache Airflow服务。我们原来的DAG使用了一些需要在托管的Airflow中设置的自定义环境变量。迄今为止,我无法找到在MWAA中设置自定义环境变量的方法。如果有人知道如何设置它们,请告诉我。
希望你一切顺利。我想确认是否有人已经在AWS MWAA Airflow中使用了dbt。 我尝试过这个和 这个 Python包,但由于某种原因失败了(无法找到dbt路径等)。 有没有人成功使用MWAA(Airflow 2)和DBT而不必构建Docker镜像并将其放置在某个地方? 谢谢!
雪花(Snowflake)在连接下拉列表中没有显示。 我正在使用MWAA 2.0,提供程序已在requirements.txt中。 MWAA使用Python 3.7,不知道这是否会影响。 requirements.txt: --constraint "https://raw.githubus...
我有一个运行着AWS MWAA Airflow v2.0.2实例。 我想要使用Airflow API,这是目前支持的吗?或者将来的版本计划中是否支持?在AWS文档中没有提到这一点。 看起来在AWS MWAA Airflow v1.10.12中可以启用实验性的API,但是当我尝试在AWS U...
我正在将DAGs从airflow版本1.12.15升级到2.2.2,并降级python版本从3.8到3.7(因为MWAA不支持python 3.8)。在先前的设置上,DAG可以正常工作,但在MWAA设置中出现了以下错误: Broken DAG: [/usr/local/airflow/dag...
我正在使用AWS的MWAA服务 (2.2.2) 运行各种DAG,其中大部分都是使用标准的PythonOperator类型实现的。我将DAG打包到一个S3存储桶中,同时包含任何共享要求,然后将MWAA指向相关对象和版本。到目前为止,一切都运行顺利。 我现在想使用PythonVirtualenv...
有人在生产中使用MWAA吗? 我们当前有大约500个DAG正在运行,我们发现任务会因为未知原因停留在“排队”状态。 任务处于“排队”状态,这不是执行的有效状态。必须清除任务才能运行。 这种情况发生得很随机,可能能完美地运行一天,然后几个任务就会保持在排队状态。任务会一直停留在这种状态...
我需要在AWS Airflow(Amazon MWAA)的DAG中使用sshoperator,因此在我的DAG文件中导入了以下库: from airflow.contrib.operators.ssh_operator import SSHOperator 看起来sshoperator已...
我们拥有一个自动上传系统,可以将DAG上传到MWAA。 是否有一种方式可以使S3桶中的requirements.txt自动设置为最新版本? 我在AWS控制台中找不到这个选项。
我将开始使用AWS托管的Airflow。为了让托管的Airflow能够访问DAGs,我需要将我的代码上传到S3存储桶中的dags/目录,并由MWAA进行拾取。 然而,在我的代码库中,我有其他目录中的代码,例如tasks/目录。问题是,当我上传tasks文件夹到S3存储桶时,MWAA无法获取它...