AWS MWAA是由AWS提供的相对较新的服务,用于管理Apache Airflow的工作流。在配置MWAA环境时,可以提供自定义requirements.txt
文件,用于在该环境中安装其他Python软件包。
在我所在的公司中,我们使用AWS CodeArtifact作为自定义PyPi软件包存储库,我们在其中上传私有Python软件包。我们想要在Airflow DAGs中使用其中一些软件包,因此我想知道MWAA环境能否以某种方式配置,以使用来自CodeArtifact的PyPi存储库?
或者是否有任何方法可以在MWAA环境中安装自定义Python软件包(不在公共PyPi中)?
--index-url=https://${AIRFLOW__FOO_USER}:${AIRFLOW__FOO_PASS}@my.privatepypi.com
。CodeArtifact使用令牌作为密码,每12小时必须更新一次。 - Peter Jakubčo