Apache Airflow Docker：如何安装外部的Airflow提供者包。

Question

我正在使用Docker运行Apache Airflow。 我想安装一个用于Spark的Airflow提供程序包。 我的docker-compose yml文件看起来像这样。 当我尝试在Airflow中创建新连接时，我想将Spark添加为我的连接类型。 我应该怎么做？

- sanchit08

---

请尝试这个答案。 - NicoE

Answer 1

现在，您可以使用默认的组合（无需构建自定义映像）指定要在启动时安装的提供程序。您可以通过将提供程序的pip软件包名称附加到docker-compose文件中的环境变量_PIP_ADDITIONAL_REQUIREMENTS来实现此目的。

...
x-airflow-common:
  ...
  environment:
    &airflow-common-env
    AIRFLOW__CORE__EXECUTOR: CeleryExecutor
    AIRFLOW__DATABASE__SQL_ALCHEMY_CONN: ...
    ...
    _PIP_ADDITIONAL_REQUIREMENTS: ${_PIP_ADDITIONAL_REQUIREMENTS:- apache-airflow-providers-docker apache-airflow-providers-microsoft-mssql}
volumes:
    ...

https://dev59.com/wOk5XIcBkEYKwwoY2NLu#68607370

- Antoine Dahan

Answer 2

你应该创建新的、自定义的镜像，而不是使用基础镜像。参考链接：https://airflow.apache.org/docs/docker-stack/build.html。

- Jarek Potiuk