我正在使用Docker运行Apache Airflow。 我想安装一个用于Spark的Airflow提供程序包。 我的docker-compose yml文件看起来像这样。 当我尝试在Airflow中创建新连接时,我想将Spark添加为我的连接类型。 我应该怎么做?
我正在使用Docker运行Apache Airflow。 我想安装一个用于Spark的Airflow提供程序包。 我的docker-compose yml文件看起来像这样。 当我尝试在Airflow中创建新连接时,我想将Spark添加为我的连接类型。 我应该怎么做?
_PIP_ADDITIONAL_REQUIREMENTS
来实现此目的。...
x-airflow-common:
...
environment:
&airflow-common-env
AIRFLOW__CORE__EXECUTOR: CeleryExecutor
AIRFLOW__DATABASE__SQL_ALCHEMY_CONN: ...
...
_PIP_ADDITIONAL_REQUIREMENTS: ${_PIP_ADDITIONAL_REQUIREMENTS:- apache-airflow-providers-docker apache-airflow-providers-microsoft-mssql}
volumes:
...