Airflow: 无法配置处理程序"processor"的解决方法

3

我对Apache-airflow非常陌生,刚刚开始在Udemy(这个教程)上学习。

我们收到了YAML文件并被要求按照说明安装airflow。我认为已经成功安装了airflow,因为在执行下一步的时候没有遇到任何错误:

  1. 创建一个新文件new_file.env(Visual Studio)
  2. 在新文件中添加以下行并保存:
AIRFLOW_IMAGE_NAME=apache/airflow:2.3.0
AIRFLOW_UID=50000
  1. 打开终端并运行以下命令
docker-compose up -d

当我尝试打开localhost:8080时,没有任何东西被打开。

当我检查容器时,使用命令:

docker-compose ps

我发现有些容器不健康。

docker logs materials_name_of_the_container #here I inserted every tome different container name

最常见的错误是“无法配置处理程序“processor””。
我在这里看到了一个类似问题的帖子,建议使用pip安装Azure,我尝试在终端中打印此内容:
pip install 'apache-airflow[azure_blob_storage,azure_data_lake,azure_cosmos,azure_container_instances]

#also tried with one more '

pip install 'apache-airflow[azure_blob_storage,azure_data_lake,azure_cosmos,azure_container_instances]'

我收到了一个错误信息:pip未被识别:

在此输入图片描述

我的目标是完成安装,并且在此过程中理解为什么会出现这些错误。我相信YAML文件是正确的(因为这是一门有组织的课程),但不知道容器内部发生了什么,以及这些容器位于何处,所以欢迎任何针对初学者的“白痴式”解释。


你的 Docker 容器中是否安装了 Python? - Deepan
@Deepan 我没有积极地做过这个。这是在YAML中自带的吗? - Reut
你在Windows机器上安装了Python并将Python添加到了“path”中吗? - Deepan
我在我的Windows机器上安装了Python。我应该将它“复制”到文件夹中吗? - Reut
请按照此处的说明进行操作:https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html - Deepan
您分享的问题指向了Azure,因为该问题是关于Azure服务wasb的。但是Azure与您安装Airflow的实际问题无关。 - Elad Kalif
1个回答

2
最终我通过阅读这个故障排除页面解决了这个问题。我试图配置用户和组,然后意识到我的用户不是管理员。我更改了它,卸载所有内容(docker+visual studio),然后重新安装,好耶!它工作了,这个错误没有出现。
所以我做的步骤: ~ 将用户更改为管理员的第一部分-我昨天就完成了,我记不清100%怎么做了,我想是这样,如果错了,请告诉我...
  1. 进入用户组-在我的Windows 10中没有这个选项,如果我没记错,我按下"Windows"键和"R"键,然后输入"netplwiz"并按Enter。 enter image description here
    2. 双击用户名,打开此选项卡:

![enter image description here

  1. 选择管理员(截图可能是修复后的,因此可能没有 Docker 选项)

4. 重新启动计算机
5. 卸载 Docker 和 Visual Studio
6. 再次安装 Docker 和 Visual Studio
7. 运行 docker-compose up -d ....
然后等待几分钟即可。

感谢所有尝试帮助我的人 :)

如果这个答案有什么需要改进的地方,请告诉我。


1
哦,我很高兴你解决了它!解决的方式不错!:3 - DialFrost

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接