使用Airflow在另一台计算机上安排任务

Question

使用Airflow在另一台计算机上安排任务

airflow

7

我在一台远程Ubuntu服务器上成功地安装了Airflow和Postgres数据库，看起来非常不错。

我能够连接到我的数据仓库（一个独立的服务器），并轻松地将查询作为任务发出。这很简单，因为安装有Airflow的服务器实际上正在发出查询。

由于我现在只是测试Airflow，它被安装在一台相当小而低功率的服务器上。是否有一种方法可以让我安排任务在我的强大Windows桌面上运行？或者最好的方法是利用本地机器下载数据/处理文件，并仍然使Airflow知道任务已成功完成吗？

- trench

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- nehiljain · Accepted Answer

Airflow旨在支持工作负载分布。如果您在Windows机器上运行airflow workers来进行大部分数据处理，那么您可以利用它们的计算能力，同时在较小的机器上运行您的airflow scheduler和airflow webserver，因为它只是触发新任务，检查心跳并更新任务状态。为了使此设置正常工作，您将需要使用CeleryExecutor。我在第一次设置时发现这篇博客很有用。