使用Airflow将数据从Postgres/MySQL移动到S3

Question

我们正在尝试从Pentaho Kettle迁移到Apache Airflow来进行ETL，并将所有数据处理集中在一个工具下。

我们使用Kettle每天从Postgres/Mysql数据库读取数据，并将数据移动到S3->Redshift。

最简单的方法是什么？我没有看到可以直接完成此操作的Operator；所以我应该使用MySQL/Postgres operator将数据放入本地文件，然后使用S3 operator将数据移动到S3吗？

谢谢。

- Srdjan Nikitovic

Answer 1

你可以构建自己的操作器'mysql_to_s3'并将其作为插件添加到Airflow中。

有一个操作器可将数据从Mysql归档到gcs：

mysql_to_gcs.py

你可以通过对def _upload_to_gcs进行小的更改，使用s3_hook来让所有代码运行: s3_hook.py。

关于自定义插件的文档: Airflow插件：博客文章 Airflow插件：官方文档。

- Omar14

Answer 2

airflow-plugins (by Astronomer) 中有一个名为MySqlToS3Operator的插件，可以将mysql查询结果以csv或json格式存储到s3上。你可以在这里找到该插件：https://github.com/airflow-plugins/mysql_plugin/blob/master/operators/mysql_to_s3_operator.py。之后，您可以使用 s3_to_redshift operator 将数据从 S3 加载到 redshift 中：https://airflow.readthedocs.io/en/latest/_modules/airflow/operators/s3_to_redshift_operator.html。

- jbielick

---

请注意，运算符是由天文学家编写和维护的插件，您必须导入一个天文学家钩子。 - Javier Lopez Tomas

@JavierLópezTomás 谢谢您的提醒。我已经更新了答案以反映这一点。 - jbielick

@JavierLópezTomás，你如何导入天文学家的钩子？我已经搜索了他们的文档，但没有找到任何信息。换句话说，如果不购买订阅，是否有可能实现？ - cdabel

确实是这样。无论如何，我正在创建一个MySQLToS3Operator：https://github.com/apache/airflow/pull/6670 如果您现在需要它，并且不想等待发布，您可以将操作员代码复制到您的airflow安装中（它完全可用）。 - Javier Lopez Tomas