如何实时将Mysql同步到Bigquery？

Question

目前我有一些脚本，首先删除表格，然后将表格从MySQL上传到Bigquery。但很多时候它都失败了。而且它只运行一次每天。我正在寻找可扩展的和实时的解决方案。您的帮助将不胜感激 :)

- Anurag Jain

Answer 1

请阅读Wepay的这一系列文章，其中详细介绍了他们如何使用Airflow将MySQL数据库同步到BigQuery中：

• https://wecode.wepay.com/posts/wepays-data-warehouse-bigquery-airflow
• https://wecode.wepay.com/posts/airflow-wepay
• (第三篇是关于BigQuery的)

简要概述如下(引用)：

• 设置身份验证、连接和DAG。
• 定义从MySQL中提取哪些列并加载到BigQuery中。
• 选择如何加载数据：增量加载或全量加载。
• 去重。

- Felipe Hoffa