如何编写Luigi工作流将数据从MySQL加载到Redshift？

Question

如何编写Luigi工作流将数据从MySQL加载到Redshift？

mysqlamazon-s3amazon-redshiftluigi

3

Luigi是否支持我执行整个流程？

流程大致如下：将MySQL数据转储到S3，然后使用Copy命令将数据移动到Redshift。

我能否使用Luigi来执行上述工作流程？

- Dawny33

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Samuel Lampa · Accepted Answer

基本上，你可以在Luigi中使用Python脚本做任何事情，因为你可以在Luigi任务的run()方法中编写那个Python代码，这意味着实际上没有真正的限制。

有关任务和特别是run()方法的更多信息，请参见Luigi文档：http://luigi.readthedocs.org/en/stable/tasks.html#task-run 因此，剩下的问题是如何从Python本身访问RedShift和MySQL，但这是一个单独的问题，我认为最好的选择是在Google上搜索一个好的指南或教程。