我想将BigQuery中的数据(即报告)转储到CloudSQL数据库中,最好的编程方式是什么?
我意识到我可以通过运行BigQuery查询,将其下载为CSV,然后通过Cloud控制台上传来实现手动,但我希望以编程方式自动完成,最好使用Python/SQL。
我意识到我可以通过运行BigQuery查询,将其下载为CSV,然后通过Cloud控制台上传来实现手动,但我希望以编程方式自动完成,最好使用Python/SQL。
如果您想要转储整个表格,您可以使用BigQuery和Cloud SQL API的组合来实现。
BigQuery文档提供了一个Python API示例,用于将BigQuery表格提取到Cloud Storage中。
一旦数据在Cloud Storage中,您可以使用Cloud SQL Admin API将数据导入到MySQL表中。
如果您需要更精细的控制,您可以使用BigQuery API执行查询,获取结果,连接到Cloud SQL实例并插入数据。如果数据量很大,则性能不佳。
一个更复杂的方法是使用Dataflow将您感兴趣的数据写入Cloud Storage,并使用Cloud SQL API进行导入。
(出于我的好奇心,您能描述一下希望将数据存储在Cloud SQL而不是BigQuery的用例吗?这将有助于我们了解客户如何使用我们的产品以及我们可以改进的地方。)