我正在设计一个解决方案,其中将使用Google Cloud SQL来存储应用程序的所有常规运行数据(一种OLTP数据)。预计这些数据会随着时间的推移而变得非常庞大。由于数据本身具有关系型特性,因此我们选择了Cloud SQL而不是Cloud Datastore。
需要将这些数据输入到BigQuery进行分析,这需要实时或最佳情况下近乎实时的分析,尽管现实中可能会存在一些延迟。但我正在设计一种解决方案,以尽量减少这种滞后。
我的问题有3个部分 -
我应该使用Cloud SQL来存储数据,然后将其移动到BigQuery,还是更改基本设计,最初即使用BigQuery来存储数据? Big Query适合用于常规、低延迟的OLTP工作负载吗?(我认为不适合-我的假设正确吗?)
加载Cloud SQL数据到BigQuery的推荐/最佳做法是什么,如何使此集成接近实时工作?
Cloud Dataflow是否是一个好的选择?如果我将Cloud SQL连接到Cloud DataFlow,然后进一步连接到BigQuery,这样可以吗?还是有其他更好的方法来实现这一点(如第2个问题所问)?