BigQuery与Cloud SQL在仪表盘后端的选择。

Question

我对BQ和Cloud SQL使用案例有点困惑。我有几GB的行数据在BQ中，并且需要在这些数据上构建Web仪表板(SQL与多个表之间的JOIN)。

直接从BQ查询数据是否存在很大的缺陷(例如延迟或并发)，我是否应将数据移动到Cloud SQL（pSQL）并进行查询?

数据不是实时的，最多预计会有几百个并发请求。

我不希望在这方面产生高成本，因此查询速度和可靠性是主要目标。

谢谢！

- syldman

Answer 1

BigQuery非常适合快速存储和查询大型数据集。另一方面，Google Cloud SQL主要基于关系数据库管理系统（RDBMS）概念。它支持MySQL和PostgreSQL。Big Query最适合分析，但也可以处理事务性数据。BigQuery相当快，肯定比在CloudSQL中查询要快，因为BigQuery是一个数据仓库，具有查询庞大数据集以立即返回结果的能力。当你必须处理真正大的数据集时，BigQuery将是更便宜的数据库。Cloud SQL（MySQL或PostgreSQL）只能处理取决于MySQL机器类型最多30720 GB或取决于实例是否具有专用或共享vCPUs的PostgreSQL，而BigQuery没有这种存储限制。请参考BigQuery的其他配额和限制。话虽如此，如果您不正确构造查询，则BigQuery的费用可能会迅速增加，因为它会频繁遍历太多数据。Cloud SQL和BigQuery的定价不同，请参阅Cloud SQL的定价页面和BigQuery以获取更多详细信息。我看到此链接比较了BigQuery和CloudSQL的一些功能。我认为文章中分享的细节可能会有所帮助。通常，Cloud SQL是面向事务目的的关系数据库，而BigQuery则是面向分析、数据可视化、业务智能和/或机器学习等用途的分析数据仓库。因此，如果您的目的是存储用于事务目的的数据，则Cloud SQL将是一种选择，但是，如果您要存储用于分析目的的数据，则应选择BigQuery。

- oakinlaja

---

谢谢！我会继续留在BQ。 - syldman

另一个解决方案是使用Cloud SQL，并在其上安装Looker来驱动BI。如果您没有大量数据，这可能是一种更好的、更具成本效益的解决方案。 - borjagvo

Answer 2

数据不是实时的。我预计最多会有几百个并发请求。

值得注意的是BQ配额限制，在这种情况下，并发查询和API请求的数量。 如果有几百个并发请求，您可能会达到限制。

- Alex M