谷歌BigQuery与Spark和Parquet的比较

Question

3

Google BigQuery与Apache Spark SQL和Parquet相比如何？

BigQuery是存储和分析，可以将其拆分为BigQuery存储和BigQuery分析。

我知道还有许多其他存储机制和处理引擎，但为了选择两个“对比”...

根据我的理解，BigQuery存储可以与Apache Parquet进行比较，而BigQuery分析可以与Spark SQL进行比较。

BigQuery存储实际上被称为Capacitor，“BigQuery的下一代列存储格式”，这样说是正确的吗？

另外，Apache Parquet和BigQuery Storage是否都提供Dremel的实现？

- Johan Witters

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Yunxiao Ma · Accepted Answer

电容器（Capacitor）是BigQuery使用的文件格式，而存储则是整个分布式系统，用于托管文件和数据。Dremel是底层执行引擎。以下是一些介绍（https://cloud.google.com/blog/big-data/2016/01/bigquery-under-the-hood）。