我正在尝试弄清楚是否可以从BigQuery导出HyperLogLog草图并在外部合并它们以进行基数估计。是否有可用的开源库可以方便地解析BigQuery的草图？
如果没有，是否有任何关于BigQuery HyperLogLog草图格式的公开信息？具体而言，使用了哪种哈希算法，包含什么类型的元数据，以及草图的结构如何？
如果没有，是否有任何关于BigQuery HyperLogLog草图格式的公开信息？具体而言，使用了哪种哈希算法，包含什么类型的元数据，以及草图的结构如何？
有没有一种方法可以在BigQuery之外合并HyperLogLog草图？
3
- MagicMud
1
任何不熟悉HYPERLOGLOG草图的人都应该阅读此链接：https://cloud.google.com/bigquery/docs/reference/standard-sql/approximate-aggregation#storing-estimated-aggregate-values-as-sketches - Pentium10
2个回答
1
您能否在公共问题跟踪器上提交一个功能请求，并提供更多详细信息（例如，您希望与哪些工具/语言/库进行基数估计的互操作性）？
- shollyman
2
2仅供参考。目前有两个关于此问题的未解决工单：https://issuetracker.google.com/issues/117087375 和 https://issuetracker.google.com/issues/123269269。 - Niels Basjes
目前的状况是，在Apache Beam中创建新的“BigQuery-HLL ++”草图正在开发中：https://issues.apache.org/jira/browse/BEAM-7013 - Niels Basjes
0
现在，您可以使用ZetaSketch（https://github.com/google/zetasketch）来实现这一点，它包括与Google Cloud BigQuery的实现兼容的HLL ++算法的实现。
- Yueyang Qiu
网页内容由stack overflow 提供, 点击上面的可以查看英文原文，
原文链接
原文链接
- 相关问题
- 3 有没有一种方法可以优化我的bigquery sql以使其运行更快？
- 3 在BigQuery的UDF函数中，有没有一种方法可以打印或记录变量值？
- 115 有没有一种方法可以将 BigQuery 表的模式导出为 JSON？
- 3 有没有一种方法可以通过数组的内容筛选BigQuery中的行？
- 10 有没有一种方法可以确定或指定BigQuery存储数据的地理区域？
- 3 在BigQuery标准SQL中，有没有一种解析XML标签的方法？
- 14 在Bigquery表通配符查询中是否有一种方法可以选择table_id？
- 5 在BigQuery中是否有一种方法可以重新采样时间序列数据？
- 3 有没有一种方法在BigQuery中使用kmeans、TensorFlow保存的模型？
- 5 有没有一种方法可以增加BigQuery查询的分配内存？