将Avro文件压缩为gzip（.gz）格式

Question

3

我是一个avro和.gzip文件的新手。我正在尝试压缩avro文件以获得更快的文件加载时间，从Google Cloud Storage到BigQuery。我已经尝试过搜索，但没有找到答案。请告诉我如何将avro文件压缩为gzip（.gz）格式。

- enchant3dmango

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Priyank Gupta · Accepted Answer

Avro格式不能与GZIP压缩一起使用。要压缩Avro数据，请使用bq命令行工具或API，并指定Avro数据支持的压缩类型之一：DEFLATE或SNAPPY。

参考资料：