在我们的一个项目中,我们使用Kafka和AVRO在应用程序之间传输数据。数据被添加到AVRO对象中,并将对象二进制编码以写入Kafka。我们使用二进制编码,因为它通常被认为是与其他格式相比最小的表示。
数据通常是JSON字符串,当保存在文件中时,占用高达10 MB的磁盘空间。但是,当文件被压缩(.zip)时,只使用几KB。我们担心存储这样的数据在Kafka中,所以尝试在写入Kafka主题之前进行压缩。
当测量二进制编码消息的长度(即字节数组的长度)时,它与数据字符串的长度成比例。因此,我认为二进制编码不会减少任何大小。
有人能告诉我二进制编码是否压缩数据吗?如果没有,我该如何应用压缩?
谢谢!
数据通常是JSON字符串,当保存在文件中时,占用高达10 MB的磁盘空间。但是,当文件被压缩(.zip)时,只使用几KB。我们担心存储这样的数据在Kafka中,所以尝试在写入Kafka主题之前进行压缩。
当测量二进制编码消息的长度(即字节数组的长度)时,它与数据字符串的长度成比例。因此,我认为二进制编码不会减少任何大小。
有人能告诉我二进制编码是否压缩数据吗?如果没有,我该如何应用压缩?
谢谢!