为什么Java和Go的gzip得到不同的结果？

Question

首先，我的Java版本：

string str = "helloworld";
ByteArrayOutputStream localByteArrayOutputStream = new ByteArrayOutputStream(str.length());
GZIPOutputStream localGZIPOutputStream = new GZIPOutputStream(localByteArrayOutputStream);
localGZIPOutputStream.write(str.getBytes("UTF-8"));
localGZIPOutputStream.close();
localByteArrayOutputStream.close();
for(int i = 0;i < localByteArrayOutputStream.toByteArray().length;i ++){
    System.out.println(localByteArrayOutputStream.toByteArray()[i]);
}

输出结果为：

31 -117 8 0 0 0 0 0 0 0 -53 72 -51 -55 -55 47 -49 47 -54 73 1 0 -83 32 -21 -7 10 0 0 0

接下来是Go语言版本：

var gzBf bytes.Buffer
gzSizeBf := bufio.NewWriterSize(&gzBf, len(str))
gz := gzip.NewWriter(gzSizeBf)
gz.Write([]byte(str))
gz.Flush()
gz.Close()
gzSizeBf.Flush()
GB := (&gzBf).Bytes()
for i := 0; i < len(GB); i++ {
    fmt.Println(GB[i])
}

输出结果：

31 139 8 0 0 9 110 136 0 255 202 72 205 201 201 47 207 47 202 73 1 0 0 0 255 255 1 0 0 255 255 173 32 235 249 10 0 0 0

为什么会这样呢？

一开始我以为是两种语言不同的字节读取方法导致的。但我注意到0永远无法转换为9。而且[]byte的大小也不同。

我的代码有问题吗？有没有办法让我的Go程序获得与Java程序相同的输出结果呢？

谢谢！

- kosmos

---

压缩通常不被认为是一种确定性操作，但（无损）压缩+解压缩当然应该始终返回相同的数据。问题可能很简单，例如不同实现选择的默认压缩级别不同。 - Jonathon Reinhart

Java和Go生成不同的输出是否重要？因为Gzip是无损的，重要的是该过程始终是可逆的：解压缩应该在任何错误或差异都没有的情况下给出原始数据。这不应取决于压缩程序是用任何特定语言编写的。 - Rick-777

Answer 1

首先，Java中的byte类型是有符号的，其范围为-128..127，而在Go中，byte是uint8的别名，其范围为0..255。因此，如果您想比较结果，您必须将负的Java值向左移动256（加上256）。

提示：要以无符号方式显示Java byte值，请使用：byteValue & 0xff将其转换为int，其中byte的8个位作为int中的最低8个位。或者更好的办法是，以十六进制形式显示两个结果，这样您就不必关心符号...

即使进行了左移操作，仍然可能会看到不同的结果。这可能是由于不同语言中默认的压缩级别不同。请注意，尽管Java和Go的默认压缩级别都为6，但未指定并且允许不同的实现选择不同的值，并且它可能也会在未来的版本中更改。

即使压缩级别相同，您仍然可能遇到差异，因为gzip基于LZ77和Huffman编码，它使用基于频率（概率）构建树来决定输出代码，并且如果不同的输入字符或位模式具有相同的频率，则分配的代码可能在它们之间变化，并且多个输出位模式可能具有相同的长度，因此可能会选择不同的位模式。

如果您想要相同的输出结果，唯一的方法是（请参见下面的说明！）不使用压缩（即不进行任何压缩）。在Go中使用压缩级别gzip.NoCompression，而在Java中使用Deflater.NO_COPMRESSION。

Java：

GZIPOutputStream gzip = new GZIPOutputStream(localByteArrayOutputStream) {
    {
        def.setLevel(Deflater.NO_COMPRESSION);
    }
};

Go：

gz, err := gzip.NewWriterLevel(gzSizeBf, gzip.NoCompression)

不过，我不会担心输出结果的不同。Gzip是一种标准，即使输出结果不同，你仍然能够使用任何gzip解码器来解压数据，并且解码后的数据将完全相同。

以下是简化版和扩展版:

虽然这并不重要，但是您的代码过于复杂，可以像这样简化（这些版本还包括设置0压缩级别和转换负Java byte值）:

Java版本:

ByteArrayOutputStream buf = new ByteArrayOutputStream();
GZIPOutputStream gz = new GZIPOutputStream(buf) {
    { def.setLevel(Deflater.NO_COMPRESSION); }
};
gz.write("helloworld".getBytes("UTF-8"));
gz.close();
for (byte b : buf.toByteArray())
    System.out.print((b & 0xff) + " ");

Go版本：

var buf bytes.Buffer
gz, _ := gzip.NewWriterLevel(&buf, gzip.NoCompression)
gz.Write([]byte("helloworld"))
gz.Close()
fmt.Println(buf.Bytes())

注：

gzip格式允许在输出中包含一些额外的字段（头部）。

在Go中，这些由gzip.Header类型表示：

type Header struct {
    Comment string    // comment
    Extra   []byte    // "extra data"
    ModTime time.Time // modification time
    Name    string    // file name
    OS      byte      // operating system type
}

并且可以通过 Writer.Header 结构字段访问。Go 会设置和插入这些字段，而 Java 不会（在 header 字段中填充零值）。因此，即使在两种语言中都将压缩级别设置为0，输出也不会相同（但“压缩”数据在两个输出中匹配）。

不幸的是，标准 Java 没有提供一种方法/接口来设置/添加这些字段，而 Go 不允许在输出中空缺 Header 字段，因此您将无法生成精确的输出。

一种解决方案是使用第三方 GZip 库为 Java 提供支持设置这些字段的功能。Apache Commons Compress 就是这样一个例子，它包含一个 GzipCompressorOutputStream 类，该类具有允许传递 GzipParameters 实例的构造函数。这个 GzipParameters 相当于 gzip.Header 结构。只有使用它，您才能生成精确的输出。

但正如提到的，生成精确的输出在现实生活中没有价值。

- icza

Answer 2

从RFC 1952中可以得知，GZip文件头结构如下：

+---+---+---+---+---+---+---+---+---+---+
|ID1|ID2|CM |FLG|     MTIME     |XFL|OS | (more-->)
+---+---+---+---+---+---+---+---+---+---+

从您提供的输出来看，我们有：

                          |    Java |          Go
ID1                       |      31 |          31
ID2                       |     139 |         139
CM (compression method)   |       8 |           8
FLG (flags)               |       0 |           0
MTIME (modification time) | 0 0 0 0 | 0 9 110 136
XFL (extra flags)         |       0 |           0
OS (operating system)     |       0 |         255

我们可以看到Go正在设置头部的修改时间字段，并将操作系统设置为255（未知），而不是0（FAT文件系统）。在其他方面，它们表明该文件以相同的方式被压缩。

一般来说，这些差异是无害的。如果您想确定两个压缩文件是否相同，则应该比较文件的解压缩版本。

- James Henstridge