来自Python文档：
默认情况下，pickle数据格式使用相对紧凑的二进制表示。如果您需要最佳尺寸特性，则可以有效地压缩pickled数据。
在运行几个小时的过程的最后，我将序列化数千兆字节的数据，并希望结果在磁盘上尽可能小。但是，Python提供了几种不同的压缩数据的方式。
这些方法中有一种特别适用于pickled文件吗？我要pickling的数据主要由嵌套的字典和字符串组成，因此如果有一种更高效的方法可以压缩JSON等数据，那么也可以使用。
压缩和解压缩所需的时间并不重要，但是生成数据所需的时间使得试错变得不方便。
我使用了一个Pickled对象进行了一些测试，lzma 压缩效果最好。
但是你的结果可能会因你的数据而异，我建议使用自己的一些样例数据进行测试。
Mode LastWriteTime Length Name
---- ------------- ------ ----
-a---- 9/17/2019 10:05 PM 23869925 no_compression.pickle
-a---- 9/17/2019 10:06 PM 6050027 gzip_test.gz
-a---- 9/17/2019 10:06 PM 3083128 bz2_test.pbz2
-a---- 9/17/2019 10:07 PM 1295013 brotli_test.bt
-a---- 9/17/2019 10:06 PM 1077136 lzma_test.xz
使用的测试文件（您需要pip安装brotli或删除该算法）：
import bz2
import gzip
import lzma
import pickle
import brotli
class SomeObject():
a = 'some data'
b = 123
c = 'more data'
def __init__(self, i):
self.i = i
data = [SomeObject(i) for i in range(1, 1000000)]
with open('no_compression.pickle', 'wb') as f:
pickle.dump(data, f)
with gzip.open("gzip_test.gz", "wb") as f:
pickle.dump(data, f)
with bz2.BZ2File('bz2_test.pbz2', 'wb') as f:
pickle.dump(data, f)
with lzma.open("lzma_test.xz", "wb") as f:
pickle.dump(data, f)
with open('no_compression.pickle', 'rb') as f:
pdata = f.read()
with open('brotli_test.bt', 'wb') as b:
b.write(brotli.compress(pdata))
我想提供一种极高的压缩比方案，它为我提供了最高的压缩比，并且速度非常快，以至于我确信我一定犯了错误（事实并非如此）。真正的好处在于解压缩也非常快，所以任何读取大量预处理数据的程序都会受益匪浅。一个可能需要注意的问题是这里提到了“小数组（<2GB）”，但看起来有几种方法可以解决。或者，如果您像我一样懒得动手，那么通常可以选择将您的数据分开。
一些聪明的人想出了python-blosc。据他们的文档称，它是一款“高性能压缩器”。我从这个问题的答案中了解到了它。
一旦通过例如pip install blosc或conda install python-blosc安装完成，您可以轻松地压缩拾取的数据，如下所示：
import blosc
import numpy as np
import pickle
data = np.random.rand(3, 3, 1e7)
pickled_data = pickle.dumps(data) # returns data as a bytes object
compressed_pickle = blosc.compress(pickled_data)
with open("path/to/file/test.dat", "wb") as f:
f.write(compressed_pickle)
并且要阅读它：
with open("path/to/file/test.dat", "rb") as f:
compressed_pickle = f.read()
depressed_pickle = blosc.decompress(compressed_pickle)
data = pickle.loads(depressed_pickle) # turn bytes object back into data
我正在使用Python 3.7。即使没有查看所有不同的压缩选项，我也获得了大约12的压缩比率，并且读取+解压缩+加载经过压缩的pickle文件所需的时间比加载未经压缩的pickle文件多了一小部分秒。
我写这篇文章更多是作为自己的参考，但我希望其他人也能从中受益。
愿和平相伴。
mgzip是一个更快的解决方案。 虽然它的压缩比比mgzip高约25%，但lzma非常缓慢。
with mgzip.open(pathname, 'wb') as f:
pickle.dump(data, f)
加载：
with mgzip.open(pathname, 'rb') as f:
data = pickle.load(f)