如何在MySQL中压缩列？

Question

我有一张表格保存电子邮件通讯记录，每次有人回复，整个对话的正文也会被保存到数据库中（我需要这样做，因为纠正此问题所需的应用级更改将过高）。这个mail文本列的大小是10000。但是，我无法存储超过该长度的文本。由于我不确定有多少通信可能发生，因此我不知道该列的合适长度应该是什么。引擎是InnoDB。我能否在MySQL中使用某种列压缩技术来避免增加列的大小?如果我继续将varchar列增加到20000，那怎么办？该表大约有200万条记录。这样做是明智的吗？

- MontyPython

---

@D4V1D - 谢谢你的编辑。我会记住的 :) - MontyPython

Answer 1

你可能正在寻找MySQL COMPRESS()和UNCOMPRESS()函数，用于压缩数据以进行存储和检索。

此外，请参阅InnoDB Compression Usage。

- Rahul Tripathi

---

在后端使用 JPA 查询，必须寻找一种解决方案以相同的方式提取数据，因为数据是电子邮件或 Twitter 动态等。 - MontyPython

COMPRESS()不起作用，除非您更改为VARBINARY或BLOB。（我假设这是不允许的。）InnoDB压缩可能是唯一的选择；但这只会给你2倍的提升。 - Rick James

Answer 2

只要数据不需要编辑，您就可以使用存档引擎。

- user2877988

---

所有的表都在InnoDB上。我不会改变它。 - MontyPython

Answer 3

对我而言，使用文本数据压缩的最佳方式是使用Percona压缩列格式。

ALTER TABLE `tableName` MODIFY `mail` TEXT COLUMN_FORMAT COMPRESSED NOT NULL;

我已经在用作缓存的表上测试了压缩，主要存储HTML数据，大小从620MB减小到110.6MB。

我认为你应该考虑使用TEXT类型而不是长VARCHAR。数据字段与innodb聚簇索引分别存储，这可能会影响并改善数据库的性能。

- P.W-S

---

不知何故，这个不起作用。必须删除“COLUMN_FORMAT”才能使其工作。 - Feng Jiang

这是Percona特定的函数，无法在Oracle MySQL中工作。 - P.W-S

Answer 4

这个答案是特定于Percona的。

Percona在一段时间前引入了一种压缩列格式。您可以在CREATE或ALTER中使用它。

CREATE TABLE test_compressed (
    id INT NOT NULL PRIMARY KEY,
    value MEDIUMTEXT COLUMN_FORMAT COMPRESSED
 );

参考资料：https://www.percona.com/doc/percona-server/5.7/flexibility/compressed_columns.html

- Romuald Brunet

Answer 5

你有几个不同的选择：

• 等待RFE将列压缩添加到MySQL中（请参见https://bugs.mysql.com/bug.php?id=106541）-不太可能会完成
• 使用应用程序级别的压缩和解压缩-这样做需要更多的工作
• 依赖于MySQL的压缩和解压缩函数来为您完成此操作（请参见https://dev.mysql.com/doc/refman/8.0/en/encryption-functions.html#function_compress）-这些函数不可靠，因为它们取决于MySQL是如何编译的（zlib还是不是）-并且它们在很多时候效果不佳
• 不要担心文件大小，因为磁盘空间很便宜，只需将列类型更改为TEXT（请参见https://dev.mysql.com/doc/refman/8.0/en/blob.html）
• 如果磁盘空间是您关注的主要问题，则通常最好的选择是使用以下命令将表压缩：ALTER TABLE t1 ROW_FORMAT = COMPRESSED; -对于电子邮件，这可以提供非常好的压缩，并且如果需要，可以针对特定的工作负载进行调整以获得更好的压缩效果（请参见https://dev.mysql.com/doc/refman/8.0/en/innodb-compression-tuning.html）

- Yoseph