在WebExtensions（JavaScript，Firefox）中读取一个LZ4压缩的文本文件（mozlz4）

Question

我正在将Firefox Add-on SDK扩展移植到WebExtensions。以前，我可以访问浏览器的搜索引擎，但现在不行了，因此一位热心的用户建议我尝试阅读search.json.mozlz4文件，该文件包含每个已安装的引擎。然而，这个文件是使用LZ4压缩的json格式，并且它采用Mozilla自己的LZ4格式，具有自定义的幻数'mozLz40\0'。

以前，人们可以使用这个方法来读取使用LZ4压缩的文本文件，包括mozlz4文件：

let bytes = OS.File.read(path, { compression: "lz4" });
let content = new TextDecoder().decode(bytes);

虽然我找不到关于"compression"字段的文档，但它可以工作。

现在，使用WebExtensions，我能想到的最好方法来读取文件是：

var reader = new FileReader();
reader.readAsText(file);
reader.onload = function(ev) {
    let content = ev.target.result;
};

这不涉及任何压缩处理。这个库 处理LZ4，但它是为node.js打造的，所以我不能使用它。 [编辑：它也可以独立工作]。然而，即使我删除了自定义的魔数处理，我仍然无法将其解压缩，而相比之下，这段Python代码可以正常工作：

import lz4
file_obj = open("search.json.mozlz4", "rb")
if file_obj.read(8) != b"mozLz40\0":
    raise InvalidHeader("Invalid magic number")
print(lz4.block.decompress(file_obj.read()))

我怎么用JS实现这个？

- CanisLupus

---

谢天谢地，我错了，node-lz4实际上也可以独立工作，并且通过实现“require”来避免包装器。然而，它似乎无法处理特定的mozlz4格式，该格式具有自定义的lz4魔术数字（即使从数据中删除魔术数字和相应的检查）。我已经在问题中更新了所有这些内容。 - CanisLupus

Answer 1

经过多次尝试，我终于成功阅读和解码了WebExtension中的search.json.mozlz4文件。你可以使用node-lz4库，但你只需要一个函数——uncompress（别名为外部访问的decodeBlock），所以我将它重命名为decodeLz4Block并稍作修改后在此处包含：

// This method's code was taken from node-lz4 by Pierre Curto. MIT license.
// CHANGES: Added ; to all lines. Reformated one-liners. Removed n = eIdx. Fixed eIdx skipping end bytes if sIdx != 0.
function decodeLz4Block(input, output, sIdx, eIdx)
{
    sIdx = sIdx || 0;
    eIdx = eIdx || input.length;

    // Process each sequence in the incoming data
    for (var i = sIdx, j = 0; i < eIdx;)
    {
        var token = input[i++];

        // Literals
        var literals_length = (token >> 4);
        if (literals_length > 0) {
            // length of literals
            var l = literals_length + 240;
            while (l === 255) {
                l = input[i++];
                literals_length += l;
            }

            // Copy the literals
            var end = i + literals_length;
            while (i < end) {
                output[j++] = input[i++];
            }

            // End of buffer?
            if (i === eIdx) {
                return j;
            }
        }

        // Match copy
        // 2 bytes offset (little endian)
        var offset = input[i++] | (input[i++] << 8);

        // 0 is an invalid offset value
        if (offset === 0 || offset > j) {
            return -(i-2);
        }

        // length of match copy
        var match_length = (token & 0xf);
        var l = match_length + 240;
        while (l === 255) {
            l = input[i++];
            match_length += l;
        }

        // Copy the match
        var pos = j - offset; // position of the match copy in the current output
        var end = j + match_length + 4; // minmatch = 4
        while (j < end) {
            output[j++] = output[pos++];
        }
    }

    return j;
}

然后声明这个函数，它接收一个文件对象（不是路径）和成功/错误的回调函数：

function readMozlz4File(file, onRead, onError)
{
    let reader = new FileReader();

    reader.onload = function() {
        let input = new Uint8Array(reader.result);
        let output;
        let uncompressedSize = input.length*3;  // size estimate for uncompressed data!

        // Decode whole file.
        do {
            output = new Uint8Array(uncompressedSize);
            uncompressedSize = decodeLz4Block(input, output, 8+4);  // skip 8 byte magic number + 4 byte data size field
            // if there's more data than our output estimate, create a bigger output array and retry (at most one retry)
        } while (uncompressedSize > output.length);

        output = output.slice(0, uncompressedSize); // remove excess bytes

        let decodedText = new TextDecoder().decode(output);
        onRead(decodedText);
    };

    if (onError) {
        reader.onerror = onError;
    }

    reader.readAsArrayBuffer(file); // read as bytes
};

然后你可以在你的插件设置页面上添加一个HTML按钮，让用户搜索并选择search.json.mozlz4文件（在WebExtensions中，你不能简单地打开文件系统中的任何文件而不需要用户干预）：

<input name="selectMozlz4FileButton" type="file" accept=".json.mozlz4">

为了响应用户选择文件的操作，可以使用以下代码来调用我们之前声明的方法（这里我没有使用错误回调函数，但你可以自行添加）：

let button = document.getElementsByName("selectMozlz4FileButton")[0];
button.onchange = function onButtonPress(ev) {
    let file = ev.target.files[0];
    readMozlz4File(file, function(text){
        console.log(text);
    });
};

希望这可以帮助到某些人。我花了很多时间来解决这个简单的问题。:)

- CanisLupus