在PHP中解压缩LZO流

Question

我有许多在Amazon S3上的LZO压缩日志文件，想要用PHP读取。AWS SDK提供了一个很好的 StreamWrapper，可以高效地读取这些文件，但由于文件被压缩了，我需要在处理之前对内容进行解压缩。

我安装了 PHP-LZO 扩展程序，它允许我执行 lzo_decompress($data)，但由于我处理的是流而不是完整的文件内容，所以我认为我需要一次消耗一个LZO压缩块的字符串。换句话说，我想做到这样：

$s3 = S3Client::factory( $myAwsCredentials );
$s3->registerStreamWrapper();

$stream = fopen("s3://my_bucket/my_logfile", 'r');

$compressed_data = '';
while (!feof($stream)) {
    $compressed_data .= fread($stream, 1024);

    // TODO: determine if we have a full LZO block yet
    if (contains_full_lzo_block($compressed_data)) {

        // TODO: extract the LZO block
        $lzo_block = get_lzo_block($compressed_data);

        $input = lzo_decompress( $lzo_block );
        // ...... and do stuff to the decompressed input
    }

}
fclose($stream);

这两个TODO是我不确定该怎么做的：

1. 检查数据流以确定是否已经有完整的LZO块
2. 提取该块进行解压缩

由于压缩是由Amazon（s3distCp）完成的，因此我无法控制块大小，所以我可能需要检查传入的流以确定块的大小 - 这是一个正确的假设吗？

（理想情况下，我会直接在流上使用自定义StreamFilter，但我还没有找到任何已经这样做过的人）

- Jens Roland

---

使用一些系统命令来解压缩lzo文件，而不是在PHP下实现从头开始的解压缩怎么样？我搜索了php lzo库，但没有找到。 - dendini

如果有人能够发布一个可行的示例，通过系统命令进行解压缩将完美地运行--我会很乐意接受它作为答案。 - Jens Roland

Answer 1

通过PHP执行命令可以有多种不同的方式，例如：

$command = 'gunzip -c /path/src /path/dest';
$escapedCommand = escapeshellcmd($command);
system($escapedCommand);

或者也可以。

shell_exec('gunzip -c /path/src /path/dest');

会做这项工作。 现在的问题是执行哪个命令，在Linux下有一个很好的命令行工具叫做lzop，可以提取或压缩lzop文件。

您可以通过以下方式使用它：

lzop -dN sources.lzo

您的最终代码可能是以下简单的形式：

所以您的最终代码可能是以下简单的形式：

shell_exec('lzop -dN s3://my_bucket/my_logfile');

- dendini

---

看起来很有前途。我明天会试一试！ - Jens Roland