如何在C++中逐行读取.gz文件？

Question

我有一个3TB的 .gz 文件，想要在C++程序中逐行读取其未压缩的内容。由于文件非常大，我希望避免完全加载到内存中。

是否有人能够提供一个简单的示例呢？

- Shihab

---

你需要将其解压缩才能阅读。但是，你可以将其解压缩到内存中，而不是磁盘上。这是你想要的吗？ - ereOn

你不能这样做 - 没有可读的行。 - anon

3T是什么？@Neil说得对，.gz文件不会有“行”，它是二进制格式。 - TJB

@TJB - 很有可能意味着3 TB。 - bobah

@TJB：我想是3TB吧。所以你不能解压整个文件。 - Amnon

Answer 1

你很可能需要使用ZLib的deflate功能，该功能的示例可以在他们的网站上找到。

或者你也可以看看BOOST C++包装器。

BOOST页面提供了一个示例（从文件解压缩数据并将其写入标准输出）。

#include <fstream>
#include <iostream>
#include <boost/iostreams/filtering_streambuf.hpp>
#include <boost/iostreams/copy.hpp>
#include <boost/iostreams/filter/zlib.hpp>

int main() 
{
    using namespace std;

    ifstream file("hello.z", ios_base::in | ios_base::binary);
    filtering_streambuf<input> in;
    in.push(zlib_decompressor());
    in.push(file);
    boost::iostreams::copy(in, cout);
}

- bobah

---

这里有一个更好的例子，展示了如何使用boost逐行读取文件：https://techoverflow.net/2013/11/03/c-iterating-lines-in-a-gz-file-using-boostiostreams/ - Lluís Padró

Answer 2

如果需要经常使用，你可能想要使用之前的建议。或者，你可以这样做：

gzcat file.gz | yourprogram

并且让yourprogram从cin读取。这将在需要时将文件的一部分解压缩到内存中，并将未压缩的输出发送给yourprogram。

- KeithB

Answer 3

我正在使用zlib进行类似以下操作：

// return a line in a std::vector< char >
std::vector< char > readline( gzFile f ) {
    std::vector< char > v( 256 );
    unsigned pos = 0;
    for ( ;; ) {
        if ( gzgets( f, &v[ pos ], v.size() - pos ) == 0 ) {
            // end-of-file or error
            int err;
            const char *msg = gzerror( f, &err );
            if ( err != Z_OK ) {
                // handle error
            }
            break;
        }
        unsigned read = strlen( &v[ pos ] );
        if ( v[ pos + read - 1 ] == '\n' ) {
            if ( pos + read >= 2 && v[ pos + read - 2 ] == '\r' ) {
                pos = pos + read - 2;
            } else {
                pos = pos + read - 1;
            }
            break;
        }
        if ( read == 0 || pos + read < v.size() - 1 ) {
            pos = read + pos;
            break;
        }
        pos = v.size() - 1;
        v.resize( v.size() * 2 );
    }
    v.resize( pos );
    return v;
}

编辑：以上示例中删除了两个错误复制的*。 编辑：修正了v[pos + read - 2]的越界读取。

- mkluwe

---

嗯，这个至少被downvote了两次。在我看来，这是一个使用“基本”zlib的工作示例，请在投票时考虑评论，以便进行改进。 - mkluwe

当行只有一个字符'\n'（在Linux中为空行）时，v[pos+read-2]行存在一个重大的bug（超出数组读取范围，-1被转换为一个大的无符号内存地址）。我已经添加了一个预检查。 - pawel_j

Answer 4

zlib库支持以块的形式在内存中解压文件，因此您不必解压整个文件才能处理它。

- Amnon

Answer 5

以下是一些代码，可以逐行读取普通文件和压缩文件：

char line[0x10000];
FILE *infile=open_file(file);
bool gzipped=endsWith(file, ".gz");
if(gzipped) 
    init_gzip_stream(infile,&line[0]);
while (readLine(infile,line,gzipped)) {
    if(line[0]==0)continue;// skip gzip new_block
    printf(line);
}


#include <zlib.h>
#define CHUNK 0x100
#define OUT_CHUNK CHUNK*100
unsigned char gzip_in[CHUNK];
unsigned char gzip_out[OUT_CHUNK];
///* These are parameters to inflateInit2. See http://zlib.net/manual.html for the exact meanings. */
#define windowBits 15
#define ENABLE_ZLIB_GZIP 32
z_stream strm = {0};
z_stream init_gzip_stream(FILE* file,char* out){// unsigned     
        strm.zalloc = Z_NULL;
        strm.zfree = Z_NULL;
        strm.opaque = Z_NULL;
        strm.next_in = gzip_in;
        strm.avail_in = 0;
        strm.next_out = gzip_out;
        inflateInit2 (& strm, windowBits | ENABLE_ZLIB_GZIP);
    return strm;
}

bool inflate_gzip(FILE* file, z_stream strm,size_t bytes_read){
            strm.avail_in = (int)bytes_read;
            do {
                strm.avail_out = OUT_CHUNK;
                inflate (& strm, Z_NO_FLUSH);
//              printf ("%s",gzip_out);
            }while (strm.avail_out == 0);
            if (feof (file)) {
                inflateEnd (& strm);
                return false;
            }
    return true;// all OK
}


char* first_line=(char*)&gzip_out[0];
char* current_line=first_line;
char* next_line=first_line;
char hangover[1000];
bool readLine(FILE* infile,char* line,bool gzipped){
    if(!gzipped)
        return fgets(line, sizeof(line), infile) != NULL;
    else{
        bool ok=true;
        current_line=next_line;
        if(!current_line || strlen(current_line)==0 || next_line-current_line>OUT_CHUNK){
            current_line=first_line;
            size_t bytes_read = fread (gzip_in, sizeof (char), CHUNK, infile);
            ok=inflate_gzip(infile,strm,bytes_read);
            strcpy(line,hangover);
        }
        if(ok){
            next_line=strstr(current_line,"\n");
            if(next_line){
                next_line[0]=0;
                next_line++;
                strcpy(line+strlen(hangover),current_line);
                hangover[0]=0;
            }else{
                strcpy(hangover,current_line);
                line[0]=0;// skip that one!!
            }
        }
        return ok;
    }
}

- Anona112

---

你能否上传一个完整的工作示例到onlinegdb.com，使其支持.gzip格式？ - BigChief

你能上传一个完整的工作示例吗（读取.gz文件并逐行输出文本）？谢谢。 - Huy Le

Answer 6

你不能这样做，因为 *.gz 文件没有“行”。

如果压缩的数据有换行符，你就必须先解压它。不过你不必一次性解压所有数据，可以分块解压，并在遇到换行符时将字符串返回给主程序。*.gz 可以使用 zlib 进行解压。

- SigTerm

Answer 7

Chilkat（http://www.chilkatsoft.com/）有库可以从C ++，.Net，VB等应用程序中读取压缩文件。

- Patrick