我有一些大的base64编码数据(存储在Hadoop文件系统中的snappy文件中)。
这些数据最初是经过gzip压缩的文本数据。
我需要能够读取这些编码数据的块,解码它,然后将其刷新到GZIPOutputStream中。
你有什么想法可以替代将整个base64数据加载到数组中并调用Base64.decodeBase64(byte[])吗?
如果我读取字符直到'\r\n'分隔符,并逐行解码,我的想法是否正确? 例如:
你有什么想法可以替代将整个base64数据加载到数组中并调用Base64.decodeBase64(byte[])吗?
如果我读取字符直到'\r\n'分隔符,并逐行解码,我的想法是否正确? 例如:
for (int i = 0; i < byteData.length; i++) {
if (byteData[i] == CARRIAGE_RETURN || byteData[i] == NEWLINE) {
if (i < byteData.length - 1 && byteData[i + 1] == NEWLINE)
i += 2;
else
i += 1;
byteBuffer.put(Base64.decodeBase64(record));
byteCounter = 0;
record = new byte[8192];
} else {
record[byteCounter++] = byteData[i];
}
}
可惜的是,这种方法不提供任何人类可读的输出。理想情况下,我希望能够流式读取、解码并流式输出数据。
目前,我正在尝试将输入流放入,并将其复制到gzipout中。
byteBuffer.get(bufferBytes);
InputStream inputStream = new ByteArrayInputStream(bufferBytes);
inputStream = new GZIPInputStream(inputStream);
IOUtils.copy(inputStream , gzipOutputStream);
这给了我一个java.io.IOException异常:GZIP压缩文件尾部损坏
byteBuffer.put(Base64.encodeBase64(record));
吗? - Leon Hooijer