手动解压Spark历史日志

Question

我在使用Spark历史服务器时遇到了一些问题，因此尝试手动解压缩lz4日志。我安装了liblz4-tool并下载了应用程序日志application_1510049252849_0303.lz4。但是，当我使用lz4 ~/application_1510049252849_0303.lz4进行解压缩时，出现了以下错误：

Error 44 : Unrecognized header : file cannot be decoded 

对于每个火花历史记录，我都有一个 lz4 文件。解决方案是什么？是否有一种手动打开它的方法？

- St.Antario

Answer 1

昨天我尝试解压lz4事件日志时遇到了相同的错误。显然，Hadoop lz4编解码器与其他lz4编解码器之间存在一些不兼容性：请参见https://issues.apache.org/jira/browse/HADOOP-12990。

值得一提的是，Spark历史服务器可以读取lz4压缩的事件日志，因此您不需要手动解压缩它们。希望这可以帮助您。

- Florent Moiny

---

实际上，是的，我最终使用Spark API编写了一个简单的应用程序来解压它。 - St.Antario

Answer 2

在将事件日志放入Spark历史服务器时，无需解压缩lz4。只需将您的事件日志放入事件日志目录中即可。它将自动选择该应用程序并在Spark历史服务器UI中显示。

- Ranga Reddy