如何在本地模式下使用Spark进行日志记录？

Question

在本地模式下，是否可能在特定路径上记录 Apache Spark 中提供的输入参数的操作日志？

val conf = new SparkConf().
  setAppName("SparkProgrammingGuide").
  setMaster(master).
  set("spark.eventLog.enabled", "true").
  set("spark.eventLog.dir", "file:///home/USER")
val sc = new SparkContext(conf)

- user706838

---

我知道您可以通过SparkContext使用以下属性名称启用事件记录和路径配置：spark.eventLog.enabled和spark.eventLog.dir。可以在此处找到有关此的文档：http://spark.apache.org/docs/latest/configuration.html。但是，我不确定这是否适用于本地模式。 - Rohan Aletty

好的。假设我像上面那样创建了我的Spark上下文，那么之后我该如何写入日志文件呢？ - user706838

@user706838，你提出这个问题已经有一段时间了，我想知道你所说的“在特定路径上进行日志记录”是什么意思？你是想记录应用程序特定事件还是Spark的事件？ - Jacek Laskowski

我已经在本地模式下运行了Spark，并使用spark.eventLog.dir参数创建了日志文件。可以使用Spark历史服务器查看和分析这些日志。 - Yudovin Artsiom

Answer 1

这个问题已经在评论中得到了回答并且得到了独立验证。

@Rohan的原始回答：

你可以通过SparkContext启用事件日志记录和路径配置，使用以下属性名称：spark.eventLog.enabled和spark.eventLog.dir。有关此内容的文档可以在这里找到。

@Yudovin的确认：

我已经使用spark.eventLog.dir参数在本地模式下运行了Spark，并创建了包含日志的文件。可以使用Spark History Server查看和分析这些日志。

- Dennis Jaheruddin