在本地模式下,是否可能在特定路径上记录 Apache Spark 中提供的输入参数的操作日志?
val conf = new SparkConf().
setAppName("SparkProgrammingGuide").
setMaster(master).
set("spark.eventLog.enabled", "true").
set("spark.eventLog.dir", "file:///home/USER")
val sc = new SparkContext(conf)
spark.eventLog.enabled
和spark.eventLog.dir
。可以在此处找到有关此的文档:http://spark.apache.org/docs/latest/configuration.html。但是,我不确定这是否适用于本地模式。 - Rohan Alettyspark.eventLog.dir
参数创建了日志文件。可以使用Spark历史服务器查看和分析这些日志。 - Yudovin Artsiom