我正在尝试覆盖Spark的默认log4j.properties
文件,但遇到了困难。 我尝试将以下内容添加到spark-submit中:
--conf "spark.executor.extraJavaOptions=Dlog4j.configuration=/tmp/log4j.properties"
--conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=/tmp/log4j.properties"
但是那似乎没有起作用。我还尝试在spark-submit
中使用--files
选项,但也没有起作用。有人设置了记录日志以便每个驱动程序都有一个log4j.properties
文件并且不使用默认设置吗?
我正在使用Mesos和Marathon来运行Spark驱动程序。我不确定--files
选项,也找不到任何如何使用它以及它确切作用的示例。
我还想提一下,我手动将log4j.properties
文件上传到所有进行更改以进行测试的节点上。
截至目前为止,Spark的版本是1.1.0。
-Dlog4j.configuration=file:/tmp/log4j.properties
。另一个选项是将包含您的 log4j.properties 的目录添加到--driver-class-path
。 - vanzaSPARK_CONF_DIR
来覆盖conf目录,但我从未尝试过。 - vanza