在PySpark中禁用INFO日志记录

Question

在PySpark中禁用INFO日志记录

3

我已经编辑了log4j.properties文件，将log4j.rootCategory=INFO, console设置为了信息级别和控制台输出，这样在spark-shell中，记录日志的功能已经停止了。但是在pyspark中，记录日志仍然存在。

以下代码可以帮我解决问题，但是每次打开pyspark控制台都需要重新设置。

logger = sc._jvm.org.apache.log4j
logger.LogManager.getLogger("org").setLevel( logger.Level.OFF )
logger.LogManager.getLogger("akka").setLevel( logger.Level.OFF )

我正在寻找一种永久性的解决方法，想要了解当spark-shell没有选择时，pyspark是如何选择默认属性的。我已经查看了此线程，但没有找到解决方案。

- Vinay

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- eiram_mahera · Answer 1

这对我有用：

sc.setLogLevel("OFF")

这意味着您需要使用 Spark Context 对象设置日志级别为 OFF。