如何从命令行检查Spark配置？

Question

基本上，我想通过命令行检查Spark的配置属性，例如“spark.local.dir”，而不需要编写程序。有没有一种方法可以做到这一点？

- pythonic

---

你的意思是解析 spark-defaults.conf 吗？ - mattinbits

Answer 1

无法通过命令行查看Spark配置属性选项。

相反，您可以在spark-default.conf文件中检查它。另一个选择是从WebUI中查看。

应用程序Web界面位于http://driverIP:4040，在“环境”选项卡中列出Spark属性。仅显示通过spark-defaults.conf、SparkConf或命令行明确指定的值。对于所有其他配置属性，您可以假设使用默认值。

有关更多详细信息，请参阅Spark配置

- Nishu Tayal

Answer 2

以下命令可将您的配置属性打印在控制台上：

 sc.getConf.toDebugString

- vaquar khan

---

有点类似，但这是Scala命令，不是shell命令。 - Brad Solomon

Answer 3

我们可以使用以下命令在Spark shell中进行检查：

scala> spark.conf.get("spark.sql.shuffle.partitions")
res33: String = 200

- Narender Bhadrecha

Answer 4

基于http://spark.apache.org/docs/latest/configuration.html，Spark 提供了三个位置来配置系统:

• 通过 SparkConf 对象或 Java 系统属性设置，Spark 属性控制大多数应用程序参数。

• 环境变量可以用于设置每台机器的设置，例如 IP 地址，通过 conf/spark-env.sh 脚本在每个节点上设置。

• 日志可以通过 log4j.properties 进行配置。

我没有听说过通过命令行的方法。

- Przemek

Answer 5

通过命令行检查Spark配置的主命令

sc._conf.getAll()

- Ankit