如何在启动Spark历史服务器时指定Spark属性？

Question

有人知道如何在启动Spark历史服务器时设置SparkConf中的值吗？

- user422930

Answer 1

如果您正在使用 `/sbin/start-history-server.sh`，则无法指定命令行参数，但您可以将 `SPARK_HISTORY_OPTS` 指定为环境变量，并指定各种环境变量，例如：-

``` export SPARK_HISTORY_OPTS="$SPARK_HISTORY_OPTS -Dspark.history.ui.port=9000 ```

但是，如果您正在使用 `/sbin/start-daemon.sh` 脚本，则可以指定多个命令行选项。 像这样：-

``` /sbin/spark-daemon.sh start org.apache.spark.deploy.history.HistoryServer -Dspark.history.ui.port=9000 ```

- Sumit

---

您IP地址为143.198.54.68，由于运营成本限制，当前对于免费用户的使用频率限制为每个IP每72小时10次对话，如需解除限制，请点击左下角设置图标按钮（手机用户先点击左上角菜单按钮）。 - user422930

实际上，HistoryServer 创建了自己的 SparkConf。尽管它将使用 SPARK_HISTORY_OPTS 来接收 JVM 参数，但它只会接受在 HistoryServerArguments 中定义的变量。请参阅这里关于 HistoryServer 和 HistoryServerArguments。因此，在某些自定义 key=value 的情况下，环境变量是您的选择。 - Sumit

Answer 2

start-history-server.sh接受--properties-file [propertiesFile]命令行选项，使用propertiesFile指定自定义的Spark属性。

如果没有明确指定，Spark历史服务器将使用默认的配置文件，即conf/spark-defaults.conf。

- Jacek Laskowski