我已将 spark.executor.memory 设置为 2048m,在 UI 的 "Environment" 页面中,我可以看到这个值已经正确设置。但是在 "Executors" 页面中,我看到只有一个执行器,其内存为 265.4MB。非常奇怪的值。为什么不是 256MB,或者就像我设置的那样呢?
我在这里错过了什么吗?
我已将 spark.executor.memory 设置为 2048m,在 UI 的 "Environment" 页面中,我可以看到这个值已经正确设置。但是在 "Executors" 页面中,我看到只有一个执行器,其内存为 265.4MB。非常奇怪的值。为什么不是 256MB,或者就像我设置的那样呢?
我在这里错过了什么吗?
<driver>
。这个进程不是由Spark启动的,因此不受spark.executor.memory
的影响。
spark-submit
启动驱动程序,则其最大内存可以通过spark.driver.memory
或--driver-memory
来控制。-Xmx
Java标志。java
命令启动它。Spark提供了spark-submit
工具,也可以用于启动您的应用程序。 - Daniel Darabosspark-submit
来启动Spark作业,你的肯定让我感到惊讶。感谢你的澄清。 - Mikel Urkia-Xmx
救了我的一天。 - David S.