Spark执行器最大内存限制

Question

3

请问Spark执行器内存有大小限制吗？

考虑到运行一个厉害的任务，如collect、unions、count等。

提供一些背景信息，假设我有这些资源（2台机器）：

Cores: 40 cores, Total = 80 cores
Memory: 156G, Total = 312

推荐使用更大还是更小的执行器？

- Philip K. Adetiloye

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- marios · Accepted Answer

Spark开发团队建议不要有超过64GB的执行器（在Databricks的培训视频中经常提到）。这样做的想法是，更大的JVM将拥有更大的堆，可能会导致非常缓慢的垃圾收集循环。

我认为将执行器分成32GB、24GB或16GB大小是一个好习惯。因此，您可以拥有2-4个较小的执行器，而不是一个大的执行器。

这可能会增加一些协调开销，但我认为对于绝大多数应用程序来说这些开销都是可以接受的。

如果您还没有阅读这篇文章，请点击链接。