请问Spark执行器内存有大小限制吗?
考虑到运行一个厉害的任务,如collect、unions、count等。
提供一些背景信息,假设我有这些资源(2台机器):
Cores: 40 cores, Total = 80 cores
Memory: 156G, Total = 312
推荐使用更大还是更小的执行器?
请问Spark执行器内存有大小限制吗?
考虑到运行一个厉害的任务,如collect、unions、count等。
提供一些背景信息,假设我有这些资源(2台机器):
Cores: 40 cores, Total = 80 cores
Memory: 156G, Total = 312