我有多个Spark提交作业,需要将其作为AWS EMR集群上的一个步骤提交。所有步骤的数据输入都相同,目前位于S3存储桶中,输出也在S3中,并且所有步骤需要并行执行。
目前AWS EMR不支持并行执行Spark-submit,但有一种方法可以通过更改EMR的YARN调度程序为FAIR调度程序来实现,但这种方法的问题是我们需要手动定义执行程序的内核/内存,这是额外的负担。
寻找在AWS EMR中处理此场景的最佳方式,有什么建议吗?谢谢,-Jack
目前AWS EMR不支持并行执行Spark-submit,但有一种方法可以通过更改EMR的YARN调度程序为FAIR调度程序来实现,但这种方法的问题是我们需要手动定义执行程序的内核/内存,这是额外的负担。
寻找在AWS EMR中处理此场景的最佳方式,有什么建议吗?谢谢,-Jack
--conf spark.yarn.submit.waitAppCompletion=false
和--deploy-mode cluster
。否则,AWS将排队您的步骤,它们甚至无法到达YARN。 - Azuaron