运行Spark作业的常见方法似乎是使用spark-submit,如下所示(source):
spark-submit --py-files pyfile.py,zipfile.zip main.py --arg1 val1
作为一个较新的spark用户,我想知道为什么第一种方法比从Python运行(example)更受欢迎:
python pyfile-that-uses-pyspark.py
使用前一种方法谷歌该主题可以得到更多的示例,但其中并没有明确说明原因。实际上,这里还有另一个 Stack Overflow 问题,其中一个回答(如下所述)特别告诉 OP 不要使用 python 方法,但没有给出原因。
不要运行你的 py 文件:python filename.py,而应该使用:spark-submit filename.py
能否有人提供见解?