如何在Pyspark中将行拆分成多行

Question

我知道在Python中可以使用反斜杠或者括号将一行代码分成多行。

但是在pyspark中，当我这样做时，下一行会变成红色，这表明可能出了些问题。

(conf.setAppName('Learnfit_Recommender')
 .set("spark.executor.memory", "10g")
 .set("spark.executor.cores",5)
 .set("spark.executor.instances",50)
 .set("spark.yarn.executor.memoryOverhead",1024)
)

编辑1：我将括号改为反斜杠。如果您看到图像，您会发现有几个'.'是红色的，甚至sc变量也被标记为红色。

这是在pyspark中换行的正确方式吗？

- Baktaawar

---

你尝试执行这个文件了吗？ - avr

文件可以正常运行。但我担心的是它显示以下行：sc=sparkContext(conf)，其中sc为红色。我正在使用jupyter笔记本来运行它。 - Baktaawar

@avr请检查编辑 - Baktaawar

Answer 1

您可以使用斜杠和括号

spark = SparkSession \
    .builder \
    .appName("Python Spark SQL basic example") \
    .config("spark.some.config.option", "some-value") \
    .getOrCreate()

编辑：以及一个来自Spark Submit作业的示例

./bin/spark-submit \
--master <yarn> \
--deploy-mode <cluster> \
--num-executors <2> \
--executor-cores <2> \

- gold_cy

---

看起来你有一个 | 字符，除非那是你的光标。我也在 Jupyter Notebook 中使用 PySpark，但你为什么要构建它呢？你可以简单地将 Spark 路径附加到你的 bash 配置文件中。此外，在你的第一行已经指定了 conf = conf，所以写这个似乎是多余的。 - gold_cy

不，那是光标。我不想添加Bash配置文件，因为我正在测试设置。一旦找到正确的设置，我就可以将其添加到Bash配置文件中。 - Baktaawar

Answer 2

在PySpark中，不需要在反斜杠前添加空格。

conf = SparkConf()

conf.setAppName('appName')\
.set("spark.executor.memory","10g")\
.set("spark.executor.cores",5) 

sc = sparkContext(conf=conf)

- Yang Bryan

Answer 3

在pyspark中，您可以像在Python中一样使用反斜杠或括号来换行。

您可以在Spark官方网站的Python示例中找到它们的使用这里。

- avr