pyspark: 找不到有效的SPARK_HOME

Question

通过 pip install pyspark 进行pyspark的全新安装后，我遇到了以下错误：

> pyspark
Could not find valid SPARK_HOME while searching ['/Users', '/usr/local/bin']
/usr/local/bin/pyspark: line 24: /bin/load-spark-env.sh: No such file or directory
/usr/local/bin/pyspark: line 77: /bin/spark-submit: No such file or directory
/usr/local/bin/pyspark: line 77: exec: /bin/spark-submit: cannot execute: No such file or directory
> spark-shell
Could not find valid SPARK_HOME while searching ['/Users', '/usr/local/bin']
/usr/local/bin/spark-shell: line 57: /bin/spark-submit: No such file or directory

什么是有效的SPARK_HOME，如何设置它，为什么没有默认值可用？

我曾看到关于在手动安装Spark后手动设置环境变量的说明，但我想知道如何在使用pip安装pyspark后进行设置。

我只安装了Spark（通过brew install apache-spark），而通过这种安装得到的spark-shell可以直接使用。在安装pyspark之后，我收到了上面的消息。很困惑。

- clstaudt

---

可能是重复的问题：无法在Mac OS中打开pyspark。 - Alper t. Turker

@user8371915 为什么会被认为是重复的，因为错误信息完全不同？ - clstaudt

PyPi版本并不是为了完整的Spark安装而设计的，它只是一个开发助手。 - Alper t. Turker

@user8371915 谢谢，这是重要的信息。尽管如此，人们不应该期望它会破坏现有的Spark安装。 - clstaudt

Answer 1

> brew install apache-spark

实际上已经提供了一个可用的pyspark shell。无需额外操作。

> pip install pyspark

实际上，这对我来说破坏了安装。

- clstaudt

Answer 2

如果您已经通过brew安装了apache-pyspark，可以运行以下命令。

brew link --overwrite apache-spark

- kepy97