PATH问题：在搜索时找不到有效的SPARK_HOME

Question

我更新了我的 PATH，使它看起来像这样：

PATH="$HOME/bin:$HOME/.local/bin:$PATH:/home/username/Installs/Spark/bin"

我认为它起作用了，因为我成功地从不同的文件夹调用了spark-shell（尽管我在想我是不是疯了，它实际上是从bin文件夹中调用的）。然而，在重新启动Ubuntu后，它似乎不再起作用了。为什么呢？

Could not find valid SPARK_HOME while searching ['/home/username', '/usr/local/bin']
/usr/local/bin/spark-shell: line 57: /bin/spark-submit: No such file or directory

- Reddspark

Answer 1

设置

PATH="$HOME/bin:$HOME/.local/bin:$PATH:/home/username/Installs/Spark/bin"

您可以设置PATH，这将使可执行脚本（例如spark-shell，spark-submit，pyspark等）无需指定完整路径即可运行。

除了设置PATH，您还需要设置

SPARK_HOME=/home/username/Installs/Spark

当您启动Spark集群或使用spark-submit时，会在内部使用它。

如果您正在.bashrc文件中设置变量，则还需要使用export关键字。

export SPARK_HOME=/home/username/Installs/Spark

如果您不想重新启动Ubuntu来测试是否有效，请输入以下命令：

. ~/.profile

在命令行中输入该命令，然后尝试执行您的Spark命令。

- Ramesh Maharjan

Answer 2

为了使其工作，您应该执行：

pip install pyspark --user

- Hedi Ajimi