Python/PySpark脚本运行时出现环境变量错误。

Question

有没有简单的方法来修复这个错误：

Missing Python executable 'python3', defaulting to 'C:\Users\user1\Anaconda3\Lib\site-packages\pyspark\bin\..' for SPARK_HOME environment variable. Please install Python or specify the correct Python executable in PYSPARK_DRIVER_PYTHON or PYSPARK_PYTHON environment variable to detect SPARK_HOME safely.

我需要修改系统变量PATH吗？还是需要导出/创建环境变量PYSPARK_DRIVER_PYTHON和PYSPARK_PYTHON？我使用的是Python 3.8.8。

- stackguy1723

Answer 1

您需要添加一个名为SPARK_HOME的环境变量：该变量包含已安装pyspark库的路径。

在我的情况下，pyspark是安装在我的主目录下的，因此这是该变量的内容:

SPARK_HOME=/home/zied/.local/lib/python3.8/site-packages/pyspark

还需要另一个变量名为PYSPARK_PYTHON，这个变量应该包含你所使用的 Python 版本信息，例如：

PYSPARK_PYTHON=python3.8

- sbabti zied

---

@sbati zied：如果是Python 3.8.8，您是否仍然需要设置PYSPARK_PYTHON=python3.8？ - stackguy1723

是的，您可以尝试使用Python3.8或Python3.8.8或仅使用Python。我认为如果您正在使用Windows，则只需要使用Python（PYSPARK_PYTHON = python）。 - sbabti zied

通常问题是Python可执行文件的完整路径包含空格。这会导致在Windows上pyspark运行失败。只需确保python.exe在PATH中，并简单地分配PYSPARK_PYTHON=python.exe（附加所需的版本号），然后应该可以正常工作。 - undefined

Answer 2

只需将以下代码中的路径放入您的jupyter笔记本中，并每次运行它：-

import os

os.environ["PYSPARK_PYTHON"] = r"C:\Users\LAPTOP0534\miniconda3\envs\pyspark_v3.3.0"

os.environ["PYSPARK_DRIVER_PYTHON"] = r"C:\Users\LAPTOP0534\miniconda3\envs\pyspark_v3.3.0"

os.environ["JAVA_HOME"] = r"C:\Program Files\Java\jre1.8.0_333"  

我已经查看了很多答案，但是没有一个对我有用。
但是在我的情况下它起作用了。 这解决了我的错误。

- Shubham Tomar