我提出了一个与这个关于Pyspark和Spark的SO问题非常相似的问题。 这个答案解释了Pyspark安装中确实包含Spark。 但是,如果我通过Anaconda来完成这个操作会发生什么?还有,有其他方法可以在PyCharm中运行它吗?因为我的Jupyter笔记本可以正常运行。
我对Spark和Pyspark从安装开始就感到非常困惑。
我知道PySpark是使用Python编写可扩展Spark脚本的封装器。 我所做的一切都是通过anaconda进行安装的。
conda install pyspark
。我可以在脚本中导入它。
但是,当我尝试通过PyCharm运行脚本时,会出现这些警告,并且代码会停留在原地,虽然没有被停止。
Missing Python executable 'C:\Users\user\AppData\Roaming\Microsoft\Windows\Start Menu\Programs\Python 3.9',默认为'SPARK_HOME'环境变量中的'C:\ Users \ user \ AppData \ Local \ Programs \ Python \ Python39 \ Lib \ site-packages \ pyspark \bin \..'。请安装Python或在PYSPARK_DRIVER_PYTHON或PYSPARK_PYTHON环境变量中指定正确的Python可执行文件以安全地检测SPARK_HOME。
它明确告诉我们需要设置这些环境变量
有很多关于安装Spark的资源,我看了很多,按照这个进行操作:
我只是不理解所有这些之间的联系。 这可能是一个非常琐碎的问题,但我感到无助。
谢谢。