PySpark和Spark有什么区别?

3
我提出了一个与这个关于Pyspark和Spark的SO问题非常相似的问题。 这个答案解释了Pyspark安装中确实包含Spark。 但是,如果我通过Anaconda来完成这个操作会发生什么?还有,有其他方法可以在PyCharm中运行它吗?因为我的Jupyter笔记本可以正常运行。

我对Spark和Pyspark从安装开始就感到非常困惑。

我知道PySpark是使用Python编写可扩展Spark脚本的封装器。 我所做的一切都是通过anaconda进行安装的。

conda install pyspark。我可以在脚本中导入它。

但是,当我尝试通过PyCharm运行脚本时,会出现这些警告,并且代码会停留在原地,虽然没有被停止。

Missing Python executable 'C:\Users\user\AppData\Roaming\Microsoft\Windows\Start Menu\Programs\Python 3.9',默认为'SPARK_HOME'环境变量中的'C:\ Users \ user \ AppData \ Local \ Programs \ Python \ Python39 \ Lib \ site-packages \ pyspark \bin \..'。请安装Python或在PYSPARK_DRIVER_PYTHON或PYSPARK_PYTHON环境变量中指定正确的Python可执行文件以安全地检测SPARK_HOME。

它明确告诉我们需要设置这些环境变量

有很多关于安装Spark的资源,我看了很多,按照这个进行操作:

我只是不理解所有这些之间的联系。 这可能是一个非常琐碎的问题,但我感到无助。

谢谢。

1个回答

3

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接