IPython在pyspark中未被识别为内部或外部命令

Question

我已经安装了Spark发行版：spark-2.2.0-bin-hadoop2.7。

我正在使用 Windows 10 操作系统。

我的Java版本是 1.8.0_144。

我已经设置了环境变量：

SPARK_HOME D:\spark-2.2.0-bin-hadoop2.7

HADOOP_HOME D:\Hadoop ( where I put bin\winutils.exe )

PYSPARK_DRIVER_PYTHON ipython

PYSPARK_DRIVER_PYTHON_OPTS notebook

路径为D:\spark-2.2.0-bin-hadoop2.7\bin

当我从命令行启动pyspark时，会出现以下错误:

ipython is not recognized as an internal or external command

我也尝试在jupyter中设置PYSPARK_DRIVER_PYTHON，但是它显示相同的错误（不被识别为内部或外部命令）。请问有什么帮助吗？

- Eliane PDC

---

你确定你的电脑上已经安装了 jupyter 和 ipython 吗？ - desertnaut

Answer 1

在您的电脑中搜索 IPython 应用程序，我的情况是在 "c:\Anaconda3\Scripts" 中。然后将该路径添加到 PATH 环境变量中即可。

- AlexDR

---

C:\Users\user1\Anaconda3\Scripts - codemirror

Answer 2

在安装了Anaconda的Windows 10上，请使用Anaconda提示符而不是Windows命令提示符，并使用以下命令启动Jupyter Notebook。"最初的回答"

  pyspark --master local[2]

请确保按照问题中提到的所有配置都已完成。原始答案翻译成"最初的回答"。

- Tokci

Answer 3

在Windows 10上，我通过在Anaconda - Windows Powershell中手动添加路径来解决问题：$env:Path += ";path\to\spark\bin"。像"setx"或其他命令对我没有用。编辑：每次我启动Anaconda提示时，我需要再次运行上面的命令。一旦我成功地使这个解决方案“确定下来”，我会编辑我的答案。最后，我还需要添加scala路径，以便与Jupyter Notebook一起使用，如下所示：$env:Path += ";C:\Program Files (x86)\scala\bin"。

- Andrea Nicolai