Pyspark / pyspark内核在jupyter笔记本中无法工作

Question

这里安装的是内核：

 $jupyter-kernelspec list


Available kernels:
  apache_toree_scala    /usr/local/share/jupyter/kernels/apache_toree_scala
  apache_toree_sql      /usr/local/share/jupyter/kernels/apache_toree_sql
  pyspark3kernel        /usr/local/share/jupyter/kernels/pyspark3kernel
  pysparkkernel         /usr/local/share/jupyter/kernels/pysparkkernel
  python3               /usr/local/share/jupyter/kernels/python3
  sparkkernel           /usr/local/share/jupyter/kernels/sparkkernel
  sparkrkernel          /usr/local/share/jupyter/kernels/sparkrkernel

创建了一个新的笔记本，但出现以下错误：

The code failed because of a fatal error:
    Error sending http request and maximum retry encountered..

jupyter 控制台没有 [错误] 信息。

- WestCoastProjects

Answer 1

如果您使用magicspark连接Jupiter笔记本电脑，则还应启动Livy，它是magicspark用于与您的Spark集群通信的API服务。

1.从Apache Livy下载Livy并解压缩。 2.检查是否设置了SPARK_HOME环境变量，如果没有，请设置为Spark安装目录。 3.在shell /命令行中通过 /bin/livy-server运行Livy服务器。

现在返回到笔记本电脑，您应该能够在单元格中运行Spark代码。

- base64k

---

谢谢你的提示！我现在没有使用Jupyter笔记本，但是当我使用时（可能在八月），我会回来的。现在我会点赞，并考虑在那时根据验证结果授予奖励。 - WestCoastProjects