我正在尝试远程使用jupyter-notebook (v4.2.2)
在一个spark cluster (v2.0)
上,但是当我运行下面的命令时,它并没有在spark上运行,而是在本地运行:
PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS="notebook --no-browser --port=7777" pyspark --master spark://**spark_master_hostname**:7077
当我仅使用相同的
--master参数
运行pyspark
时,该进程可以在Spark集群的"正在运行的应用程序"
中正常显示。pyspark --master spark://**spark_master_hostname**:7077
看起来pyspark似乎没有在前面运行。是不是第一个命令有问题,阻止jupyter在spark集群上运行,或者有更好的在spark集群上运行笔记本的方法?