我一直在使用PaperMill来定期执行我的Python笔记本。为了执行计算密集型笔记本,我需要连接到在我的EMR集群上运行的远程内核。
在Jupyter笔记本的情况下,我可以通过使用jupyter notebook --gateway-url=http://my-gateway-server:8888
启动jupyter服务器,并能够在远程内核上执行我的代码。但是,我应该如何让我的本地Python代码(通过PaperMill)使用远程内核呢?我需要对Kernel Manager进行哪些更改以连接到远程内核?
我找到了一个相关的SO答案here。这建议对远程服务器进行端口转发,并使用服务器上的连接文件初始化KernelManager。我无法执行此操作,因为blockingkernelmanager
已不再存在于Ipython.zmp中,而且我也更喜欢像jupyter一样使用HTTP连接。