我使用Jupyter lab和Jupyter Notebook来进行深度学习程序的开发,所以我通常会花费很长时间来训练我的模型。但是最近几周,我在训练数小时后不断遭遇内核重新启动的问题,这非常令人困扰。此外,服务器控制台或浏览器日志只提供了极少的信息:
Jupyter-lab服务器日志:
[I 2021-02-26 00:40:03.756 ServerApp] AsyncIOLoopKernelRestarter: restarting kernel (1/5), keep random ports
kernel 1330ee40-a826-44e2-9be9-f123deeaa1b2 restarted
[I 2021-02-26 00:40:04.070 ServerApp] Starting buffering for 1330ee40-a826-44e2-9be9-f123deeaa1b2:1b7fa111-f2d2-4804-bd90-c81e26562254
[I 2021-02-26 00:40:04.112 ServerApp] Restoring connection for 1330ee40-a826-44e2-9be9-f123deeaa1b2:1b7fa111-f2d2-4804-bd90-c81e26562254
当我使用Jupyter-lab时,我遇到了与使用Jupyter-notebook相同的问题。
一些注释:
- 服务器和客户端不在同一台机器上,因此我使用ssh连接到服务器,如此处所述。
- 我在公司代理下工作。
- 我使用Tensorflow 2进行深度学习。