有没有办法在Jupyter Notebook中降低CPU优先级?例如,在计算服务器上运行长时间参数搜索时,可以将该笔记本内的优先级设定为低于其他人实时工作的笔记本。
有没有办法在Jupyter Notebook中降低CPU优先级?例如,在计算服务器上运行长时间参数搜索时,可以将该笔记本内的优先级设定为低于其他人实时工作的笔记本。
python
进程的优先级就足够了?因为可能启动的进程会继承这个优先级。
如果可以,下面的代码可能会有帮助:import psutil
psutil.Process().nice(19)# if on *ux
psutil.Process().nice(psutil.IDLE_PRIORITY_CLASS)# if on win
我猜您可以调整整个服务器的优先级(不知道如何调整特定笔记本电脑的优先级)。如果其他笔记本电脑在不同的笔记本电脑服务器进程上运行,您可以从子shell中执行此操作:
---------------------------------------------------------------
!for pid in `pgrep -f jupyter`; do { renice -20 $pid; }; done
---------------------------------------------------------------
9721 (process ID) old priority 19, new priority -20
12449 (process ID) old priority 19, new priority -20
25502 (process ID) old priority 19, new priority -20
或者,如果您想使用Python完成此操作,请先获取正在运行的服务器列表:
>>> from notebook import notebookapp
>>> servers = list(notebookapp.list_running_servers())
>>> servers
[{'url': 'http://localhost:8888/',
'base_url': '/',
'token': '5ea29b3...7e1fba5331ae',
'secure': False,
'pid': 9721,
'hostname': 'localhost',
'password': False,
'port': 8888,
'notebook_dir': '/home/paulos/work'
}]
如果需要,筛选出您想要的列表。
pids = [_['pid'] for _ in servers if meets_condition(_)]
>>> from ctypes import cdll
>>> libc = cdll.LoadLibrary("libc.so.6")
>>> pids = [_['pid'] for _ in servers]
>>> for pid in pids:
print("old priority for PID", pid, "is", libc.getpriority(0, pid))
libc.setpriority(0, pid, 20)
print("new priority for PID", pid, "is", libc.getpriority(0, pid))
old priority for PID 9721 is 0
new priority for PID 9721 is 19
sh
模块的子shell,类似于sh.sudo("renice", niceness, pid)
。 - Paulo Scardine