169得票2回答
SLURM `srun` vs `sbatch` and their parameters

我正在尝试理解SLURM的srun和sbatch命令之间的区别。我希望得到一般性的解释,而不是针对以下问题的具体答案,但以下这些困惑的具体点可以作为起点并给出我所寻找的想法。 根据文档,srun用于提交作业,sbatch用于提交稍后执行的作业,但实际区别不清楚,它们的行为似乎相同。例如,我有...

37得票3回答
如何在SLURM中从节点列表中向任意[子集]的节点提交作业?

我有几千个任务要在一个拥有16个节点的SLURM集群上运行。这些任务应该只在大小为7的可用节点子集上运行。其中一些任务是并行的,因此使用单个节点的所有CPU功率,而其他任务是单线程的。因此,多个任务应该同时在单个节点上运行。任何任务都不应跨越多个节点。 目前,我按如下方式提交每个任务:sba...

17得票2回答
如何在提交到Slurm时激活特定的Python环境?

我想在集群上运行一个脚本 (SBATCH文件)。 如何激活我的虚拟环境 (path/to/env_name/bin/activate)。 我是否只需要将以下代码添加到my_script.sh文件中? module load python/2.7.14 source "/pathto...

15得票3回答
使用SLURM sbatch作业数组并行运行具有不同输入参数的同一脚本

我有一个问题,需要使用不同的输入参数来启动相同的脚本。 假设我有一个脚本 myscript.py -p <par_Val> -i <num_trial>,我需要考虑N个不同的par_values(在x0和x1之间),每个par_value需要进行M次试验。 M次试验...

15得票3回答
使用SRUN代替SBATCH,能否在后台运行SLURM作业?

我试图使用srun在后台运行slurm作业。不幸的是,由于我现在必须通过Docker运行事物,因此使用sbatch有点麻烦,因此我正在尝试找出是否可以完全避免使用它。 根据我的观察,每当我运行srun时,比如说:srun docker image my_job_script.py 关闭我正在...

13得票1回答
SLURM:更改正在运行的任务数组作业的同时运行任务的最大数量

我设置了一个数组作业,如下: sbatch --array=1:100%5 ... 该作业现在正在运行,将同时运行任务的数量限制为5。我想将此数字更改为10(即希望运行sbatch --array=1:100%10 ...)。 数组作业文档提到您可以使用scontrol在作业启动后更改...

11得票3回答
如何在多GPU节点上获取分配给SLURM作业的GPU ID?

当我使用选项--gres = gpu:1提交一个SLURM作业到有两个GPU的节点时,如何获取为作业分配的GPU的ID?是否有环境变量用于此目的?我使用的GPU都是Nvidia GPU。谢谢。

9得票1回答
SLURM sbatch 输出缓冲

我创建了一些 slurm 脚本,然后尝试使用 sbatch 执行它们。但输出文件更新不够频繁(可能每分钟更新一次)。 有没有办法在 sbatch 中更改输出缓冲延迟?我知道 stdbuf 在这种情况下被使用,但我无法让它与 sbatch 协同工作。

9得票3回答
有没有类似于LSF的"一行代码"可以提交多个作业到SLURM?

我可以向SLURM提交"一行代码"吗? 使用来自LSF的bsub和标准的Linux实用程序xargs,我可以轻松地提交一个单独的作业来解压目录中的所有文件: ls *.gz | sed 's/.gz$//g' | xargs -I {} bsub 'gunzip -c {}.gz >...

8得票1回答
在文件输出中使用SBATCH作业名称作为变量

使用SBATCH,您可以使用以下语法在自动生成的输出文件中使用作业ID:%j: #!/bin/bash # omitting some other sbatch commands here ... #SBATCH -o slurm-%j.out-%N # name of the stdou...