使用Apache Airflow提交和监控SLURM作业

Question

我正在使用Slurm作业调度程序在集群上运行我的作业。使用Apache Airflow提交Slurm作业并检查其状态的最有效方法是什么？

我能够使用SSHOperator远程提交我的作业并每分钟检查其状态，直到完成，但我想知道是否有更好的方法。以下是我编写的SSHOperator。

sshHook = SSHHook(ssh_conn_id='my_conn_id',keepalive_interval=240)

task_ssh_bash = """
cd ~/projects &&
JID=$(sbatch myjob.sh)
echo $JID
sleep 10s # needed
ST="PENDING"
while [ "$ST" != "COMPLETED" ] ; do 
   ST=$(sacct -j ${JID##* } -o State | awk 'FNR == 3 {print $1}')
   sleep 1m
   if [ "$ST" == "FAILED" ]; then
      echo 'Job final status:' $ST, exiting...
      exit 122
   fi
echo $ST
"""

task_ssh = SSHOperator(
    task_id='test_ssh_operator',
    ssh_hook=sshHook,
    do_xcom_push=True,
    command=task_ssh_bash,
    dag=dag)

- stardust

Answer 1

我无法给出一个可演示的例子，但我的倾向是在类似于pyslurm的东西上实现一个airflow sensor。有趣的是，当我想看看是否有人已经这样做时，我偶然遇到了你的问题！

编辑：关于使用执行器提交作业的使用，有一个有趣的主题regarding the use of excecutors for submitting jobs too 祝好运！

- JimCircadian

---

那么，在从Airflow监控（甚至可能是提交）SLURM作业方面有什么成功吗？ - Ivan