如何使用GNU Parallel并行运行curl命令

Question

我最近开始学习bash编程。我想运行curl命令'n'次，其中'n'是用户输入的。而且我想并行运行。我发现了GNU Parallel工具。

运行n次curl命令的代码如下：

ip1="some ip"
ip2="some ip"
ip3="some ip"
for ((j=1; j<= $servers;))
do
    for ((i= 1; i<= $val; i++))
    do
        c=ip$j
        value=scatest"$j$i"
        curl -s -X POST ${!c}:4000/invoke -H "content-type: application/json" -d '{"args":["org1","'$value'","27-06-2018"]}'
        if ((i % $val == 0))
        then
            ((j++))
        fi
    done
done

我希望能根据用户输入，在不同的主机上并行地运行这个curl命令。有人可以帮我吗？

谢谢您提前的帮助。

- Lucky

Answer 1

将每个服务器并行化是相当简单的：

val=1000
doit() {
    server="$1"
    serverno="$2"
    for ((i= 1; i<= $val; i++))
    do
        value=scatest"$serverno$i"
        curl -s -X POST ${server}:4000/invoke -H "content-type: application/json" -d '{"args":["org1","'$value'","27-06-2018"]}'
    done
}
export -f doit
export val
parallel -j0 doit {} {#} ::: serverip1 serverip2 ...

如果你可以接受 scatest 有一个不同的值，那么你可以进一步并行化：

doit() {
    server="$1"
    jobno="$2"
    i="$3"
    value=scatest"$jobno$i"
    curl -s -X POST ${server}:4000/invoke -H "content-type: application/json" -d '{"args":["org1","'$value'","27-06-2018"]}'
}
export -f doit
seq $val | parallel -j0 doit {1} {#} {2} ::: serverip1 serverip2 ... :::: -

- Ole Tange