我有一些节点的列表,需要在每个节点上运行特定的命令,通过利用我拥有的服务器数量来并行进行SSH到这些节点。我的
node_list.txt
文件包含节点列表:node1
node2
.
.
node49
node50
我已经在一个数组@hosts
中定义了若干个服务器,我需要通过SSH连接到每个节点并且执行命令。我会将node_file.txt
文件分成等份(称为$node_list_X.txt
),分别存储在可用的服务器上。
一旦我有了这些文件(node_list_1.txt
,node_list_2.txt
,node_list_3.txt
,node_list_4.txt
),我将登录到已经定义好的每个服务器,并通过并行传递node_list_X.txt
文件,在每个主机上执行某些命令。
为了并行执行操作,我使用了Parallel::ForkManager
Perl模块。
假设在每个主机上 -
192.168.0.1 -> node_list_1.txt (13 nodes)
192.168.0.2 -> node_list_2.txt (13 nodes)
192.168.0.3 -> node_list_3.txt (12 nodes)
192.168.0.4 -> node_list_4.txt (12 nodes)
将同时运行。
以下是脚本:
...
my @hosts = ("192.168.0.1", "192.168.0.2", "192.168.0.3","192.168.0.4");
open(my $node_fh, '<', $node_file)
or die "can't open $node_file: $!";
my @lines = <$node_fh>;
my %Files;
my $num_buckets = scalar @hosts;
my $per_bucket = int( @lines / $num_buckets );
my $num_extras = @lines % $num_buckets;
my $path = "/home/user/vinod/test/";
for my $bucket_num (0..$num_buckets-1) {
my $num_lines = $per_bucket;
if ($num_extras) {
++$num_lines;
--$num_extras;
}
last if($num_lines == 0);
my $qfn = $path."node_list_${bucket_num}.txt";
open(my $fh, '>', $qfn)
or die("Can't create \"$qfn\": $!\n");
$fh->print(splice(@lines, 0, $num_lines));
$Files{$bucket_num} = $qfn;
}
print Dumper(\%Files);
my $command = #"defining my command here";
my $pm = Parallel::ForkManager->new(5);
my $ssh;
DATA_LOOP:
foreach my $n (0..$num_buckets-1) {
if( exists $Files{$n} ) {
my $pid = $pm->start and next DATA_LOOP;
$command_to_execute = $command." ".$Files{$n};
$ssh = SSH_Connection( $hosts[$n-1], "user", "password" );
$result = $ssh->capture($command_to_execute);
$pm->finish;
}
}
$pm->wait_all_children;
undef $ssh;
#SSH Connect
sub SSH_Connection {
my ( $host, $user, $passwd ) = @_;
my $ssh = Net::OpenSSH->new($host,
user => $user,
password => $passwd,
master_opts => [-o => "StrictHostKeyChecking=no"]
);
$ssh->error and die "Couldn't establish SSH connection: ". $ssh->error;
return $ssh;
}
这里一切正常。
当我定义$pm
对象时,并行进程设置为5。
my $pm = Parallel::ForkManager->new(5);
这是否意味着在特定服务器(例如:192.168.0.1)中,它应该运行5个并行进程。这意味着它应该从node_list_1.txt
(共13个节点)文件中获取5个节点,并执行命令?
如果我理解不正确,那么有什么可能的解决方案可以使用多线程在每个服务器上并行运行命令?
do_it
中做任何你想做的事情。 - ikegamido_it
中添加DATA_LOOP
部分,每个节点文件都会在每个服务器上运行,对吗?我的意思是 4*4。我感到困惑。 - vkk05Parallel::ForkManager
。它将通过使用Net::OpenSSH
连接到服务器并循环每个主机运行命令。 - vkk05do_it
中使用 P::FM 不是最优的选择。如果你想要在远程机器上并行处理任务,最好在远程机器上使用 P::FM。 - ikegamido_it
子程序,如下所示:sub do_it { my $host = shift; my ($command_to_execute, $ssh); my $command = "<command>"; foreach my $n (0..$num_buckets-1) { if( exists $Files{$n} ) { $command_to_execute = $command." ".$Files{$n}; print "command_to_execute on :$command_to_execute on host:$host\n"; $ssh = OpenSSH_Connection( $host, "user", "password" ); $ssh->capture($command_to_execute); }} undef $ssh; return; }
但是我发现打印语句被打印了60次。这意味着它会向服务器发送那么多次请求。如何解决这个问题? - vkk05