我正在开发一个数学模型，该模型使用从XFOIL生成的数据，XFOIL是一种流行的航空工具，用于查找翼型上的升力和阻力系数。
我有一个Perl脚本，它使用不同的输入参数重复调用XFOIL以生成所需的数据。我需要运行5,600次XFOIL，每次运行大约100秒，因此需要大约6.5天才能完成。
我有一台四核机器，但作为程序员，我的经验有限，我只知道如何使用基本的Perl。
我想同时运行四个XFOIL实例，每个实例都在自己的核心上运行。就像这样：
while ( 1 ) {
for ( i = 1..4 ) {
if ( ! exists XFOIL_instance(i) ) {
start_new_XFOIL_instance(i, input_parameter_list);
}
}
}
尝试使用Parallel::ForkManager。这是一个提供类似此类进程分离的简单接口的模块。
这里是一些示例代码：
#!/usr/bin/perl
use strict;
use warnings;
use Parallel::ForkManager;
my @input_parameter_list =
map { join '_', ('param', $_) }
( 1 .. 15 );
my $n_processes = 4;
my $pm = Parallel::ForkManager->new( $n_processes );
for my $i ( 1 .. $n_processes ) {
$pm->start and next;
my $count = 0;
foreach my $param_set (@input_parameter_list) {
$count++;
if ( ( $count % $i ) == 0 ) {
if ( !output_exists($param_set) ) {
start_new_XFOIL_instance($param_set);
}
}
}
$pm->finish;
}
$pm->wait_all_children;
sub output_exists {
my $param_set = shift;
return ( -f "$param_set.out" );
}
sub start_new_XFOIL_instance {
my $param_set = shift;
print "starting XFOIL instance with parameters $param_set!\n";
sleep( 5 );
touch( "$param_set.out" );
print "finished run with parameters $param_set!\n";
}
sub touch {
my $fn = shift;
open FILE, ">$fn" or die $!;
close FILE or die $!;
}
Perl线程可以利用多个核心和处理器。线程的主要优点是它相对容易在线程之间共享数据并协调它们的活动。一个分叉进程不能轻松地将数据返回给父进程，也不能在它们之间进行协调。
Perl线程的主要缺点是与分叉相比创建它们相对昂贵，必须复制整个程序和所有数据；您必须将它们编译到您的Perl中；并且它们可能存在漏洞，Perl越旧，线程就越有bug。如果您的工作很昂贵，则创建时间不应该成为问题。
以下是如何使用线程的示例。有许多方法可以做到这一点，此示例使用Thread::Queue创建一个大型工作列表，您的工作线程可以共享。当队列为空时，线程退出。其主要优点是更容易控制活动线程的数量，并且您不必为每个工作创建一个新的昂贵线程。
这个例子一次性将所有工作都放入队列中，但是您也可以随时向队列中添加任务。如果您这样做，您将使用dequeue而不是dequeue_nb，它会等待更多的输入。use strict;
use warnings;
use threads;
use Thread::Queue;
# Dummy work routine
sub start_XFOIL_instance {
my $arg = shift;
print "$arg\n";
sleep 1;
}
# Read in dummy data
my @xfoil_args = <DATA>;
chomp @xfoil_args;
# Create a queue to push work onto and the threads to pull work from
# Populate it with all the data up front so threads can finish when
# the queue is exhausted. Makes things simpler.
# See https://rt.cpan.org/Ticket/Display.html?id=79733
my $queue = Thread::Queue->new(@xfoil_args);
# Create a bunch of threads to do the work
my @threads;
for(1..4) {
push @threads, threads->create( sub {
# Pull work from the queue, don't wait if its empty
while( my $xfoil_args = $queue->dequeue_nb ) {
# Do the work
start_XFOIL_instance($xfoil_args);
}
# Yell when the thread is done
print "Queue empty\n";
});
}
# Wait for threads to finish
$_->join for @threads;
__DATA__
blah
foo
bar
baz
biff
whatever
up
down
left
right