Perl的unpack()是否比substr()更快?

16

我曾多次听说 unpack()substr() 更快,特别是在子字符串数量增加的情况下。但是,这个基准测试表明情况并非如此。我的基准测试有缺陷,还是 unpack() 的性能优势是 Perl 的旧版本遗留问题?

use strict;
use warnings;
use Benchmark;

my ($data, $format_string, $n_substrings);

my %methods = (
    unpack => sub { return unpack $format_string, $data },
    substr => sub { return map {substr $data, $_, 1} 0 .. $n_substrings - 1 },
);

for my $exp (1 .. 5){
    $n_substrings = 10 ** $exp;
    print $n_substrings, "\n";
    $format_string = 'a1' x $n_substrings;
    $data          =   9  x $n_substrings;
    Benchmark::cmpthese -2, \%methods;
}

输出结果(在Windows上):

10
           Rate unpack substr
unpack 131588/s     --   -52%
substr 276802/s   110%     --
100
          Rate unpack substr
unpack 13660/s     --   -57%
substr 31636/s   132%     --
1000
         Rate unpack substr
unpack 1027/s     --   -68%
substr 3166/s   208%     --
10000
         Rate unpack substr
unpack 84.4/s     --   -74%
substr  322/s   281%     --
100000
         Rate unpack substr
unpack 5.46/s     --   -82%
substr 30.1/s   452%     --

正如一些答案中指出的那样,unpack() 在 Windows 上的表现不太好。这是在 Solaris 机器上的输出结果--尽管没有那么决定性,但 substr() 仍然赢得了这场竞赛:

10
           Rate unpack substr
unpack 202274/s     --    -4%
substr 210818/s     4%     --
100
          Rate unpack substr
unpack 22015/s     --    -9%
substr 24322/s    10%     --
1000
         Rate unpack substr
unpack 2259/s     --    -9%
substr 2481/s    10%     --
10000
        Rate unpack substr
unpack 225/s     --    -9%
substr 247/s     9%     --
100000
         Rate unpack substr
unpack 22.0/s     --   -10%
substr 24.4/s    11%     --

2
没有什么比任何东西都更快。你必须将其应用于具体问题。猎豹比鹅快吗?也许在100米内是的,但不是穿过一片海洋 :) - brian d foy
3
@brian 我理解你的观点,但是评论似乎不太合适。这里有一个更为相似的比喻:“猎豹是否会比鹅快?这里有他们进行比赛的一个具体例子。我的测试有偏见吗?”答案是:“是的,有偏见。因为鹅服用了类固醇。” - FMc
5个回答

21

事实上,您的基准测试存在缺陷,存在一种非常有趣的方式,但归根结底,您真正比较的是unpack与map在将列表丢弃方面的相对效率,因为Benchmark:: cmpthese()以void上下文执行函数。

您的substr之所以表现出色,是因为pp_ctl.c pp_mapwhile()中的这行代码:

if (items && gimme != G_VOID) {

即 perl 的 map 函数在知道自己被调用时处于 void context(不需要返回值的情况)时,会神奇地跳过一些工作(比如为 map 结果分配空间)!

我对上面的 Windows 和其他操作系统的猜测是,基于窗口的 Perl 内存分配非常糟糕,因此跳过分配在那里可以获得更大的性能提升,但这只是我的猜测,我没有 Windows 机器来测试。但实际的 unpack 实现是用 C 语言编写的,从 Windows 到其他系统应该不会有太大的区别。

我有三个不同的解决方案来解决这个问题并生成更公平的比较:

  1. 将列表赋值给一个数组
  2. 在函数内部循环遍历列表,并返回空值
  3. 返回列表的引用(隐藏了 void context)

这是我版本的 %methods,包含所有三个版本:

my %methods = (
    unpack_assign => sub { my @foo = unpack $format_string, $data; return },
    unpack_loop => sub { for my $foo (unpack $format_string, $data) { } },
    unpack_return_ref => sub { return [ unpack $format_string, $data ] },
    unpack_return_array => sub { return unpack $format_string, $data },

    substr_assign => sub { my @foo = map {substr $data, $_, 1} 0 .. ($n_substrings - 1) },
    substr_loop => sub { for my $foo ( map {substr $data, $_, 1} 0 .. ($n_substrings - 1)) { } },
    substr_return_ref => sub { return [ map {substr $data, $_, 1} 0 .. ($n_substrings - 1) ] },
    substr_return_array => sub { return map { substr $data, $_, 1} 0 .. ($n_substrings - 1) },
);

我的结果如下:

$ perl -v

This is perl, v5.10.0 built for x86_64-linux-gnu-thread-multi

$ perl foo.pl
10
                        Rate substr_assign substr_return_ref substr_loop unpack_assign unpack_return_ref unpack_loop unpack_return_array substr_return_array
substr_assign       101915/s            --              -20%        -21%          -28%              -51%        -51%                -65%                -69%
substr_return_ref   127224/s           25%                --         -1%          -10%              -39%        -39%                -57%                -62%
substr_loop         128484/s           26%                1%          --           -9%              -38%        -39%                -56%                -61%
unpack_assign       141499/s           39%               11%         10%            --              -32%        -32%                -52%                -57%
unpack_return_ref   207144/s          103%               63%         61%           46%                --         -1%                -29%                -37%
unpack_loop         209520/s          106%               65%         63%           48%                1%          --                -28%                -37%
unpack_return_array 292713/s          187%              130%        128%          107%               41%         40%                  --                -12%
substr_return_array 330827/s          225%              160%        157%          134%               60%         58%                 13%                  --
100
                       Rate substr_assign substr_loop substr_return_ref unpack_assign unpack_return_ref unpack_loop unpack_return_array substr_return_array
substr_assign       11818/s            --        -25%              -25%          -26%              -53%        -55%                -63%                -70%
substr_loop         15677/s           33%          --               -0%           -2%              -38%        -40%                -51%                -60%
substr_return_ref   15752/s           33%          0%                --           -2%              -37%        -40%                -51%                -60%
unpack_assign       16061/s           36%          2%                2%            --              -36%        -39%                -50%                -59%
unpack_return_ref   25121/s          113%         60%               59%           56%                --         -4%                -22%                -35%
unpack_loop         26188/s          122%         67%               66%           63%                4%          --                -19%                -33%
unpack_return_array 32310/s          173%        106%              105%          101%               29%         23%                  --                -17%
substr_return_array 38910/s          229%        148%              147%          142%               55%         49%                 20%                  --
1000
                      Rate substr_assign substr_return_ref substr_loop unpack_assign unpack_return_ref unpack_loop unpack_return_array substr_return_array
substr_assign       1309/s            --              -23%        -25%          -28%              -52%        -54%                -62%                -67%
substr_return_ref   1709/s           31%                --         -3%           -6%              -38%        -41%                -51%                -57%
substr_loop         1756/s           34%                3%          --           -3%              -36%        -39%                -49%                -56%
unpack_assign       1815/s           39%                6%          3%            --              -34%        -37%                -48%                -55%
unpack_return_ref   2738/s          109%               60%         56%           51%                --         -5%                -21%                -32%
unpack_loop         2873/s          120%               68%         64%           58%                5%          --                -17%                -28%
unpack_return_array 3470/s          165%              103%         98%           91%               27%         21%                  --                -14%
substr_return_array 4015/s          207%              135%        129%          121%               47%         40%                 16%                  --
10000
                     Rate substr_assign substr_return_ref substr_loop unpack_assign unpack_return_ref unpack_loop unpack_return_array substr_return_array
substr_assign       131/s            --              -23%        -27%          -28%              -52%        -55%                -63%                -67%
substr_return_ref   171/s           30%                --         -5%           -6%              -38%        -42%                -52%                -57%
substr_loop         179/s           37%                5%          --           -1%              -35%        -39%                -50%                -55%
unpack_assign       181/s           38%                6%          1%            --              -34%        -38%                -49%                -55%
unpack_return_ref   274/s          109%               60%         53%           51%                --         -6%                -23%                -32%
unpack_loop         293/s          123%               71%         63%           62%                7%          --                -18%                -27%
unpack_return_array 356/s          171%              108%         98%           96%               30%         21%                  --                -11%
substr_return_array 400/s          205%              134%        123%          121%               46%         37%                 13%                  --
100000
                      Rate substr_assign substr_return_ref substr_loop unpack_assign unpack_return_ref unpack_loop unpack_return_array substr_return_array
substr_assign       13.0/s            --              -22%        -26%          -29%              -51%        -55%                -63%                -67%
substr_return_ref   16.7/s           29%                --         -5%           -8%              -37%        -43%                -52%                -58%
substr_loop         17.6/s           36%                5%          --           -3%              -33%        -40%                -50%                -56%
unpack_assign       18.2/s           40%                9%          3%            --              -31%        -37%                -48%                -54%
unpack_return_ref   26.4/s          103%               58%         50%           45%                --         -9%                -25%                -34%
unpack_loop         29.1/s          124%               74%         65%           60%               10%          --                -17%                -27%
unpack_return_array 35.1/s          170%              110%         99%           93%               33%         20%                  --                -12%
substr_return_array 39.7/s          206%              137%        125%          118%               50%         36%                 13%                  --

回到最初的问题:"unpack() 是否比 substr() 更快?"答案是:对于这种类型的应用程序始终如此——除非您不关心返回值 ;)。


1
这几乎是我在《精通Perl》中讨论的基准测试章节中所讨论的相同情况。在无值上下文中,grep非常快速! - brian d foy

6

这个测试并没有缺陷,但是它有所偏差。如果你只需要从字符串中提取一个相对简单的子字符串,那么substr函数比较好用,但仅限于此。例如,即使是这个简单的任务也不容易使用substr函数完成:

$foo = '123foo456789bar89012';
my ($t1,$t2,$t3,$t4,$t5) = unpack("A3A3A6A3A5",$foo);

在 substr 和 unpack 之间,你应该能看到显著的差异。


4

我在Ubuntu 9下得到了与提问者类似的结果:

This is perl, v5.10.0 built for i486-linux-gnu-thread-multi
10
       Rate unpack substr
unpack 535925/s     --    -3%
substr 552749/s     3%     --
100
      Rate unpack substr
unpack 57957/s     --    -5%
substr 61264/s     6%     --
1000
     Rate unpack substr
unpack 4716/s     --   -22%
substr 6075/s    29%     --
10000
    Rate unpack substr
unpack 466/s     --   -24%
substr 609/s    31%     --
100000
     Rate unpack substr
unpack 46.3/s     --   -23%
substr 60.5/s    31%     --

但我不确定这是否相关。由于其不祥的格式字符串,我不倾向于使用unpack进行简单的字符串提取 :-)

我认为它最适合提取编码的整数和各种其他二进制信息,这正是我会使用它的地方。

你应该从Matthew、我(以及你)的基准测试中得到一个结论:它将在很大程度上取决于环境因素。请记住,速度虽然好,但并不是全部,我认为我写的大部分代码都不会受只能执行460万次每秒而不是600万次每秒的严重影响 :-) 你可能需要额外的性能,但我对大多数用Perl编写的应用程序不抱有疑虑。


总的来说,我赞同你的观点,尤其是关于解包格式字符串的部分。我特别认同你的想法,即pack/unpack旨在处理二进制数据,而不仅仅是提取子字符串。 - Matthew Scharley

3
自提出这个问题以来,我已经在各种情况下多次对substr和unpack进行了基准测试。以下是我学到的一些东西:
- 不要设置基准测试以调用空上下文中的Perl函数(就像我在原始问题中所做的那样;请参见dlowe的有益回答)。一些Perl函数在空上下文中调用时具有优化(并且这些优化似乎因操作系统而异),可能会扭曲您的基准测试结果。 - 如果您使用substr涉及循环(例如迭代列位置列表),则unpack始终更快。但是,在此情况下substr的表现不佳是由于循环的开销,而不是substr本身。 - 如果只需要少量字段,则substr通常比unpack更快或与其相同。 - 如果需要多个字段,则unpack和等效数量的substr调用之间的直接比较随着字段数的增加而变化不大:两种方法的速度都以相同的速度变慢。 - 结果可能因操作系统而异。在我的Windows XP机器上,当需要更多字段时,unpack略胜一筹。在我们的工作场所的Solaris机器上,substr始终更快,即使有数百个字段。
最重要的是:无论字段数如何,unpack与substr的性能差异都不是很大。使用产生最清晰代码的方法。但是,如果发现自己在循环结构中使用substr,则切换到unpack将导致显着的速度提升。

2

我并不是不相信你的结果,但是你在哪个系统上运行这个程序呢?我在Ubuntu 8.10 (perl 5.10)上运行了你的脚本,得到了以下结果:

 mscharley@S04:~$ perl -v

This is perl, v5.10.0 built for x86_64-linux-gnu-thread-multi
 mscharley@S04:~$ ./test.pl
10
           Rate substr unpack
substr 587390/s     --   -10%
unpack 650343/s    11%     --
100
          Rate substr unpack
substr 66060/s     --    -5%
unpack 69433/s     5%     --
1000
         Rate substr unpack
substr 6847/s     --    -2%
unpack 6977/s     2%     --
10000
        Rate substr unpack
substr 683/s     --    -1%
unpack 693/s     1%     --
100000
         Rate substr unpack
substr 68.3/s     --    -0%
unpack 68.4/s     0%     --

以下是我在本地Windows机器上的测试结果(我猜您也是用的Windows机器,根据我的结果来看):

>perl -v

This is perl, v5.10.0 built for MSWin32-x86-multi-thread

>perl test.pl
10
           Rate unpack substr
unpack 125210/s     --   -50%
substr 252878/s   102%     --
100
          Rate unpack substr
unpack 12677/s     --   -56%
substr 28854/s   128%     --
1000
         Rate unpack substr
unpack  963/s     --   -66%
substr 2846/s   196%     --
10000
         Rate unpack substr
unpack 78.8/s     --   -73%
substr  291/s   269%     --
100000
         Rate unpack substr
unpack 4.88/s     --   -82%
substr 27.2/s   457%     --

如果我不得不猜测区别,我会大胆猜测说Windows没有本地的打包/解包功能,所以Perl必须以某种方式模拟它。这只是我的个人看法。


我在我的Ubuntu 8.10上得到了类似的结果。 - Brad Gilbert
是的...我愿意打赌,在Windows上表现不佳是由于pack/unpack的本地实现质量差(或缺乏)... - Matthew Scharley

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接