使用多个函数进行C++ SSE优化

Question

使用多个函数进行C++ SSE优化

c++visual-c++optimizationgccsse

3

我有一些代码结构类似于下面的代码。其中包含了许多小的SSE辅助函数、一个大函数来完成大部分工作以及公共函数来组织数据、在循环中运行大函数并处理剩余数据。

这使得与标量实现相比，速度提高了约2倍，但我希望能够获得更多的提升。除了一些概念上的问题外，在反汇编中（只详细查看了x86 VC++ 2010，但支持x86和GCC），还有一些我不喜欢的东西。

对于至少一些目标，我只能在这里使用SSE和SSE2，但如果值得单独构建，我可能也可以使用更新的指令集。

问题1：

所有的小辅助程序都很好地内联到了大辅助程序中，而大辅助程序没有。

然而，即使它只被一个源文件中的一个函数引用，并且有足够的寄存器（查看算法，我确信除了加载数据数组之外，最多只需要12个XMM寄存器），编译器似乎还是想按照fooHelper的正常调用约定进行操作。

因此，在foo中将数据放入XMM寄存器后，它将它们放回堆栈并传递指针，然后在循环和整理工作完成后，它将该堆栈加载回XMM中，以便我可以再次卸载它...

我想我可以强制将fooHelper内联，但这是大量重复的指令，因为它不会使用4个XMM寄存器来完成工作。我也可以不在foo本身中使用SSE，这将消除加载/存储问题，但fooHelper仍然在那些4个状态变量上执行完全不需要的加载和存储...

理想情况下，由于这是一个私有函数，忽略正常调用约定的方法很好，并且我确信这将在许多其他更大的SSE片段中出现，我并不真正希望所有东西都被完全内联。

问题2：

该实现基本上是在以AAAA、BBBB、CCCC、DDDD组织的4个状态向量上运行的，这样代码就可以简单地编写，就好像它正在处理A、B、C和D作为单独的变量，同时处理所有4个数据流。

然而，输出本身是以ABCD、ABCD、ABCD、ABCD的形式，输入也是4个单独的缓冲区，需要使用_m_set_epi32进行加载。

有没有更好的方法来处理这些输入和输出（其格式实际上无法改变）？

namespace
{
    void fooHelperA(__m128i &a, __m128i b, __m128i x, int s)
    {
        ...small function (<5 sse operations)...
    }
    ...bunch of other small functions...

    //
    void fooHelper(        
         const int *data1, const int *data2, const int *data3, const int *data4,
         __m128i &a, __m128i &b, __m128i &c, __m128i &d)
    {
        //Get the current piece of data
        __m128 c = _mm_set_epi32(data1[0], data2[0], data3[0], data4[0]);
        ...do stuff with data...
        fooHelperA(a, b, c, 5);
        ...
        c = _mm_set_epi32(data1[1], data2[1], data3[1], data4[1]);
        ...
        fooHelperA(b, a, c, 7);
        ... lots more code ...
        c = _mm_set_epi32(data1[3], data2[3], data3[3], data4[3]);
        ...
    }
}
void foo(
    const char*data1, const char *data2, const float *data3, const char *data4,
    int*out1, int*out2, int*out3, int*out4,
    size_t len)
{
    __m128i a = _mm_setzero_si128();
    __m128i b = _mm_setzero_si128();
    __m128i c = _mm_setzero_si128();
    __m128i d = _mm_setzero_si128();
    while (len >= 16) //expected to loop <25 times for datasets in question
    {
        fooHelper((const int*)data1, (const int*)data2, (const int*)data3, (const int*)data4, a,b,c,d);
        data1 += 16;
        data2 += 16;
        data3 += 16;
        data4 += 16;
        len -= 16;
    }
    if (len)
    {
        int[4][4] buffer;
        ...padd data into buffer...
        fooHelper(buffer[0], buffer[1], buffer[2], buffer[3], a,b,c,d);
    }
    ALIGNED(16, int[4][4]) tmp;
    _mm_store_si128((__m128i*)tmp[0], a);
    _mm_store_si128((__m128i*)tmp[1], b);
    _mm_store_si128((__m128i*)tmp[2], c);
    _mm_store_si128((__m128i*)tmp[3], d);

    out1[0] = tmp[0][0];
    out2[0] = tmp[0][1];
    out3[0] = tmp[0][2];
    out4[0] = tmp[0][3];

    out1[1] = tmp[0][0];
    out2[1] = tmp[0][1];
    out3[1] = tmp[0][2];
    out4[1] = tmp[0][3];

    out1[2] = tmp[0][0];
    out2[2] = tmp[0][1];
    out3[2] = tmp[0][2];
    out4[2] = tmp[0][3];

    out1[3] = tmp[0][0];
    out2[3] = tmp[0][1];
    out3[3] = tmp[0][2];
    out4[3] = tmp[0][3];
}

- Fire Lancer

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- alexbuisson · Accepted Answer

一些建议：

1）从您的代码和数据描述来看，如果将数据组织方式从SOA（数组结构）的AAAA向AOS（结构体数组）转换，您可以获得巨大的收益。在AOS中，您的输入数据将已经按ABCD组织好，因此您将拥有一个更大的输入向量（4倍以上）！

2）注意您的数据对齐。目前您不需要关心由于set_epi32函数而产生的固定性，但如果您切换到AOS，则应该能够使用快速加载（从内存到XMS）。

3）函数结尾有点奇怪（我现在无法模拟），我真的不明白为什么您需要一个tmp二维数组。

4）插值（及其反操作）可以使用SOA / AOS转换的示例来完成... Intel在推广SIMD指令集时写了很多关于这个主题的论文。

祝您好运， alex