顺便问一下,在现代指令集(SSE3,SSE4,AVX等)中,最快的替代方法是什么?(每个值有2个双精度数,即__m128d)。
dpps
/dppd
(与手动洗牌相比,通常也不值得使用)。
SSSE3 pmaddubsw
很有道理,因为元素宽度已经成为扩展乘法的问题,而SSE4.1 phminposuw
立即获得了专用硬件支持,使其值得使用(如果不使用它来执行相同的操作将会产生大量的uops,而且它特别适用于视频编码)。但是AVX / AVX2 / AVX512水平运算符非常稀缺。AVX512确实引入了一些不错的洗牌操作,因此如果需要,您可以基于强大的两个输入车道交叉洗牌构建自己的水平操作。
haddpd
是一种有效的编码方式;特别是在没有AVX的情况下,因为shufpd
是破坏性的(在使用内部函数时由编译器默默发出,但仍然会消耗前端带宽,在像Sandybridge和早期的CPU上还会有延迟,这些CPU不能消除寄存器对寄存器的移动), 准备输入可能也需要一个movaps
指令。
但是,如果你要两次使用相同的输入,则haddpd
是错误的选择。请参见Fastest way to do horizontal float vector sum on x86。只有在使用两个不同的输入时,例如作为矩阵上其他操作的一部分进行即时转置时,hadd
/hsub
才是一个好主意。
haddsub_pd
,由两个洗牌+SSE3 addsubpd
组成(在支持的CPU上,它确实具有单uop硬件支持)。使用AVX,它将与假设的haddsubpd
指令一样快,而没有AVX通常会多花费一个movaps
,因为编译器需要保留第一个洗牌的两个输入。(代码大小会更大,但我说的是前端的uops成本和后端的执行端口压力。) // Requires SSE3 (for addsubpd)
// inputs: a=[a1 a0] b=[b1 b0]
// output: [b1+b0, a1-a0], like haddpd for b and hsubpd for a
static inline
__m128d haddsub_pd(__m128d a, __m128d b) {
__m128d lows = _mm_unpacklo_pd(a,b); // [b0, a0]
__m128d highs = _mm_unpackhi_pd(a,b); // [b1, a1]
return _mm_addsub_pd(highs, lows); // [b1+b0, a1-a0]
}
使用 gcc -msse3
和 clang (在 Godbolt 上),我们得到了预期的结果:
movapd xmm2, xmm0 # ICC saves a code byte here with movaps, but gcc/clang use movapd on double vectors for no advantage on any CPU.
unpckhpd xmm0, xmm1
unpcklpd xmm2, xmm1
addsubpd xmm0, xmm2
ret
a
不同的寄存器返回值时会遇到问题,而b
开始的寄存器仍需保留(例如,如果参数颠倒,则是haddsub(b,a)
)。# gcc for haddsub_pd_reverseargs(__m128d b, __m128d a)
movapd xmm2, xmm1 # copy b
unpckhpd xmm1, xmm0
unpcklpd xmm2, xmm0
movapd xmm0, xmm1 # extra copy to put the result in the right register
addsubpd xmm0, xmm2
ret
实际上,clang 做得更好,使用不同的 shuffle(movhlps
而不是 unpckhpd
),仍然只使用一个寄存器复制:
# clang5.0
movapd xmm2, xmm1 # clangs comments go in least-significant-element first order, unlike my comments in the source which follow Intel's convention in docs / diagrams / set_pd() args order
unpcklpd xmm2, xmm0 # xmm2 = xmm2[0],xmm0[0]
movhlps xmm0, xmm1 # xmm0 = xmm1[1],xmm0[1]
addsubpd xmm0, xmm2
ret
__m256d
向量的AVX版本,_mm256_unpacklo/hi_pd
的内部行为实际上是你想要的,一次性获取偶数/奇数元素。static inline
__m256d haddsub256_pd(__m256d b, __m256d a) {
__m256d lows = _mm256_unpacklo_pd(a,b); // [b2, a2 | b0, a0]
__m256d highs = _mm256_unpackhi_pd(a,b); // [b3, a3 | b1, a1]
return _mm256_addsub_pd(highs, lows); // [b3+b2, a3-a2 | b1+b0, a1-a0]
}
# clang and gcc both have an easy time avoiding wasted mov instructions
vunpcklpd ymm2, ymm1, ymm0 # ymm2 = ymm1[0],ymm0[0],ymm1[2],ymm0[2]
vunpckhpd ymm0, ymm1, ymm0 # ymm0 = ymm1[1],ymm0[1],ymm1[3],ymm0[3]
vaddsubpd ymm0, ymm0, ymm2
当然,如果您有相同的输入两次,即您想要向量的两个元素之和和差,您只需要一个shuffle将其输入addsubpd
// returns [a1+a0 a1-a0]
static inline
__m128d sumdiff(__m128d a) {
__m128d swapped = _mm_shuffle_pd(a,a, 0b01);
return _mm_addsub_pd(swapped, a);
}
这个代码使用gcc和clang编译时会比较繁琐:
movapd xmm1, xmm0
shufpd xmm1, xmm0, 1
addsubpd xmm1, xmm0
movapd xmm0, xmm1
ret
但是如果编译器不需要在同一个寄存器中使用结果,那么第二个movapd应该在内联时消失。我认为gcc和clang都缺少一种优化:在复制后它们可以交换xmm0
:
# compilers should do this, but don't
movapd xmm1, xmm0 # a = xmm1 now
shufpd xmm0, xmm0, 1 # swapped = xmm0
addsubpd xmm0, xmm1 # swapped +- a
ret
据推测,他们基于SSA的寄存器分配器没有考虑使用第二个寄存器来存储相同值的a
,以释放xmm0用于swapped
。通常情况下,在不同的寄存器中产生结果是可以的(甚至更可取),因此只有在查看函数的独立版本时才会出现问题,而内联时很少出现问题。
__m128d a, b; //your inputs
const __m128d signflip_low_element =
_mm_castsi128_pd(_mm_set_epi64(0,0x8000000000000000));
b = _mm_xor_pd(b, signflip_low_element); // negate b[0]
__m128d res = _mm_hadd_pd(a,b);
这个代码使用 haddpd
来构建 haddsubpd
,所以只需要额外一条指令。不幸的是,在大多数CPU上,haddpd
的吞吐量很低,每2个时钟周期只能处理一个,受浮点运算吞吐量的限制。
但这种方式对于x86机器码的代码大小优化效果很好。
haddpd
在所有支持它的CPU上需要2次洗牌和一个addpd
。最好使用一次洗牌来提供SSE3 addsubpd
。特别是在AVX中,您不需要任何奇怪的技巧(如对FP数据的pshufd
)来复制+洗牌并避免movaps
。 - Peter Cordes_mm_xor_pd
在Skylake上比_mm_xor_ps
更快?当然,旧版本的代码无法编译,但是使用xorps在双精度FP指令之间进行汇编等效操作应该与xorpd完全相同,但对于非AVX版本可以节省一个指令字节。我不知道任何CPU在PS / PD布尔运算方面有任何不同。当然,如果您关心速度,首先就不会使用haddpd
。 - Peter Cordes-mavx
编译,所以这些是VEX指令。实际上,Intel Instrinsics指南将xorpd
列为SSE2指令 - 它只是xorps
的别名吗? - Paul R
_mm_hadd_ps
两次进行水平求和是一个好主意。如果你想要高吞吐量,那并不是这样的;请参见 https://dev59.com/g2w05IYBdhLWcg3w11Qk。有用的 SSE3 指令是_mm_movehdup_ps
,它可以给你一个 FP 的复制和重排,所以即使在没有 AVX 的情况下编译,编译器也不需要movaps / shufps
。 - Peter Cordes