CUDA：每个流多处理器的线程数和每个块的线程数有什么区别？

Question

我们有一台工作站，安装了两张Nvidia Quadro FX 5800显卡。运行deviceQuery CUDA示例后发现每个多处理器（SM）的最大线程数为1024，而每个块的最大线程数为512。

考虑到每次只能在一个SM上执行一个块，为什么处理器的最大线程数是块的最大线程数的两倍？我们如何利用SM中的另外512个线程？

Device 1: "Quadro FX 5800"
  CUDA Driver Version / Runtime Version          5.0 / 5.0
  CUDA Capability Major/Minor version number:    1.3
  Total amount of global memory:                 4096 MBytes (4294770688 bytes)
  (30) Multiprocessors x (  8) CUDA Cores/MP:    240 CUDA Cores
  GPU Clock rate:                                1296 MHz (1.30 GHz)
  Memory Clock rate:                             800 Mhz
  Memory Bus Width:                              512-bit
  Max Texture Dimension Size (x,y,z)             1D=(8192), 2D=(65536,32768), 3D=(2048,2048,2048)
  Max Layered Texture Size (dim) x layers        1D=(8192) x 512, 2D=(8192,8192) x 512
  Total amount of constant memory:               65536 bytes
  Total amount of shared memory per block:       16384 bytes
  Total number of registers available per block: 16384
  Warp size:                                     32
  Maximum number of threads per multiprocessor:  1024
  Maximum number of threads per block:           512
  Maximum sizes of each dimension of a block:    512 x 512 x 64
  Maximum sizes of each dimension of a grid:     65535 x 65535 x 1
  Maximum memory pitch:                          2147483647 bytes
  Texture alignment:                             256 bytes
  Concurrent copy and kernel execution:          Yes with 1 copy engine(s)
  Run time limit on kernels:                     No
  Integrated GPU sharing Host Memory:            No
  Support host page-locked memory mapping:       Yes
  Alignment requirement for Surfaces:            Yes
  Device has ECC support:                        Disabled
  Device supports Unified Addressing (UVA):      No
  Device PCI Bus ID / PCI location ID:           4 / 0
  Compute Mode:
     < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >

欢呼， 詹姆斯。

- James Paul Turner

---

“只有一个SM可以同时执行一个块”这个陈述是不正确的。如果去掉这一部分，它就会变得更加清晰明了。之前已经有很多人问过类似的问题。一旦我找到一个，我就会投票将其关闭为重复问题。 - talonmies

Answer 1

鉴于每个 SM 一次只能执行一个块，这个说法在根本上是不正确的。除非存在资源冲突，并且假设内核（即网格）中有足够的线程块，否则通常会为一个 SM 分配多个线程块。执行的基本单位是“warp”。一个 warp 包含32个线程，在SM上逐个指令周期地锁定执行。因此，即使在单个线程块内，SM 通常也会有多个“in flight”的warp。这对于良好的性能来说至关重要，可以使机器隐藏延迟。选择执行来自同一线程块的warp或来自不同线程块的warp之间不存在概念上的区别。SMs 可以在其上驻留多个线程块（即为每个驻留的线程块分配了诸如寄存器和共享内存等资源），warp调度程序将从所有驻留线程块的所有warp中进行选择，在任何给定的指令周期上选择下一个要执行的warp。因此，SM 具有更多的线程可以“驻留”，因为它可以支持多个块，即使该块已经最大化配置了线程（在这种情况下为512）。通过使多个线程块驻留，我们利用了超过线程块限制的线程数。您可能还想研究 GPU 程序中“占用率”的概念。

- Robert Crovella