Linux内核中的percpu指针是如何实现的？

Question

在多处理器上，每个核心都可以拥有自己的变量。我认为它们是不同的变量，位于不同的地址，尽管它们在同一进程中并且具有相同的名称。

但我想知道，内核是如何实现这一点的？它是否分配了一块内存来存储所有percpu指针，并且每次通过移位或其他方式将指针重定向到特定地址？

- dspjm

Answer 1

普通的全局变量不是针对每个CPU的。自动变量存储在堆栈上，并且不同的CPU使用不同的堆栈，因此它们自然而然地获得了分离的变量。

我猜你指的是Linux的per-CPU变量基础设施。
大部分的魔法都在这里（asm-generic/percpu.h）：

extern unsigned long __per_cpu_offset[NR_CPUS];

#define per_cpu_offset(x) (__per_cpu_offset[x])

/* Separate out the type, so (int[3], foo) works. */
#define DEFINE_PER_CPU(type, name) \
    __attribute__((__section__(".data.percpu"))) __typeof__(type) per_cpu__##name

/* var is in discarded region: offset to particular copy we want */
#define per_cpu(var, cpu) (*RELOC_HIDE(&per_cpu__##var, __per_cpu_offset[cpu]))
#define __get_cpu_var(var) per_cpu(var, smp_processor_id())

宏 RELOC_HIDE(ptr, offset) 简单地将指针 ptr 按给定的字节数（而不考虑指针类型）向前移动。

它是做什么用的？

1. 当定义DEFINE_PER_CPU(int, x)时，一个整数__per_cpu_x将会在特殊的.data.percpu区域中被创建。
2. 内核加载时，该区域会被多次加载 - 每个CPU加载一次 (这部分魔法不在上述代码中)。
3. __per_cpu_offset数组被填充了每个副本之间的距离。假设使用了1000字节的per cpu数据，__per_cpu_offset[n]将包含1000*n。
4. 符号per_cpu__x将在加载期间被重定位到CPU 0的per_cpu__x。
5. __get_cpu_var(x)在CPU 3上运行时，将被转换为*RELOC_HIDE(&per_cpu__x, __per_cpu_offset[3])。这从CPU 0的x开始，加上CPU 0数据和CPU 3之间的偏移量，最终解引用结果指针。

- ugoren

---

当两个线程调用函数 foo 时，其中有一个自动变量 x，会有两个堆栈和两个 x 实例。每个实例都有不同的地址，如果它们有地址，那么两个线程都可以访问这两个实例。使用 Linux 的 per-cpu 变量，per_cpu(var, cpu) 可以让您访问任何 CPU 的变量。 - ugoren

.data.percpu 部分如何确定 percpu 变量是在堆栈还是堆上声明的？ - user31986

在内核加载期间，每个CPU都有自己的GDT表。GDT表中的每个条目代表一个可以从该CPU上的线程访问的内存段。 GDT表条目0存储了每个CPU内存段的信息。为了访问每个CPU的内存，Linux使用gs:{变量偏移量}来访问每个CPU的变量，就像这样： mov %gs:0x41(%rcx),%dl - Houcheng

动态分配的 per-cpu 变量是否适用于 @ugoren 上面描述的情况？还是它们使用完全不同的机制？ - Alex D

我一直在研究这段代码。看起来自回答之后有些变化。 DEFINE_PER_CPU(int, x) 定义了一个名为 x 的符号，而不是 per_cpu__x。内核加载时，x 不会被重定位到 CPU 0 的副本，而是 __per_cpu_offset[0] 保存了链接器分配给 x 的地址与 CPU 0 的副本实际存储位置之间的差异。此外：x86 内核将该偏移量作为段 fs 的基址存储，而不是每次访问 __per_cpu_offset。然后在段 fs 中解引用指针可直接访问当前 CPU 的副本！ - Alex D