静态PCPU变量

内核中通常会定义很多的pcpu变量,这样有几个好处:

  • 增加数据访问的并发量
  • 减少数据访问的时延

从定义上就可以看出pcpu变量就是每个cpu都有某个变量的副本,各自访问各自的。那在实现上是怎么做的呢?我们今天就来看一下。

如何定义

我们先来看静态pcpu变量是如何定义的。
通常我们定义一个pcpu变量使用这样的语句。

这样就定义了一个int类型,名字为numa_node的变量。接下来就深入研究一下。

DEFINE_PER_CPU

看最后一行,最终也就是定义了一个type类型,名字是name的变量。感觉和普通的变量没有什么区别。那区别在哪里呢?对了,就在上面那个宏里面。

__PCPU_ATTRS

好了,这个比较明确了,就是给定义的变量添加了一个section的修饰符。section是什么概念呢?你可以理解为同一个section的变量会放在同一块存储区。一会儿我们再来看这个概念。

展开后

这样看或许能够清楚一些。

pcpu变量和普通变量定义时的差别在于pcpu变量被安排在了一个指定的section中。

如何访问

定义看完了,来看看要怎么访问。

还是看刚才的numa_node变量,我们要访问某cpu上的变量时通过如下的语句。

好了,那来看看都是些什么吧

per_cpu()

卧槽,这么长。不着急,仔细看其实有的不用。比如这个__verif_pcpu_ptr(),一看就是用来检测了,就先跳过吧。关键是这个SHIFT_PERCPU_PTR。

SHIFT_PERCPU_PTR

嗯,这玩意也是写了老长了,不过你仔细一看其实就是带有两个参数的一个宏,RELOC_HIDE。分别传入了变量的一个指针,和一个offset。

好啦,那就再来看看这个宏。

RELOC_HIDE

又是一个很长,但是其实很简单的定义。是什么呢? 你看最后一行,其实就是一个指针加上了offset。

展开后

好了,这样看可能可以清楚一些。

但是呢,还是有点不清楚,让我再来把实现的细节讲一下。这样,我估计你就可以彻底理解了。

背后的实现

先透露一下,其实pcpu变量的实现就是给每个cpu都分配一块内存,并且记录下每块区域和原生区域之间的offset。所以访问的时候就是直接通过原生变量的地址加上目标cpu变量区域的offset就可以了。

貌似有点饶,来看一张图吧。

其中per_cpu_start和per_cpu_end就是刚才我们看到的那个section的定义。所有pcpu变量都会被保存在这个地址空间内。

在系统启动的时候,会给每一个cpu分配各自的pcpu变量内存空间。并计算出每个区域相对于__per_cpu_start的offset。
具体的代码在setup_per_cpu_areas()函数中,有兴趣的可以再深入研究。具体实现就不在这里展开了。

原文:杨小伟的世界

发表评论

电子邮件地址不会被公开。 必填项已用*标注