Java并发编程与高并发学习笔记(二)CPU多级缓存-缓存一致性协议

CPU多级缓存

下图左边是最简单的高速缓存的配置,数据读取与存储都会经过高级缓存,CPU与高级缓存之间有一条特殊的快速通道,主存与高速缓存都连接在系统总线上。

高速缓存出现后,系统变得更加复杂,高速缓存与主存之间的速度差异被拉大,直到加入了另一级的缓存,新加入的缓存比第一级缓存更大更慢,由于加大一级缓存的做法在经济上是行不通的,所以有了二级缓存,甚至三级缓存。

为什么需要CPU cache?

CPU的频率太快了,以至于主存跟不上了,这样在处理器时钟周期内,CPU常常需要等待主存,浪费资源。所以Cache的出现是为了缓解CPU和内存之间速度的不匹配问题。(结构:CPU –> Cache –> Memory)

局部性原理:

CPU访问存储器时,无论是存取指令还是存取数据,所访问的存储单元都趋于聚集在一个较小的连续区域中。

时间局部性(Temporal Locality)

如果一个信息项正在被访问,那么在近期它很可能还会被再次访问。程序循环、堆栈等是产生时间局部性的原因。

空间局部性(Spatial Locality)

在最近的将来将用到的信息很可能与现在正在使用的信息在空间地址上是临近的。

顺序局部性(Order Locality)

在典型程序中,除转移类指令外,大部分指令是顺序进行的。顺序执行和非顺序执行的比例大致是5:1。此外,对大型数组访问也是顺序的。

CPU多级缓存-缓存一致性(MESI)

用于保证多个CPU cache之间缓存共享数据的一致。CPU中每个缓存行(caceh line)使用4种状态进行标记(使用额外的两位(bit)表示)。

M: 被修改(Modified)

该缓存行只被缓存在该CPU的缓存中,并且是被修改过的(dirty),即与主存中的数据不一致,该缓存行中的内存需要在未来的某个时间点(允许其它CPU读取请主存中相应内存之前)写回(write back)主存。当被写回主存之后,该缓存行的状态会变成独享(exclusive)状态。

E: 独享的(Exclusive)

该缓存行只被缓存在该CPU的缓存中,它是未被修改过的(clean),与主存中数据一致。这个状态可以在任何时刻当有其它CPU读取该内存时变成共享状态(shared)。同样地,当CPU修改该缓存行中内容时,该状态可以变成Modified状态。

S:共享的(Shared)

该状态意味着该缓存行可能被多个CPU缓存,并且各个缓存中的数据与主存数据一致(clean),当有一个CPU修改该缓存行的时候,其它CPU中该缓存行可以被作废(变成无效状态(Invalid))。

I: 无效的(Invalid)

代表这个缓存是无效的(可能有其它CPU修改了该缓存行)。

MESI状态转换图

CacheLine有四种数据状态(MESI),而引起数据状态转换的CPU Cache操作也有四种。

本地读取(local read)

读本地缓存中的数据

本地写入(local write)

将数据写到本地缓存里面

远端读取(remote read)

将内(主)存中的数据读取到缓存中来

远端写入(remote write)

将缓存中的数据写回到主存里面去

CacheLine状态之间的相互转换关系如下图所示:

在一个典型系统中,可能会有几个缓存(在多核系统中,每个核心都会有自己的缓存)共享主存总线,每个相应的CPU会发出读写请求,而缓存的目的是为了减少CPU读写共享主存的次数。

一个缓存除在Invalid状态外都可以满足cpu的读请求,一个invalid的缓存行必须从主存中读取(变成S或者 E状态)来满足该CPU的读请求。

一个写请求只有在该缓存行是M或者E状态时才能被执行,如果当前缓存行处于S状态,必须先将其它缓存中该缓存行变成Invalid状态(既不允许不同CPU同时修改同一缓存行,即使修改该缓存行中不同位置的数据也不允许)。

这个操作经常作用广播的方式来完成,例如:RequestFor Ownership (RFO)

缓存可以随时将一个非M状态的缓存行作废,或者变成Invalid状态,而一个M状态的缓存行必须先被写回主存。

一个处于M状态的缓存行必须时刻监听所有试图读该缓存行相对就主存的操作,这种操作必须在缓存将该缓存行写回主存并将状态变成S状态之前被延迟执行。

一个处于S状态的缓存行也必须监听其它缓存使该缓存行无效或者独享该缓存行的请求,并将该缓存行变成无效(Invalid)。

一个处于E状态的缓存行也必须监听其它缓存读主存中该缓存行的操作,一旦有这种操作,该缓存行需要变成S状态。

对于M和E两种状态而言总是精确的,他们在和该缓存行的真正状态是一致的。

而S状态可能是非一致的,如果一个缓存将处于S状态的缓存行作废了,而另一个缓存实际上可能已经独享了该缓存行,但是该缓存却不会将该缓存行升迁为E状态。

这是因为其它缓存不会广播他们作废掉该缓存行的通知,同样由于缓存并没有保存该缓存行的copy的数量,因此(即使有这种通知)也没有办法确定自己是否已经独享了该缓存行。

从上面的意义看来E状态是一种投机性的优化,因为如果一个CPU想修改一个处于S状态的缓存行,总线事务需要将所有该缓存行的copy变成invalid状态才可以,而修改E状态的缓存不需要使用总线事务。

本站所有文章均由网友分享,仅用于参考学习用,请勿直接转载,如有侵权,请联系网站客服删除相关文章。若由于商用引起版权纠纷,一切责任均由使用者承担
极客文库 » Java并发编程与高并发学习笔记(二)CPU多级缓存-缓存一致性协议

Leave a Reply

欢迎加入「极客文库」,成为原创作者从这里开始!

立即加入 了解更多