高并发第二弹:并发概念及内存模型(JMM)
感谢 :
深入Java内存模型 http://www.importnew.com/10589.html, cpu缓存一致性 https://www.cnblogs.com/yanlong300/p/8986041.html;
1.概念
并发:同时拥有两个或者多个线程,如果程序在单核处理器上运行,多个线程将交替地还如或者换出内存,这些线程是同时”存在”的,每隔线程都处于执行过程中的某个状态,如果运行在多核处理器上,此时,程序中的每个线程都将分配到一个处理器核上,因此可以同时运行。
高并发:High Concurrency 是互联网分布式系统架构设计中必须考虑的因素之一,它通常是指,通过设计保证系统能够同时并行处理很多请求。
2. 多级缓存
CPU的频率太快了,快到主存跟不上,这样在处理器时钟周期内,CPU常常需要等待主存,浪费资源,所以cache的出现,是为了缓解CPU和内存之间速度的不匹配问题。
CPU多级缓存配置(演变):
局部性原理:
(1) 时间局部性:如果某个数据被访问,那么在不久的将来它很可能被再次访问。
(2) 空间局部性:如果某个数据被访问,那么与他相邻的数据很快也可能被访问。
请注意,这只是示意图,真正的数据流并不需要流经上级缓存
3.缓存一致性(MESI Modify|Exclusive|Share|Invalid)
如果还没有概念,建议看一下 :[每个程序员都应该了解的 CPU 高速缓存]https://www.oschina.net/translate/what-every-programmer-should-know-about-cpu-cache-part2?cmp
1.1 cpu缓存一致性协议MESI >> 更详细:cpu缓存一致性
MESI 是指4中状态的首字母。每个Cache line有4个状态,可用2个bit表示,它们分别是:
缓存行(Cache line):缓存存储数据的单元。
状态 | 描述 | 监听任务 |
---|---|---|
M 修改 (Modified) | 该Cache line有效,数据被修改了,和内存中的数据不一致,数据只存在于本Cache中。 | 缓存行必须时刻监听所有试图读该缓存行相对就主存的操作,这种操作必须在缓存将该缓存行写回主存并将状态变成S(共享)状态之前被延迟执行。 |
E 独享、互斥 (Exclusive) | 该Cache line有效,数据和内存中的数据一致,数据只存在于本Cache中。 | 缓存行也必须监听其它缓存读主存中该缓存行的操作,一旦有这种操作,该缓存行需要变成S(共享)状态。 |
S 共享 (Shared) | 该Cache line有效,数据和内存中的数据一致,数据存在于很多Cache中。 | 缓存行也必须监听其它缓存使该缓存行无效或者独享该缓存行的请求,并将该缓存行变成无效(Invalid)。 |
I 无效 (Invalid) | 该Cache line无效。 | 无 |
MESI状态转换
理解该图的前置说明:
1.触发事件
触发事件 | 描述 |
---|---|
本地读取(Local read) | 本地cache读取本地cache数据 |
本地写入(Local write) | 本地cache写入本地cache数据 |
远端读取(Remote read) | 其他cache读取本地cache数据 |
远端写入(Remote write) | 其他cache写入本地cache数据 |
2.cache分类:
前提:所有的cache共同缓存了主内存中的某一条数据。
本地cache:指当前cpu的cache。
触发cache:触发读写事件的cache。
其他cache:指既除了以上两种之外的cache。
注意:本地的事件触发 本地cache和触发cache为相同。
下图示意了,当一个cache line的调整的状态的时候,另外一个cache line 需要调整的状态。
M | E | S | I | |
---|---|---|---|---|
M | × | × | × | √ |
E | × | × | × | √ |
S | × | × | √ | √ |
I | √ | √ | √ | √ |
举个栗子来说:
假设cache 1 中有一个变量x = 0的cache line 处于S状态(共享)。
那么其他拥有x变量的cache 2、cache 3等x的cache line调整为S状态(共享)或者调整为 I 状态(无效)。
更详细的 我建议去我刚刚分享的那个师兄去看,更详细
四种操作
- 本地读取 local read :读本地缓存
- 本地写入 local write : 写本地缓存
- 远端读取 remote rade : 将Memory中的数据读取过来
- 远端写入 remote write : 将数据写回Memory中
缓存被修改时的情况:
某一时刻缓存被CPU A 与CPU B共享,这时CPU A 要修改本地缓存的时候,会将主存的数据与CPU B在共享的数据置为无效状态。缓存由S -> I
4.乱序执行优化
void executedOnCpu0() {
value = 10 ;
finished = true ;
} void executedOnCpu1() {
while (!finished);
assert value == 10 ;
} |
试想一下开始执行时,CPU 0保存着finished
在Exclusive状态,而value
并没有保存在它的缓存中。(例如,Invalid)。在这种情况下,value
会比finished
更迟地抛弃存储缓存。完全有可能CPU 1读取finished
的值为true
,而value
的值不等于10
。
这种在可识别的行为中发生的变化称为重排序(reordings)。注意,这不意味着你的指令的位置被恶意(或者好意)地更改。
它只是意味着其他的CPU会读到跟程序中写入的顺序不一样的结果。
5、JAVA 内存模型(JMM)
一种规范,规范了java虚拟机与计算机内存如何协同工作的。它规定了**一个线程如何和何时可以看到其他线程修改过的共享变量的值,以及在必须时如何同步地访问共享变量**。
- 堆Heap:运行时数据区,有垃圾回收,堆的优势可以动态分配内存大小,生存期也不必事先告诉编译器,因为他是在运行时动态分配内存。缺点是由于运行时动态分配内存,所以存取速度慢一些。
- 栈Stack:优势存取速度快,速度仅次于计算机的寄存器。栈的数据是可以共享的,但是缺点是存在栈中数据的大小与生存期必须是确定的。主要存放基本类型变量,对象据点。要求调用栈和本地变量存放在线程栈上。
- 静态类型变量跟随类的定义存放在堆上。存放在堆上的对象可以被所持有对这个对象引用的线程访问。
- 如果两个线程同时调用了同一个对象的同一个方法,他们都会访问这个对象的成员变量。但是这两个线程都拥有的是该对象的成员变量(局部变量)的私有拷贝。—[线程封闭中的堆栈封闭]
- CPU Registers(寄存器):是CPU内存的基础,CPU在寄存器上执行操作的速度远大于在主存上执行的速度。这是因为CPU访问寄存器速度远大于主存。
- CPU Cache Memory(高速缓存):由于计算机的存储设备与处理器的运算速度之间有着几个数量级的差距,所以现代计算机系统都不得不加入一层读写速度尽可能接近处理器运算速度的高级缓存,来作为内存与处理器之间的缓冲。将运算时所使用到的数据复制到缓存中,让运算能快速的进行。当运算结束后,再从缓存同步回内存之中,这样处理器就无需等待缓慢的内存读写了。
- RAM-Main Memory(主存/内存):
- 当一个CPU需要读取主存的时候,他会将主存中的部分读取到CPU缓存中,甚至他可能将缓存中的部分内容读到他的内部寄存器里面,然后在寄存器中执行操作。当CPU需要将结果回写到主存的时候,他会将内部寄存器中的值刷新到缓存中,然后在某个时间点从缓存中刷回主存。
Java内存模型抽象结构:每个线程都有一个私有的本地内存,本地内存他是java内存模型的一个抽象的概念。它并不是真实存在的,它涵盖了缓存、写缓冲区、寄存器以及其他的硬件和编译器的优化。本地内存中它存储了该线程以读或写共享变量拷贝的一个副本。从更低的层次来说,主内存就是硬件的内存,是为了获取更高的运行速度,虚拟机及硬件系统可能会让工作内存优先存储于寄存器和高速缓存中,java内存模型中的线程的工作内存是CPU的寄存器和高速缓存的一个抽象的描述。而JVM的静态内存存储模型它只是对内存的一种物理划分而已。它只局限在内存,而且只局限在JVM的内存。 Write One,Run Everywhere!
6、Java内存模型-同步八种操作
- lock(锁定) :作用于主内存变量,把一个变量标识为一条线程独占状态
- unlock(解锁) : 作用于主内存的变量,把一个处于锁定状态的变量释放出来,释放后的变量才可以被其他线程锁定
- read(读取) : 作用于主内存的变量,把一个变量值从主内存传输到线程的工作内存中,以便随后的load动作使用
- load(载入) :作用于工作内存的变量,它把read操作从主内存中得到的变量值放入工作内存的变量副本中
- use(使用) :作用于工作内存的变量,把工作内存中的一个变量值传递给执行引擎
- assign(赋值) : 作用于工作内存的变量,它把一个从执行引擎接收到的值赋值给工作内存的变量
- store(存储) : 作用于工作内存的变量,把工作内存中的一个变量的值传送到主内存中,以便随后的write操作
- write(写入) :作用于主内存的变量中,它把store操作从工作内存中一个变量的值传送到主内存的变量中
7、Java内存模型-同步规则
- 如果要把一个变量从主内存中复制到工作内存,就需要按顺序的执行read和load操作,如果把变量从工作内存中同步回主内存中,就要按顺序的执行store和write操作。但java内存模型只要求上述操作必须按顺序执行,而没有保证必须是连续执行
- 不允许read和load、store和write操作之一单独出现
- 不允许一个线程丢弃它的最近assign的操作,即变量在工作内存中改变了之后必须同步到主内存中
- 不允许一个线程无原因的(没有发生过任何assign操作)把数据从工作内存同步回主内存中
- 一个新的变量只能在主内存中诞生,不允许在工作内存中直接使用一个未被初始化(load或assign)的变量。即就是对一个变量实施use和store操作之前,必须先执行过了assign和load操作。
- 一个变量早同一时刻只允许一条线程对其进行lock操作,但lock操作可以被同一条线程重复执行多次,多次执行lock后,只有执行相同次数的unlock操作,变量才会被解锁。lock和unlock必须是成对出现。
- 如果对一个变量执行lock操作,将会清空工作内存中此变量的值,在执行引擎使用这个变量前需要重新执行load或assign操作初始化变量的值。
- 如果一个变量事先没有被lock锁定,则不允许对它执行unlock操作,也不允许unlock一个被其他线程锁定的变量
- 对一个变量执行unlock操作之前,必须先把此变量同步到主内存中(执行store和write操作)
8、并发的优势与风险
风险:
- 安全性:多个线程共享数据时可能会产生于期望不相符的结果
- 活跃性:某个操作无法继续进行下去时,就会发生活跃性问题。比如死锁、饥饿问题
- 性能:线程过多时会使得CPU频繁切换,调度时间增多;同步机制;消耗过多内存。
优势:
- 速度:同时处理多个请求,响应更快;复杂的操作可以分成多个进程同时进行。
- 设计:程序设计在某些情况下更简单,也可以有更多选择
- 资源利用:CPU能够在等待IO的时候做一些其他的事情