深入解析ConcurrentHashMap:感受并发编程智慧

  • 如果有一个整型变量count,多个线程并发让count自增1,你会怎么设计?
  • 你知道如何让多个线程协作完成一件事件吗?

前言

很高兴遇见你~

ConcurrentHashMap是个老生常谈的集合类了,我们都知道多线程环境下不能直接使用HashMap,而需要使用ConcurrentHashMap,但有没有了解过ConcurrentHashMap到底是如何实现线程安全的呢?他到底跟传统的Hashtable和SynchronizeMap(没听过SynchronizeMap?他就是Collections.synchronizeMap方法返回的对象)到底好在哪?

ConcurrentHashMap建立在HashMap的基础上实现了线程安全,关于HashMap读者可以参考这篇文章:深入剖析HashMap,从散列表的三大要素:哈希函数、哈希冲突、扩容方案、以及线程安全展开详解HashMap的设计。关于HashMap的内容本文不再赘述,读者若对HashMap的底层设计不了解,一定要先去阅读前面的文章。ConcurrentHashMap中蕴含的并发编程智慧是非常值得我们学习的,正如文章开头的两个问题,你会如何解决呢?可能会直接上锁或用更高性能的CAS,但ConcurrentHashMap给了我们更不一样的解决方案。

本文的主要内容是讲解ConcurrentHashMap中的并发设计,重点分析ConcurrentHashMap的四个方法源码:putValinitTableaddCounttransfer。分析每个方法前会使用图解介绍ConcurrentHashMap的核心思路。源码中我加了非常详细的注释,有时间仍建议读者阅读完源码,ConcurrentHashMap的并发智慧,都蕴含在源码中。

那么我们开始吧~

CAS与自旋锁

CAS是ConcurrentHashMap中的一个重点,也是ConcurrentHashMap提升性能的根基所在。在阅读源码中,可以发现CAS无处不在。在介绍ConcurrentHashMap前,必须先介绍一下这两个重点。

Java中的运算并不是原子操作,如count++可分为:

  1. 获取count副本count_
  2. 对count_进行自增
  3. 把count_赋值给count

如果在第一步之后,count被其他的线程修改了,第三步的赋值会直接覆盖掉其他线程的修改。synchronize可以解决这个问题,但上锁为重量级操作,严重影响性能,CAS是更好的解决方案。

CAS的思路并不复杂。还是上面的例子:当我们需要对变量count进行自增时,我们可以认为没有发生并发冲突,先存储一个count副本,再对count进行自增,然后把副本和count本身进行比较,如果两者相同,则证明没有发生并发冲突,修改count的值;如果不同,则说明count在我们自增的过程中被修改了,把上述整个过程重新来一遍,直到修改成功为止,如下图:

深入解析ConcurrentHashMap:感受并发编程智慧

那,如果我们在判断count==count_之后,count被修改了怎么办?比较赋值的操作操作系统会保证的原子性,保证不会出现这种情况。在java中常见的CAS方法有:

// 比较并替换
U.compareAndSwapInt();
U.compareAndSwapLong();
U.compareAndSwapObject();

在后续的源码中,我们会经常看到他们。通过这种思路,我们不需要给count变量上锁。但如果并发度过高,处理时间过长,则会导致某些线程一直在循环自旋,浪费cpu资源

自旋锁是利用CAS而设计的一种应用层面的锁。如下代码:

// 0代表锁释放,1代表锁被某个线程拿走了
int lock = 0; while(true){
if(lock==0){
int lock_ ;
if(U.compareAndSwapInt(this,lock_,0,1)){
... // 获取锁后的逻辑处理 // 最后释放锁
lock = 0;
break;
}
}
}

上面就是很经典自旋锁设计。判断锁是否被其他线程拥有,若没有则尝试使用CAS获得锁;前两步失败都会重新循环再次尝试直到获得锁。最后逻辑处理完成要令lock=0来释放锁。冲突时间短的并发情景下这种方法可以大大提升效率。

CAS和自旋锁在ConcurrentHashMap应用地非常广泛,在源码中我们会经常看到他们的身影。同时这也是ConcurrentHashMap的设计核心所在。

ConcurrentHashMap的并发策略概述

Hashtable与SynchronizeMap采取的并发策略是对整个数组对象加锁,导致性能及其低下。jdk1.7之前,ConcurrentHashMap采用的是锁分段策略来优化性能,如下图:

深入解析ConcurrentHashMap:感受并发编程智慧

相当于把整个数组,拆分成多个小数组。每次操作只需要锁住操作的小数组即可,不同的segment之间不互相影响,提高了性能。jdk1.8之后,对整个策略进行了重构:锁的不是segment,而是节点,如下图:

深入解析ConcurrentHashMap:感受并发编程智慧

锁的粒度进一步被降低,并发的效率也提高了。jdk1.8做得优化不只是细化锁粒度,还带来了CAS+synchronize的设计。那么下面,我们针对ConcurrentHashMap的常见方法:添加、删除、扩容、初始化等进行详解他的设计思路。

添加数据:putVal()

ConcurrentHashMap添加数据时,采取了CAS+synchronize结合策略。首先会判断该节点是否为null,如果为null,尝试使用CAS添加节点;如果添加失败,说明发生了并发冲突,再对节点进行上锁并插入数据。在并发较低的情景下无需加锁,可以显著提高性能。同时只会CAS尝试一次,也不会造成线程长时间等待浪费cpu时间的情况。

ConcurrentHashMap的put方法整体流程如下(并不是全部流程):

深入解析ConcurrentHashMap:感受并发编程智慧

  1. 首先会判断数组是否已经初始化,如若未初始化,会先去初始化数组;
  2. 如果当前要插入的节点为null,尝试使用CAS插入数据;
  3. 如果不为null,则判断节点hash值是否为-1;-1表示数组正在扩容,会先去协助扩容,再回来继续插入数据。(协助扩容后面会讲)
  4. 最后会执行上锁,并插入数据,最后判断是否需要返回旧值;如果不是覆盖旧值,需要更新map中的节点数,也就是图中的addCount方法。

ConcurrentHashMap是基于HashMap改造的,其中的插入数据、hash算法和HashMap都大同小异,这里不再赘述。思路清晰之后,下面我们看源码分析:

final V putVal(K key, V value, boolean onlyIfAbsent) {
// 不允许插入空值或空键
// 允许value空值会导致get方法返回null时有两种情况:
// 1. 找不到对应的key2. 找到了但是value为null;
// 当get方法返回null时无法判断是哪种情况,在并发环境下containsKey方法已不再可靠,
// 需要返回null来表示查询不到数据。允许key空值需要额外的逻辑处理,占用了数组空间,且并没有多大的实用价值。
// HashMap支持键和值为null,但基于以上原因,ConcurrentHashMap是不支持空键值。
if (key == null || value == null) throw new NullPointerException();
// 高低位异或扰动hashcode,和HashMap类似
// 但有一点点不同,后面会讲,这里可以简单认为一样的就可以
int hash = spread(key.hashCode());
// bincount表示链表的节点数
int binCount = 0;
// 尝试多种方法循环处理,后续会有很多这种设计
for (Node<K,V>[] tab = table;;) {
Node<K,V> f; int n, i, fh;
// 情况一:如果数组为空则进行初始化
if (tab == null || (n = tab.length) == 0)
tab = initTable();
// 情况二:目标下标对象为null
else if ((f = tabAt(tab, i = (n - 1) & hash)) == null) {
// 重点:采用CAS进行插入
if (casTabAt(tab, i, null,new Node<K,V>(hash, key, value, null)))
break;
}
// 情况三:数组正在扩容,帮忙迁移数据到新的数组
// 同时会新数组,下次循环就是插入到新的数组
// 关于扩容的内容后面再讲,这里理解为正在扩容即可
else if ((fh = f.hash) == MOVED)
tab = helpTransfer(tab, f);
// 情况四:直接对节点进行加锁,插入数据
// 下面代码很多,但逻辑和HashMap插入数据大同小异
// 因为已经上锁,不涉及并发安全设计
else {
V oldVal = null;
// 同步加锁
synchronized (f) {
// 重复检查一下刚刚获取的对象有没有发生变化
if (tabAt(tab, i) == f) {
// 链表处理情况
if (fh >= 0) {
binCount = 1;
// 循环链表
for (Node<K,V> e = f;; ++binCount) {
K ek;
// 找到相同的则记录旧值
if (e.hash == hash &&
((ek = e.key) == key ||
(ek != null && key.equals(ek)))) {
oldVal = e.val;
// 判断是否需要更新数值
if (!onlyIfAbsent)
e.val = value;
break;
}
Node<K,V> pred = e;
// 若未找到则插在链表尾
if ((e = e.next) == null) {
pred.next = new Node<K,V>(hash, key,
value, null);
break;
}
}
}
// 红黑树处理情况
else if (f instanceof TreeBin) {
Node<K,V> p;
binCount = 2;
if ((p = ((TreeBin<K,V>)f).putTreeVal(hash, key,
value)) != null) {
oldVal = p.val;
if (!onlyIfAbsent)
p.val = value;
}
}
else if (f instanceof ReservationNode)
throw new IllegalStateException("Recursive update");
}
}
// 判断是否需要转化为红黑树,和返回旧数值
if (binCount != 0) {
if (binCount >= TREEIFY_THRESHOLD)
treeifyBin(tab, i);
if (oldVal != null)
return oldVal;
break;
}
}
}
// 总数+1;这是一个非常硬核的设计
// 这是ConcurrentHashMap设计中的一个重点,后面我们详细说
addCount(1L, binCount);
return null;
} // 这个方法和HashMap
static final int spread(int h) {
return (h ^ (h >>> 16)) & HASH_BITS;
}

我们注意到源码中有两个关键方法:初始化数组的initTable(),修改map中节点总数的addCount。这两个方法是如何实现线程安全的呢,我们继续分析。

初始化数组:initTable()

初始化操作的重点是:保证多个线程并发调用此方法,只能有一个线程成功。ConcurrentHashMap采取了CAS+自旋的方法来解决并发问题,整体流程如下图:

深入解析ConcurrentHashMap:感受并发编程智慧

  1. 首先会判断数组是否为null,如果否说明另一个线程初始化结束了,直接返回该数组;
  2. 第二步判断是否正在初始化,如果是会让出cpu执行时间,当前线程自旋等待
  3. 如果数组为null,且没有另外的线程正在初始化,那么会尝试获取自旋锁,获取成功则进行初始化,获取失败则表示发生了并发冲突,继续循环判断。

ConcurrentHashMap并没有直接采用上锁的方式,而是采用CAS+自旋锁的方式,提高了性能。自旋锁保证了只有一个线程能真正初始化数组,同时又无需承担synchronize的高昂代价,一举两得。在看源码分析之前,我们先来了解一下ConcurrentHashMap中一个关键的变量:sizeCtl

sizeCtl默认为0,在正常情况下,他表示ConcurrentHashMap的阈值,是一个正数。当数组正在扩容时,他的值为-1,表示当前正在初始化,其他线程只需要判断sizeCtl==-1 ,就知道当前数组正在初始化。但当ConcurrentHashMap正在扩容时,sizeCtl是一个表示当前有多少个线程正在协助扩容的负数 ,我们下面讲到扩容时再分析。我们直接来看initTable()的源码分析:

private final Node<K,V>[] initTable() {
Node<K,V>[] tab; int sc;
// 这里的循环是采用自旋的方式而不是上锁来初始化
// 首先会判断数组是否为null或长度为0
// 没有在构造函数中进行初始化,主要是涉及到懒加载的问题
while ((tab = table) == null || tab.length == 0) {
// sizeCtl是一个非常关键的变量;
// 默认为0,-1表示正在初始化,<-1表示有多少个线程正在帮助扩容,>0表示阈值
if ((sc = sizeCtl) < 0)
Thread.yield(); // 让出cpu执行时间 // 通过CAS设置sc为-1,表示获得自选锁
// 其他线程则无法进入初始化,进行自选等待
else if (U.compareAndSwapInt(this, SIZECTL, sc, -1)) {
try {
// 重复检查是否为空
if ((tab = table) == null || tab.length == 0) {
int n = (sc > 0) ? sc : DEFAULT_CAPACITY;
@SuppressWarnings("unchecked")
Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n];
table = tab = nt;
// 设置sc为阈值,n>>>2表示1/4*n,也就相当于0.75n
sc = n - (n >>> 2);
}
} finally {
// 把sc赋值给sizeCtl
sizeCtl = sc;
}
break;
}
}
// 最后返回tab数组
return tab;
}

下面我们继续看一下addCount()方法如何实现并发安全。

修改节点总数:addCount()

addCount方法的目标很简单,就是把ConcurrentHashMap的节点总数进行+1,也就是我在文章开头提出的问题。ConcurrentHashMap的作者设计了一套非常严谨的架构来保证并发安全与高性能。

ConcurrentHashMap并不是一个单独的size变量,他把size进行拆分,如下图:

深入解析ConcurrentHashMap:感受并发编程智慧

这样ConcurrentHashMap的节点数size就等于这些拆分开的size1、size2...的总和。这样拆分有什么好处呢?好处就是每个线程可以单独修改对应的变量。如下图:

深入解析ConcurrentHashMap:感受并发编程智慧

两个线程可以同时进行自增操作,且完全没有任何的性能消耗,是不是一个非常神奇的思路?而当需要获取节点总数时,只需要把全部加起来即可。在ConcurrentHashMap中每个size被用一个CounterCell对象包装着,CounterCell类很简单:

static final class CounterCell {
volatile long value;
CounterCell(long x) { value = x; }
}

仅仅只是对value值使用volatile关键字进行修饰。不知道volatile关键字?可以参考这篇文章一文搞懂 | Java中volatile关键字,简单来说就是保证当前线程对value的修改其他线程马上可以知道。ConcurrentHashMap使用一个数组来存储CounterCell,如下:

深入解析ConcurrentHashMap:感受并发编程智慧

那么每个线程如何分配到对应的自己的CounterCell呢?ConcurrentHashMap中采用了类似HashMap的思路,获取线程随机数,再对这个随机数进行取模得到对应的CounterCell。获取到对应的CounterCell之后,当前线程会尝试使用CAS进行修改,如果修改失败,则重新获取线程随机数,换一个CounterCell再来一次,直到修改成功。

以上就是addCount方法的核心思路,但源码的设计会复杂一点,还必须考虑CounterCell数组的初始化、CounterCell对象的创建、CounterCell数组的扩容。ConcurrentHashMap还保留了一个basecount,每个线程会首先使用CAS尝试修改basecount,如果修改失败,才会下发到counterCell数组中。整体的流程如下:

深入解析ConcurrentHashMap:感受并发编程智慧

  1. 当前线程首先会使用CAS修改basecount的值,修改失败则进入数组分配CounterCell修改;
  2. 判断CounterCell数组是否为空,
    1. 如果CounterCell数组为空,则初始化数组
    2. 如果CounterCell数组不为空,使用线程随机数找到下标
      1. 如果该下标的的counterCell对象还没初始化,则先创建一个CounterCell,这一步在图中我没有标出来。创建了CounterCell之后还需要考虑是否需要数组扩容
      2. 如果counterCell对象不为null,使用CAS尝试修改,失败则重新来一次
  3. 如果上面两种情况都不满足,则会回去再尝试CAS修改一下basecount

看起来好像挺复杂,但只要抓住size变量分割成多个CounterCell这个核心概念即可,其他的步骤都是细节完善。我们可以看到整个思路完全没有提到synchronize加锁,ConcurrentHashMap的作者采用CAS+自旋锁代替了synchronize,这使得在高并发情况下提升了非常大的性能。思路清晰之后,我们看源码也就简单一些了。那接下来就 read the fucking code:

private final void addCount(long x, int check) {
CounterCell[] as; long b, s;
// 如果数组不为空 或者 数组为空且直接更新basecount失败
if ((as = counterCells) != null ||
!U.compareAndSwapLong(this, BASECOUNT, b = baseCount, s = b + x)) { CounterCell a; long v; int m;
// 表示没发生竞争
boolean uncontended = true;
// 这里有以下情况会进入fullAddCount方法:
// 1. 数组为null且直接修改basecount失败
// 2. hash后的数组下标CounterCell对象为null
// 3. CAS修改CounterCell对象失败
if (as == null || (m = as.length - 1) < 0 ||
(a = as[ThreadLocalRandom.getProbe() & m]) == null ||
!(uncontended =
U.compareAndSwapLong(a, CELLVALUE, v = a.value, v + x))) {
// 该方法保证完成更新,重点方法!!
fullAddCount(x, uncontended);
return; } // 如果长度<=1不需要扩容(说实话我觉得这里有点奇怪)
if (check <= 1)
return;
s = sumCount();
}
if (check >= 0) {
// 扩容相关逻辑,下面再讲
}
}

前面源码尝试直接修改basecount失败后,就会进入fullAddCount方法:

private final void fullAddCount(long x, boolean wasUncontended) {
int h;
// 如果当前线程随机数为0,强制初始化一个线程随机数
// 这个随机数的作用就类似于hashcode,不过他不需要被查找
// 下面每次循环都重新获取一个随机数,不会让线程都堵在同一个地方
if ((h = ThreadLocalRandom.getProbe()) == 0) {
ThreadLocalRandom.localInit();
h = ThreadLocalRandom.getProbe();
// wasUncontended表示没有竞争
// 如果为false表示之前CAS修改CounterCell失败,需要重新获取线程随机数
wasUncontended = true;
} // 直译为碰撞,如果他为true,则表示需要进行扩容
boolean collide = false; // 下面分为三种大的情况:
// 1. 数组不为null,对应的子情况为CAS更新CounterCell失败或者countCell对象为null
// 2. 数组为null,表示之前CAS更新baseCount失败,需要初始化数组
// 3. 第二步获取不到锁,再次尝试CAS更新baseCount
for (;;) {
CounterCell[] as; CounterCell a; int n; long v; // 第一种情况:数组不为null
if ((as = counterCells) != null && (n = as.length) > 0) {
// 对应下标的CounterCell为null的情况
if ((a = as[(n - 1) & h]) == null) {
// 判断当前锁是否被占用
// cellsBusy是一个自旋锁,0表示没被占用
if (cellsBusy == 0) {
// 创建CounterCell对象
CounterCell r = new CounterCell(x);
// 尝试获取锁来添加一个新的CounterCell对象
if (cellsBusy == 0 &&
U.compareAndSwapInt(this, CELLSBUSY, 0, 1)) {
boolean created = false;
try {
CounterCell[] rs; int m, j;
// recheck一次是否为null
if ((rs = counterCells) != null &&
(m = rs.length) > 0 &&
rs[j = (m - 1) & h] == null) {
rs[j] = r;
// created=true表示创建成功
created = true;
}
} finally {
// 释放锁
cellsBusy = 0;
}
// 创建成功也就是+1成功,直接返回
if (created)
break;
// 拿到锁后发现已经有别的线程插入数据了
// 继续循环,重来一次
continue;
}
}
// 到达这里说明想创建一个对象,但是锁被占用
collide = false;
}
// 之前直接CAS改变CounterCell失败,重新获取线程随机数,再循环一次
else if (!wasUncontended) // CAS already known to fail
wasUncontended = true; // Continue after rehash
// 尝试对CounterCell进行CAS
else if (U.compareAndSwapLong(a, CELLVALUE, v = a.value, v + x))
break;
// 如果发生过扩容或者长度已经达到虚拟机最大可以核心数,直接认为无碰撞
// 因为已经无法再扩容了
// 所以并发线程数的理论最高值就是NCPU
else if (counterCells != as || n >= NCPU)
collide = false; // At max size or stale
// 如果上面都是false,说明发生了冲突,需要进行扩容
else if (!collide)
collide = true;
// 获取自旋锁,并进行扩容
else if (cellsBusy == 0 &&
U.compareAndSwapInt(this, CELLSBUSY, 0, 1)) {
try {
if (counterCells == as) {// Expand table unless stale
// 扩大数组为原来的2倍
CounterCell[] rs = new CounterCell[n << 1];
for (int i = 0; i < n; ++i)
rs[i] = as[i];
counterCells = rs;
}
} finally {
// 释放锁
cellsBusy = 0;
}
collide = false;
// 继续循环
continue;
} // 这一步是重新hash,找下一个CounterCell对象
// 上面每一步失败都会来到这里获取一个新的随机数
h = ThreadLocalRandom.advanceProbe(h);
} // 第二种情况:数组为null,尝试获取锁来初始化数组
else if (cellsBusy == 0 && counterCells == as &&
U.compareAndSwapInt(this, CELLSBUSY, 0, 1)) {
boolean init = false;
try {
// recheck判断数组是否为null
if (counterCells == as) {
// 初始化数组
CounterCell[] rs = new CounterCell[2];
rs[h & 1] = new CounterCell(x);
counterCells = rs;
init = true;
}
} finally {
// 释放锁
cellsBusy = 0;
}
// 如果初始化完成,直接跳出循环,
// 因为初始化过程中也包括了新建CounterCell对象
if (init)
break;
} // 第三种情况:数组为null,但是拿不到锁,意味着别的线程在新建数组,尝试直接更新baseCount
else if (U.compareAndSwapLong(this, BASECOUNT, v = baseCount, v + x))
// 更新成功直接返回
break;
}
}

源码的整体思路跟我们前面讲的是差不多的,细节上使用了很多的CAS+自旋锁来保证线程安全。上面的注释非常详细,这里就不再赘述。当初阅读源码看到这里,不得不佩服ConcurrentHashMap作者,我们可能觉得一个CAS+synchronize就解决了,但是他却想出了多线程同时更新的思路,配合CAS和自旋锁,在高并发环境下极大提高了性能。

如果说把一个变量拆分成多个子变量,利用多线程协作是一个很神奇的思路,那么多个线程同时协作完成扩容操作会不会更加神奇?ConcurrentHashMap不仅避开了并发的性能消耗,甚至利用上了并发的优势,多个线程一起帮忙完成一件事。那接下来就来看看ConcurrentHashMap的扩容方案。

扩容方案:transfer()

在讲扩容之前,需要补充两个知识点:siezeCtl和ForwardingNode。

sizeCtl在前面提到过,默认值为0,一般情况下表示ConcurrentHashMap的阈值,数组初始化时值为-1,当数组扩容时,表示为参与扩容的线程数。ConcurrentHashMap在扩容时把sizeCtl设置为一个很小的负数,并记住这个负数。线程参与扩容,该负数+1,线程退出该负数-1,这样就可以记住线程数了。一个变量维护四个状态,再次佩服ConcurrentHashMap的作者。

那这个负数设置为多少呢?有一个算法。看扩容时sizeCtl的初始化代码:

int rs = resizeStamp(n);// 这里n表示数组的长度
sizeCtl = rs << RESIZE_STAMP_SHIFT +2 ; // RESIZE_STAMP_SHIFT是一个常量,值为16 static final int resizeStamp(int n) {
return Integer.numberOfLeadingZeros(n) | (1 << (RESIZE_STAMP_BITS - 1));
}

我们一点一点来看这个算法。

  • Integer.numberOfLeadingZeros(n)这个方法表示获取n最高位1前面0的数目,如8的32位二进制为00000000 0000000 00000000 00001000。那么返回就是28,前面有28个0。
  • RESIZE_STAMP_BITS-1值为15,1<<RESIZE_STAMP_BITS-1 的结果就是00000000 00000000 10000000 00000000
  • 假设n=8,那么Integer.numberOfLeadingZeros(n) | (1 << (RESIZE_STAMP_BITS - 1))的结果就是0000000 0000000 10000000 00011100,这个数字就称之为检验码,记为rs。
  • 最后执行rs << RESIZE_STAMP_SHIFT +2得到sizeCtl的最终值:10000000 000111000 000000000 00000010

我们会发现扩容时,高16位是校验码,低16位表示线程数,初始化时会+2,后续有新的线程加入会+1。那校验码有什么用?当我们需要判断当前数组是否正在扩容时,只需要判断sizeCtl>>>RESIZE_STAMP_BITS == rs就可以知道当前是否在扩容了。

然后再来看看ForwardingNode。看名字就知道他是一个节点类,他的作用是标记当前节点已经迁移完成。如下图:

深入解析ConcurrentHashMap:感受并发编程智慧

ConcurrentHashMap会从后往前遍历并迁移,已经迁移完成的节点会被赋值为ForwardingNode,表示该节点下的所有数据已经迁移完成。ForwardingNode和普通的节点相似,但他的hash值为MOVED,也就是-1。还记得前面putVal吗?在插入的时候会判断当前节点是否是ForwardingNode,如果是则先帮忙迁移;否则如果正在扩容,说明扩容工作还没到达当前下标,那么可以直接插入。

了解完sizeCtl和ForwardingNode,那么就来看看ConcurrentHashMap的扩容方案。ConcurrentHashMap的扩容是多个线程协同工作的,提高了效率,如下图:

深入解析ConcurrentHashMap:感受并发编程智慧

ConcurrentHashMap把整个数组进行分段,每个线程负责一段。bound表示该线程范围的下限,i表示当前正在迁移的下标。每一个迁移完成的节点都会被赋值ForwardingNode,表示迁移完成。stride表示线程迁移的“步幅”,当线程完成范围内的任务后,就会继续往前看看还有没有需要迁移的,transferIndex就是记录下个需要迁移的下标;当transferIndex==0时则表示不需要帮忙了。这就是ConcurrentHashMap扩容方案的核心思路了 。保证线程安全的思路和前面介绍的方法大同小异,都是通过 CAS+自旋锁+synchronize来实现的。

另外ConcurrentHashMap迁移链表与二叉树的思路与HashMap略有不同,这里就不展开讲了,了解了HashMap看ConcurrentHashMap的源码很容易理解他的思路,也是大同小异。扩容方案就不打算画整体流程图了,只要了解核心思路,其他都是细节的逻辑控制。我们直接来看源码分析。

首先要看到addCount方法,这个方法我们前面介绍过他自增的逻辑,但是下半部分扩容的逻辑我们没有介绍,现在来看一下:

private final void addCount(long x, int check) {
... // 总数+1逻辑 // 这部分的逻辑主要是判断是否需要扩容
// 同时保证只有一个线程能够创建新的数组
// 其他的线程只能辅助迁移数据
if (check >= 0) {
Node<K,V>[] tab, nt; int n, sc;
// 当长度达到阈值且长度并未达到最大值时进行下一步扩容
while (s >= (long)(sc = sizeCtl) && (tab = table) != null &&
(n = tab.length) < MAXIMUM_CAPACITY) {
// 这个数配合后续的sizeCtr计算
// 他的格式是第16位肯定为1,低15位表示n前面连续的0个数,我们前面介绍过
int rs = resizeStamp(n);
// 小于0表示正在扩容或者正在初始化,否则进入下一步抢占锁进行创建新数组
if (sc < 0) {
// 如果正在迁移右移16位后一定等于rs
// ( sc == rs + 1 ||sc == rs + MAX_RESIZERS)这两个条件我认为不可能为true
// 有兴趣可以点击下方网站查看
// https://bugs.java.com/bugdatabase/view_bug.do?bug_id=JDK-8214427
// nextTable==null说明下个数组还未创建
// transferIndex<=0说明迁移已经够完成了
// 符合以上情况的重新循环自旋
if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 ||
sc == rs + MAX_RESIZERS || (nt = nextTable) == null ||
transferIndex <= 0)
break;
// 帮忙迁移,sc+1
if (U.compareAndSwapInt(this, SIZECTL, sc, sc + 1))
transfer(tab, nt);
}
// 抢占锁进行扩容
// 对rs检验码进行左移16位再+2,这部分我们在上面介绍过
else if (U.compareAndSwapInt(this, SIZECTL, sc,
(rs << RESIZE_STAMP_SHIFT) + 2))
// 抢占自旋锁成功,进行扩容
transfer(tab, null); // 更新节点总数,继续循环
s = sumCount();
}
}
}

上面的方法重点是利用sizeCtl充当自旋锁,保证只有一个现场能创建新的数组,而其他的线程只能协助迁移数组。那么下面的方法就是扩容方案的重点方法:

// 这里的两个参数:tab表示旧数组,nextTab表示新数组
// 创建新数组的线程nextTab==null,其他的线程nextTab等于第一个线程创建的数组
private final void transfer(Node<K,V>[] tab, Node<K,V>[] nextTab) {
int n = tab.length, stride;
// stride表示每次前进的步幅,最低是16
if ((stride = (NCPU > 1) ? (n >>> 3) / NCPU : n) < MIN_TRANSFER_STRIDE)
stride = MIN_TRANSFER_STRIDE; // subdivide range // 如果新的数组还未创建,则创建新数组
// 只有一个线程能进行创建数组
if (nextTab == null) {
try {
@SuppressWarnings("unchecked")
// 扩展为原数组的两倍
Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n << 1];
nextTab = nt;
} catch (Throwable ex) {
// 扩容失败出现OOM,直接把阈值改成最大值
sizeCtl = Integer.MAX_VALUE;
return;
}
// 更改concurrentHashMap的内部变量nextTable
nextTable = nextTab;
// 迁移的起始值为数组长度
transferIndex = n;
} int nextn = nextTab.length;
// 标志节点,每个迁移完成的数组下标都会设置为这个节点
ForwardingNode<K,V> fwd = new ForwardingNode<K,V>(nextTab);
// advance表示当前线程是否要前进
// finish表示迁移是否结束
// 官方的注释表示在赋值为true之前,必须再重新扫描一次确保迁移完成,后面会讲到
boolean advance = true;
boolean finishing = false; // to ensure sweep before committing nextTab // i表示当前线程迁移数据的下标,bound表示下限,从后往前迁移
for (int i = 0, bound = 0;;) {
Node<K,V> f; int fh; // 这个循环主要是判断是否需要前进,如果需要则CAS更改下个bound和i
while (advance) {
int nextIndex, nextBound;
// 如果还未到达下限或者已经结束了,advance=false
if (--i >= bound || finishing)
advance = false;
// 每一轮循环更新transferIndex的下标
// 如果下一个下标是0,表示已经无需继续前进
else if ((nextIndex = transferIndex) <= 0) {
i = -1;
advance = false;
}
// 利用CAS更改bound和i继续前进迁移数据
else if (U.compareAndSwapInt
(this, TRANSFERINDEX, nextIndex,
nextBound = (nextIndex > stride ?
nextIndex - stride : 0))) {
bound = nextBound;
i = nextIndex - 1;
advance = false;
}
} // i已经达到边界,说明当前线程的任务已经完成,无需继续前进
// 如果是第一个线程需要更新table引用
// 协助的线程需要将sizeCtl减一再退出
if (i < 0 || i >= n || i + n >= nextn) {
int sc;
// 如果已经更新完成,则更新table引用
if (finishing) {
nextTable = null;
table = nextTab;
// 同时更新sizeCtl为阈值
sizeCtl = (n << 1) - (n >>> 1);
return;
}
// 线程完成自己的迁移任务,将sizeCtl减一
if (U.compareAndSwapInt(this, SIZECTL, sc = sizeCtl, sc - 1)) {
// 这里sc-2不等于校验码,说明此线程不是最后一个线程,还有其他线程正在扩容
// 那么就直接返回,他任务已经完成了
// 最后一个线程需要重新把整个数组再扫描一次,看看有没有遗留的
if ((sc - 2) != resizeStamp(n) << RESIZE_STAMP_SHIFT)
return;
// finish设置为true表示已经完成
// 这里把i设置为n,重新把整个数组扫描一次
finishing = advance = true;
i = n; // recheck before commit
}
}
// 如果当前节点为null,表示迁移完成,设置为标志节点
else if ((f = tabAt(tab, i)) == null)
// 这里的设置有可能会失败,所以不能直接设置advance为true,需要再循环
advance = casTabAt(tab, i, null, fwd);
// 当前节点是ForwardingNode,表示迁移完成,继续前进
else if ((fh = f.hash) == MOVED)
advance = true; // already processed
else {
// 给头节点加锁,进行迁移
// 加锁后下面的内容就不涉及并发控制细节了,就是纯粹的数据迁移
// 思路和HashMap差不多,但也有一些不同,多了一个lastRun
// 读者可以阅读一下下面源码,这部分比较容易理解
synchronized (f) {
// 上锁之后再判断一次看该节点是否还是原来那个节点
// 如果不是则重新循环
if (tabAt(tab, i) == f) {
Node<K,V> ln, hn;
// hash值大于等于0表示该节点是普通链表节点
if (fh >= 0) {
int runBit = fh & n;
Node<K,V> lastRun = f;
// ConcurrentHashMap并不是直接把整个链表分为两个
// 而是先把尾部迁移到相同位置的一段先拿出来
// 例如该节点迁移后的位置可能为 1或5 ,而链表的情况是:
// 1 -> 5 -> 1 -> 5 -> 5 -> 5
// 那么concurrentHashMap会先把最后的三个5拿出来,lastRun指针指向倒数第三个5
for (Node<K,V> p = f.next; p != null; p = p.next) {
int b = p.hash & n;
if (b != runBit) {
runBit = b;
lastRun = p;
}
}
// 判断尾部整体迁移到哪个位置
if (runBit == 0) {
ln = lastRun;
hn = null;
}
else {
hn = lastRun;
ln = null;
}
for (Node<K,V> p = f; p != lastRun; p = p.next) {
int ph = p.hash; K pk = p.key; V pv = p.val;
// 这个node节点是改造过的
// 相当于使用头插法插入到链表中
// 这里的头插法不须担心链表环,因为已经加锁了
if ((ph & n) == 0)
ln = new Node<K,V>(ph, pk, pv, ln);
else
hn = new Node<K,V>(ph, pk, pv, hn);
}
// 链表构造完成,把链表赋值给数组
setTabAt(nextTab, i, ln);
setTabAt(nextTab, i + n, hn);
// 设置标志对象,表示迁移完成
setTabAt(tab, i, fwd);
advance = true;
}
// 树节点的处理,和链表思路相同,不过他没有lastRun,直接分为两个链表,采用尾插法
else if (f instanceof TreeBin) {
TreeBin<K,V> t = (TreeBin<K,V>)f;
TreeNode<K,V> lo = null, loTail = null;
TreeNode<K,V> hi = null, hiTail = null;
int lc = 0, hc = 0;
for (Node<K,V> e = t.first; e != null; e = e.next) {
int h = e.hash;
TreeNode<K,V> p = new TreeNode<K,V>
(h, e.key, e.val, null, null);
if ((h & n) == 0) {
if ((p.prev = loTail) == null)
lo = p;
else
loTail.next = p;
loTail = p;
++lc;
}
else {
if ((p.prev = hiTail) == null)
hi = p;
else
hiTail.next = p;
hiTail = p;
++hc;
}
}
ln = (lc <= UNTREEIFY_THRESHOLD) ? untreeify(lo) :
(hc != 0) ? new TreeBin<K,V>(lo) : t;
hn = (hc <= UNTREEIFY_THRESHOLD) ? untreeify(hi) :
(lc != 0) ? new TreeBin<K,V>(hi) : t;
setTabAt(nextTab, i, ln);
setTabAt(nextTab, i + n, hn);
setTabAt(tab, i, fwd);
advance = true;
}
}
}
}
}
}

扩容是一个相对重量级的操作,他需要创建一个新的数组再把原来的节点一个个搬过去,在高并发环境下,如果直接对整个表上锁,会有很多线程被阻塞。而ConcurrentHashMap的设计使得多个线程可协同完成扩容操作,甚至扩容的同时还可以进行数据的读取与插入,极大提高了效率。和前面的拆分size变量有异曲同工之妙:利用多线程协同工作来提高效率

关于扩容还有另外一个方法:helpTransfer。顾名思义,就是帮忙扩容,在putVal方法中,遇到ForwardingNode对象会调用此方法。看完前面的源码,这部分的源码就简单多了,no bb,show the code:

final Node<K,V>[] helpTransfer(Node<K,V>[] tab, Node<K,V> f) {
Node<K,V>[] nextTab; int sc;
// 判断当前节点为ForwardingNode,且已经创建新的数组
if (tab != null && (f instanceof ForwardingNode) &&
(nextTab = ((ForwardingNode<K,V>)f).nextTable) != null) {
int rs = resizeStamp(tab.length);
// sizeCtl<0表示还在扩容
while (nextTab == nextTable && table == tab &&
(sc = sizeCtl) < 0) {
// 校验是否已经扩容完成或者已经推进到0,则不需要帮忙扩容
if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 ||
sc == rs + MAX_RESIZERS || transferIndex <= 0)
break;
// 尝试让让sc+1并帮忙扩容
if (U.compareAndSwapInt(this, SIZECTL, sc, sc + 1)) {
transfer(tab, nextTab);
break;
}
}
// 返回扩容之后的数组
return nextTab;
}
// 若数组尚未初始化或节点非ForwardingNode,返回原数组
return table;
}

到此扩容方案的源码就分析完毕了。扩容方案的思路虽然简单,但是需要有大量的逻辑控制来保证线程安全,所以源码量也非常多。关于ConcurrentHashMap的核心方法已经都分析完毕了,其他的如removereplace等思路都和上面讲过的大同小异,读者可自行阅读源码。

最后

到这里,关于concurrentHashMap的内容就基本讲完了。以后跟面试官吹水,就不只是一句ConcurrentHashMap是安全的就没有下文了。ConcurrentHashMap优秀的CAS+自旋锁+synchronize并发设计,是整个框架的重点所在。

看完ConcurrentHashMap的源码有什么用?当然是面试要问啊!《java编程思想》中提到,对于并发问题,如果不是专家,老老实实上个锁,不要整这些花里胡哨的。从ConcurrentHashMap的源码我们可以得知并发的问题,远远没有我们想的那么简单,他是一个非常复杂的问题。学习ConcurrentHashMap,也并不是要学他写一样的代码,除了面试,我想更重要的一点是感受编程的智慧。ConcurrentHashMap作者神奇的设计、严谨的代码,让我们得以拥有在并发环境下安全且高性能的ConcurrentHashMap可以使用。他的思想是,如果能在实际实践中运用到一点点,都是莫大的收获了。

现在,文章开头的两个问题,有答案了吗?

希望文章对你有帮助~

全文到此,原创不易,觉得有帮助可以点赞收藏评论转发。

笔者才疏学浅,有任何想法欢迎评论区交流指正。

如需转载请评论区或私信交流。

另外欢迎光临笔者的个人博客:传送门

上一篇:Hadoop学习笔记—1.基本介绍与环境配置


下一篇:直接双击启动tomcat中的startup.bat闪退原因及解决方法