作者 | 加多
关注阿里巴巴云原生公众号,后台回复关键字“并发”,即可参与送书抽奖!
导读:并发编程与 Java 中其他知识点相比较而言学习门槛较高,从而导致很多人望而却步。但无论是职场面试,还是高并发/高流量系统的实现,都离不开并发编程,于是能够真正掌握并发编程的人成为了市场迫切需求的人才。本文中,作者加多以通俗易懂的方式讲解了多线程并发编程从入门到实践需要掌握的理论知识与实际操作方法。
学习并发编程
Java 并发编程作为 Java 技术栈中的一根顶梁柱,其学习成本还是比较大的,很多人学习起来感到没有头绪、无从下手。那么学习并发编程是否有一些技巧在里面呢?
为了让开发者从 Java 并发编程的苦海中解脱出来,大神 Doug Lea 特意为 Java 开发人员做了一件事情,那就是在 JDK 中提供了 Java 并发包(JUC)。
该包提供了常用的并发相关的工具类,比如锁、并发安全的队列、并发安全的列表、线程池、线程同步器等。有了 JUC 包,开发人员编写并发程序的时候,就不再那么吃力了;但是工具虽好,如果你对其原理不了解,还是很容易犯错,即:不懂原理多吃亏。
下面为大家举三个例子进行说明:
- 最简单的并发安全队列 LinkedBlockingQueue,其 offer 与 put 方法的区别。什么时候用 offer,什么时候用 put,你可能在某个时间点知道,但是过一段时间可能就会忘记。但如果你对其原理了解,翻看下代码,就可以知道:offer 是非阻塞的,队列满了,就丢弃当前元素;put 是阻塞的,队列满则会挂起当前线程进行等待;
- 使用线程池的时候,意在让调用线程把任务放入线程池后直接返回,让任务异步执行。如果你没注意拒绝策略为 CallerRunsPolicy,并且不知道线程池队列满后,拒绝策略的执行是当前调用线程,那么你在拒绝策略里面就会做很耗时的动作,导致当前调用线程被阻塞很久;
- 当你使用 Executors.newFixedThreadPool 等创建线程池的时候,如果你不知道其内部创建了一个*队列,那么当大量任务被投递到创建的线程池里面后,可能就会造成 OOM(OutOfMemoryError)。另外当你不知道线程池里面的线程是用户线程还是 deamon 线程的时候,且没有调用线程池的 shutdown 方法,则创建线程池的应用也许就不能优雅退出。
上面的几个例子,意在说明虽然有了 JUC 包,但是不懂原理依然会很吃亏。那么我们为何不花些时间来研究下 JUC 包重要组件的实现原理呢?
有人可能会说:我看了但看不懂,每个组件里面涉及的知识太多了。没错, JUC 包重要组件的实现的确是由并发编程基础知识搭建起来的,所以大家在看组件实现原理前,应该先去把并发的相关基础知识学好,然后由浅入深进行研究。
比如最基础的线程基础操作原语 notify/wait 系列,join 方法、sleep 方法、yeild 方法;线程中断的理解;死锁的产生与避免;什么时候是用户线程、什么时候是 deamon 线程?什么是伪共享以及如何解决?Java 内存模型是什么?什么是内存不可见性以及如何避免?volatile 与 Synchronized 内存语义是什么,它是用来解决什么问题的?什么是 CAS 操作,它的出现为了解决什么问题?ABA 问题是什么?什么是指令重排序,如何避免?什么是原子性操作?什么是独占锁,共享锁,公平锁,非公平锁?······
如果你已经掌握了上面列出的所有基础知识,那么就可以先看 JUC 包中最简单的基于 CAS 无锁实现的原子性操作类如:AtomicLong 的实现。可能你会有所疑问:其中的变量 value 为何使用 volatile 修饰(多线程下保证内存可见性)?
接下来大家可以看到 JDK8 新增原子操作类 LongAdder,在非常高的并发请求下,AtomicLong 的性能会受影响,这是因为虽然 AtomicLong 使用无数 CAS 算法,但是 CAS 失败后还是通过无限循环的自旋锁不断尝试的。在高并发下 N 多线程同时去操作一个变量,会造成大量线程 CAS 失败,然后处于自旋状态,这大大浪费了 cpu 资源。
既然 AtomicLong 性能是由于过多线程同时去竞争一个变量的更新而降低的,那么如果把一个变量分解为多个变量,让同样多的线程去竞争多个资源,性能问题不就解决了?JDK8 提供的 LongAdder 就是这个思路。看到这里大家或许会眼前一亮。
最后大家可以去看一下,比较简单的并发安全基于写时拷贝的 CopyOnWriteArrayList 的实现,以及探究其迭代器的弱一致性实现原理(即写时拷贝)。
接下来进入核心环节,也就是对 JUC 包中锁的研究。
一开始要先把 LockSupport 类研究透,即:锁中让线程挂起与唤醒的基础设施。由于锁是基于 AQS(AbstractQueuedSynchronizer)实现的,所以肯定要先把 AQS 搞清楚。
你将会发现 AQS 中维持了一个单一的状态信息 state, 可以通过 getState,setState,compareAndSetState 函数修改其值。
对于 ReentrantLock 的实现来说,state 可以用来表示当前线程获取锁的可重入次数;对于读写锁 ReentrantReadWriteLock 来说,state 的高 16 位表示读状态,也就是获取该读锁的次数,低 16 位表示获取到写锁线程的可重入次数;对于 semaphore 来说,state 用来表示当前可用信号的个数;对于 FutuerTask 来说,state 用来表示任务状态(例如还没开始,运行,完成,取消);对于 CountDownlatch 和 CyclicBarrie 来说,state 用来表示计数器当前的值。
AQS 有个内部类 ConditionObject 是用来结合锁实现线程同步,ConditionObject 可以直接访问 AQS 对象内部的变量,比如 state 状态值和 AQS 队列。ConditionObject 是条件变量,每个条件变量对应着一个条件队列 (单向链表队列),用来存放调用条件变量的 await() 方法后被阻塞的线程。
AQS 类并没有提供可用的 tryAcquire 和 tryRelease,正如 AQS 是锁阻塞和同步器的基础框架,tryAcquire 和 tryRelease 需要有具体的子类来实现。子类在实现 tryAcquire 和 tryRelease 的时候,要根据具体场景使用 CAS 算法尝试修改状态值 state, 成功则返回 true, 否则返回 false。子类还需要定义在调用 acquire 和 release 方法的时候 ,state 状态值的增减代表什么含义。
比如继承自 AQS 实现的独占锁 ReentrantLock,定义当 status 为 0 的时候表示锁空闲;为 1 的时候表示锁已经被占用。在重写 tryAcquire 的时候,内部需要使用 CAS 算法,查看当前 status 是否为 0,如果为 0 则使用 CAS 设置为 1,并设置当前线程的持有者为当前线程,返回 true;如果 CAS 失败则返回 false。
ReentrantLock 在实现 tryRelease 的时候,内部需要使用 CAS 算法把当前 status 的值从 1 修改为 0,并设置当前锁的持有者为 null,然后返回 true, 如果 cas 失败则返回 false。
知道 AQS 是什么后,下面先看最简单的独占锁 ReentrantLock。你可以先画出其类图结构,看看有哪些变量和方法,将会发现它有着公平锁与独占锁之分(回顾基础篇)。
类图中状态值 state 代表线程获取该锁的可重入次数,当一个线程第一次获取该锁时, state 的值为 0;第二次获取后,该锁状态值为 1,这就是可重入次数。然后加大难度,看看读写锁 ReentrantReadWriteLock 是怎么实现读写分离、增加并发度的,别忘了还有 JDK 新增的 StampedLock 。
等锁研究完了,就可以对并发队列进行研究了。其中,队列要分为基于 CAS 的无阻塞队列 ConcurrentLinkedQueue 和其他基于锁的阻塞队列。先看比较简单的 ArrayBlockingQueue,LinkedBlockingQueue,ConcurrentLinkedQueue,别忘了还有高级的优先级队列 PriorityBlockingQueue 和延迟队列 DelayQueue。
好像少了线程池?线程池主要解决两个问题:
- 当执行大量异步任务的时候,线程池能够提供较好的性能;在不使用线程池且需要执行异步任务时,直接 new 一线程进行运行,线程的创建和销毁是需要开销的。线程池里面的线程是可复用的,不会每次执行异步任务时候都重新创建和销毁线程;
- 线程池提供了一种资源限制和管理的手段。比如可以限制线程的个数、动态新增线程等,每个 ThreadPoolExecutor 也保留了一些基本的统计数据,如:当前线程池完成的任务数目等。
前面讲解过 Java 中线程池 ThreadPoolExecutor 原理的探究,ThreadPoolExecutor 是 Executors 工具类里的一部分功能。下面介绍另外一部分功能,也就是 ScheduledThreadPoolExecutor 的实现,它是一个可以指定一定延迟时间后或者定时进行任务调度执行的线程池。
JUC 中重要的高级线程同步器 CountDownLatch、CyclicBarrier、Semaphore 也不能忽略,这些高级的同步器会大大简化我们编写线程同步任务的门槛、降低我们的出错率。
虽然 Java 并发编程内容很广,但还是有一些规则可以遵循,比如线程。线程池创建的时候要指定名称以便排查问题,线程池使用完毕记得关闭,ThreadLocal 使用完毕记得调用 remove 清理,SimpleDateFormat 类是线程不安全的等等。
总结
如果你对上面的内容感兴趣,但对学并发无从下手,那么机会来了!《Java并发编程之美》这本书,就是按照以上的思路来编写的,该书在京东上被列为 10 大精选书籍之一。
购买链接:https://item.m.jd.com/product/12450812.html
扫描下方二维码添加小助手,与 8000 位云原生爱好者讨论技术趋势,实战进阶!
进群暗号:公司-岗位-城市
关注阿里巴巴云原生公众号,后台回复关键字“并发”,即可参与送书抽奖!