目录
一、Minor GC,MajorGC、Full GC
- Minor GC:新生代的GC;
- Major GC:老年代的GC;
- Full GC:整堆收集,收集整个Java堆和方法区的垃圾收集;
我们都知道,垃圾回收是JVM调优的一个重要环节,我们需要尽量的避免垃圾回收,因为在垃圾回收的过程中,容易出现STW(stop the word)的问题。
我们都知道,新生代的垃圾回收比较频繁,但是时间相对较短;而老年代的垃圾回收频率较低,但是花费的时间较长,并且Major GC 和 Full GC出现STW的时间,是Minor GC的10倍以上。
JVM在进行GC时,并非每次都对上面三个内存区域一起回收的,大部分时候回收的都是指新生代。针对Hotspot VM的实现,它里面的GC按照回收区域又分为两大种类型:
- 部分收集(Partial GC)
部分收集:不是完整收集整个Java堆的垃圾收集。其中又分为:
- 新生代收集(MinorGC/YoungGC):只是新生代的垃圾收集;
- 老年代收集(MajorGC/o1dGC):只是老年代的垃圾收集;
- 目前,只有CMS垃圾收集器会有单独收集老年代的行为;
- 注意,很多时候Major GC会和Full GC混淆使用,需要具体分辨是老年代回收还是整堆回收;
- 混合收集(MixedGC):收集整个新生代以及部分老年代的垃圾收集。
- 目前,只有G1垃圾收集器会有这种行为;
- 整堆收集(Full GC)
整堆收集(Full GC):收集整个java堆和方法区的垃圾收集。
(一)、Minor GC
当年轻代空间不足时,就会触发MinorGC,这里的年轻代满指的是Eden代满,Survivor满不会引发GC。
因为Java对象大多都具备 朝生夕灭 的特性,所以Minor GC非常频繁,一般回收速度也比较快。
Minor GC会引发STW,暂停其它用户的线程,等垃圾回收结束,用户线程才恢复运行。
(二)、Major GC
Major GC指发生在老年代的GC,对象从老年代消失时,我们说 “Major Gc” 或 “Full GC” 发生了。
出现了Major GC,经常会伴随至少一次的Minor GC(但非绝对的,在Parallel Scavenge收集器的收集策略里就有直接进行MajorGC的策略选择过程)
- 也就是在老年代空间不足时,会先尝试触发Minor GC。如果之后空间还不足,则触发Major GC。
Major GC的速度一般会比MinorGc慢10倍以上,STW的时间更长,如果Major GC后,内存还不足,就报OOM了。
(三)、Full GC
触发Full GC执行的情况有如下五种:
- 调用System.gc()时,系统建议执行Full GC,但是不必然执行;
- 老年代空间不足;
- 方法区空间不足;
- 通过Minor GC后进入老年代的平均大小大于老年代的可用内存;
- 由Eden区、Survivor space(From Space)区向Survivor space(To Space)区复制时,对象大小大于To Space可用内存,则把该对象转存到老年代,且老年代的可用内存小于该对象大小;
二、GC 举例
我们编写一个OOM的异常:
public class OOMTest {
public static void main(String[] args) {
int i = 0;
try {
List<String> list = new ArrayList<>();
String a = "mogu blog";
while (true) {
list.add(a);
a = a + a;
i++;
}
} catch (Exception e) {
e.getStackTrace();
}
}
}
然后设置JVM启动参数指定堆最大为10m:
打印出的日志如下:
[GC (Allocation Failure) [PSYoungGen: 2048K->504K(2560K)] 2048K->962K(9728K), 0.0018718 secs] [Times: user=0.00 sys=0.00, real=0.00 secs]
[GC (Allocation Failure) [PSYoungGen: 2371K->504K(2560K)] 2830K->1633K(9728K), 0.0025563 secs] [Times: user=0.00 sys=0.00, real=0.00 secs]
[GC (Allocation Failure) [PSYoungGen: 2005K->496K(2560K)] 3134K->2257K(9728K), 0.0018621 secs] [Times: user=0.00 sys=0.00, real=0.00 secs]
[GC (Allocation Failure) [PSYoungGen: 2306K->504K(2560K)] 8676K->6873K(9728K), 0.0028734 secs] [Times: user=0.00 sys=0.00, real=0.00 secs]
[GC (Allocation Failure) [PSYoungGen: 504K->496K(2560K)] 6873K->6881K(9728K), 0.0017294 secs] [Times: user=0.00 sys=0.00, real=0.00 secs]
[Full GC (Allocation Failure) [PSYoungGen: 496K->0K(2560K)] [ParOldGen: 6385K->5613K(7168K)] 6881K->5613K(9728K), [Metaspace: 3337K->3337K(1056768K)], 0.0097445 secs] [Times: user=0.00 sys=0.00, real=0.01 secs]
[GC (Allocation Failure) [PSYoungGen: 0K->0K(1536K)] 5613K->5613K(8704K), 0.0009961 secs] [Times: user=0.06 sys=0.00, real=0.00 secs]
[Full GC (Allocation Failure) [PSYoungGen: 0K->0K(1536K)] [ParOldGen: 5613K->5480K(7168K)] 5613K->5480K(8704K), [Metaspace: 3337K->3337K(1056768K)], 0.0154734 secs] [Times: user=0.06 sys=0.00, real=0.02 secs]
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
at java.util.Arrays.copyOfRange(Arrays.java:3664)
at java.lang.String.<init>(String.java:207)
at java.lang.StringBuilder.toString(StringBuilder.java:407)
at com.wsh.rocketmq.rocketmqdemo.OOMTest.main(OOMTest.java:14)
Heap
PSYoungGen total 1536K, used 63K [0x00000000ffd00000, 0x0000000100000000, 0x0000000100000000)
eden space 1024K, 6% used [0x00000000ffd00000,0x00000000ffd0fe38,0x00000000ffe00000)
from space 512K, 0% used [0x00000000fff80000,0x00000000fff80000,0x0000000100000000)
to space 1024K, 0% used [0x00000000ffe00000,0x00000000ffe00000,0x00000000fff00000)
ParOldGen total 7168K, used 5480K [0x00000000ff600000, 0x00000000ffd00000, 0x00000000ffd00000)
object space 7168K, 76% used [0x00000000ff600000,0x00000000ffb5a220,0x00000000ffd00000)
Metaspace used 3387K, capacity 4496K, committed 4864K, reserved 1056768K
class space used 367K, capacity 388K, committed 512K, reserved 1048576K
我们看到,触发OOM的时候,一定是进行了一次Full GC,因为只有在老年代空间不足时候,才会爆出OOM异常。
三、堆空间分代思想
为什么要把Java堆分代?不分代就不能正常工作了吗?经研究,不同对象的生命周期不同,70%-99%的对象是临时对象。
- 新生代:有Eden、两块大小相同的survivor(又称为from/to,s0/s1)构成,to总为空;
- 老年代:存放新生代中经历多次GC仍然存活的对象;
其实不分代完全可以,分代的唯一理由就是优化GC性能。如果没有分代,那所有的对象都在一块,GC的时候要找到哪些对象没用,这样就会对堆的所有区域进行扫描。而很多对象都是朝生夕死的,如果分代的话,把新创建的对象放到某一地方,当GC的时候先把这块存储“朝生夕死”对象的区域进行回收,这样就会腾出很大的空间出来。
四、内存分配策略
如果对象在Eden出生并经过第一次Minor GC后仍然存活,并且能被Survivor容纳的话,将被移动到survivor空间中,并将对象年龄设为1。对象在survivor区中每熬过一次MinorGC,年龄就增加1岁,当它的年龄增加到一定程度(默认为15岁,其实每个JVM、每个GC都有所不同,对象晋升老年代的年龄阀值,可以通过选项-XX:MaxTenuringThreshold来设置)时,就会被晋升到老年代。
针对不同年龄段的对象分配原则如下所示:
- 优先分配到Eden
- 开发中比较长的字符串或者数组,会直接存在老年代,但是因为新创建的对象 都是 朝生夕死的,所以这个大对象可能也很快被回收,但是因为老年代触发Major GC的次数比 Minor GC要更少,因此可能回收起来就会比较慢;
- 大对象直接分配到老年代
- 尽量避免程序中出现过多的大对象;
- 长期存活的对象分配到老年代;
- 动态对象年龄判断
- 如果survivor区中相同年龄的所有对象大小的总和大于Survivor空间的一半,年龄大于或等于该年龄的对象可以直接进入老年代,无须等到MaxTenuringThreshold 中要求的年龄。
空间分配担保参数设置: -XX:HandlePromotionFailure
- 也就是经过Minor GC后,所有的对象都存活,因为Survivor比较小,所以就需要将Survivor无法容纳的对象,存放到老年代中;
五、不共享的堆空间 -- TLAB
问题:堆空间都是共享的么?
不一定,因为还有TLAB这个概念,在堆中划分出一块区域,为每个线程所独占。
(一)、为什么有TLAB?
TLAB:Thread Local Allocation Buffer,也就是为每个线程单独分配了一个缓冲区。堆区是线程共享区域,任何线程都可以访问到堆区中的共享数据。
由于对象实例的创建在JVM中非常频繁,因此在并发环境下从堆区中划分内存空间是线程不安全的。为避免多个线程操作同一地址,需要使用加锁等机制,进而影响分配速度。
(二)、什么是TLAB?
从内存模型而不是垃圾收集的角度,对Eden区域继续进行划分,JVM为每个线程分配了一个私有缓存区域,它包含在Eden空间内。
多线程同时分配内存时,使用TLAB可以避免一系列的非线程安全问题,同时还能够提升内存分配的吞吐量,因此我们可以将这种内存分配方式称之为快速分配策略。
尽管不是所有的对象实例都能够在TLAB中成功分配内存,但JVM确实是将TLAB作为内存分配的首选。在程序中,开发人员可以通过选项“-XX:UseTLAB”设置是否开启TLAB空间。
默认情况下,TLAB空间的内存非常小,仅占有整个Eden空间的1%,当然我们可以通过选项“-XX:TLABWasteTargetPercent”设置TLAB空间所占用Eden空间的百分比大小。
一旦对象在TLAB空间分配内存失败时,JVM就会尝试着通过使用加锁机制确保数据操作的原子性,从而直接在Eden空间中分配内存。
(三)、TLAB分配过程
对象首先是通过TLAB开辟空间,如果不能放入,那么需要通过Eden来进行分配:
六、堆空间的参数设置
与堆空间相关的常见的JVM参数如下:
- -XX:+PrintFlagsInitial:查看所有的参数的默认初始值;
- -XX:+PrintFlagsFinal:查看所有的参数的最终值(可能会存在修改,不再是初始值);
- -Xms:初始堆空间内存(默认为物理内存的1/64);
- -Xmx:最大堆空间内存(默认为物理内存的1/4);
- -Xmn:设置新生代的大小。(初始值及最大值);
- -XX:NewRatio:配置新生代与老年代在堆结构的占比;
- -XX:SurvivorRatio:设置新生代中Eden和S0/S1空间的比例;
- -XX:MaxTenuringThreshold:设置新生代垃圾的最大年龄;
- -XX:+PrintGCDetails:输出详细的GC处理日志;
- 打印gc简要信息:①-XX:+PrintGC ② -verbose:gc
- -XX:HandlePromotionFalilure:是否设置空间分配担保;
在发生Minor GC之前,虚拟机会检查老年代最大可用的连续空间是否大于新生代所有对象的总空间:
- 如果大于,则此次Minor GC是安全的;
- 如果小于,则虚拟机会查看-XX:HandlePromotionFailure设置值是否允担保失败
-
- 如果HandlePromotionFailure=true,那么会继续检查老年代最大可用连续空间是否大于历次晋升到老年代的对象的平均大小。
- 如果大于,则尝试进行一次Minor GC,但这次Minor GC依然是有风险的;
- 如果小于,则改为进行一次FullGC;
- 如果HandlePromotionFailure=false,则改为进行一次Full GC;
在JDK6 Update24之后,HandlePromotionFailure参数不会再影响到虚拟机的空间分配担保策略,观察openJDK中的源码变化,虽然源码中还定义了HandlePromotionFailure参数,但是在代码中已经不会再使用它。JDK6 Update 24之后的规则变为只要老年代的连续空间大于新生代对象总大小或者历次晋升的对象平均大小就会进行Minor GC,否则将进行FullGC。
七、堆是分配对象的唯一选择么?
答案:不是。原因与逃逸分析有关,下面我们来看下什么是逃逸分析。
(一)、逃逸分析
在《深入理解Java虚拟机》中关于Java堆内存有这样一段描述:
随着JIT编译期的发展与逃逸分析技术逐渐成熟,栈上分配、标量替换优化技术将会导致一些微妙的变化,所有的对象都分配到堆上也渐渐变得不那么“绝对”了。
在Java虚拟机中,对象是在Java堆中分配内存的,这是一个普遍的常识。但是,有一种特殊情况,那就是如果经过逃逸分析(Escape Analysis)后发现,一个对象并没有逃逸出方法的话,那么就可能被优化成栈上分配。这样就无需在堆上分配内存,也无须进行垃圾回收了。这也是最常见的堆外存储技术。
逃逸分析是一种可以有效减少Java程序中同步负载和内存堆分配压力的跨函数全局数据流分析算法。通过逃逸分析,Java Hotspot编译器能够分析出一个新的对象的引用的使用范围,从而决定是否要将这个对象分配到堆上。逃逸分析的基本行为就是分析对象动态作用域:
- 当一个对象在方法中被定义后,对象只在方法内部使用,则认为没有发生逃逸;
- 当一个对象在方法中被定义后,它被外部方法所引用,则认为发生逃逸。例如作为调用参数传递到其他地方中;
(二)、逃逸分析举例
public static StringBuffer createStringBuffer(String s1, String s2) {
StringBuffer sb = new StringBuffer();
sb.append(s1);
sb.append(s2);
return sb;
}
这里sb变量返回出去给外部使用,很明显就发生了逃逸,所以sb对象是在堆上面分配的。如果想要StringBuffer sb不发生逃逸,可以这样写:
public static String createStringBuffer(String s1, String s2) {
StringBuffer sb = new StringBuffer();
sb.append(s1);
sb.append(s2);
return sb.toString();
}
如上,因为StringBuilder的toString()方法底层其实是重新创建了一个String字符串,返回给外部调用,原先sb变量就没有发生逃逸,可以优化为栈上分配。
完整的逃逸分析代码举例:
/**
* 逃逸分析
* 如何快速的判断是否发生了逃逸分析,就看new的对象是否在方法外被调用。
*/
public class EscapeAnalysis {
public EscapeAnalysis obj;
/**
* 方法返回EscapeAnalysis对象,发生逃逸
* @return
*/
public EscapeAnalysis getInstance() {
return obj == null ? new EscapeAnalysis() : obj;
}
/**
* 为成员属性赋值,发生逃逸
*/
public void setObj() {
this.obj = new EscapeAnalysis();
}
/**
* 对象的作用于仅在当前方法中有效,没有发生逃逸
*/
public void useEscapeAnalysis() {
EscapeAnalysis e = new EscapeAnalysis();
}
/**
* 引用成员变量的值,发生逃逸
*/
public void useEscapeAnalysis2() {
EscapeAnalysis e = getInstance();
// getInstance().XXX 发生逃逸
}
}
参数设置:
在JDK 1.7 版本之后,HotSpot中默认就已经开启了逃逸分析。如果使用的是较早的版本,开发人员则可以通过:
- 选项“-XX:+DoEscapeAnalysis"显式开启逃逸分析;
- 通过选项“-XX:+PrintEscapeAnalysis"查看逃逸分析的筛选结果;
(三)、结论
开发中能使用局部变量的,就不要使用在方法外定义。使用逃逸分析,编译器可以对代码做如下优化:
- 栈上分配:将堆分配转化为栈分配。如果一个对象在子程序中被分配,要使指向该对象的指针永远不会发生逃逸,对象可能是栈上分配的候选,而不是堆上分配;
- 同步省略(也叫锁擦除):如果一个对象被发现只有一个线程被访问到,那么对于这个对象的操作可以不考虑同步;
- 分离对象或标量替换:有的对象可能不需要作为一个连续的内存结构存在也可以被访问到,那么对象的部分(或全部)可以不存储在内存,而是存储在CPU寄存器中;
八、栈上分配
JIT编译器在编译期间根据逃逸分析的结果,发现如果一个对象并没有逃逸出方法的话,就可能被优化成栈上分配。分配完成后,继续在调用栈内执行,最后线程结束,栈空间被回收,局部变量对象也被回收,这样就无须进行垃圾回收了。
我们通过举例来说明 开启逃逸分析 和 未开启逃逸分析时候的情况:
/**
* 栈上分配
* -Xmx1G -Xms1G -XX:-DoEscapeAnalysis -XX:+PrintGCDetails
*/
class User {
private String name;
private String age;
private String gender;
private String phone;
}
public class StackAllocation {
public static void main(String[] args) throws InterruptedException {
long start = System.currentTimeMillis();
for (int i = 0; i < 100000000; i++) {
alloc();
}
long end = System.currentTimeMillis();
System.out.println("花费的时间为:" + (end - start) + " ms");
// 为了方便查看堆内存中对象个数,线程sleep
Thread.sleep(10000000);
}
private static void alloc() {
// 未发生逃逸
User user = new User();
}
}
设置JVM参数,表示未开启逃逸分析:
-Xmx1G -Xms1G -XX:-DoEscapeAnalysis -XX:+PrintGCDetails
运行结果,同时还触发了GC操作:
SnapShooter listening on port 65315
[GC (Allocation Failure) [PSYoungGen: 262144K->1210K(305664K)] 262144K->1218K(1005056K), 0.0024162 secs] [Times: user=0.00 sys=0.00, real=0.00 secs]
[GC (Allocation Failure) [PSYoungGen: 263354K->1216K(305664K)] 263362K->1232K(1005056K), 0.0021296 secs] [Times: user=0.00 sys=0.00, real=0.00 secs]
[GC (Allocation Failure) [PSYoungGen: 263360K->1104K(305664K)] 263376K->1120K(1005056K), 0.0020398 secs] [Times: user=0.00 sys=0.00, real=0.00 secs]
[GC (Allocation Failure) [PSYoungGen: 263248K->1032K(305664K)] 263264K->1048K(1005056K), 0.0020921 secs] [Times: user=0.00 sys=0.00, real=0.00 secs]
[GC (Allocation Failure) [PSYoungGen: 263176K->1384K(305664K)] 263192K->1408K(1005056K), 0.0020469 secs] [Times: user=0.00 sys=0.00, real=0.00 secs]
[GC (Allocation Failure) [PSYoungGen: 263528K->1408K(347648K)] 263552K->1440K(1047040K), 0.0030110 secs] [Times: user=0.00 sys=0.00, real=0.00 secs]
[GC (Allocation Failure) [PSYoungGen: 347520K->512K(346624K)] 347552K->1553K(1046016K), 0.0022435 secs] [Times: user=0.00 sys=0.00, real=0.00 secs]
[GC (Allocation Failure) [PSYoungGen: 346624K->512K(347136K)] 347665K->1553K(1046528K), 0.0012328 secs] [Times: user=0.00 sys=0.00, real=0.00 secs]
[GC (Allocation Failure) [PSYoungGen: 345600K->0K(347136K)] 346641K->1437K(1046528K), 0.0015433 secs] [Times: user=0.00 sys=0.00, real=0.00 secs]
[GC (Allocation Failure) [PSYoungGen: 345088K->0K(347136K)] 346525K->1437K(1046528K), 0.0008380 secs] [Times: user=0.00 sys=0.00, real=0.00 secs]
花费的时间为:856 ms
然后查看内存的情况,发现有大量的User存储在堆中。
我们开启逃逸分析:
-Xmx1G -Xms1G -XX:+DoEscapeAnalysis -XX:+PrintGCDetails
然后查看运行时间,我们能够发现花费的时间快速减少,同时不会发生GC操作:
花费的时间为:16 ms
再看内存情况,我们发现只有很少的User对象,说明User未发生逃逸,因为它存储在栈中,随着栈的销毁而消失。
九、同步省略
线程同步的代价是相当高的,同步的后果是降低并发性和性能。在动态编译同步块的时候,JIT编译器可以借助逃逸分析来判断同步块所使用的锁对象是否只能够被一个线程访问,而没有被发布到其他线程。如果没有,那么JIT编译器在编译这个同步块的时候就会取消对这部分代码的同步。这样就能大大提高并发性和性能。这个取消同步的过程就叫同步省略,也叫锁消除。
例如下面的代码:
public void f() {
Object hellis = new Object();
synchronized(hellis) {
System.out.println(hellis);
}
}
代码中对hellis这个对象加锁,但是hellis对象的生命周期只在f()方法中,并不会被其他线程所访问到,所以在JIT编译阶段就会被优化掉,优化成:
public void f() {
Object hellis = new Object();
System.out.println(hellis);
}
十、分离对象和标量替换
标量(scalar)是指一个无法再分解成更小的数据的数据,Java中的原始数据类型就是标量。
相对的,那些还可以分解的数据叫做聚合量(Aggregate),Java中的对象就是聚合量,因为他可以分解成其他聚合量和标量。
在JIT阶段,如果经过逃逸分析,发现一个对象不会被外界访问的话,那么经过JIT优化,就会把这个对象拆解成若干个其中包含的若干个成员变量来代替,这个过程就是标量替换。
public static void main(String args[]) {
alloc();
}
class Point {
private int x;
private int y;
}
private static void alloc() {
Point point = new Point(1,2);
System.out.println("point.x" + point.x + ";point.y" + point.y);
}
以上代码,经过标量替换后,就会变成:
private static void alloc() {
int x = 1;
int y = 2;
System.out.println("point.x = " + x + "; point.y=" + y);
}
可以看到,Point这个聚合量经过逃逸分析后,发现他并没有逃逸,就被替换成两个标量了。那么标量替换有什么好处呢?就是可以大大减少堆内存的占用。因为一旦不需要创建对象了,那么就不再需要分配堆内存了。
相关参数:参数-XX:+EliminateAllocations:开启了标量替换(默认打开),允许将对象打散分配在栈上,比如对象拥有id和name两个字段,那么这两个字段将会被视为两个独立的局部变量进行分配。
十一、逃逸分析的不足
关于逃逸分析的论文在1999年就已经发表了,但直到JDK1.6才有实现,而且这项技术到如今也并不是十分成熟。
其根本原因就是无法保证逃逸分析的性能消耗一定能高于它的消耗。虽然经过逃逸分析可以做标量替换、栈上分配、和锁消除。但是逃逸分析自身也是需要进行一系列复杂的分析的,这其实也是一个相对耗时的过程。 一个极端的例子,就是经过逃逸分析之后,发现没有一个对象是不逃逸的,那这个逃逸分析的过程就白白浪费掉了。
虽然这项技术并不十分成熟,但是它也是即时编译器优化技术中一个十分重要的手段。注意到有一些观点,认为通过逃逸分析,JVM会在栈上分配那些不会逃逸的对象,这在理论上是可行的,但是取决于JVM设计者的选择。
目前很多书籍还是基于JDK7以前的版本,JDK已经发生了很大变化,intern字符串的缓存和静态变量曾经都被分配在永久代上,而永久代已经被元数据区取代。但是,intern字符串缓存和静态变量并不是被转移到元数据区,而是直接在堆上分配,所以这一点同样符合前面一点的结论:对象实例都是分配在堆上。
十二、小结
年轻代是对象的诞生、成长、消亡的区域,一个对象在这里产生、应用,最后被垃圾回收器收集、结束生命。老年代放置长生命周期的对象,通常都是从survivor区域筛选拷贝过来的Java对象。
- 当然,也有特殊情况,我们知道普通的对象会被分配在TLAB上;
- 如果对象较大,JVM会试图直接分配在Eden其他位置上;
- 如果对象太大,完全无法在新生代找到足够长的连续空闲空间,JVM就会直接分配到老年代;
- 当GC只发生在年轻代中,回收年轻代对象的行为被称为Minor GC;
当GC发生在老年代时则被称为Major Gc或者Full GC。一般的,Minor GC发生频率要比Major GC高很多,即老年代中垃圾回收发生的频率将大大低于年轻代。