运行时数据区域—堆

    技术2022-07-11  136

    一、 核心概述

    JVM中一个实例进程对应一个运行时数据区域,实例进程又包含多个线程,这些线程共享堆、方法区,而程序计数器、Java虚拟机栈和本地方法栈是线程私有的。

    一个JVM实例对应一个堆内存,堆也是JVM内存管理的核心区域因为运行时数据区域在一个实例创建的时候随之被创建,所以堆区也随之被创建,其初始化大小和最大大小在运行时不可改变堆区是JVM管理的最大的一块内存空间,《Java虚拟机规范》中规定堆区物理内存中可以不连续,但是在逻辑内存中被视为是连续的所有线程共享堆区,在堆区中还可以划分出来线程私有缓冲区(Thread Local Alloaction Buffer【TLAB】),TLAB是线程私有的几乎所有对象的实例以及数组都应当在运行时分配到堆上(存在分配在栈上的可能,比如局部变量逃逸)对象实例和数组可能永远不会存储在栈上,因为栈中保存引用,这个引用指向对象实力和数组在堆中的位置在方法结束后,堆中的对象不会马上被移除,什么时候移除需要根据JVM什么时候GC堆是GC执行垃圾回收的重点区域

    看一个堆内存的例子

    首先对虚拟机进行配置-Xms:设定堆内存初始化大小-Xmx:设定堆内存最大占用内存大小

    使用从dos窗口使用jvisualvm命令打开JVM控制台,看到当前实例的堆大小正是上面设定的100M

    双击左边当前实例,会看到如下图的详细堆内存信息,从图中可以看出,新生代分为Eden区、Survivor0区和Survivor1区,它们分别占用内存为25M、4M、4M老年代占用内存为67M新生代与老年代内存之和正好是设定的100M通过下图也可以看出元空间不占用堆内存,也就验证了元空间相对堆内存来说只是一个逻辑单元

    二、 堆的内存细分

    实际上只包括新生代、老年代,永久代或元空间用来存放类中一些信息,对应着方法区

    JDK7之前:堆内存逻辑分为新生代、老年代、永久代

    JDK8以后:堆内存逻辑分为新生代、老年代、元空间

    通过下图也可以看出来

    由上图可以看出,新生代又分为from区(Survivor0)、to区(Survivor1)

    2.1设置堆内存大小与OOM

    2.1.1 参数设置

    堆内存大小在JVM启动时已经确定,不过可以手动设置其大小,核心部分简单举了一个例子,下面详细说以下

    -Xms:设定堆内存初始化大小, 等价于 -XX:InitialHeapSize-Xmx:设定堆内存最大占用内存大小, 等价于 -XX:MaxHeapSize一旦堆区中的内存大小超过 -Xmx所指定的最大内存时,将会抛出OOM异常实际开发中,通常把 -Xms和-Xmx 设定为相同的值,避免堆内存的频繁扩容和释放对系统造成不必要的压力默认情况下,初始堆内存大小:物理内存大小/64;最大内存大小:物理内存大小/4
    2.1.2 查看堆内存大小

    下面通过一段代码看一下我当前计算机环境的堆内存默认大小以及初始化大小

    public class HeapInitialSpace { public static void main(String[] args) { //堆内存初始化大小 Long heapInitialSize = Runtime.getRuntime().totalMemory()/1024/1024; //堆内存最大大小 Long heapMaxSize = Runtime.getRuntime().maxMemory()/1024/1024; System.out.println("堆内存初始化大小: "+heapInitialSize+"M"); System.out.println("堆内存最大大小: "+heapMaxSize+"M"); System.out.println("本计算机最大内存: "+heapInitialSize * 64.0 +"M"); System.out.println("本计算机最大内存: "+heapMaxSize * 4.0 +"M"); } } 堆内存初始化大小: 245M 堆内存最大大小: 3614M 本计算机最大内存: 15680.0M //因为计算机有其他额外的开销,所以这里不是严格意义上的16G 本计算机最大内存: 14456.0M
    2.1.3 堆内存大小分析

    上面通过代码演示了当前环境的堆内存默认初始大小以及最大的大小,接下来看一个小细节

    上面那段代码输出初始化大小为245M,这是为什么呢?

    堆内存初始化大小: 245M 堆内存最大大小: 3614M

    因为S0区和S1区分别占用了10.M,上图也可以看出,但是有一个规定,S0区和S1区必须有一个为空,所以这就导致了输出结果把为空的区域排除在外了,但是在jvm控制台一目了然。

    2.1.4 OOM举例
    先设置初始堆内存和最大堆内存大小为50M,以便方便模拟出OOM场景(上面说过如何设置大小)。 public class OOMTest { public static void main(String[] args) throws InterruptedException { List<Object> list = new ArrayList<>(); //因为设置的最大内存为50M list.add(new Demo(1024*1024*1024)); } } class Demo{ private byte[] pixels; public Demo(int length) { this.pixels = new byte[length]; } } Exception in thread "main" java.lang.OutOfMemoryError: Java heap space at cn.rain.java.heap.Pepole.<init>(OOMTest.java:27) at cn.rain.java.heap.OOMTest.main(OOMTest.java:19)

    2.2 年轻代与老年代相关参数设置

    存储在JVM中的Java对象按照生命周期可以分为两类

    生命周期比较短的瞬时对象,这类对象的创建和消亡都非常迅速另一类对象的生命周期比较长,甚至与JVM共存亡
    2.2.1 -XX:NewRatio

    -XX:NewRatio:设置新生代与老年代的内存占比(默认是1:2),即-XX:NewRatio=2,表示新生代占比1,老年代占比2,新生代占堆内存的1/3

    2.2.2 -XX:SurvivorRatio

    在HotSpot中,Eden空间和另外两个Survivor空间缺省所占的比例是8:1:1(测试的时候是6:1:1),开发人员可以通过选项 -XX:SurvivorRatio 调整空间比例,如-XX:SurvivorRatio=8

    可以看出来新生代与老年代的默认比例是1:2;Eden区与S0区、S2区的比例默认是6:1:1(官方的说明是

    8:1:1)

    绝大部分的Java对象都销毁在新生代了(IBM公司的专门研究表明,新生代80%的对象都是“朝生夕死”的)几乎所有的Java对象都是在Eden区被new出来的可以使用选项-Xmn设置新生代最大内存大小(这个参数一般使用默认值就好了)
    2.2.3 -XX:-UseAdaptiveSizePolicy
    关闭自适应的内存分配策略 '-‘关闭,’+'打开 (暂时用不到)
    2.2.4 -Xmn
    设置新生代的空间的大小

    需要特别说明一点,如果同时设置了 -XX:NewRatio与-Xmn参数,JVM到底以哪个为准呢?经过测试发现,以具体设置的数值为准,如图:

    2.3 图解对象分配过程

    为新对象分配内存是件非常严谨和复杂的任务,JVM的设计者们不仅需要考虑内存如何分配、在哪里分配的问题,并且由于内存分配算法与内存回收算法密切相关,所以还需要考虑GC执行完内存回收后是否会在内存空间中产生内存碎片。

    new的对象先放Eden区(伊甸园区)。此区有大小限制;

    当Eden区的空间填满时,程序又需要创建对象,JVM的垃圾回收器将对Eden区进行垃圾回收(Minor GC/YGC),将Eden区中的不再被其他对象所引用的对象进行销毁。再加载新的对象放到Eden区;

    然后将Eden区中的剩余对象移动到Survivor 0区(S0区);

    如果再次触发垃圾回收,此时上次幸存下来的放到幸存者Survivor0区(S0区)的,如果没有回收,就会放到Survivor 1区(S1区);

    如果再次经历垃圾回收,此时会重新放回Survivor 0区,接着再去Survivor 1区;

    啥时候能去老年代呢?可以设置次数。分代年龄默认是15次。·可以设置参数:-XX:MaxTenuringThreshold=进行设置;

    在老年代,相对悠闲。当老年代内存不足时,再次触发GC:Major GC,进行老年代的内存清理;

    若老年代执行了Major GC之后发现依然无法进行对象的保存,就会产生OOM异常。

    关于S0和S1,需要说明一点,它们俩必须有一个为空(在2.2.3已经解释过);

    GC最频繁的区域就是Eden区,其次是老年代,几乎不会再永久代/元空间收集。

    对象分配内存过程简易流程图

    代码演示一下对象堆中分配内存整个流程

    public class HeapInstanceTest { byte[] buffer = new byte[new Random().nextInt(1024 * 200)]; public static void main(String[] args) throws InterruptedException { ArrayList<HeapInstanceTest> list = new ArrayList<HeapInstanceTest>(); while (true) { list.add(new HeapInstanceTest()); Thread.sleep(10); } } }

    看一下JVM控制台的信息

    针对S区总结一句话:一GC一交换,谁0谁是to

    2.3.1 分代年龄为什么最大是15呢?

    如果对Java对象头比较了解的话,可能就会回答上来,Java对象包括:MarkWord、KlassPoint、ArrayLength(如果当前对象是数组,如果不是数组,并且启用压缩的话,会只用4个字节的空来占位)。

    而分代年龄跟MarkWord息息相关,MarkWord中有专门的4bit空间用来记录分代年龄,这4bit最大值就是1111,所以分代年龄的最大值就是15。关于MarkWord,如下表

    锁状态25bit4bit1bit是不是偏向锁2bit锁标志位无锁对象的hashcode分代年龄001
    2.3.2 调优工具

    JDK命令行

    Eclipse:Memory Analyzer Tool

    Jconsole

    VisualVM

    Jprofiler

    Java Flight Recorder

    GCViewer

    GC Easy

    2.4 Minor GC、Major GC、Full GC

    针对hotSpot VM的实现,它里面的GC按照回收区域又分为两大种类型:一种是部分收集(Partial GC),一种是整堆收集(Full GC)

    部分收集又分为新生代收集(Minor GC/YGC)、老年代收集(Major GC/OGC);

    目前只有CMS会有单独收集老年代的行为;

    强调一点,很多时候会混淆Major GC和Full GC的使用,需要具体分辨是老年代GC还是整堆GC

    混合收集,收集整个新生代以及部分老年代空间

    目前G1就是混合收集

    整堆收集,收集整个堆空间以及方法区

    2.4.1 新生代收集(Minor GC/YGC)
    当年轻代空间不足(空间已满指的是Eden区空间不足),Survivor区空间不足不会触发GC(每次Minor GC会顺带收集Survivor区空间,这里是被动关系);经过研究发现,Java中80%的对象是朝生夕死(声明周期仅在Eden阶段),所以Minor GC会非常频繁,相应的回收速度也是非常快;Minor GC会导致STW(Stop The World),即暂停所有用户线程的执行,直到GC完毕;
    2.4.2 老年代收集(Major GC/OGC)
    当老年代空间不足,会尝试触发Minor GC,如果经过Minor GC后,空间还是不足,则会触发Major GC; 触发Major GC时,通常会触发至少一次Minor GC(这种情况不是绝对的,Parallel Scavenge 收集器会直接进行Major GC) Major GC的执行速度通常比Minor GC的执行速度慢10倍以上,也就代表STW的时间更长;如果Major GC后空间还是不足,此时会出现OOM异常;
    2.4.3 整堆收集(Full GC)触发机制
    调用System.gc()时,系统建议执行Full GC,但是不必然执行 ;老年代空间不足;方法区空间不足;通过Minor GC后进入老年代的对象大小大于此时老年代的可用空间;由Eden区,S0(from)区向S1(to)区复制时,对象大小大于to区可用内存,则把该对象转存到老年代,且老年代的可用内存小于该对象大小 ;Full GC是开发中尽量避免的,也是调优重点关注的地方之一。
    2.4.4 举例看一下GC过程
    这里还是使用与2.2.4一样的代码,先设置初始堆内存和最大堆内存大小为50M,以便方便模拟出OOM场景(上面说过如何设置大小)。 public class OOMTest { public static void main(String[] args) throws InterruptedException { List<Object> list = new ArrayList<>(); //因为设置的最大内存为50M list.add(new Demo(1024*1024*1024)); } } class Demo{ private byte[] pixels; public Demo(int length) { this.pixels = new byte[length]; } }

    通过上面的测试结果,也同时验证了“触发Major GC时,通常会触发至少一次Minor GC”。

    2.5 堆空间分代思想

    为什么要把Java堆分代?不分代就不能正常工作了么

    经研究,不同对象的生命周期不同。80%的对象都是临时对象。 新生代:有Eden、Survivor构成(s0,s1 又称为from to),to总为空老年代:存放新生代中经历多次依然存活的对象 其实不分代完全可以,分代的唯一理由就是优化GC性能。如果没有分代,那所有的对象都在一块,GC的时候要找到哪些对象没用,这样就会对堆的所有区域进行扫描,而很多对象都是朝生夕死的,如果分代的话,把新创建的对象放到某一地方,当GC的时候先把这块存储“朝生夕死”对象的区域进行回收,这样就会腾出很大的空间出来。

    2.6 堆内存分配策略

    如果对象在Eden出生并经过第一次Minor GC后依然存活,并且能被Survivor容纳的话,将被移动到Survivor空间中,把那个将对象年龄设为1.对象在Survivor区中每经过一次MinorGC,年龄就增加一岁,当它的年龄增加到一定程度(默认15岁,最大也是15,其实每个JVM、每个GC都有所不同)时,就会被晋升到老年代中

    为什么分代年龄最大是15,在2.4.1已经解释过

    对象晋升老年代的年龄阈值,可以通过选项 -XX:MaxTenuringThreshold来设置

    针对不同年龄段的对象分配原则如下:

    优先分配到Eden区大对象直接分配到老年代 尽量避免程序中出现过多的大对象,因为这样会导致Major GC甚至Full GC次数增加,降低性能 长期存活的对象分配到老年代动态对象年龄判断 如果Survivor区中相同年龄的所有对象大小的总和大于Survivor空间的一半,年龄大于或等于该年龄的对象可以直接进入到老年代。无需等到MaxTenuringThreshold中要求的年龄 空间分配担保 -XX: HandlePromotionFailure像上面说到的大对象直接分配到老年代就是分配担保的提现
    2.6.1 代码验证:大对象直接分配到老年代
    /** * 新对象从新生代创建后,直接进入老年代测试 * 设置-Xms60M -Xmx60M -XX:+PrintDetails */ public class YoungToOldAreaTest { public static void main(String[] args) { byte[] bytes = new byte[1024*1024*20]; } } Heap PSYoungGen total 17920K, used 2166K [0x00000000fec00000, 0x0000000100000000, 0x0000000100000000) eden space 15360K, 14% used [0x00000000fec00000,0x00000000fee1db98,0x00000000ffb00000) from space 2560K, 0% used [0x00000000ffd80000,0x00000000ffd80000,0x0000000100000000) to space 2560K, 0% used [0x00000000ffb00000,0x00000000ffb00000,0x00000000ffd80000) ParOldGen total 40960K, used 20480K [0x00000000fc400000, 0x00000000fec00000, 0x00000000fec00000) object space 40960K, 50% used [0x00000000fc400000,0x00000000fd800010,0x00000000fec00000) Metaspace used 2924K, capacity 4496K, committed 4864K, reserved 1056768K class space used 316K, capacity 388K, committed 512K, reserved 1048576K

    上面的运行结果可以看出

    新生代占用内存详细信息PSYoungGen total 17920K, used 2166K 最大容量为total 17920K=17.5M,已使用空间大小为used 2166K而new byte[1024*1024*20]大小为20M 老年代占用内存详细信息ParOldGen total 40960K, used 20480K 最大容量为total 40960K=40M,已使用空间大小为used 20480K=20M

    验证了大对象直接分配到老年代

    2.7 TLAB(线程私有缓冲区)

    在堆的核心概述中提到了TLAB,但是没有解释TLAB是什么,为什么会有TLAB,有作用是什么,下面就来说一说。

    2.7.1 TLAB是什么

    简单来说,TLAB是多线程情况下不加锁为对象实例分配内存的一种解决方案,它只是在分配内存的过程中线程私有,当内存分配完后,此区域还是线程共享的。

    从内存模型而不是垃圾收集的角度,对Eden区域继续进行划分,JVM为每个线程分配了一个私有缓存区域,它包含在Eden空间内

    多线程同时分配内存时,使用TLAB可以避免一系列的非线程安全问题,同时还能够提升内存分配的吞吐量,因此我们可以将这种内存分配方式称之为快速分配策略

    线程安全问题:假设线程A分配完内存后,指针还未移动,线程B开始分配内存,这时候还是在A线程的分配的地址上进行的操作,就产生了线程安全性问题

    所有OpenJDK衍生出来的JVM都提供了TLAB的设计

    TLAB是分配内存的首选(如果TLAB失败,则使用CAS来保证原子性),但是CAS效率低下

    默认情况下TLAB占整个EDen空间的1%

    默认情况下TLAB是开启状态(Hotspot)

    2.7.2 为什么会有TLAB
    堆区是线程共享区域,任何线程都可以访问到堆区中的共享数据由于对象实例的创建在JVM中非常频繁,所以在高并发环境下从堆区中划分内存空间是线程不安全的为避免多个线程操作同一地址,需要使用加锁(CAS)等机制,进而影响分配速度
    2.7.3 TLAB有什么作用

    通过上面两小节的说明,应该也会了解了TLAB的作用,总结一句话:

    保证线程安全性,提高分配效率

    2.7.4 参数设置

    -XX:+/-UseTLAB :开启/关闭TLAB

    -XX:TLABWasteTargetPercent :设置TLAB占用Eden区百分比大小

    2.8 堆空间中常用的参数设置

    -XX:PrintFlagsInitial: 查看所有参数的默认初始值

    -XX:PrintFlagsFinal:查看所有的参数的最终值(可能会存在修改,不再是初始值)

    具体查看某个参数的指令: jps:查看当前运行中的进程jinfo -flag SurvivorRatio 进程id: 查看新生代中Eden和S0/S1空间的比例

    -Xms: 初始堆空间内存(默认为物理内存的1/64)

    -Xmx: 最大堆空间内存(默认为物理内存的1/4)

    -Xmn: 设置新生代大小(初始值及最大值)

    -XX:NewRatio: 配置新生代与老年代在堆结构的占比

    -XX:SurvivorRatio:设置新生代中Eden和S0/S1空间的比例

    -XX:MaxTenuringThreshold:设置新生代垃圾的最大年龄(默认15)

    -XX:+PrintGCDetails:输出详细的GC处理日志

    打印gc简要信息:① -XX:+PrintGC ② -verbose:gc

    -XX:HandlePromotionFailure:是否设置空间分配担保

    三、备注

    在发生Minor GC之前,虚拟机会检查老年代最大可用的连续空间是否大于新生代所有对象的总空间。

    如果大于,则此次Minor GC是安全的如果小于,则虚拟机会查看-XX:HandlePromotionFailure设置值是否允许担保失败。(JDK 7以后的规则HandlePromotionFailure可以认为就是true) 如果HandlePromotionFailure=true,那么会继续检查老年代最大可用连续空间是否大于历次晋升到老年代的对象的平均大小。 如果大于,则尝试进行一次Minor GC,但这次Minor GC依然是有风险的;如果小于,则改为进行一次Full GC。 如果HandlePromotionFailure=false,则改为进行一次Full GC。

    在JDK6 Update24之后(JDK7),HandlePromotionFailure参数不会再影响到虚拟机的空间分配担保策略,观察openJDK中的源码变化,虽然源码中还定义了HandlePromotionFailure参数,但是在代码中已经不会再使用它。JDK6 Update24之后的规则变为只要老年代的连续空间大于新生代对象总大小或者历次晋升的平均大小就会进行Minor GC,否则将进行Full GC。 的规则HandlePromotionFailure可以认为就是true==)

    如果HandlePromotionFailure=true,那么会继续检查老年代最大可用连续空间是否大于历次晋升到老年代的对象的平均大小。 如果大于,则尝试进行一次Minor GC,但这次Minor GC依然是有风险的;如果小于,则改为进行一次Full GC。 如果HandlePromotionFailure=false,则改为进行一次Full GC。

    在JDK6 Update24之后(JDK7),HandlePromotionFailure参数不会再影响到虚拟机的空间分配担保策略,观察openJDK中的源码变化,虽然源码中还定义了HandlePromotionFailure参数,但是在代码中已经不会再使用它。JDK6 Update24之后的规则变为只要老年代的连续空间大于新生代对象总大小或者历次晋升的平均大小就会进行Minor GC,否则将进行Full GC。

    Processed: 0.010, SQL: 9