Netty-内存池源码三 (SizeClasses 前情预热)

内存池核心类如下：

• PooledByteBufAllocator
• PooledUnsafeDirectByteBuf
• PooledUnsafeDirectByteBuf
• PoolThreadCache
• MemoryRegionCache
• PoolArena
• SizeClasses 本期介绍
• PoolChunk
• LongPriorityQueue
• LongLongHashMap
• PoolSubpage

上一期介绍了【PooledByteBufAllocator】类，从中可知它又将 内存分配的工作 交给了 【PoolArena】类

若要分析 【PoolArena】 首先要分析其父类 【SizeClasses】。

在jemalloc3中 是没有【SizeClasses】类的， 而jemalloc4 相较于 jemalloc3 最大的提升是进一步优化内存碎片的问题， 这也是【SizeClasses】的由来。

在分析【SizeClasses】之前，我们需要对Netty中的 内存规格进行简单的讲解。

jemalloc3中，对内存规格的划分如下图：

从中可发现，在Small级别的内存分配中会存在大量的内存碎片，比如 某业务要使用 1025B的内存，按照jemalloc3算法就会申请 2048B的 内存块， 这就会导致50%的内存碎片。

jemalloc4中，对内存规格的划分如下图：

从上图可看到， 当 某业务要使用1025B的内存时，jemalloc4算法会申请1280B 的内存块，这就大大减少了内存碎片。 同样也可以看出，jemalloc4取消了 Tiny级别的内存规格。

【SizeClasses】 该类的主要工作就是 按照 chunkSize 16MB 划分成了 4张表， 其实完全可以把它当作成一个虚拟的数据库，里面存在 4张表

• sizeClasses 总表 , 维护着 各个内存规格的详细信息
• sizeIdx2sizeTab 维护着 index 和 size的关系
• pageIdx2sizeTab 维护着 pageSize 倍数的内存规格表
• size2idxTab 维护着小于等于 4KB(4096) 规格的表

【SizeClasses】类大致结构如下图：

sizeClasses

该表维护了一个二维数组 ，具体如下：

index	log2Group	log2Delta	nDelta	isMultiPageSize	isSubPage	log2DeltaLookup	size(虚)	Unit
0	4	4	0	0	1	4	16
1	4	4	1	0	1	4	32
2	4	4	2	0	1	4	48
3	4	4	3	0	1	4	64
4	6	4	1	0	1	4	80
5	6	4	2	0	1	4	96
6	6	4	3	0	1	4	112
7	6	4	4	0	1	4	128
8	7	5	1	0	1	5	160
9	7	5	2	0	1	5	192
10	7	5	3	0	1	5	224
11	7	5	4	0	1	5	256
12	8	6	1	0	1	6	320
13	8	6	2	0	1	6	384
14	8	6	3	0	1	6	448
15	8	6	4	0	1	6	512
16	9	7	1	0	1	7	640
17	9	7	2	0	1	7	768
18	9	7	3	0	1	7	896
19	9	7	4	0	1	7	1024
20	10	8	1	0	1	8	1280
21	10	8	2	0	1	8	1536
22	10	8	3	0	1	8	1792
23	10	8	4	0	1	8	2048
24	11	9	1	0	1	9	2560
25	11	9	2	0	1	9	3072
26	11	9	3	0	1	9	3584
27	11	9	4	0	1	9	4096	4KB
28	12	10	1	0	1	0	5120
29	12	10	2	0	1	0	6144
30	12	10	3	0	1	0	7168
31	12	10	4	1	1	0	8192	8KB
32	13	11	1	0	1	0	10240	10KB
33	13	11	2	0	1	0	12288	12KB
34	13	11	3	0	1	0	14336	14KB
35	13	11	4	1	1	0	16384	16KB
36	14	12	1	0	1	0	20480	20KB
37	14	12	2	1	1	0	24576	24KB
38	14	12	3	0	1	0	28672	28KB
39	14	12	4	1	0	0	32768	32KB
40	15	13	1	1	0	0	40960	40KB
41	15	13	2	1	0	0	49152	48KB
42	15	13	3	1	0	0	57344	56KB
43	15	13	4	1	0	0	65536	64KB
44	16	14	1	1	0	0	81920	80KB
45	16	14	2	1	0	0	98304	96KB
46	16	14	3	1	0	0	114688	112KB
47	16	14	4	1	0	0	131072	128KB
48	17	15	1	1	0	0	163840	160KB
49	17	15	2	1	0	0	196608	192KB
50	17	15	3	1	0	0	229376	224KB
51	17	15	3	1	0	0	262144	256KB
52	18	16	1	1	0	0	327680	320KB
53	18	16	2	1	0	0	393216	384KB
54	18	16	3	1	0	0	458752	448KB
55	18	16	4	1	0	0	524288	512KB
56	19	17	1	1	0	0	655360	640KB
57	19	17	2	1	0	0	786432	768KB
58	19	17	3	1	0	0	917504	896KB
59	19	17	4	1	0	0	1048576	1.0MB
60	20	18	1	1	0	0	1310720	1.25MB
61	20	18	2	1	0	0	1572864	1.5MB
62	20	18	3	1	0	0	1835008	1.75MB
63	20	18	4	1	0	0	2097152	2MB
64	21	19	1	1	0	0	2621440	2.5MB
65	21	19	2	1	0	0	3145728	3MB
66	21	19	3	1	0	0	3670016	3.5MB
67	21	19	4	1	0	0	4194304	4MB
68	22	20	1	1	0	0	5242880	5MB
69	22	20	2	1	0	0	6291456	6MB
70	22	20	3	1	0	0	7340030	7MB
71	22	20	4	1	0	0	8388608	8MB
72	23	21	1	1	0	0	10485760	10MB
73	23	21	2	1	0	0	12582912	12MB
74	23	21	3	1	0	0	14680064	14MB
75	23	21	4	1	0	0	16777216	16MB

从上表中可知，数组长度 76。每一列表示的含义如下:

• index: 由 0 开始的自增序列号，表示每个 size 类型的索引。

• log2Group: 表示每个 size 它所对应的组。

  以每 4 行为一组，一共有 19 组。

  第 0 组比较特殊 值为4。

  因此，我们应该从第 1 组开始，起始值为 6，每组的 log2Group 是在上一组的值 +1。

• log2Delta: 表示当前序号所对应的 size 和前一个序号所对应的 size 的差值的 log2 的值。

  例如： index=6 对应的 size = 112，index=7 对应的 size= 128，因此 index=7 的 log2Delta(7) = log2(128-112)=4。

  规律：其实 log2Delta=log2Group-2。

• nDelta: 表示组内增量的倍数。第 0 组也是比较特殊，nDelta 是从 0 开始 + 1。而其余组是从 1 开始 +1

• isMultiPageSize: 表示当前 size 是否是 pageSize（默认值: 8192） 的整数倍。后续会把 isMultiPageSize=1 的行单独整理成一张表，你会发现有 40 个 isMultiPageSize=1 的行。

• isSubPage: 表示当前 size 是否为一个 subPage 类型，jemalloc4 会根据这个值采取不同的内存分配策略。

• log2DeltaLookup: 当 index<=27 时，其值和 log2Delta 相等，当index>27，其值为 0。

jemalloc4 求 SIZE 的公式:

公式1： size = (1 << log2Group) + nDelta (1<<log2Delta)*

公式2： log2Group = log2Delta + 2

​ 公式2带入公式1可得：

​ **size = (1 << log2Delta + 2) + nDelta * (1<<log2Delta) **

​ 进一步 整理简化 最终可得出：

​ size = (1<< log2Delta) * (nDelta + 4)

由最终整理后的公式 size = (1<< log2Delta) * (nDelta + 4) 可知两个结论：

结论一： 每一组中每行的log2Delta是相同的， 而nDelta的范围是 [1,4] ，那么 nDelta +4 的取值范围就是 [5,8]，也就是说同一组中的 size是按照 5，6，7，8 倍来增长的。 (除第一组以外)

结论二：每一组的最后一个的 nDelta + 4 = 4 + 4 = 8 => 1<<3，那么 size = 1<< log2Delta+3 。 也就是说除了第一组外， 其它每一组的最后一行 size = 1 << log2Delta

sizeIdx2sizeTab

维护16MB以内所有规格 index 和 size 关系的一张表

index	size(虚)	Unit
0	16
1	32
2	48
3	64
4	80
5	96
6	112
7	128
8	160
9	192
10	224
11	256
12	320
13	384
14	448
15	512
16	640
17	768
18	896
19	1024
20	1280
21	1536
22	1792
23	2048
24	2560
25	3072
26	3584
27	4096	4KB
28	5120
29	6144
30	7168
31	8192	8KB
32	10240	10KB
33	12288	12KB
34	14336	14KB
35	16384	16KB
36	20480	20KB
37	24576	24KB
38	28672	28KB
39	32768	32KB
40	40960	40KB
41	49152	48KB
42	57344	56KB
43	65536	64KB
44	81920	80KB
45	98304	96KB
46	114688	112KB
47	131072	128KB
48	163840	160KB
49	196608	192KB
50	229376	224KB
51	262144	256KB
52	327680	320KB
53	393216	384KB
54	458752	448KB
55	524288	512KB
56	655360	640KB
57	786432	768KB
58	917504	896KB
59	1048576	1.0MB
60	1310720	1.25MB
61	1572864	1.5MB
62	1835008	1.75MB
63	2097152	2MB
64	2621440	2.5MB
65	3145728	3MB
66	3670016	3.5MB
67	4194304	4MB
68	5242880	5MB
69	6291456	6MB
70	7340030	7MB
71	8388608	8MB
72	10485760	10MB
73	12582912	12MB
74	14680064	14MB
75	16777216	16MB

pageIdx2sizeTab

isMultiPageSize 字段为1的行，会组合成 这张表。 也就该表都是 页(8KB) 的倍数的 size规格。

pageIndex	index(虚)	isMultiPageSize(虚)	num of page(虚)	size	Unit
0	31	1	1	8192	8KB
1	35	1	2	16384	16KB
2	37	1	3	24576	24KB
3	39	1	4	32768	32KB
4	40	1	5	40960	40KB
5	41	1	6	49152	48KB
6	42	1	7	57344	56KB
7	43	1	8	65536	64KB
8	44	1	10	81920	80KB
9	45	1	12	98304	96KB
10	46	1	14	114688	112KB
11	47	1	16	131072	128KB
12	48	1	20	163840	160KB
13	49	1	24	196608	192KB
14	50	1	28	229376	224KB
15	51	1	32	262144	256KB
16	52	1	40	327680	320KB
17	53	1	48	393216	384KB
18	54	1	56	458752	448KB
19	55	1	64	524288	512KB
20	56	1	80	655360	640KB
21	57	1	96	786432	768KB
22	58	1	112	917504	896KB
23	59	1	128	1048576	1.0MB
24	60	1	160	1310720	1.25MB
25	61	1	192	1572864	1.5MB
26	62	1	224	1835008	1.75MB
27	63	1	256	2097152	2MB
28	64	1	320	2621440	2.5MB
29	65	1	384	3145728	3MB
30	66	1	448	3670016	3.5MB
31	67	1	512	4194304	4MB
32	68	1	640	5242880	5MB
33	69	1	768	6291456	6MB
34	70	1	896	7340030	7MB
35	71	1	1024	8388608	8MB
36	72	1	1280	10485760	10MB
37	73	1	1536	12582912	12MB
38	74	1	1792	14680064	14MB
39	75	1	2048	16777216	16MB

size2idxTab

对size 小于等于 4KB (4096) 的 规格， 做一个细致的划分， 以16B为递增 增量。

由于里面行数太多，这里不展示全部的了，大致如下图：

由于图表的原因 导致篇幅太长，具体的【SizeClasses】源码分析会到下期文章分析。