DELL R410服务器宕机案例(3)

2021-11-27 12:29:54

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
我的博客已迁移到xdoujiang.com请去那边和我交流
Apr 20 16:20:06 10.1.1.1 DMA32: 
Apr 20 16:20:06 10.1.1.1 1*4kB 
Apr 20 16:20:06 10.1.1.1 0*8kB 
Apr 20 16:20:06 10.1.1.1 1*16kB 
Apr 20 16:20:06 10.1.1.1 0*32kB 
Apr 20 16:20:06 10.1.1.1 2*64kB 
Apr 20 16:20:06 10.1.1.1 0*128kB 
Apr 20 16:20:06 10.1.1.1 0*256kB 
Apr 20 16:20:06 10.1.1.1 0*512kB 
Apr 20 16:20:06 10.1.1.1 1*1024kB 
Apr 20 16:20:06 10.1.1.1 1*2048kB 
Apr 20 16:20:06 10.1.1.1 5*4096kB 
Apr 20 16:20:06 10.1.1.1 = 23700kB
Apr 20 16:20:06 Node 0 
Apr 20 16:20:06 10.1.1.1 Normal: 
Apr 20 16:20:06 10.1.1.1 0*4kB 
Apr 20 16:20:06 10.1.1.1 0*8kB 
Apr 20 16:20:06 10.1.1.1 0*16kB 
Apr 20 16:20:06 10.1.1.1 1*32kB 
Apr 20 16:20:06 10.1.1.1 0*64kB 
Apr 20 16:20:06 10.1.1.1 0*128kB 
Apr 20 16:20:06 10.1.1.1 1*256kB 
Apr 20 16:20:06 10.1.1.1 1*512kB 
Apr 20 16:20:06 10.1.1.1 1*1024kB 
Apr 20 16:20:06 10.1.1.1 0*2048kB 
Apr 20 16:20:06 10.1.1.1 1*4096kB 
Apr 20 16:20:06 10.1.1.1 = 5920kB
Apr 20 16:20:06 Node 0 
Apr 20 16:20:06 10.1.1.1 HighMem: 
Apr 20 16:20:06 empty  
Apr 20 16:20:06 Swap cache: add 39530881, delete 39532596, find 16672794/18285464, race 28+613
Apr 20 16:20:06 Free swap  = 0kB
Apr 20 16:20:06 Total swap = 7823612kB
Apr 20 16:20:06 Free swap:            0kB
Apr 20 16:20:06 2293760 pages of RAM
Apr 20 16:20:06 251202 reserved pages
Apr 20 16:20:06 39722 pages shared
Apr 20 16:20:06 10.1.1.1 [] pages swap cached
Apr 20 16:20:06 10.1.1.1 oom-killer: gfp_mask=0x280d2, order=0
Apr 20 16:20:06 10.1.1.1  
Apr 20 16:20:06 Call Trace: 
Apr 20 16:20:06 10.1.1.1  [<ffffffff802a66b4>] out_of_memory+0x33/0x216
Apr 20 16:20:06 10.1.1.1  [<ffffffff8020e020>] __alloc_pages+0x220/0x2a9
Apr 20 16:20:06 10.1.1.1  [<ffffffff80208546>] __handle_mm_fault+0x1a3/0x91a
Apr 20 16:20:06 10.1.1.1  [<ffffffff8020a69c>] do_page_fault+0x39d/0x706
Apr 20 16:20:06 10.1.1.1  [<ffffffff8020b009>] vfs_read+0x13c/0x171
Apr 20 16:20:06 10.1.1.1  [<ffffffff80258925>] error_exit+0x0/0x84
Apr 20 16:20:06 10.1.1.1  
Apr 20 16:20:06 10.1.1.1 Mem-info: 
Apr 20 16:20:06 Node 0 
Apr 20 16:20:06 DMA per-cpu: 
Apr 20 16:20:06 10.1.1.1  
Apr 20 16:20:06 cpu 0 hot: high 0, batch 1 used:0
Apr 20 16:20:06 cpu 0 cold: high 0, batch 1 used:0
Apr 20 16:20:06 cpu 1 hot: high 0, batch 1 used:0
Apr 20 16:20:06 cpu 1 cold: high 0, batch 1 used:0
Apr 20 16:20:06 cpu 2 hot: high 0, batch 1 used:0
Apr 20 16:20:06 cpu 2 cold: high 0, batch 1 used:0
Apr 20 16:20:06 cpu 3 hot: high 0, batch 1 used:0
Apr 20 16:20:06 cpu 3 cold: high 0, batch 1 used:0
Apr 20 16:20:06 Node 0 
Apr 20 16:20:06 DMA32 per-cpu: 
Apr 20 16:20:06 10.1.1.1  
Apr 20 16:20:06 cpu 0 hot: high 186, batch 31 used:35
Apr 20 16:20:06 cpu 0 cold: high 62, batch 15 used:19
Apr 20 16:20:06 cpu 1 hot: high 186, batch 31 used:17
Apr 20 16:20:06 cpu 1 cold: high 62, batch 15 used:55
Apr 20 16:20:06 cpu 2 hot: high 186, batch 31 used:30
Apr 20 16:20:06 cpu 2 cold: high 62, batch 15 used:48
Apr 20 16:20:06 cpu 3 hot: high 186, batch 31 used:12
Apr 20 16:20:06 cpu 3 cold: high 62, batch 15 used:56
Apr 20 16:20:06 Node 0 
Apr 20 16:20:06 Normal per-cpu: 
Apr 20 16:20:06 10.1.1.1  
Apr 20 16:20:06 cpu 0 hot: high 186, batch 31 used:22
Apr 20 16:20:06 cpu 0 cold: high 62, batch 15 used:21
Apr 20 16:20:06 cpu 1 hot: high 186, batch 31 used:14
Apr 20 16:20:06 cpu 1 cold: high 62, batch 15 used:59
Apr 20 16:20:06 cpu 2 hot: high 186, batch 31 used:15
Apr 20 16:20:06 cpu 2 cold: high 62, batch 15 used:29
Apr 20 16:20:06 cpu 3 hot: high 186, batch 31 used:56
Apr 20 16:20:06 cpu 3 cold: high 62, batch 15 used:53
Apr 20 16:20:06 Node 0 
Apr 20 16:20:06 HighMem per-cpu: 
Apr 20 16:20:06 10.1.1.1  empty
Apr 20 16:20:06 Free pages:       42168kB (0kB HighMem)
Apr 20 16:20:06 10.1.1.1 Active: 794087 inactive:1196940 dirty:0 writeback:0 unstable:0 free:10542 slab:13489 mapped:53 pagetables:15831
Apr 20 16:20:06 Node 0 
Apr 20 16:20:06 DMA free: 12548kB min:16kB low:20kB high:24kB active:0kB inactive:0kB present:12200kB pages_scanned:0 all_unreclaimable? yes
Apr 20 16:20:06 10.1.1.1 lowmem_reserve[]: 
Apr 20 16:20:06 10.1.1.1  0
Apr 20 16:20:06 10.1.1.1  3246
Apr 20 16:20:06 10.1.1.1  8044
Apr 20 16:20:06 10.1.1.1  8044
Apr 20 16:20:06 10.1.1.1  
Apr 20 16:20:06 Node 0 
Apr 20 16:20:06 DMA32 free: 23700kB min:4628kB low:5784kB high:6940kB active:3205620kB inactive:23368kB present:3324740kB pages_scanned:810574620 all_unreclaimable? no
Apr 20 16:20:06 10.1.1.1 lowmem_reserve[]: 
Apr 20 16:20:06 10.1.1.1  0
Apr 20 16:20:06 10.1.1.1  0
Apr 20 16:20:06 10.1.1.1  4797
Apr 20 16:20:06 10.1.1.1  4797
Apr 20 16:20:06 10.1.1.1  
Apr 20 16:20:06 Node 0 
Apr 20 16:20:06 Normal free: 5920kB min:6840kB low:8548kB high:10260kB active:5744kB inactive:4729248kB present:4912640kB pages_scanned:1232655726 all_unreclaimable? no
Apr 20 16:20:06 10.1.1.1 lowmem_reserve[]: 
Apr 20 16:20:06 10.1.1.1  0
Apr 20 16:20:06 10.1.1.1  0
Apr 20 16:20:06 10.1.1.1  0
Apr 20 16:20:06 10.1.1.1  0
Apr 20 16:20:06 10.1.1.1  
Apr 20 16:20:06 Node 0 
Apr 20 16:20:06 HighMem free: 0kB min:128kB low:128kB high:128kB active:0kB inactive:0kB present:0kB pages_scanned:0 all_unreclaimable? no
Apr 20 16:20:06 10.1.1.1 lowmem_reserve[]: 
Apr 20 16:20:06 10.1.1.1  0
Apr 20 16:20:06 10.1.1.1  0
Apr 20 16:20:06 10.1.1.1  0
Apr 20 16:20:06 10.1.1.1  0
Apr 20 16:20:06 10.1.1.1  
Apr 20 16:20:06 Node 0 
Apr 20 16:20:06 10.1.1.1 DMA: 
Apr 20 16:20:06 10.1.1.1 3*4kB 
Apr 20 16:20:06 10.1.1.1 5*8kB 
Apr 20 16:20:06 10.1.1.1 5*16kB 
Apr 20 16:20:06 10.1.1.1 4*32kB 
Apr 20 16:20:06 10.1.1.1 4*64kB 
Apr 20 16:20:06 10.1.1.1 2*128kB 
Apr 20 16:20:06 10.1.1.1 0*256kB 
Apr 20 16:20:06 10.1.1.1 1*512kB 
Apr 20 16:20:06 10.1.1.1 1*1024kB 
Apr 20 16:20:06 10.1.1.1 1*2048kB 
Apr 20 16:20:06 10.1.1.1 2*4096kB 
Apr 20 16:20:06 10.1.1.1 = 12548kB
Apr 20 16:20:06 Node 0 
Apr 20 16:20:06 10.1.1.1 DMA32: 
Apr 20 16:20:06 10.1.1.1 1*4kB 
Apr 20 16:20:06 10.1.1.1 0*8kB 
Apr 20 16:20:06 10.1.1.1 1*16kB 
Apr 20 16:20:06 10.1.1.1 0*32kB 
Apr 20 16:20:06 10.1.1.1 2*64kB 
Apr 20 16:20:06 10.1.1.1 0*128kB 
Apr 20 16:20:06 10.1.1.1 0*256kB 
Apr 20 16:20:06 10.1.1.1 0*512kB 
Apr 20 16:20:06 10.1.1.1 1*1024kB 
Apr 20 16:20:06 10.1.1.1 1*2048kB 
Apr 20 16:20:06 10.1.1.1 5*4096kB 
Apr 20 16:20:06 10.1.1.1 = 23700kB
Apr 20 16:20:06 Node 0 
Apr 20 16:20:06 10.1.1.1 Normal: 
Apr 20 16:20:06 10.1.1.1 0*4kB 
Apr 20 16:20:06 10.1.1.1 0*8kB 
Apr 20 16:20:06 10.1.1.1 0*16kB 
Apr 20 16:20:06 10.1.1.1 1*32kB 
Apr 20 16:20:06 10.1.1.1 0*64kB 
Apr 20 16:20:06 10.1.1.1 0*128kB 
Apr 20 16:20:06 10.1.1.1 1*256kB 
Apr 20 16:20:06 10.1.1.1 1*512kB 
Apr 20 16:20:06 10.1.1.1 1*1024kB 
Apr 20 16:20:06 10.1.1.1 0*2048kB 
Apr 20 16:20:06 10.1.1.1 1*4096kB 
Apr 20 16:20:06 10.1.1.1 = 5920kB
Apr 20 16:20:06 Node 0 
Apr 20 16:20:06 10.1.1.1 HighMem: 
Apr 20 16:20:06 empty  
Apr 20 16:20:06 Swap cache: add 39530881, delete 39532596, find 16672794/18285464, race 28+613
Apr 20 16:20:06 Free swap  = 0kB
Apr 20 16:20:06 Total swap = 7823612kB
Apr 20 16:20:06 Free swap:            0kB
Apr 20 16:20:06 2293760 pages of RAM
Apr 20 16:20:06 251202 reserved pages
Apr 20 16:20:06 39699 pages shared
Apr 20 16:20:06 10.1.1.1 [] pages swap cached
Apr 20 16:20:06 10.1.1.1 oom-killer: gfp_mask=0x280d2, order=0
Apr 20 16:20:06 10.1.1.1  
Apr 20 16:20:06 Call Trace: 
Apr 20 16:20:06 10.1.1.1  [<ffffffff802a66b4>] out_of_memory+0x33/0x216
Apr 20 16:20:06 10.1.1.1  [<ffffffff8020e020>] __alloc_pages+0x220/0x2a9
Apr 20 16:20:06 10.1.1.1  [<ffffffff80208546>] __handle_mm_fault+0x1a3/0x91a
Apr 20 16:20:06 10.1.1.1  [<ffffffff8020a69c>] do_page_fault+0x39d/0x706
Apr 20 16:20:06 10.1.1.1  [<ffffffff8020b009>] vfs_read+0x13c/0x171
Apr 20 16:20:06 10.1.1.1  [<ffffffff80258925>] error_exit+0x0/0x84
Apr 20 16:20:06 10.1.1.1  
Apr 20 16:20:06 10.1.1.1 Mem-info: 
Apr 20 16:20:06 Node 0 
Apr 20 16:20:06 DMA per-cpu: 
Apr 20 16:20:06 10.1.1.1  
Apr 20 16:20:06 cpu 0 hot: high 0, batch 1 used:0
Apr 20 16:20:06 cpu 0 cold: high 0, batch 1 used:0
Apr 20 16:20:06 cpu 1 hot: high 0, batch 1 used:0
Apr 20 16:20:06 cpu 1 cold: high 0, batch 1 used:0
Apr 20 16:20:06 cpu 2 hot: high 0, batch 1 used:0
Apr 20 16:20:06 cpu 2 cold: high 0, batch 1 used:0
Apr 20 16:20:06 cpu 3 hot: high 0, batch 1 used:0
Apr 20 16:20:06 cpu 3 cold: high 0, batch 1 used:0
==============================================================================
DELL R410的机器 查看日志发现是内存和swap(原来是8G)都用完宕机，之后找到相应项目沟通
1、修改相应程序
2、加大物理内存









本文转自 xdoujiang 51CTO博客，原文链接：http://blog.51cto.com/7938217/1650782，如需转载请自行联系原作者
上一篇：MySQL数据库主从同步


下一篇：线程锁的使用 | 手把手教你入门Python之一百零二