最近在VMware上运行的几个虚拟机突然出现问题。监控系统看到虚拟机还活着但是ssh无法登录。后台管理界面也无法登录。
尝试重启虚拟机发现会卡在sd 0:0:0:0: [sda] Assuming drive cache: write through不动了。
网上看了看好多都是说修改grup参数来解决的。我试了一下发现无法解决我的问题。于是去红帽官网查了半天也没有解决问题。
后来想到可以进入救援模式看看哪里损坏。遂给虚拟机挂上iso进入救援模式。
在执行chroot /mnt/sysimage命令的时候就出现了个报错libdl.so.6 is not a file
进入到/mnt/sysimage/user/lib64目录下执行命令
ls -lrt libdl.so.6发现结果是本地只还剩一个软连接文件。软连接对象libdl-2.17.so文件丢失了。这个基本可以确定是原来操作系统的glibc出现了损坏。
然后在救援模式下给这个虚拟机配上了ip地址

ifconfig ensxxx xxx.xxx.xxx.xxx

因为我有多个虚拟机在同一个网段里，所以可以只配地址不配路由。
配网地址之后可以使用scp命令从一个正常的虚拟机上把对应的so文件拷贝到/mnt/sysimage/user/lib64下边就行
拷贝过来重启虚拟机。发现虚拟机可以启动了
但是后台能登录，ssh依然无法登录。从后台看了一下是sshd服务没起来。没起来的原因是还丢了另外一个so文件。有通过scp从别的虚拟机上拷贝了一个相同的文件过来。重启sshd服务。搞定
其他的几个虚拟机操作类似。但是这几个不同机器丢的so文件都不一样。按需拷贝就行。
这个问题挺奇怪的。运行的好好的虚拟机突然就挂了。
后来查了半天也没查到原因。只能推测可能是新装上的一个安全软件在防护的过程中，损坏了glibc的原因。