这些年积攒的系统起不来以及root登陆异常排查的点

2021-07-12 04:08:01

作者：牧原

系统启动异常：
1，部分centos启动黑屏，无异常报错的场景，可以fsck一下系统盘

2，根分区空间满，以及inode耗尽

3，升级内核或者从老的共享实例迁移到独享规格导致的启动异常
3.1 手动注入驱动 (mkinitrd virtio相关驱动 )
3.2 修改grub 的启动顺序，优先尝试使用老内核启动
3.3 boot目录下面内核的关联文件是否全（下面仅为demo，不同系统内核版本文件不一致，部分内核版本boot下的i386目录也是有用的）

config-4.9.0-7-amd64 
initrd.img-4.9.0-7-amd64  
System.map-4.9.0-7-amd64 
vmlinuz-4.9.0-7-amd64

3.4 /boot/grub/device.map里面的hda改成vda

4，fstab/grub中的 uuid不对，可以直接修改为/dev/vda1这种形式尝试
数据盘分区异常加载起不来的场景，可以去注释ftab所有的行，添加类似下面的启动项尝试，也适用用系统盘快照创建云盘挂载后，uuid一致导致的启动异常，改成非UUID的挂载即可

/dev/vda1 / ext4 defaults 1 1

5，根目录777（部分目录777）也会导致启动异常，或者ssh登陆异常
可参考我之前的文章仅限修复尝试
 https://yq.aliyun.com/articles/761371

6，常见的关键目录缺失，有的是软链,也可以看看对应目录下面的文件数量（文件数量要跟同内核版本或者相差不大的版本对比），简单判断

/bin  /sbin /lib  /lib32 /lib64 /etc /boot /usr/bin /usr/sbin /usr/lib /usr/lib64等目录或文件缺失
for i in /bin  /sbin /lib  /lib32 /lib64 /etc /boot /usr/bin /usr/sbin /usr/lib /usr/lib64 ;do ls -l $i |wc -l ;done

7，影响启动的参数
如果参数设置不当，是会导致启动异常的，如/etc/sysctl.conf以及检查rc.local的配置，profile的检查

vm.nr_hugepages 
vm.min_free_kbytes

8，centos的需要selinux需要关闭，走

# cat /etc/selinux/config   
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled 把这一行改成disabled
# SELINUXTYPE= can take one of three values:
#     targeted - Targeted processes are protected,
#     minimum - Modification of targeted policy. Only selected processes are protected.
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

root登录异常类：

1，/etc/passwd /etc/shadow (用户名 root polikt dbus等关键用户存在与否，文件为空，格式乱（dos2unix)

2，/etc/pam.d 目录下是否有为空的文件及参数设置是否正常，如常见的 system-auth passwd

3，/etc/pam.d 下面所有文件里面涉及的so文件，看看文件是否存在，是否为空 /usr/lib64/security

4，查/etc /lib64 /bin /sbin /usr/bin /usr/sbin等目录有没有size为0的文件

5，/etc/profile /etc/profile.d(打印列表) /etc/bashrc /root/.bash_profile /root/.bashrc 等涉及登陆环境设置的文件是否异常

6，注意内核版本，是否存在新老内核，多更换几个内核试下

7，系统日志也是一个比较重要的检查项（后面介绍下无法登陆怎么检查）

9，ubuntu1204登陆异常在/etc/login.defs 里面配置了错误的ERASECHAR导致，恢复默认0177即可

configuration error - cannot parse erasechar value

10，输入root后直接login失败三连，日志如下
找个同内核版本的机器对比发现没有/etc/pam.d/login 有一个login.defs
rpm包校验一下，确认login没了，手动创建一个，内容拷贝过来，好了

[root@iZbp1cabe6lyx26ikmjie2Z pam.d]# rpm -V util-linux
missing   c /etc/pam.d/login
[root@iZbp1cabe6lyx26ikmjie2Z pam.d]# rpm -ql util-linux|egrep -vi "gz|mo|share"
/etc/mtab
/etc/pam.d/chfn
/etc/pam.d/chsh
/etc/pam.d/login
/etc/pam.d/runuser
/etc/pam.d/runuser-l
/etc/pam.d/su
/etc/pam.d/su-l

12，/etc/ssh/sshd_config 相关参数如 LoginGraceTime/Allowusers/PermitRootLogin

13，问题不好确认的时候，可以将shadow密码字段清空，看看登陆是否正常，可以判断是否到密码验证阶段了

之前有些过一篇关于ssh问题排查的文档，可参考
 https://yq.aliyun.com/articles/540769