解决带宽占用高(被入侵导致redis对外攻击)
上机前:
查询服务器是否遭受ddos,是否有违规,
cpu,内存监控丢失
带宽监控未丢失但是异常跑高
现场环境:
ssh不可连接,无法登录
服务器上服务崩溃
login 报错密码不正确
解决步骤:
1.因为这个密码报错不正确,后台重置密码后登录到服务器(这个不具体解释怎么操作的)
2.本身使用外部的监控就看到了这个带宽异常的占用,本身是1mbps,但是拉到了5mbps。top查看没有相关的cpu占用但是ni100%。
3.定位下载iftop 查看平均的均值达到了4.26Mbps 用户本身购买的这个为1Mbps 跑超了太多,但是iftop上没有相关的占用进程。
4.由于没有相关的占用信息,习惯性的用了 nstetat -ant 查看大量的占用了6379端口,通过lsof -i:6379,定位到这个pnscan这个进程,
find / -name pascan 找到了这个pascan的目录,直接chmod 000 文件位置 再次查看top ni正常了,但是测试这个iftop带宽的使用还是居高不下,ssh也不能正常使用
5.再次这个netstat -ant 查看发现还有一个这个1444占用,通过lsof -i:1444 查到了这个进程名,以及pid。 查询到pid后根据pid定位到位置,然后chmod 000所有的病毒文件。(具体进程名,熟悉排查杀毒的兄弟的话,估计一眼就看出来是个病毒程序了,因为这个本身是下午上机杀毒,晚上回来写有些许模糊)
6.iftop查看带宽还是占用极高,后来一想本身已经连接在服务器的,我现在通过这个改变文件权限让病毒程序无法正常运行,链接没有去除,重启服务器。
恢复正常,观察30分钟无复发,ssh正常连接,再从外部监控去看,带宽占用也恢复正常
根据排查的场景不同,他还是有一些区别的,这个如果直接使用busybox/top的话估计定位也会很快,但是busybox要下,想了想算了,一步步来吧