目录
- inode与block
- 模拟inode节点耗尽故障处理
- 恢复误删除的文件
- 日志文件
inode与block
概述
文件是存储在硬盘上的, 硬盘的最小存储单位叫做"扇区"(sector),每个扇区存储512字节。
一般连续八个扇区组成一个"块"(block),一个块是4K大小,是文件存取的最小单位。操作系统读取硬盘的时候,是一次性连续读取多个扇区,即一个块一个块的读取的。
文件数据包括实际数据与元信息(类似文件属性)。文件数据存储在"块"中,存储文件元信息(比如文件的创建者、创建日期、文件大小、文件权限等)的区域就叫做inode。因此,一个文件必须占用一个 inode,并且至少占用一个 block。
inode内不包含文件名。文件名是存放在目录当中的。Linux 系统中一切皆文件,因此目录也是一种文件。
每个inode都有一个号码,操作系统用inode号码来识别不同的文件。Linux系统内部不使用文件名,而使用inode号码来识别文件。对于系统来说,文件名只是inode号码便于识别的别称,文件名和inode号码是一一对应关系,每个inode号码对应一个文件名。
所以,当用户在Linux系统中试图访问一个文件时,系统会先根据文件名去查找它对应的inode号码; 通过inode号码,获取inode信息;根据inode信息,看该用户是否具有访问这个文件的权限; 如果有, 就指向相对应的数据block,并读取数据。
查看文件对应的inode号码有两种方式
格式:ls -i 文件名 (只显示文件对应的indoe号码,不能显示指定目录inode号,可以显示目录内所有文件和目录的inode号)
或者 stat 文件名(会显示文件的元信息,也可以指定目录显示)
*包含的文件元信息有:文件的字节数,文件拥有者的User ID,文件的Group ID,文件的读、写、执行权限,文件的时间戳........(不包含文件名)
例如:ls -i abc.txt 或者 stat abc.txt
LInux系统文件三个主要的时间属性
最近访问 atime (accesstime):
当使用这个文件的时候就会更新这个时间。
最近更改mtime (modification time):
当修改文件的内容数据的时候,就会更新这个时间,而更改权限或者属性,mtime不会改变,这就是和ctime的区别。
最近改动ctime (status time):
当修改文件的权限或者属性的时候,就会更新这个时间,ctime并不是create time,更像是change time,只有当更新文件的属性或者权限的时候才会更新这个时间,但是更改内容的话是不会更新这个时间。
inode的大小
inode也会消耗硬盘空间,所以格式化的时候,操作系统自动将硬盘分成两个区域。一个是数据区,存放文件数据;另一个是 inode区,存放 inode 所包含的信息。每个 inode 的大小,一般是 128 字节或 256 字节。
通常情况下不需要关注单个inode的大小,而是需要重点关注 inode 总数。inode 的总数在格式化时就给定了,执行 "df-i"命令即可查看每个硬盘分区对应的的 inode 总数和已经使用的inode 数量。
格式:df -i(查看每个硬盘分区对应的inode总数以及使用数)
inode的特殊作用
由于 inode 号码与文件名分离,导致Linux 系统具备以下几种特有的现象∶
1.文件名包含特殊字符,可能无法正常删除。这时直接删除 inode,能够起到删除文件的作用;
2.移动文件或重命名文件,只是改变文件名,不影响 inode 号码,硬链接文件共用一个inode号,删除某个拥有硬链接的inode号会删除所有硬链接的文件
3.打开一个文件以后,系统就以 inode 号码来识别这个文件,不再考虑文件名。 4.文件数据被修改,复制出另一份后,会生成一个新的 inode 号码。
格式:find 路径 -inum inode号 -exec rm -i {} \;
或者:find 路径 -inum inode号 -delete
示例:find ./ -inum 135480164 -exec rm -i { } \;
find ./ -inum 26021 -delete
模拟inode节点耗尽故障处理
示例:
使用fdisk /dev/sdb1,分区大小30M即可
fdisk /dev/sdb 默认创建,大小设置30M即可
mkfs.ext4 /dev/sdb1 格式化并设置类型
mkdir /mnt 创建一个挂载目录
mount /dev/sdb1 /mnt
模拟inode节点耗尽故障
for((i=1;i<=7669;i++));do ;touch /mnt/123$i ;done
*for循环语句
或者 touch {1...7669}.txt
查看一下磁盘使用情况和inode使用情况
df -i
df -hT
恢复误删除的文件
extundelete数据恢复工具
extundelete 是一个开源的 Linux 数据恢复工具,支持 ext3、ext4文件系统。(ext4只能在centos6版本恢复)
下载网址:extundelete-0.2.4.tar.bz2
实验环境:CentOS 7
示例:
恢复EXT类型的文件(还是再/dev/sdb的磁盘中直接创建了一个主分区/dev/sdb2,磁盘大小为5G,激活时注意选择ext3类型激活)
安装依赖包,挂载光盘镜像
mount /dev/sr0 /mnt
yum -y install e2fsprogs-devel e2fsprogs-libs
编译安装extundelete
将文件包装入虚拟机呢,开始解压安装
解压文件并且编译安装到指定目录
tar -jvxf extundelete-0.2.4.tar.bz2
cd extundelete-0.2.4/
./configure --prefix=/usr/local/extundelete && make && make install
*创建一个软链接到/usr/bin目录中能够让系统识别到extundelete工具下的所有命令
ln -s /usr/local/extundelete/bin/* /usr/bin
模拟删除并执行恢复操作
cd /test
echo a>a
echo a>b
echo a>c
echo a>d
查看文件系统/dev/sdc1下存在哪些文件,i节点是从2开始的,2代表该文件系统最开始的目录。
extundelete /dev/sdc1 --inode 2
删除a b文件用extundelete工具查看sdb1磁盘下有哪些文件以及inode号和状态
rm-rf a b
extundelete /dev/sdc1 --inode 2
切换到家目录准备使用extundelete恢复文件
cd ~
umount /test
恢复/dev/sdb1 文件系统下的所有内容
extundelete /dev/sdb1 --restore-all
在当前目录下会出现一个RECOVERED FILES/目录,里面保存了已经恢复的文件
ls RECOVERED_FILES/
xfs类型文件备份和恢复
CentOS 7系统默认采用 xfs类型的文件,xfs 类型的文件可使用 xfsdump 与 xfsrestore 工具进行备份恢复
xfsdump的备份级别有两种∶ 0表示完全备份;1-9表示增量备份。xfsdump的备份级别默认为0。
完全备份: 每次都把指定的备份目录完整的复制一遍, 不管目录下的文件有没有变化,都进行备份
增量备份: 每次将之前(第一次, 第二次…知道前一次)做过备份后有变化的文件再进行备份, 没有变化的则不动
差异备份: 每次都将第一次完整备份以来没有变化的文件进行备份,也就是说, 之前备份过的, 后续有变化的进行备份, 没有变化不管多久也不进行二次备份
格式∶xfsdump -f 备份存放位置 要备份的路径或设备文件
xfsdump命令常用的选项∶
-f∶指定备份文件目录
-L∶指定标签 session label
-M∶指定设备标签 media label
-s∶备份单个文件,-s 后面不能直接跟路径
-L和-s选项如果不指定,在备份过程中会进行交互式的输入
xfsdump使用限制∶
1.只能备份已挂载的文件系统
2.必须使用root的权限才能操作
3.只能备份XFS文件系统
4.备份后的数据只能让xfsrestore解析
5.不能备份两个具有相同UUID的文件系统(可用 blkid命令查看)
示例:
使用fdisk创建分区/dev/sdb1,大小5G,格式化xfs文件系统
fdisk /dev/sdb
partprobe /dev/sdb
mkfs.xfs [-f] /dev/sdb1
mkdir /test
mount /dev/sdb1 /test/
cd /test
cp /etc/passwd ./
mkdir test
touch test/a
使用 xfsdump 命令备份整个分区
首先检查一下xfsdump文件包是否安装,一般CentOS7默认安装,然后用xfsdump备份整个磁盘
rpm -qa l grep xfsdump
yum install -y xfsdump
xfsdump -f /opt/dump_sdb1 /dev/sdb1 [-L dump_sdb1 -M sdb1]
模拟数据丢失并使用 xfsrestore 命令恢复文件
cd /test/
rm -rf ./*
ls
xfsrestore -f /opt/dump_sdb1 /test/
日志文件
概述
内核及系统日志由系统服务 rsyslog 统一管理,主配置文件为/etc/rsyslog.conf ,Linux 操作系统本身和大部分服务器程序的日志文件都默认放在目录/var/log/下,存放的都是服务的登录的文件或错误信息文件,/var目录下主要针对常态性变动文件,存放一些可变长的文件包括缓存(cache)、登录文件(logfile)以及某些软件运行所产生的文件,包括程序文件(lock file,run file),或者例如Mysql数据库的文件等。
常见的一些日志文件
内核及公共消息日志/var/log/messages∶记录Linux内核消息及各种应用程序的公共日志信息,包括启动、IO错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务,一般都可以从该日志文件中获得相关的事件记录信息。
计划任务日志/var/log/cron∶记录crond计划任务产生的事件信息。
系统引导日志/var/log/dmesg∶记录Linux系统在引导过程中的各种事件信息。
邮件系统日志/var/log/maillog∶记录进入或发出系统的电子邮件活动。
用户登录日志∶
/var/log/secure∶记录用户认证相关的安全事件信息
/var/log/lastlog∶记录每个用户最近的登录事件。二进制格式
/var/log/wtmp∶记录每个用户登录、注销及系统启动和停机事件。二进制格式/var/run/btmp∶记录失败的、错误的登录尝试及验证事件。二进制格式
查看rsyslog.conf配置文件
vim /etc/rsyslog.conf
*.info; mail.none;authpriv.none;cron.none /var/log/messages
*.info表示info等级及以上的所有等级的信息都写到对应的日志文件里
mail.none表示某事件的信息不写到日志文件里(这里比如是邮件)
日志分析
日志消息等级
Linux系统内核日志消息的优先级别(数字等级越小,优先级越高,消息越重要)
0级:EMERG(紧急)∶会导致主机系统不可用的情况
1级:ALERT (警告)∶必须马上.采取措施解决的问题
2级:CRIT (严重)∶比较严重的情况
3级:ERR(错误)∶运行出现错误。
4级:WARNING(提醒)∶可能影响系统功能,需要提醒用户的重要
5级:NOTICE (注意)∶不会影响正常功能,但是需要注意的事件。
6级:INFO(信息)∶一般信息。
7级:DEBUG (调试)∶程序或系统调试信息等
*大部分程序应用的日志等级都会定义ERR级别或者INFO级别,数字越小越紧急,日志文件越少
日志文件一般格式
示例:进入公共日志/var/log/messages 文件查看记录格式
时间标签∶消息发出的日期和时间
主机名:生成消息的计算机的名称
子系统名称∶发出消息的应用程序的名称
消息∶消息的具体内容
程序日志分析
由相应的应用程序独立进行管理不一定是/var/log,由程序员写好定义
例如:
Web服务:httpd (/var/log/httpd)网站服务程序使用两个日志文件∶
记录客户访问事件 access_log
记录错误事件 error_log
Squid cache(简称Squid):/var/log/squid(用来做前置的Web缓存,加快用户访问Web的速度;代理内网用户访问互联网资源;设置访问控制策略;控制用户的上网行为;主要支持http、ftp等应用协议)
使用:access.log 、cache.log
用户日志分析
保存了用户登录、退出系统等相关信息
/var/log/lastlog∶最近的用户登录事件
/var/log/wtmp∶用户登录、注销及系统开、关机事件
/var/run/utmp∶当前登录的每个用户的详细信息
/var/log/secure∶与用户验证相关的安全性事件
*除了/var/log/secure可以直接查看以外其他都是二进制文件,可以导出后使用翻译器查看
导出文件命令:sz 文件路径
分析工具
users、who、w、last、lastb
last 命令用于查询成功登录到系统的用户记录
lastb 命令用于查询登录失败的用户记录
日志管理策略
及时作好备份和归档
延长日志保存期限
控制日志访问权限
日志中可能会包含各类敏感信息,如账户、口令等
集中管理日志
将服务器的日志文件发到统一的日志文件服务器
便于日志信息的统一收集、整理和分析
杜绝日志信息的意外丢失、恶意篡改或删除