Linux文件系统与日志分析
一、inode与block
1、inode与block概述
文件是存储在硬盘上的，硬盘的最小存储单位叫做“扇区”（sector），每个扇区存储512字节。
一般连续八个扇区组成一个“块”（block），一个块是4K大小，是文件存取的最小单位。操作系统读取硬盘的时候，是一次性读取多个扇区，即一个块一个块的读取的。
文件数据包括实际数据与元信息（类似文件属性）。问价数据存储在”块“中，存储文件元信息（比如文件的创建者、创建日期、文件大小、文件权限等）的区域叫做inode。因此，一个文件必须占用一个inode，并且至少占用一个block。
每个inode都有一个号码，操作系统用inode号码来识别不同的文件。Linux系统内部不使用文件名，而使用inode号码来识别文件。对于系统来说，文件名只是inode号码便于识别的别称，文件名和inode号码是一一对应关系，每个inode号码对应一个文件名。
据inode信息，看该用户是否具有访问这个文件的权限；如果有，就指向相对应的数据block，并读取数据。
注：一个文件必须占用一个inode，但至少占用一个block，所以单个文件至少占据4K大小。
2、inode的内容
inode包含文件的元信息，包括：
·文件的字节数
·文件拥有者的User ID
·文件的Group ID
·文件的读、写、执行权限
·文件的时间戳
·……
注：inode信息不包含文件名。
3、查看inode号码的方法
方法一：ls -l 文件名
方法二：stat 文件名
4、Linux系统文件三个主要的时间属性
ctime（change time）
最后一次改变文件或目录（属性）的时间
atime（access time）
最后一次访问文件或目录的时间
mtime（modification time）
最后一次修改文件或目录（内容）的时间
5、目录文件的结构
Linux系统中，一切皆为文件。因此，目录也是一种文件。
目录文件的结构：
| 文件名 | inode号 |
|---|---|
| 文件名1 | inode号码1 |
| 文件名2 | inode号码2 |
| …… | …… |
其中每一行称为一个目录项。
每个inode都有一个号码，操作系统用inode号码来识别不同的文件。
Linux系统内部不适用文件名，而使用inode号码来识别文件。
对于用户，文件名只是inode号码便于识别的别称。
6、通过文件名打开文件的系统内部过程
1.系统找到这个文件名对应的inode号码
2.通过inode号码，获取inode信息
3.根据inode信息，判断用户权限
4.无权限，拒绝访问
5.有权限，找到文件数据所在的block，读出数据
7、硬盘分区后的结构
| 信息类型 | 存储单元 | 存储区域 |
|---|---|---|
| 文件名 | 目录项 | 目录块 |
| 元信息 | inode | inode表区块 |
| 数据 | block | block数据区 |
8、inode的大小
inode也会消耗硬盘空间，所以格式化的时候，操作系统自动将硬盘分为两个区域。一个是数据区，存放文件数据；另一个是inode区，存放inode所包含的信息。每个inode的大小，一般是128字节或256字节。
通常情况下不需要关注单个inode的大小，而是需要重点关注inode总数。inode的总数在格式化时就给定了，执行“df -i”命令即可查看每个硬盘分区对应的inode总数和已经使用的inode数量。
9、inode的特殊作用
由于inode号码与文件名分离，导致一些Unix/Linux系统具有以的现象：
·当文件名包含特殊字符，可能无法正常删除文件，直接删除inode，也可以删除文件
·移动或重命名文件时，只改变文件名，不影响inode号码
·打开一个文件后，系统通过inode号码来识别该文件，不再考虑文件名
·文件数据被修改保存后，会生成一个新的inode号码
10、通过inode号的删除命令
find ./ -inum 52305140 -exec rm -i {} ;
或
find ./ -inum 50464299 -delete
11、inode节点耗尽故障模拟处理
使用fdisk创建分区/dev/sdb1，分区大小30M即可
fdisk /dev/sdb
mkfs.ext4 /dev/sdb1
mkdir /test
mount .dev/sdb1 /mnt
df -i
模拟inode节点耗尽故障
for ((i=1;1<=7680;i++));do touch /test/file$i;done
或
touch(1..7680).txt
df -i
df -hT
删除文件恢复inode
rm -rf /test/*
df -i
df -hT
二、硬链接与软链接
1、链接文件的分类
| 软链接（符号链接） | 硬链接 | |
|---|---|---|
| 删除原始文件后 | 失效 | 仍旧可用 |
| 使用范围 | 适用于文件或目录 | 只可用于文件 |
| 保存位置 | 与原始文件可以位于不同的文件系统中 | 必须与原始文件在同一个文件系统（如一个Linux分区）内 |
2、如何建立链接
硬链接：ln 源文件 目标位置
软链接：ln -s 源文件或目录 链接文件或目标位置
三、恢复误删除的文件
1、恢复EXT类型的文件
（1）extundelete工具
extundelete是一个开源的Linux数据恢复工具，支持ext3、ext4文件系统。（ext4只能在CentOS 6版本恢复）
（2）模拟删除并执行恢复操作
1.使用fdisk创建分区/dev/sdc1,格式化ext3文件系统
fdisk /dev/sdc
partprobe /dev/sdc
mkfs.ext3 /dev/sdc1
mkdir /test
mount /dev/sdc1 /test
df -hT
2.安装依赖包
yum -y inatll e2fsprogs-devel e2fsprogs-libs
3.编译安装extundelete
cd /test
wget http://nchc.dl.sourceforge.net/project/extundelete/extundelete/0.2.4/extundelete-0.2.4.tar.bz2
tar jxvf extundelete-0.2.4.tar.bz2
cd extundlete-0.2.4/
./configure --prefix=/usr/local/extundelete && make && make install
ln -s /usr/local/extundelete/bin/* /usr/bin/
4.模拟删除并执行恢复操作
cd /test
echo a>a
echo a>b
echo a>c
echo a>d
ls
extundelete /dev/sdc1 --inode 2 ##查看文件系统/dev/sdc1下存在哪些文件，i节点是从2开始的，2代表该文件系统最开始的目录
rm -rf a b
extundelete /dev/sdc1 --inode 2
cd ~
umount /test
extundelete /dev/sdc1 --restore -laa ##恢复/dev/sdc1文件系统下的所有内容
在当前目录下会出现一个RECOVERD_FILES/目录，里面保存了已经恢复的文件
ls RECOVERD_FILES/
2、XFS文件的备份和恢复
（1）xfsdump工具
CentOS 7系统默认采xfs文件系统，xfs类型的文件可使用xfsdump与xfsrestore工具进行备份恢复。
xfsdump的备份级别有两种：0表示完全备份，1-9表示增量备份。xfsdump的默认备份级别为0。
（2）xfsdump的命令格式
xfsdump -f 备份存放位置 要备份的路径或设备文件
（3）xfsdump命令的常用选项
| 常用选项 | 说明 |
|---|---|
| -f | 指定备份文件目录 |
| -L | 指定标签session label |
| -M | 指定设备标签media label |
| -s | 备份单个文件，-s后面不能直接根路径 |
（4）xfsdump的使用限制
1.只能备份已挂载的文件系统
2.必须使用root的权限才能操作
3.只能备份xfs文件系统、
4.备份后的数据只能让xfsdump解析
5.不能备份两个具有相同UUID的文件系统（可用blkid命令查看）
（5）模拟数据丢失并恢复
1.使用fdisk创建分区/dev/sdb1，格式化xfs文件系统
fdisk /dev/sdb
partprobe /dev/sdb
mkfs.xfs [-f] /dev/sdb1
mkdir /data
mount /dev/sdb1 /data/
cd /data
cp /etc/passwd ./
mkdir test
touch mkdir test/a
2.使用xfsdump命令备份整个分区
rpm -qa | grep xfsdump
yum install -y xfsdump
xfsdump -f /opt/dump_sdb1 /dev/sdb1 [-L dump_sdb1 -M adb1]
3.模拟数据丢失并使用xfsrestore命令恢复文件
cd /data
rm -rf ./*
ls
xfsrestore -f /opt/dump_sdb1 /data/
四、分析日志文件
1、日志的功能
用于记录系统、程序运行中发生的各种事件
通过阅读日志，有助于诊断和解决系统故障
2、日志文件的分类
·内核及系统日志
由系统服务rsyslog统一进行管理,主配置文件为/etc/rsyslog.conf。
Linux操作系统本身和大部分服务器程序的日志文件都保存在/var/log下。
·用户日志
记录系统用户登录及退出系统的相关信息
·程序日志
由各种应用程序独立管理的日志文件，记录格式不统一
3、日志的保存位置
默认位于：/var/log目录下
| 主要日志类型 | 默认所在位置 | 说明 |
|---|---|---|
| 内核及公共消息日志 | /var/log/messages | 记录Linux内核消息及各种应用程序的公共日志消息，包括启动、IO错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务，一般都可以从该日志文件中获得相关的事件记录信息 |
| 计划任务日志 | /var/log/cron | 记录crontab计划任务产生的事件信息 |
| 系统引导日志 | /var/log/dmesg | 记录Linux系统在引导过程中的各种事件信息 |
| 邮件系统日志 | /var/log/maillog | 记录进入或付出系统的电子邮件活动 |
| 用户登录日志 | /var/log/secure /var/log/lastlog /var/log/wtmp /var/run/btmp |
记录用户认证相关的安全事件信息 记录每个用户最近的登陆事件，二进制格式 记录每个用户登录、注销及系统启动和停机事件，二进制格式 记录失败的、错误的登录尝试及验证事件，二进制格式 |
4、内核及系统日志
由系统服务rsylog统一管理
软件包：rsylog-7.4.7-16.el7.x86_64
主要程序：/sbin/rsyslohd
配置文件：/etc/rsyslog.conf
5、日志消息的级别
| 级号 | 消息 | 级别 | 说明 |
|---|---|---|---|
| 0 | EMERG | 紧急 | 会导致主机系统不可用的情况 |
| 1 | ALERT | 警告 | 必须马上采取措施解决的问题 |
| 2 | CRIT | 严重 | 比较严重的情况 |
| 3 | ERR | 错误 | 运行出现错误 |
| 4 | WARNING | 提醒 | 可能hi影响系统功能的事件 |
| 5 | NOTICE | 注意 | 不会影响系统但值得注意 |
| 6 | INFO | 信息 | 一般信息 |
| 7 | DEBUG | 调试 | 程序或系统调试信息等 |
6、公共日志文件的记录格式
一般由时间标签、主机名、子系统名、消息字段组成
| 字段 | 说明 |
|---|---|
| 时间标签 | 消息发出的日期和时间 |
| 主机名 | 生成消息的计算机的名称 |
| 子系统名称 | 发出消息的应用程序的名称 |
| 消息 | 消息的具体内容 |
7、用户日志分析
（1）用户日志功能
保存了用户登录、退出系统等相关信息
| 日志位置 | 记录事项 |
|---|---|
| /var/log/lastlog | 最近的用户登录事件 |
| /var/log/wtmp | 用户登录、注销及系统开、关机事件 |
| /var/log/utmp | 当前登录的每个用户的详细信息 |
| /var/log/secure | 与用户验证相关的安全性事件 |
（2）分析工具
users、who、w、last、lastb
last命令用于查询成功登录到系统的用户记录
lastb命令用于查询登陆失败的用户记录
8、程序日志分析
（1）常用的程序日志
由相应的应用程序独立进行管理
1.Web服务：/var/log/httpd/
access_log //记录客户访问事件
error_log //记录错误事件
2.代理服务：/var/log/squid/
access.log
cache.log
（2）分析工具
1.文本查看、grep过滤检索、Webmin管理套件中查看
2.awk、sed等文本过滤、格式化编辑工具
3.Webalizer、Awstats等专用日志分析工具
9、日志管理策略
1.及时做好备份和归档
2.延长日志保存期限
find ./ -mtime +30 -exec rm -rf {} ; 删除30天以前的日志文件
3.控制日志访问权限
日志中可能会包含各类敏感信息，如账户、口令等
4.集中管理日志
将服务器的日志文件发到统一的日志文件服务器
便于日志信息的统一收集、整理和分析
杜绝日志信息的意外丢失、恶意篡改或删除