Linux文件系统与日志分析

目录

  • inode与block
  • 模拟inode节点耗尽故障处理
  • 恢复误删除的文件
  • 日志文件

inode与block

概述

文件是存储在硬盘上的, 硬盘的最小存储单位叫做"扇区"(sector),每个扇区存储512字节。

连续八个扇区组成一个"块"(block),一个块是4K大小,是文件存取的最小单位。操作系统读取硬盘的时候,是一次性连续读取多个扇区,即一个块一个块的读取的。

文件数据包括实际数据与元信息(类似文件属性)。文件数据存储在"块"中,存储文件元信息(比如文件的创建者、创建日期、文件大小、文件权限等)的区域就叫做inode。因此,一个文件必须占用一个 inode,并且至少占用一个 block。

inode不包含文件名文件名是存放在目录当中的。Linux 系统中一切皆文件,因此目录也是一种文件。

每个inode都有一个号码,操作系统用inode号码来识别不同的文件Linux系统内部不使用文件名,而使用inode号码来识别文件。对于系统来说,文件名只是inode号码便于识别的别称,文件名和inode号码是一对应关系,每个inode号码对应个文件名。

所以,当用户在Linux系统中试图访问一个文件时,系统会先根据文件名去查找它对应的inode号码; 通过inode号码,获取inode信息;根据inode信息,看该用户是否具有访问这个文件的权限; 如果有, 就指向相对应的数据block,并读取数据。

 

查看文件对应的inode号码有两种方式

格式ls -i 文件名 (只显示文件对应的indoe号码,不能显示指定目录inode号,可以显示目录内所有文件和目录的inode号)

或者  stat 文件名(会显示文件的元信息,也可以指定目录显示)

*包含的文件元信息有:文件的字节数,文件拥有者的User ID,文件的Group ID,文件的读、写、执行权限,文件的时间戳........(不包含文件名)

 

例如:ls -i abc.txt   或者  stat abc.txt

 

Linux文件系统与日志分析

 

LInux系统文件三个主要的时间属

最近访问 atime (accesstime):

当使用这个文件的时候就会更新这个时间。

最近更改mtime (modification time):

当修改文件的内容数据的时候,就会更新这个时间,而更改权限或者属性,mtime不会改变,这就是和ctime的区别。

最近改动ctime (status time):

当修改文件的权限或者属性的时候,就会更新这个时间,ctime并不是create time,更像是change time,只有当更新文件的属性或者权限的时候才会更新这个时间,但是更改内容的话是不会更新这个时间。

 

inode的大小

inode也会消耗硬盘空间,所以格式化的时候,操作系统自动将硬盘分成两个区域。一个是数据区,存放文件数据;另一个是 inode区,存放 inode 所包含的信息。每个 inode 的大小,一般是 128 字节或 256 字节。

通常情况下不需要关注单个inode的大小,而是需要重点关注 inode 总数。inode 的总数在格式化时就给定了执行 "df-i"命令即可查看每个硬盘分区对应的的 inode 总数和已经使用的inode 数量。

格式:df -i(查看每个硬盘分区对应的inode总数以及使用数)

Linux文件系统与日志分析

 

inode的特殊作用

由于 inode 号码与文件名分离,导致Linux 系统具备以下几种特有的现象∶

1.文件名包含特殊字符,可能无法正常删除。这时直接删除 inode,能够起到删除文件的作用;

2.移动文件或重命名文件,只是改变文件名,不影响 inode 号码硬链接文件共用一个inode号,删除某个拥有硬链接的inode号会删除所有硬链接的文件

3.打开一个文件以后,系统就以 inode 号码来识别这个文件,不再考虑文件名。 4.文件数据被修改复制出另一份后,会生成一个新的 inode 号码。

格式:find 路径 -inum inode号 -exec rm -i {} \;

或者:find 路径 -inum inode号 -delete

示例:find ./ -inum 135480164 -exec rm -i { } \;

           find ./ -inum 26021 -delete

Linux文件系统与日志分析

Linux文件系统与日志分析

 

模拟inode节点耗尽故障处理

示例:

使用fdisk /dev/sdb1,分区大小30M即可

fdisk /dev/sdb   默认创建,大小设置30M即可     

mkfs.ext4 /dev/sdb1  格式化并设置类型

mkdir /mnt         创建一个挂载目录

mount /dev/sdb1 /mnt

Linux文件系统与日志分析

模拟inode节点耗尽故障

for((i=1i<=7669;i++));do ;touch /mnt/123$i ;done

*for循环语句

或者 touch {1...7669}.txt

Linux文件系统与日志分析

 

查看一下磁盘使用情况和inode使用情况

df -i

df -hT

Linux文件系统与日志分析

 

恢复误删除的文件

extundelete数据恢复工具

extundelete 是一个开源的 Linux 数据恢复工具,支持 ext3ext4文件系统。(ext4只能在centos6版本恢复)

下载网址:extundelete-0.2.4.tar.bz2

 

实验环境:CentOS 7

示例:

恢复EXT类型的文件(还是再/dev/sdb的磁盘中直接创建了一个主分区/dev/sdb2,磁盘大小为5G激活时注意选择ext3类型激活

安装依赖包,挂载光盘镜像

mount /dev/sr0 /mnt

yum -y install e2fsprogs-devel e2fsprogs-libs

Linux文件系统与日志分析

 

编译安装extundelete

将文件包装入虚拟机呢,开始解压安装

Linux文件系统与日志分析

解压文件并且编译安装到指定目录

tar -jvxf extundelete-0.2.4.tar.bz2

cd extundelete-0.2.4/

./configure --prefix=/usr/local/extundelete && make && make install

Linux文件系统与日志分析

 

*创建一个软链接到/usr/bin目录中能够让系统识别到extundelete工具下的所有命令

ln -s /usr/local/extundelete/bin/* /usr/bin

 

模拟删除并执行恢复操作

cd /test

echo a>a

echo a>b

echo a>c

echo a>d

查看文件系统/dev/sdc1下存在哪些文件,i节点是从2开始的,2代表该文件系统最开始的目录。

extundelete /dev/sdc1 --inode 2

Linux文件系统与日志分析

删除a b文件用extundelete工具查看sdb1磁盘下有哪些文件以及inode号和状态

rm-rf a b

extundelete /dev/sdc1 --inode 2 

Linux文件系统与日志分析

 

切换到家目录准备使用extundelete恢复文件

cd ~ 

umount /test

恢复/dev/sdb1 文件系统下的所有内容

extundelete /dev/sdb1 --restore-all

在当前目录下会出现一个RECOVERED FILES/目录,里面保存了已经恢复的文件

ls RECOVERED_FILES/

Linux文件系统与日志分析

 

xfs类型文件备份和恢复

CentOS 7系统默认采用 xfs类型的文件,xfs 类型的文件可使用 xfsdump 与 xfsrestore 工具进行备份恢复

xfsdump的备份级别有两种∶ 0表示完全备份;1-9表示增量备份。xfsdump的备份级别默认为0

完全备份: 每次都把指定的备份目录完整的复制一遍, 不管目录下的文件有没有变化,都进行备份

增量备份: 每次将之前(第一次, 第二次…知道前一次)做过备份后有变化的文件再进行备份, 没有变化的则不动

差异备份: 每次都将第一次完整备份以来没有变化的文件进行备份,也就是说, 之前备份过的, 后续有变化的进行备份, 没有变化不管多久也不进行二次备份

 

格式∶xfsdump -f 备份存放位置 要备份的路径或设备文件

xfsdump命令常用的选项∶

-f∶指定备份文件目录

-L∶指定标签 session label

-M∶指定设备标签 media label

-s∶备份单个文件,-s 后面不能直接跟路径

-L和-s选项如果不指定,在备份过程中会进行交互式的输入

 

xfsdump使用限制∶

1.只能备份已挂载的文件系统

2.必须使用root的权限才能操作

3.只能备份XFS文件系统

4.备份后的数据只能让xfsrestore解析

5.不能备份两个具有相同UUID的文件系统(可用 blkid命令查看)

 

示例:

使用fdisk创建分区/dev/sdb1,大小5G,格式化xfs文件系统

fdisk /dev/sdb

partprobe /dev/sdb

mkfs.xfs [-f] /dev/sdb1

mkdir /test

mount /dev/sdb1 /test/

cd /test

cp /etc/passwd ./

mkdir test

touch test/a

Linux文件系统与日志分析

 

使用 xfsdump 命令备份整个分区

首先检查一下xfsdump文件包是否安装,一般CentOS7默认安装,然后用xfsdump备份整个磁盘

rpm -qa l grep xfsdump

yum install -y xfsdump

xfsdump -f /opt/dump_sdb1 /dev/sdb1 [-L dump_sdb1 -M sdb1]

Linux文件系统与日志分析

 

模拟数据丢失并使用 xfsrestore 命令恢复文件

cd /test/

rm -rf ./*

ls

xfsrestore -f /opt/dump_sdb1 /test/

Linux文件系统与日志分析

 

日志文件

概述

内核及系统日志由系统服务 rsyslog 统一管理,主配置文件为/etc/rsyslog.conf Linux 操作系统本身和大部分服务器程序的日志文件都默认放在目录/var/log/存放的都是服务的登录的文件或错误信息文件,/var目录下主要针对常态性变动文件,存放一些可变长的文件包括缓存(cache)、登录文件(logfile)以及某些软件运行所产生的文件,包括程序文件(lock filerun file),或者例如Mysql数据库的文件等。

 

常见的一些日志文件

内核及公共消息日志/var/log/messages∶记录Linux内核消息及各种应用程序的公共日志信息,包括启动、IO错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务,一般都可以从该日志文件中获得相关的事件记录信息。

计划任务日志/var/log/cron∶记录crond计划任务产生的事件信息。

系统引导日志/var/log/dmesg∶记录Linux系统在引导过程中的各种事件信息。

邮件系统日志/var/log/maillog∶记录进入或发出系统的电子邮件活动。

 

用户登录日志

/var/log/secure∶记录用户认证相关的安全事件信息

/var/log/lastlog∶记录每个用户最近的登录事件。二进制格式

/var/log/wtmp∶记录每个用户登录、注销及系统启动和停机事件。二进制格式/var/run/btmp∶记录失败的、错误的登录尝试及验证事件。二进制格式

 

查看rsyslog.conf配置文件

vim /etc/rsyslog.conf

*.info; mail.none;authpriv.none;cron.none             /var/log/messages

*.info表示info等级及以上的所有等级的信息都写到对应的日志文件里

mail.none表示某事件的信息不写到日志文件里(这里比如是邮件)

Linux文件系统与日志分析

 

日志分析

日志消息等级

Linux系统内核日志消息的优先级别(数字等级越小,优先级越高,消息越重要)

0级:EMERG(紧急)会导致主机系统不可用的情况

1ALERT (警告)必须马上.采取措施解决的问题

2CRIT (严重)比较严重的情况

3ERR(错误)运行出现错误。

4WARNING(提醒)可能影响系统功能,需要提醒用户的重要

5NOTICE (注意)不会影响正常功能,但是需要注意的事件。

6INFO(信息)一般信息。

7DEBUG (调试)程序或系统调试信息等

*大部分程序应用的日志等级都会定义ERR级别或者INFO级别,数字越小越紧急,日志文件越少

 

日志文件一般格式

示例:进入公共日志/var/log/messages 文件查看记录格式

时间标签∶消息发出的日期和时间

主机名生成消息的计算机的名称

子系统名称∶发出消息的应用程序的名称

消息∶消息的具体内容

Linux文件系统与日志分析

 

程序日志分析

由相应的应用程序独立进行管理不一定是/var/log,由程序员写好定义

例如:

Web服务:httpd (/var/log/httpd)网站服务程序使用两个日志文件∶

记录客户访问事件 access_log

记录错误事件 error_log

Squid cache(简称Squid):/var/log/squid(用来做前置的Web缓存,加快用户访问Web的速度;代理内网用户访问互联网资源;设置访问控制策略;控制用户的上网行为;主要支持httpftp等应用协议)

使用:access.log cache.log

 

用户日志分析

保存了用户登录、退出系统等相关信息

/var/log/lastlog∶最近的用户登录事件

/var/log/wtmp∶用户登录、注销及系统开、关机事件

/var/run/utmp∶当前登录的每个用户的详细信息

/var/log/secure∶与用户验证相关的安全性事件

*除了/var/log/secure可以直接查看以外其他都是二进制文件,可以导出后使用翻译器查看

导出文件命令:sz 文件路径

 

分析工具

users、whowlastlastb

last 命令用于查询成功登录到系统的用户记录

lastb 命令用于查询登录失败的用户记录

Linux文件系统与日志分析

 

日志管理策略

及时作好备份和归档

延长日志保存期限

控制日志访问权限

日志中可能会包含各类敏感信息,如账户、口令等

 

集中管理日志

将服务器的日志文件发到统一的日志文件服务器

便于日志信息的统一收集、整理和分析

杜绝日志信息的意外丢失、恶意篡改或删除

 

 

Linux文件系统与日志分析

上一篇:如何在linux 服务器上新建用户


下一篇:问题:终端输入aapt指令报错提示"Command not found"(Mac)