运维笔记:inotify+rsync实现实时监控备份

inotify+rsync简介

inotify 仅支持 2.6.13 以上内核开,当然现在基本上都是2.6.13以上的,除非真的很旧的系统。不放心的可以自已uname -r查看你的内核。也可在查看ll /proc/sys/fs/inotify/ (系统不通,路径也不同)是否有三个文件,如果有表明内核支持 inotify。
运维笔记:inotify+rsync实现实时监控备份

inotify 可以监控文件,也可以监控目录。当监控目录时,它可以同时监控目录及目录中的各子目录及文件的。所以用rsync + inotify的方法监控web服务器或者nfs存储服务器,inotify只要发现有变化,通过rsync将文件同步至备份服务器。但缺点是rsync同步时同步整个目录(遍历效率低)。因此还有另外一种rsync+sersync架构。

sersync是基于inotify开发的工具,rsync+sersync可具体监控到每个文件夹的某个文件的名字,所以rsync同步时,只需要同步改变的某个文件,无需同步整个目录。

当同步的目录数据量不大时,建议使用rsync+inotify
当同步的目录数据量很大时(几百G甚至1T以上)文件很多时,建议使用rsync+sersync

rsync+inotify 搭建请参考另一篇:

测试环境介绍:三台机器,系统Linux(centos 7)
nfs存储共享服务器ip:172.16.2.3 (已安装nfs,rsync)
rsync备份服务器ip :172.16.2.4(已安装rsync)
要求:inotify+rsync监控nfs服务器 /www目录,有更新或修改文件后,同步至rsync备份服务器/backup/web目录。

nfs存储共享服务器搭建参考:Linux搭建NFS存储共享服务器
rsync备份服务器搭建参考:Linux搭建rsync备用服务器




一 :inotify的安装与使用

在nfs服务器上yum直接按照 inotify-tools

没有没有安装epel-release第三方源,是没法直接yum安装的。
没有安装的直接先yum install -y epel-release即可。
然后yum 安装inotify-tools。

yum install -y inotify-tools

测试inotify是否启动

监控/www目录创建选项,并以年月日时分显示所创建的文件。

打开另外会话窗口2,在会话2中依次创建bbb.txt,ccc.txt, ddd.txt文件。
在原会话窗口1可看到已成功监控到创建了文件。

inotifywait -mrq --timefmt '%Y-%m-%d %H:%M' --format '%T %w%f' -e create /www

运维笔记:inotify+rsync实现实时监控备份
运维笔记:inotify+rsync实现实时监控备份

inotify之inotifywait命令详解
参数详解:

-r:递归查询目录
-q:打印监控时间信息
-m:始终保持时间监听状态
--excludei: 排除文件或目录时,不区分大小写。
--timefmt: 指定时间输出的格式
--format: 打印使用指定的输出类似格式字符串
a、 %w:显示被监控文件的文件名;
b、 %f:如果发生某事件的对象是目录,则显示被监控目录的名字;默认显示为空串;
c、 %T:使用--timefmt 选项中自定义的时间格式;
d、 %e 表示发生的事件
e、 %Xe 事件以“X”分隔
-e:指定需要监控的事件
access: 文件或目录被读取
modify: 文件或目录内容被修改
attrib: 文件或目录属性被改变
close: 文件或目录封闭,无论读/写模式
open:文件或目录被打开
move_to:文件或目录被移动到另外一个目录
move:文件或目录被移动另一个目录或从另一个目录移动到当前目录
create:文件或目录被创建在当前目录
delete:文件或目录被删除
unmount:文件系统被卸载
常用组合:close_write,modify,delete,create,attrib 

二:编写监控脚本

输入脚本内容:

vim inotify.sh

最基本的脚本内容用无限循环即可,当/www目录发现有增删改时,实行将/www所以文件同步至备份服务器。最基础的脚本,后续可自行优化,分别对文件夹文件的增、删、改对不同的条件执行即可。

#!/bin/bash
/usr/bin/inotifywait -mrq '%w%f' -e close_write,modify,delete,create /www \
| while read line
do
rsync -avz /www/ rsync_backup@172.16.2.4::backup/ --password-file=/etc/rsync.password >/dev/null 2>&1
done
exit 0

执行脚本并测试

chmod +x inotify.sh    #对脚本添加执行权限
sh inotify.sh &        #运行脚本监控/www

sh inotify.sh & 脚本后面加上& 为后台执行,结束用pkill或者kill直接杀死即可,
ps -ef|grep inotify查看脚本是否运行。

脚本已经在后台运行:
运维笔记:inotify+rsync实现实时监控备份

在nfs服务器目录/www创建{1…6}.txt,6个文件。

并在rsync服务器查看是否有文件同步过来。

touch /www/{1..6}.txt           #在NFS服务器上上创建文件进行测试    
ll /backup/web                  #rsync备份服务上查看是否备份成功   

查看备份服务器目录文件已经同步过来,已同步成功…
运维笔记:inotify+rsync实现实时监控备份

脚本设置开机启动

最后将脚本加入rc.local 文件,开机启动即可。

echo "/bin/bash inotify.sh &" >> /etc/rc.local   #设置开机启动

三:修改inotify默认参数(可选)

inotify默认内核参数值太小,分别就是
查看系统默认参数值

sysctl -a | grep max_queued_events
结果是:fs.inotify.max_queued_events = 16384
sysctl -a | grep max_user_watches
结果是:fs.inotify.max_user_watches = 8192
sysctl -a | grep max_user_instances
结果是:fs.inotify.max_user_instances = 128

修改参数命令

sysctl -w fs.inotify.max_queued_events="99999999"
sysctl -w fs.inotify.max_user_watches="99999999"
sysctl -w fs.inotify.max_user_instances="65535"

并在sysctl.conf文件添加以下内容

vi /etc/sysctl.conf
fs.inotify.max_queued_events=99999999
fs.inotify.max_user_watches=99999999
fs.inotify.max_user_instances=65535

保存退出完成。

参数说明:
max_queued_events:
inotify队列最大长度,如果值太小,会出现"** Event Queue Overflow **"错误,导致监控文件不准确

max_user_watches:
设置inotifywait或inotifywatch命令可以监视的文件数量(单进程)

max_user_instances:
每个用户创建inotify实例最大值
【inotify在实际生产环境中,对于50-200KB的文件,inotify的最发并发量为200-300,如果客户端写入速度大于这个量,将会造成短暂的延迟】

上一篇:Jenkins部署码云SpringBoot项目


下一篇:rsync linxu实时同步文件到windows