inotify+rsync简介
inotify 仅支持 2.6.13 以上内核开,当然现在基本上都是2.6.13以上的,除非真的很旧的系统。不放心的可以自已uname -r
查看你的内核。也可在查看ll /proc/sys/fs/inotify/
(系统不通,路径也不同)是否有三个文件,如果有表明内核支持 inotify。
inotify 可以监控文件,也可以监控目录。当监控目录时,它可以同时监控目录及目录中的各子目录及文件的。所以用rsync + inotify
的方法监控web服务器或者nfs存储服务器,inotify只要发现有变化,通过rsync将文件同步至备份服务器。但缺点是rsync同步时同步整个目录(遍历效率低)。因此还有另外一种rsync+sersync架构。
sersync是基于inotify开发的工具,rsync+sersync可具体监控到每个文件夹的某个文件的名字,所以rsync同步时,只需要同步改变的某个文件,无需同步整个目录。
当同步的目录数据量不大时,建议使用rsync+inotify
当同步的目录数据量很大时(几百G甚至1T以上)文件很多时,建议使用rsync+sersync
rsync+inotify 搭建请参考另一篇:
测试环境介绍:三台机器,系统Linux(centos 7)
nfs存储共享服务器ip:172.16.2.3
(已安装nfs,rsync)
rsync备份服务器ip :172.16.2.4
(已安装rsync)
要求:inotify+rsync监控nfs服务器 /www
目录,有更新或修改文件后,同步至rsync备份服务器/backup/web
目录。
nfs存储共享服务器搭建参考:Linux搭建NFS存储共享服务器
rsync备份服务器搭建参考:Linux搭建rsync备用服务器
一 :inotify的安装与使用
在nfs服务器上yum直接按照 inotify-tools
没有没有安装epel-release第三方源,是没法直接yum安装的。
没有安装的直接先yum install -y epel-release
即可。
然后yum 安装inotify-tools。
yum install -y inotify-tools
测试inotify是否启动
监控/www目录创建选项,并以年月日时分显示所创建的文件。
打开另外会话窗口2,在会话2中依次创建bbb.txt,ccc.txt, ddd.txt文件。
在原会话窗口1可看到已成功监控到创建了文件。
inotifywait -mrq --timefmt '%Y-%m-%d %H:%M' --format '%T %w%f' -e create /www
inotify之inotifywait命令详解
参数详解:
-r:递归查询目录
-q:打印监控时间信息
-m:始终保持时间监听状态
--excludei: 排除文件或目录时,不区分大小写。
--timefmt: 指定时间输出的格式
--format: 打印使用指定的输出类似格式字符串
a、 %w:显示被监控文件的文件名;
b、 %f:如果发生某事件的对象是目录,则显示被监控目录的名字;默认显示为空串;
c、 %T:使用--timefmt 选项中自定义的时间格式;
d、 %e 表示发生的事件
e、 %Xe 事件以“X”分隔
-e:指定需要监控的事件
access: 文件或目录被读取
modify: 文件或目录内容被修改
attrib: 文件或目录属性被改变
close: 文件或目录封闭,无论读/写模式
open:文件或目录被打开
move_to:文件或目录被移动到另外一个目录
move:文件或目录被移动另一个目录或从另一个目录移动到当前目录
create:文件或目录被创建在当前目录
delete:文件或目录被删除
unmount:文件系统被卸载
常用组合:close_write,modify,delete,create,attrib
二:编写监控脚本
输入脚本内容:
vim inotify.sh
最基本的脚本内容用无限循环即可,当/www目录发现有增删改时,实行将/www所以文件同步至备份服务器。最基础的脚本,后续可自行优化,分别对文件夹文件的增、删、改对不同的条件执行即可。
#!/bin/bash
/usr/bin/inotifywait -mrq '%w%f' -e close_write,modify,delete,create /www \
| while read line
do
rsync -avz /www/ rsync_backup@172.16.2.4::backup/ --password-file=/etc/rsync.password >/dev/null 2>&1
done
exit 0
执行脚本并测试
chmod +x inotify.sh #对脚本添加执行权限
sh inotify.sh & #运行脚本监控/www
sh inotify.sh & 脚本后面加上& 为后台执行,结束用pkill或者kill直接杀死即可,
用ps -ef|grep inotify
查看脚本是否运行。
脚本已经在后台运行:
在nfs服务器目录/www
创建{1…6}.txt,6个文件。
并在rsync服务器查看是否有文件同步过来。
touch /www/{1..6}.txt #在NFS服务器上上创建文件进行测试
ll /backup/web #rsync备份服务上查看是否备份成功
查看备份服务器目录文件已经同步过来,已同步成功…
脚本设置开机启动
最后将脚本加入rc.local 文件,开机启动即可。
echo "/bin/bash inotify.sh &" >> /etc/rc.local #设置开机启动
三:修改inotify默认参数(可选)
inotify默认内核参数值太小,分别就是
查看系统默认参数值
sysctl -a | grep max_queued_events
结果是:fs.inotify.max_queued_events = 16384
sysctl -a | grep max_user_watches
结果是:fs.inotify.max_user_watches = 8192
sysctl -a | grep max_user_instances
结果是:fs.inotify.max_user_instances = 128
修改参数命令
sysctl -w fs.inotify.max_queued_events="99999999"
sysctl -w fs.inotify.max_user_watches="99999999"
sysctl -w fs.inotify.max_user_instances="65535"
并在sysctl.conf文件添加以下内容
vi /etc/sysctl.conf
fs.inotify.max_queued_events=99999999
fs.inotify.max_user_watches=99999999
fs.inotify.max_user_instances=65535
保存退出完成。
参数说明:
max_queued_events:
inotify队列最大长度,如果值太小,会出现"** Event Queue Overflow **"错误,导致监控文件不准确
max_user_watches:
设置inotifywait或inotifywatch命令可以监视的文件数量(单进程)
max_user_instances:
每个用户创建inotify实例最大值
【inotify在实际生产环境中,对于50-200KB的文件,inotify的最发并发量为200-300,如果客户端写入速度大于这个量,将会造成短暂的延迟】