rsync
1.rsync介绍
rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步，支持本地复制，或者与其他SSH、rsync主机同步。
rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息，实现数据的备份迁移特性。rsync软件适用于unix/linux/windows等多种操作系统平台。
rsync是一个快速和非常通用的文件复制工具。它能本地复制，远程复制，或者远程守护进程方式复制。它提供了大量的参数来控制其行为的各个方面，并且允许非常灵活的方式来实现文件的传输复制。它以其delta-transfer算法闻名。
rsync监听端口：873
rsync运行模式：C/S
1.1 rsync特性
- 可以镜像保存整个目录树和文件系统
- 可以很容易做到保持原来文件的权限、时间、软硬链接等等
- 传输效率高，使用同步算法，只比较变化的
- 支持匿名传输，方便网站镜像；也可以做验证，加强安全
- 支持匿名传输，以方便进行网站镜像
1.2 rsync命令
rsync命令常用的分为三种：
1、将本机的xx文件同步到另一台主机的xx位置
[root@wys ~]# rsync -avz /root/pass root@192.168.237.130:/root
2、将远程主机的xx文件同步到本机的xx位置
[root@wys ~]# rsync -avz root@192.168.237.130:/root/test.sh .
3、将本机的xx文件拷贝到本机的xx目录下，同时也可以改名字
[root@wys ~]# rsync -a pass /opt/password
1.3 rsync常用的选项
-a, --archive //归档
-v, --verbose //啰嗦模式
-q, --quiet //静默模式
-r, --recursive //递归
-p, --perms //保持原有的权限属性
-z, --compress //在传输时压缩，节省带宽，加快传输速度
--delete //在源服务器上做的删除操作也会在目标服务器上同步,也就是确保两边文件的一致性
2.部署rsync+inotify
Inotify是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了Inotify支持，通过Inotify可以监控文件系统中添加、删除，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools就是这样的一个第三方软件。
在前面有讲到，rsync可以实现触发式的文件同步，但是通过crontab守护进程方式进行触发，同步的数据和实际数据会有差异，而inotify可以监控文件系统的各种变化，当文件有任何变动时，就触发rsync同步，这样刚好解决了同步数据的实时性问题。
| 服务器类型 | IP地址 | 应用 | 系统 |
|---|---|---|---|
| 源数据库 | 192.168.237.167 | rsync、inotify-tools、脚本 | Redhat 8 |
| 目标数据库 | 192.168.237.130 | rsync | Redhat 8 |
2.1关闭防火墙和selinux、并且安装rsync
两个主机都需要操作
[root@167 ~]# systemctl disable --now firewalld
[root@167 ~]# setenforce 0
setenforce: SELinux is disabled
[root@167 ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
[root@167 ~]# yum -y install rsync
[root@130 ~]# systemctl disable --now firewalld
[root@130 ~]# setenforce 0
[root@130 ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
[root@130 ~]# yum -y install rsync
2.2目标服务器配置
添加rsync配置文件
[root@130 ~]# cat /etc/rsyncd.conf
log file = /var/log/rsyncd.log
pidfile = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
secrets file = /etc/rsync.pass
[etc_from_client]
path = /tmp/
comment = sync etc from client
uid = root
gid = root
port = 873
ignore errors
use chroot = no
read only = no
list = no
max connections = 200
timeout = 600
auth users = wys
# hosts allow = 172.16.12.128
# hosts deny = 192.168.1.1
创建用户认证文件
[root@130 ~]# echo 'wys:wys123!' > /etc/rsync.pass
[root@130 ~]# cat /etc/rsync.pass
wys:wys123!
[root@130 ~]# chmod 660 /etc/rsync*
[root@130 ~]# ll /etc/rsync*
-rw-rw----. 1 root root 442 10月 12 10:30 /etc/rsyncd.conf
-rw-rw----. 1 root root 12 10月 12 10:33 /etc/rsync.pass
设置开机自启
[root@130 ~]# yum -y install rsync-daemon
[root@130 ~]# systemctl enable --now rsyncd
Created symlink /etc/systemd/system/multi-user.target.wants/rsyncd.service → /usr/lib/systemd/system/rsyncd.service.
//端口号873就是这个rsync服务
[root@130 ~]# ss -anltu
Netid State Recv-Q Send-Q Local Address:Port Peer Address:Port
tcp LISTEN 0 5 0.0.0.0:873 0.0.0.0:*
tcp LISTEN 0 128 0.0.0.0:22 0.0.0.0:*
tcp LISTEN 0 5 [::]:873 [::]:*
tcp LISTEN 0 128 [::]:22 [::]:*
2.3 源服务器配置
需要下载一个eple源
[root@167 ~]# yum -y install epel-release
创建密码认证文件并且修改文件的权限
这个密码文件内容就是目标服务器中配置的密码
[root@167 ~]# echo 'wys123!' > /etc/rsync.pass
[root@167 ~]# cat /etc/rsync.pass
wys123!
[root@167 ~]# chmod 660 /etc/rsync.pass
[root@167 ~]# ll /etc/rsync.pass
-rw-rw---- 1 root root 8 10月 12 18:40 /etc/rsync.pass
测试
[root@167 ~]# mkdir -p etc/test
[root@167 ~]# tree /root/
/root/
├── anaconda-ks.cfg
├── etc
│ └── test
//源服务器上执行同步的命令测试
[root@167 test]# rsync -avH --port 873 --progress --delete /root/etc/ wys@192.168.237.130::etc_from_client --password-file=/etc/rsync.pass
sending incremental file list
deleting vmware-root_977-4282171025/
deleting vmware-root_974-2965579094/
./
test/
sent 77 bytes received 89 bytes 110.67 bytes/sec
total size is 0 speedup is 0.00
//目标服务器的/tmp/
[root@130 ~]# ll /tmp/
总用量 0
drwxr-xr-x. 2 root root 6 10月 12 2021 test
2.4 安装inotify-tools工具，实时触发rsync进行同步
//安装依赖包和inotify
[root@167 scripts]# yum -y install make gcc gcc-c++
[root@167 ~]# yum -y install inotify-tools
//编写同步脚本
[root@167 ~]# cat /scripts/inotify.sh
#!/bin/bash
host=192.168.237.130
src=/root/etc
des=etc_from_client
password=/etc/rsync.pass
user=wys
inotifywait=/usr/bin/inotifywait
$inotifywait -mrq --timefmt '%Y%m%d %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src \
| while read files;do
rsync -avzP --delete --timeout=100 --password-file=${password} $src $user@$host::$des
echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done
[root@167 scripts]# chmod 755 inotify.sh
//执行脚本
[root@167 scripts]# ./inotify.sh
sending incremental file list
etc/
etc/123
0 100% 0.00kB/s 0:00:00 (xfr#1, to-chk=1/3)
etc/test/
sent 156 bytes received 55 bytes 140.67 bytes/sec
total size is 0 speedup is 0.00
//手动触发
[root@167 ~]# touch /root/etc/123
//查看目标服务器是否同步
[root@130 ~]# ls /tmp/etc/
123 test
//查看同步日志
[root@167 scripts]# tail /tmp/rsync.log
20211012 19:19 /root/etc/123CREATE was rsynced
20211012 19:19 /root/etc/123ATTRIB was rsynced
设置脚本开机自启
[root@167 scripts]# chmod +x /etc/rc.d/rc.local
[root@167 scripts]# ll /etc/rc.d/rc.local
-rwxr-xr-x. 1 root root 474 3月 24 2020 /etc/rc.d/rc.local
[root@167 ~]# echo 'nohup /scripts/inotify.sh &' >> /etc/rc.d/rc.local
[root@167 ~]# tail -1 /etc/rc.d/rc.local
nohup /scripts/inotify.sh &
//重启，查看自动同步脚本是否在运行
[root@167 ~]# reboot
[root@167 ~]# ps -ef | grep inotify
root 972 1 0 19:37 ? 00:00:00 /bin/bash /scripts/inotify.sh
root 978 972 0 19:37 ? 00:00:00 /usr/bin/inotifywait -mrq --timefmt %Y%m%d %H:%M --format %T %w%f%e -e modify,delete,create,attrib /root/etc
root 980 972 0 19:37 ? 00:00:00 /bin/bash /scripts/inotify.sh
root 1600 1425 0 19:37 pts/0 00:00:00 grep --color=auto inotify
3.部署rsync+inotify同步
部署rsync+inotify同步/runtime目录至目标服务器的/NAME/下。
修改目标服务器的配置文件
[root@130 ~]# cat /etc/rsyncd.conf
log file = /var/log/rsyncd.log
pidfile = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
secrets file = /etc/rsync.pass
[etc_from_client]
path = /wys/ //改成备份文件存放的位置
comment = sync etc from client
uid = root
gid = root
port = 873
ignore errors
use chroot = no
read only = no
list = no
max connections = 200
timeout = 600
auth users = wys
修改源服务器自动备份脚本
[root@167 ~]# cat /scripts/inotify.sh
#!/bin/bash
host=192.168.237.130
src=/runtime
des=etc_from_client
password=/etc/rsync.pass
user=wys
inotifywait=/usr/bin/inotifywait
$inotifywait -mrq --timefmt '%Y%m%d %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src \
| while read files;do
rsync -avzP --delete --timeout=100 --password-file=${password} $src $user@$host::$des
echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done
测试
[root@167 ~]# mkdir /runtime
[root@130 ~]# mkdir /wys
//重启，查看脚本运行状态
[root@167 ~]# reboot
[root@167 ~]# ps -ef | grep inotify
root 993 1 0 19:48 ? 00:00:00 /bin/bash /scripts/inotify.sh
root 998 993 0 19:48 ? 00:00:00 /usr/bin/inotifywait -mrq --timefmt %Y%m%d %H:%M --format %T %w%f%e -e modify,delete,create,attrib /runtime
root 999 993 0 19:48 ? 00:00:00 /bin/bash /scripts/inotify.sh
root 6155 1605 0 19:50 pts/2 00:00:00 grep --color=auto inotify
//在源服务器创建目录
[root@167 ~]# mkdir -p /runtime/test/abc
//查看目标服务器同步状态
[root@130 ~]# tree /wys/
/wys/
└── runtime
└── test
└── abc
3 directories, 0 files