前言

rsync命令是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件。rsync使用所谓的“rsync算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。 rsync是一个功能非常强大的工具，其命令也有很多功能特色选项，我们下面就对它的选项一一进行分析说明。

一、配置rsync源服务器

1.1、关于rsync

1.1.1、一款快速增量备份工具

1.1.2、Remote Sync，远程同步

1.1.3、支持本地复制，或者与其他SSH、rsync主机同步

1.1.4、官方网站：http://rsync.samba.org

.2、rsync同步源

指备份操作的远程服务器，也称为备份源

1.3、基本思路

1.3.1、建立rsyncd.conf配置文件、独立的账户文件

1.3.2、启用rsync的--daemon模式

1.4、应用示例

1.4.1、用户backuper，允许下行同步

1.4.2、操作的目录为/var/www/html

1.5、配置文件rsync.conf

1.5.1、需手动建立，语法类似于Samba配置

1.5.2、认证配置auth users、secrets file，不加则为匿名

1.6、rsync账户文件

1.6.1、采用“用户名：密码”的记录格式，每行一个用户记录

1.6.2、独立的账户数据，不依赖于系统账号

1.7、启用rsync服务

通过--daemon独自提供服务

二、使用rsync备份工具

 

2.1、rsync命令的用法

语法
rsync [选项] 原始位置 目标位置

常用选项
-a：         归档模式，递归并保留对象属性，等同于-rlptgoD
-v：         显示同步过程的详细（verbose）信息
-z：         在传输文件时进行压缩（compress）
-H：         保留硬连接文件
-A：         保留ACL属性信息
-p：         保留文件的权限标记
-t：          保留文件的时间标记
-g：         保留文件的属组标记
-o：         保留文件的属主标记
-delete：    删除目标位置有而原始位置没有的文件
-checksum：  根据对象的校验和来决定是否跳过文件

2.2、配置源的两种表示方法

1 格式1
2 用户名@主机地址::共享模块名
3 
4 格式2
5 rsync://用户名@主机地址/共享模块名

2.3、rsync源的免交互处理

使用 --password-file= 密码文件

三、rsync远程同步部署

3.1、环境说明

 

 

3.2、配置rsync源服务器A

①检查rsync是否安装

1 [root@rsync ~]# rpm -q rsync
2 rsync-3.0.9-18.el7.x86_64

②修改配置文件

[root@rsync ~]# vi /etc/rsyncd.conf
uid = nobody    #去掉#
gid = nobody    #去掉#
use chroot = yes                   #禁锢在宿主目录中
address = 20.0.0.10              #监听地址
port 873                                    #端口号
pid file = /var/run/rsyncd.pid       #进程文件位置
log file = /var/log/rsyncd.log         #日志文件位置
hosts allow = 20.0.0.0/24               #允许地址范围
dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2         #不再压缩这几种格式的文件
[wwwroot]
path = /var/www/html                   #同步的目录
read only = yes                        #只读
auth users = backuper
secrets file = /etc/rsyncd_users.db      #用户密码存放位置

③创建backuper用户的密码文件

1 [root@rsync ~]# vi /etc/rsyncd_users.db
2 backuper:abc123

④给密码文件设置执行权限

1 [root@rsync ~]# chmod 600 /etc/rsyncd_users.db

⑤启动rsync

[root@rsync ~]# rsync --daemon
[root@rsync ~]# netstat -anpt | grep rsync
tcp        0      0 20.0.0.10:873           0.0.0.0:*               LISTEN      55836/rsync　　

⑥安装httpd,有一个/var/www/html的共享目录，也可以自己创建

1 [root@rsync ~]# yum -y install httpd
2 [root@rsync ~]# echo "this is test web" > /var/www/html/index.html

3.3、客户机服务器B测试

①格式一

[root@client ~]# rsync -avz backuper@20.0.0.10::wwwroot /opt
Password:
receiving incremental file list
./
index.html

sent 83 bytes  received 172 bytes  56.67 bytes/sec
total size is 17  speedup is 0.07
[root@client ~]# cat /opt/index.html          #查看是否成功
this is test web　　

②格式二

删除同步的文件再测试
[root@client ~]# rm -rf /opt/index.html
[root@client ~]# cat /opt/index.html
cat: /opt/index.html: 没有那个文件或目录

同步
[root@client ~]# rsync -avz rsync://backuper@20.0.0.10/wwwroot /opt
Password:
receiving incremental file list
./
index.html

sent 83 bytes  received 172 bytes  56.67 bytes/sec
total size is 17  speedup is 0.07
[root@client ~]# cat /opt/index.html
this is test web　　

③免密方式登录

创建免密登录文件
[root@client ~]# vi /etc/server.pass
[root@client ~]# chmod 600 /etc/server.pass
[root@client ~]# rm -rf /opt/index.html
[root@client ~]# rsync -avz --delete --password-file=/etc/server.pass backuper@20.0.0.10::wwwroot /opt
receiving incremental file list
deleting rh/
./
index.html

sent 83 bytes  received 172 bytes  72.86 bytes/sec
total size is 17  speedup is 0.07
[root@client ~]# cat /opt/index.html
this is test web

四、rsync+inotify实时同步

 

4.1、rsync实时同步

4.1.1、定期同步的不足

①执行备份的时间固定，延迟明显、实时性差

②当同步源长期不变化时，密集的定期任务是不必要的

4.1.2、实时同步的优点

①一旦同步源出现变化，立即启动备份

②只要同步源无变化，则不执行备份

 

4.2、关于inotify

Linux内核的inotify机制

①从版本2.6.13开始提供

②可以从监控文件系统的变动情况，并做出通知响应

③辅助软件：inotify-tools

 4.3、环境说明

4.4、配置rsync源服务器A

①将只读模式关闭

1 [root@rsync ~]# vi /etc/rsyncd.conf 
2 read only = no

②客户端更改内核参数，指定队列大小，最多监控实例数，每个实例最多监控文件数

[root@rsync ~]# cd /var/run
[root@rsync run]# cat rsyncd.pid
14461
[root@rsync run]# kill 14461            #删除pid文件
[root@rsync run]# ll | grep rsync.pid
[root@rsync run]# rsync --daemon
[root@rsync run]# ll | grep rsyncd.pid
-rw-r--r--.  1 root           root              6 11月 12 13:19 rsyncd.pid

[root@rsync run]# cat rsyncd.pid
54028
[root@rsync run]# kill -9 54028        #不删除pid文件，导致启动不了
[root@rsync run]# ll | grep rsyncd.pid
-rw-r--r--.  1 root           root              6 11月 12 13:19 rsyncd.pid
[root@rsync run]# rsync --daemon
[root@rsync run]# failed to create pid file /var/run/rsyncd.pid: File exists

[root@rsync run]# rm -rf rsyncd.pid    #删除pid文件再启动
[root@rsync run]# rsync --daemon
[root@rsync run]# netstat -anpt | grep rsync
tcp        0      0 20.0.0.10:873           0.0.0.0:*               LISTEN      5406

4.5、客户机服务器B配置

①解压缩inotify并安装

inotifywait：用于持续监控，实时输出结果

inotifywatch：用于短期监控，任务完成后再出结果

1 [root@client ~]# tar zxf inotify-tools-3.14.tar.gz 
2 [root@client ~]# cd inotify-tools-3.14/
3 [root@client inotify-tools-3.14]# ./configure 
4 [root@client inotify-tools-3.14]# make && make install

②测试inotifywait监控命令是否正常使用

　

1 [root@client inotify-tools-3.14]# mkdir -p /var/www/html 
2 [root@client inotify-tools-3.14]# inotifywait -mrq -e modify,create,move,delete /var/www/html   

③执行完上面最后一条命令后处于监控状态，不能做输入操作，在开启一个新的终端设备

另一端终端文件测试
[root@client html]# touch 12
[root@client html]# touch 13
[root@client html]# rm -rf b.txt
监控段查看
[root@client ~]# inotifywait -mrq -e modify,create,move,delete /var/www/html
/var/www/html/ MOVED_FROM c.txt
/var/www/html/ MOVED_TO cc.txt
/var/www/html/ CREATE 12
/var/www/html/ CREATE 13

④客户端上编写脚本，将inotify监控和rsync远程同步结合起来

　

[root@client inotify-tools-3.14]# vi /opt/inotify.sh
#!/bin/bash
INOTIFY="inotifywait -mrq -e modify,create,attrib,move,delete /var/www/html"
RSYNC="rsync -azH --delete --password-file=/etc/server.pass /var/www/html/  backuper@20.0.0.10::wwwroot/"
$INOTIFY | while read DIRECTORY EVENT FILE   #逐条读取监控记录
do
        if [ $(pgrep rsync | wc -l) -le 0 ];then
            $RSYNC
        fi
done

[root@client inotify-tools-3.14]# chmod +x /opt/inotify.sh
[root@client inotify-tools-3.14]# cd /opt/

注：两边的同步目录权限都设置777
[root@rsync run]# chmod 777 /var/www/html/
[root@client html]# chmod 777 /var/www/html/

运行脚本
[root@client opt]# ./inotify.sh

⑤在客户端/var/www/html目录下创建文件，查看源端/var/www/html目录是否同步到

客户端/var/www/html
[root@client html]# vi a.txt
[root@client html]# touch a.txt
[root@client html]# touch b.txt
[root@client html]# touch c.txt
[root@client html]# touch d.txt
查看源端/var/www/html目录。新建的和原来就存在的文件都成功同步，且属主属组均为nobody用户
[root@rsync ~]# cd /var/www/html
-rw-r--r--. 1 nobody nobody   0 11月 12 16:08 a.txt
-rw-r--r--. 1 nobody nobody   0 11月 12 16:08 b.txt
-rw-r--r--. 1 nobody nobody  11 11月 12 12:30 cc.txt
-rw-r--r--. 1 nobody nobody   8 11月 12 12:11 c.html
-rw-r--r--. 1 nobody nobody   0 11月 12 16:08 c.txt
-rw-r--r--. 1 nobody nobody   0 11月 12 16:08 d.txt
drwxrwxrwx. 2 nobody nobody 172 11月 12 15:17 html
-rwxrwxrwx. 1 root   root    21 11月 12 11:07 index.html

五、注意事项

5.1、同步时的注意项

使用如下命令进行上行同步（上传）时，本地目录最后要加上/，否则会将目录同步到对方目标文件夹下，而不仅仅是同步本地目录下的文件

①将上面的脚本源端目录/var/www/html/改成/var/www/html

[root@client opt]# vi /opt/inotify.sh
#!/bin/bash
INOTIFY="inotifywait -mrq -e modify,create,attrib,move,delete /var/www/html"
RSYNC="rsync -azH --delete --password-file=/etc/server.pass /var/www/html  backuper@20.0.0.10::wwwroot"
$INOTIFY | while read DIRECTORY EVENT FILE   #逐条读取监控记录
do
        if [ $(pgrep rsync | wc -l) -le 0 ];then
            $RSYNC
        fi
done

运行脚本
[root@client opt]# ./inotify.sh

②在客户端/var/www/html目录下创建文件，查看源端/var/www/html目录会发现直接同步的时目录

　

html/
-rw-r--r--. 1 nobody nobody   0 11月 12 15:08 3
-rw-r--r--. 1 nobody nobody   0 11月 12 16:08 a.txt
-rw-r--r--. 1 nobody nobody   0 11月 12 16:08 b.txt
-rw-r--r--. 1 nobody nobody  11 11月 12 12:30 cc.txt
-rw-r--r--. 1 nobody nobody   8 11月 12 12:11 c.html
-rw-r--r--. 1 nobody nobody   0 11月 12 16:08 c.txt
-rw-r--r--. 1 nobody nobody   0 11月 12 16:08 d.txt
html不加/
[root@server2 html]# touch 111
[root@server2 html]# touch 222
[root@server2 html]# touch 333
[root@server2 html]# 
服务器上显示
drwxrwxrwx. 2 nobody nobody 4096 11月 12 16:23 html
-rwxrwxrwx. 1 root   root     21 11月 12 11:07 index.html
[root@rsync html]# cd html
[root@rsync html]# ll
-rw-r--r--. 1 nobody nobody  0 11月 12 16:23 111
-rw-r--r--. 1 nobody nobody  0 11月 12 16:23 222
-rw-r--r--. 1 nobody nobody  0 11月 12 16:23 333

5.2、kill pid号和kill -9 pid号的区别

[root@rsync ~]# cd /var/run
[root@rsync run]# cat rsyncd.pid
14461
[root@rsync run]# kill 14461            #删除pid文件
[root@rsync run]# ll | grep rsync.pid
[root@rsync run]# rsync --daemon
[root@rsync run]# ll | grep rsyncd.pid
-rw-r--r--.  1 root           root              6 11月 12 13:19 rsyncd.pid

[root@rsync run]# cat rsyncd.pid
54028
[root@rsync run]# kill -9 54028        #不删除pid文件，导致启动不了
[root@rsync run]# ll | grep rsyncd.pid
-rw-r--r--.  1 root           root              6 11月 12 13:19 rsyncd.pid
[root@rsync run]# rsync --daemon
[root@rsync run]# failed to create pid file /var/run/rsyncd.pid: File exists

[root@rsync run]# rm -rf rsyncd.pid    #删除pid文件再启动
[root@rsync run]# rsync --daemon
[root@rsync run]# netstat -anpt | grep rsync
tcp        0      0 20.0.0.10:873           0.0.0.0:*               LISTEN      5406