rsync简介和配置使用

 

一 rsync简介:

1.1 什么是rsync服务

rsync官方网站：https://rsync.samba.org/

Rsync是一款开源的、快速的、多功能的 可以实现全量以及增量的本地或者是远程的数据同步（拷贝）备份的优秀工具

rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步，支持本地复制，或者与其他SSH、rsync主机同步。

1.2 rsync 传输模式

1、本地传输 ----> cp
2、远程传输 ----> scp

1.3 基本特性

可以镜像保存整个目录树和文件系统
可以很容易做到保持原来文件的权限、时间、软硬链接等
无须特殊权限即可安装
优化的流程，文件传输效率高
可以使用 rsh、ssh 方式来传输文件，当然也可以通过直接的 socket 连接
支持匿名传输，以方便进行网站镜象

二 rsync同步架构 :

2.1 rsync服务器配置:

服务端： 10.0.0.90 rsync

客户端： 10.0.0.91 client

2.1.1 rsync守护进程服务端配置

#服务端
#下载安装软件
[root@rsync ~]# yum install -y rsync

#编写配置文件
[root@rsync ~]# vim /etc/rsyncd.conf
uid = rsync       --- 指定管理备份目录的用户  
gid = rsync       --- 指定管理备份目录的用户组
port = 873        --- 定义rsync备份服务的网络端口号
fake super = yes  --- 将rsync虚拟用户伪装成为一个超级管理员用户 
use chroot = no   --- 和安全相关的配置
max connections = 200  --- 最大连接数  同时只能有200个客户端连接到备份服务器
timeout = 300          --- 超时时间(单位秒)
pid file = /var/run/rsyncd.pid   --- 记录进程号码信息 1.让程序快速停止进程 2. 判断一个服务是否正在运行
lock file = /var/run/rsync.lock  --- 锁文件
log file = /var/log/rsyncd.log   --- rsync服务的日志文件 用于排错分析问题
ignore errors                    --- 忽略传输中的简单错误
read only = false                --- 指定备份目录是可读可写
list = false                     --- 使客户端可以查看服务端的模块信息
hosts allow = 172.16.1.0/24      --- 允许传输备份数据的主机(白名单)
hosts deny = 0.0.0.0/32          --- 禁止传输备份数据的主机(黑名单)
auth users = rsync_backup        --- 指定认证用户 
secrets file = /etc/rsync.password   --- 指定认证用户密码文件 用户名称:密码信息
[backup]                         --- 模块信息
comment = "backup dir by oldboy"  
path = /backup                   --- 模块中配置参数 指定备份目录

#创建虚拟用户
[root@rsync ~]# useradd rsync -M -s /sbin/nologin

#创建备份服务认证密码文件
[root@rsync ~]# echo "rsync_backup:123456" >/etc/rsync.password
[root@rsync ~]# chmod 600 /etc/rsync.password

#创建备份目录并修改属主属组信息
[root@rsync ~]# mkdir /backup
[root@rsync ~]# chown rsync.rsync /backup/

#启动服务
[root@rsync ~]# systemctl start rsyncd
[root@rsync ~]# systemctl enable rsyncd
Created symlink from /etc/systemd/system/multi-user.target.wants/rsyncd.service to /usr/lib/systemd/system/rsyncd.service.

#验证服务
[root@rsync ~]# ss -tnl
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN 0 5 *:873 *:*
LISTEN 0 5 [::]:873 [::]:*

2.12 rsync守护进程客户端配置

#客户端
#安装软件
[root@client ~]# yum install -y rsync

#创建一个秘钥文件
[root@client ~]# echo "123456" >/etc/rsync.password
[root@client ~]# chmod 600 /etc/rsync.password

2.13 进行免交互传输数据测试

#客户端
[root@client ~]# rsync -avz /etc/hosts rsync_backup@10.0.0.90::backup --password-file=/etc/rsync.password
sending incremental file list
hosts

sent 140 bytes received 43 bytes 366.00 bytes/sec
total size is 158 speedup is 0.86

#服务端
[root@rsync ~]# ll /backup/
总用量 4
-rw-r--r-- 1 rsync rsync 158 6月   7 2013 hosts

三 rsync命令使用：

3.1 命令详细说明

-v：显示rsync过程中详细信息。可以使用"-vvvv"获取更详细信息
-P：显示文件传输的进度信息。(实际上"-P"="--partial --progress"，其中的"--progress"才是显示进度信息的)
-n --dry-run ：仅测试传输，而不实际传输。常和"-vvvv"配合使用来查看rsync是如何工作的
-a --archive ：归档模式，表示递归传输并保持文件属性。等同于"-rtopgDl"
-r --recursive：递归到目录中去
-t --times：保持mtime属性。强烈建议任何时候都加上"-t"，否则目标文件mtime会设置为系统时间，导致下次更新
：检查出mtime不同从而导致增量传输无效
-o --owner：保持owner属性(属主)
-g --group：保持group属性(属组)
-p --perms：保持perms属性(权限，不包括特殊权限)
-D ：是"--device --specials"选项的组合，即也拷贝设备文件和特殊文件
-l --links：如果文件是软链接文件，则拷贝软链接本身而非软链接所指向的对象
-z ：传输时进行压缩提高效率
-R --relative：使用相对路径。意味着将命令行中指定的全路径而非路径最尾部的文件名发送给服务端，包括它们的属性
--size-only ：默认算法是检查文件大小和mtime不同的文件，使用此选项将只检查文件大小
-u --update ：仅在源mtime比目标已存在文件的mtime新时才拷贝。注意，该选项是接收端判断的，不会影响删除行为
-d --dirs ：以不递归的方式拷贝目录本身。默认递归时，如果源为"dir1/file1"，则不会拷贝dir1目录，使用该选项将拷贝dir1但不拷贝file1
--max-size ：限制rsync传输的最大文件大小。可以使用单位后缀，还可以是一个小数值(例如："--max-size=1.5m")
--min-size ：限制rsync传输的最小文件大小。这可以用于禁止传输小文件或那些垃圾文件
--exclude ：指定排除规则来排除不需要传输的文件
--delete ：以SRC为主，对DEST进行同步。多则删之，少则补之。注意"--delete"是在接收端执行的，所以它是在
：exclude/include规则生效之后才执行的
-b --backup ：对目标上已存在的文件做一个备份，备份的文件名后默认使用"~"做后缀
--backup-dir：指定备份文件的保存路径。不指定时默认和待备份文件保存在同一目录下
-e ：指定所要使用的远程shell程序，默认为ssh
--port ：连接daemon时使用的端口号，默认为873端口
--password-file：daemon模式时的密码文件，可以从中读取密码实现非交互式。注意，这不是远程shell认证的密码，而是rsync模块认证的密码
-W --whole-file：rsync将不再使用增量传输，而是全量传输。在网络带宽高于磁盘带宽时，该选项比增量传输更高效
--existing ：要求只更新目标端已存在的文件，目标端还不存在的文件不传输。注意，使用相对路径时如果上层目录不存在也不会传输
--ignore-existing：要求只更新目标端不存在的文件。和"--existing"结合使用有特殊功能
--remove-source-files：要求删除源端已经成功传输的文件
--exclude=PATTERN 排除指定数据不被传输
--exclude-from=file 排除指定数据不被传输(批量排除)

 

3.2 守护进程服务企业应用

3.3.1 守护进程多模块功能配置

#服务端
[root@rsync ~]# sudo vim /etc/rsyncd.conf
[backup]
comment = "backup dir by oldboy"
path = /backup
[test1]
comment = "backup dir by test1"
path = /test1
[test2]
comment = "backup dir by test2"
path = /test2

3.3.2 守护进程的排除功能

 案例1：将/test目录下面 a目录数据全部备份 b目录不要备份1.txt文件 c整个目录不要做备份

--exclude=PATTERN

#客户端
[root@client test]# tree
.
├── a
│   ├── 1.txt
│   ├── 2.txt
│   └── 3.txt
├── b
│   ├── 1.txt
│   ├── 2.txt
│   └── 3.txt
└── c
    ├── 1.txt
    ├── 2.txt
    └── 3.txt

[root@client test]# rsync -avz /test --exclude=/test/b/1.txt --exclude=/test/c/ rsync_backup@10.0.0.90::backup --password-file=/etc/rsync.password
sending incremental file list
test/
test/a/
test/a/1.txt
test/a/2.txt
test/a/3.txt
test/b/
test/b/2.txt
test/b/3.txt

sent 384 bytes  received 135 bytes  1,038.00 bytes/sec
total size is 0  speedup is 0.00


#服务端
[root@rsync backup]# tree
.
├── hosts
└── test
    ├── a
    │   ├── 1.txt
    │   ├── 2.txt
    │   └── 3.txt
    └── b
        ├── 2.txt
        └── 3.txt

3 directories, 6 files

 

案例2：将/test目录下面 a目录数据全部备份 b目录不要备份1.txt文件 c整个目录1.txt 3.txt文件不要备份
--exclude-from=file

#编辑一个排除文件
#客户端
[root@client test]# sudo vim  /test/exclude.txt
b/1.txt
c/1.txt
c/3.txt
exclude.txt

实现批量排除功能
[root@client test]# rsync -avz /test --exclude-from=/test/exclude.txt rsync_backup@10.0.0.90::backup --password-file=/etc/rsync.password
sending incremental file list
test/
test/a/
test/a/1.txt
test/a/2.txt
test/a/3.txt
test/b/
test/b/2.txt
test/b/3.txt
test/c/
test/c/2.txt

sent 458 bytes  received 158 bytes  1,232.00 bytes/sec
total size is 0  speedup is 0.00

#服务端
[root@rsync backup]# tree
.
└── test
    ├── a
    │   ├── 1.txt
    │   ├── 2.txt
    │   └── 3.txt
    ├── b
    │   ├── 2.txt
    │   └── 3.txt
    └── c
        └── 2.txt

4 directories, 6 files