好的方法并非显而易见,且方法的优劣差异可能非常显著
整个传输需要综合考量的因素颇多,这里我仅拿是否压缩来写 压缩无须做文件校验,且节省网络带宽,提高传输速度
切莫教条主义导致和数据库服务器争抢资源拖垮DB Server
因为压缩必然要增加CPU开销!
以下介绍4种方法
㈠ rsync
利用rsync的二进制差异算法,只在网间同步变化的数据,这是rsync优势所在。
在知道文件中大部分的内容都不需要传输的场景下,可以优先考虑使用rsync。
- [mysql@ ~]$ rsync -av /backup/ -e ssh root@192.168.1.110:/bak
- root@192.168.1.110‘s password:
- sending incremental file list
- ./
- cdio_bak.sql
- sent 1061815 bytes received 34 bytes 163361.38 bytes/sec
- total size is 1061575 speedup is 1.00
- [mysql@ ~]$ mv cdio_bak.sql.bz2 /backup
- [mysql@ ~]$ rsync -av /backup/ -e ssh root@192.168.1.110:/bak
- root@192.168.1.110‘s password:
- sending incremental file list
- ./
- cdio_bak.sql.bz2
- sent 308 bytes received 34 bytes 76.00 bytes/sec
- total size is 1061757 speedup is 3104.55
显然,这次只同步了变化的308字节大小。
㈡ scp
这大概会是最简单的方法,但速度较慢,因为每步都要读写磁盘
- [mysql@ ~]$ gzip -c cdio_bak.sql > cdio_bak.sql.gz
- [mysql@ ~]$ scp cdio_bak.sql.gz root@192.168.1.110:/bak
- [root@ bak]# gunzip cdio_bak.sql.gz
㈢ 管道
一步到位,极大降低IO开销。平时我也是用这种。
- [mysql@ ~]$ gzip -c cdio_bak.sql | ssh root@192.168.1.110 "gunzip -c - > /bak/cdio.sql"
㈣ nc
跨网ssh并非最佳,netcat能使数据在网间"裸奔",避免加密带来的系统开销。
- [root@ ~]# nc -l -p 55555 | tar zxvf -
- [root@ ~]# tar zcvf - mm | nc 192.168.1.110 55555