linux命令解析--大文件跨网传输

 跨网传输大文件是在使用的时候进程用到的命令,
     好的方法并非显而易见,且方法的优劣差异可能非常显著  

          整个传输需要综合考量的因素颇多,这里我仅拿是否压缩来写     压缩无须做文件校验,且节省网络带宽,提高传输速度

     相关资源如:CPU、内存、IO,最好用vmstat -n 5看IO或者CPU是否为瓶颈
     切莫教条主义导致和数据库服务器争抢资源拖垮DB Server 
     因为压缩必然要增加CPU开销!
     
     以下介绍4种方法
     
     ㈠ rsync 
        
        利用rsync的二进制差异算法,只在网间同步变化的数据,这是rsync优势所在。

        在知道文件中大部分的内容都不需要传输的场景下,可以优先考虑使用rsync。

  1. [mysql@ ~]$ rsync -av /backup/ -e ssh root@192.168.1.110:/bak  
  2. root@192.168.1.110‘s password:   
  3. sending incremental file list  
  4. ./  
  5. cdio_bak.sql  
  6.   
  7. sent 1061815 bytes  received 34 bytes  163361.38 bytes/sec  
  8. total size is 1061575  speedup is 1.00  
  9.   
  10. [mysql@ ~]$ mv cdio_bak.sql.bz2 /backup  
  11. [mysql@ ~]$ rsync -av /backup/ -e ssh root@192.168.1.110:/bak  
  12. root@192.168.1.110‘s password:   
  13. sending incremental file list  
  14. ./  
  15. cdio_bak.sql.bz2  
  16.   
  17. sent 308 bytes  received 34 bytes  76.00 bytes/sec  
  18. total size is 1061757  speedup is 3104.55  

        显然,这次只同步了变化的308字节大小。


     ㈡ scp
        
        这大概会是最简单的方法,但速度较慢,因为每步都要读写磁盘

  1. [mysql@ ~]$ gzip -c cdio_bak.sql > cdio_bak.sql.gz  
  2. [mysql@ ~]$ scp cdio_bak.sql.gz root@192.168.1.110:/bak  
  3.   
  4. [root@ bak]# gunzip cdio_bak.sql.gz  

     
     ㈢ 管道
        
        一步到位,极大降低IO开销。平时我也是用这种。

  1. [mysql@ ~]$ gzip -c cdio_bak.sql | ssh root@192.168.1.110 "gunzip -c - > /bak/cdio.sql"  

     ㈣ nc
        
        跨网ssh并非最佳,netcat能使数据在网间"裸奔",避免加密带来的系统开销。

  1.  
  2. [root@ ~]# nc -l -p 55555 | tar zxvf -  
  3.   
  4. [root@ ~]# tar zcvf - mm | nc 192.168.1.110 55555 

linux命令解析--大文件跨网传输

上一篇:11G Concepts(翻译第十四章) Memory Architecture(内存体系结构)


下一篇:深入理解java虚拟机【Java虚拟机垃圾收集器】