linux应用之文件实时同步(sersync)

http://hi.baidu.com/johntech/blog/item/be8559d2ebc99282a1ec9c18.html

 

公司最近业务需求,要实时同步windows与linux,linux与linux之间的数据。我们使用是sersync这个开源的软件,是由金山才子所写。项目详情请访问:http://code.google.com/p/sersync/  qq群:37499077 欢迎讨论
 
一..linux之间的文件实时同步
sersync的设计用以替代inotify-tool工具,同样是调用rsync+inotify来执行实时同步的,它的效率更高。
server端:
1.首先需要确定内核版本为2.6(支持inotify)并确认系统已经安装rsync
请参考我如下的操作步骤:
linux应用之文件实时同步(sersync)
 
2.配置rsync.conf:
 
linux应用之文件实时同步(sersync)
以上的配置文件说明在server配置了一个名为tongbu1的模块,需要同步的目录为/usr/local/test 访问的用户名为transfer,密码存放文件为rsyncd.secrets。注意修改密码文件的属性600.
 
3.开启rsync daemon格式
linux应用之文件实时同步(sersync)
 
client端配置:
 
1..首先需要下载sersync最新版本2.5
 
2.解压并编辑confxml.xml ,confxml.xml 是sersync的配置文件,用于指定需要同步的目录及是否刷新cdn接口等
-bash-3.2# tar zxvf sersync2[1].5beta1_32bit_binary.tar.gz
-bash-3.2# cd GNU-Linux-x86/
linux应用之文件实时同步(sersync)
 
当前最新版本中已经增加了同步过滤,密码验证以及--delete功能,仍然不支持多目录同步到多目录的操作。
以上配置文件我做一下解释:使用用户名transfer(密码存放在/etc/rsync.pas中)将本机的/opt/tongbu/实时目录同步到局域网内38和188这两个rsync server端定义的tongbu1和webbackup模块中(我的截图有一个错误188处的注释没完整去掉),并且开启--delete功能。
 
3.启用实时同步功能(完整同步一次并开启驻留进程)
-bash-3.2# ./sersync2 -d -r
请使用 sersync --heltp 获取帮助
 
linux之间的实时文件同步到这里就完成了、
 
二.linux向windows做实时的文件同步
 
这个可以通过samba挂载windows目录到linux上面实现。我们仍然采用sersync进行实时同步。window安装比较简单,就不截图了
1..在windows端下载cwrsync
2..安装并编辑rsyncd.conf文件
linux应用之文件实时同步(sersync)
3..设置RsyncServer为自动启动
linux应用之文件实时同步(sersync)
 
几点说明:配置和linux下的是差不多的。要注意的是密码文件的所有用户的读属性都要去掉,我这里权限出了问题。记得同步的目录d盘的cms文件夹要开启SvcCWRSYNC用户的完全控制权限,记得修改配置文件后重启服务。
更改密码文件属组方法:
在cmd下进入安装目录,chmod 600 /rsyncd.passwd
错误invalid uid nobody处置办法:
打开配置文件:rsyncd.conf
在文件开头添加
uid = 0
gid = 0
 
3..客户端的配置
同之前linux到linux之间的实时同步是一样的
 
三.windows到linux之间的数据实时同步
提供以下三种方法供各位参考,其中方法一和方法二延时约1分钟,方法三实时。
1..linux通过samba挂载windows目录
遗憾的是在server端的数据更改,samba并不通知内核,inotify也就无法检视到。可以定时(几秒钟)向挂载的目录中echo一个空文件,用以激活inotify进行同步。经过线上使用此方法尚可,延时不到1分。samba的效率确实不高 
2.sersync定期去取位于windows下的cwrsync定义的模块内容
配置就不提供了,经过试验此方式效率优于samba但是仍然不能做到实时,即使每秒钟去同步一次也不可以。
 
3.借助windows下的软件实现
这种软件有很多种,我们这里采用super flexible file synchronizer v5.0,通过ssh进行加密文件传输,使用方式请参考http://www.superflexible.com/,这里给我们的任务计划截图:
linux应用之文件实时同步(sersync)
 
我们使用此种方式在没有专线的情况下每天大约实时传输约3g的数据量,暂时没有出现什么问题。
好了,先说这些。希望有好解决方案的大侠们告之下,mail:yanggy@ufida.com.cn
 
上一篇:《机器学习Python实现_09_01_决策树_ID3与C4.5》


下一篇:linux目录结构、文件类型和ls、alias命令介绍