我们可能有这种场景:
集群环境下,多个web容器需要请求一个共享目录下的文件,比如保存图片或者录音文件,任意一个节点保存后其他节点需要及时获取,此时就需要目录进行同步了,否则Nginx负载到任意一个节点上请求文件时,找不到文件将返回404,这时候linux下可以用rsync处理,但是rsync双向同步有很多问题,在jekins环境下很多很多问题,不建议使用。
这里建议用nfs处理,或者用其他分布式文件系统如gfs或者ceph等,或者直接将这些文件放到cdn(看项目大小,财气是否够粗够硬),考虑文件很多性能问题建议cdn,其次gfs,ceph,最low的nfs处理吧。
处理分3个步骤:
1)安装nfs
2)配置nfs
3)配置tomcat 虚拟目录
1.1)安装nfs
yum install nfs-utils portmap nfs4-acl-tools (每个节点分别执行)
1.2)各自节点(tomcat所在linux)
mkdir -p /data/nfs
chown -R tomcat:tomcat /data/nfs
chmod -R 777 /data/nfs
以上3条命令每个节点分别执行
2.1)nfs server(只有一个server,选用一个节点,其他均为客户端)配置
vi /etc/exports
添加如下内容:
/data/nfs *(rw,sync)
2.2)启动nfs服务
centos redhat 5版本执行:
service portmap restart
service nfs restart
让nfs随机启动:
chkconfig portmap on
chkconfig nfs on
centos redhat 6版本执行:
service rpcbind restart
service nfs restart
让nfs随机启动:
chkconfig rpcbind on
chkconfig nfs on
2.3)客户端挂载nfs文件系统
a、关闭防火墙(各节点分别执行,或者添加iptables策略)
service iptables stop
chkconfig iptables off
b、挂载nfs
mount -t nfs 10.0.0.1:/data/nfs /data/nfs
上面10.0.0.1为nfs server ip地址,上面这条命令各节点分别执行
这时客户端节点执行df -h命令应该能看到nfs挂载点文件系统了
3.1)tomcat配置虚拟目录
server.xml中添加host:
<
Context
path
=
"/mp3"
docBase
=
"/data/nfs"
reloadable
=
"true"
></
Context
>
以上tomcat就可以访问webapp(deploy目录)外的文件了,我们可以通过http://ip:端口/工程名/mp3/001.mp3访问我们的音频文件了,nginx不管分发到哪个节点tomcat都不会返回404了,因为任意一个节点往nfs目录下写文件实际上时写到nfs server文件系统上,其他tomcat节点均可以访问。
以上教程比较简易,如遇问题可以邮件跟我联系dba_xyx@hotmail