项目介绍
最近在做一款产品，对外提供学生成绩报告的查询，支付，查看以及下载等一系列功能，这里就简称成绩报告查询系统吧。
初步参赛人数十万左右，可能会存在相对高的并发同时在线，所以开发阶段就对负载均衡集群做了设计。
当然，涉及到负载均衡集群，就要考虑的Session存储的问题，由于项目本身使用了Ehcache做本地缓存，Shiro对其做了很好的封装，并且Ehcache也是支付分布式缓存同步的。所以，采用Ehcache做session存储暂且是一种实施方案。
关于Ehcache分布式缓存见：
http://blog.52itstyle.com/archives/568/
项目架构
Spring MVC4 + Shiro-1.3.2 + Ehcache-2.10.0
运行环境
Nginx + Tomcat7(3台) + JDK1.7
项目架构图
前端
前端服务器使用Nginx做负载均衡，开启Gizp压缩，并实现动静分离，所有静态文件(JS/CSS/PNG等)请求由Nginx处理。
#查询系统配置
server {
listen 80;
server_name www.xxx.com xxx.com;
index index.jsp index.html;
location / {
proxy_next_upstream http_502 http_504 error timeout invalid_header;
proxy_pass http://report;
}
location ~ .*.(css|js|png|jpg)$
{
proxy_pass http://report;
proxy_cache cache;
add_header Nginx-Cache $upstream_cache_status;#统计缓存命中
proxy_set_header Accept-Encoding 'gzip';#强制浏览器
expires 30d;
}
}
upstream report {
#ip_hash；
server 172.16.1.120:8080 weight=1 max_fails=2 fail_timeout=30s;
server 172.16.1.130:8080 weight=1 max_fails=2 fail_timeout=30s;
server 172.16.1.150:8080 weight=1 max_fails=2 fail_timeout=30s;
}后端
后端部署3台Tomcat服务器，所有动态请求(JSP/Action等)交给Tomcat处理，同时配置Tomcat的工作模式为Nio，这里大家可以自行百度Nio工作模式的优点。
实现方式
Nginx负载均衡模式本身支持加权轮询和ip_hash的。
ip_hash
同一个用户的请求将全部分配到一台服务，当然也就不存在session共享的问题。但是可能由于请求IP的不固定性，导致单个服务负载过大；如果其中一台宕掉，用户状态也不能转移。
所以，如果是基于ip_hash的配置，Ehcache本地缓存和分布式缓存都可以实现。
加权轮询
每一个用户的每一次请求根据权重分配到不同的机器，这就涉及到了session共享的问题。打个比方，如果用户登录是后端服务器A并且保存了用户信息，但是下一次请求可能就会跳转到后端服务器B，可想而知，这时B是没有用户信息的，也就是说用户还得跳转到登录页面。
这就涉及到分布式缓存的问题了，如果实现服务器ABC之间session同步的问题，图中所示，由RMI组播方式实现Ehcache缓存的同步。所以，如果采用加权轮询必须使用分布式缓存管理session。
项目实现
applicationContext-ehcache.xml 配置：
<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springframework.org/schema/context"
xmlns:aop="http://www.springframework.org/schema/aop" xmlns:tx="http://www.springframework.org/schema/tx"
xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-4.0.xsd
http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop-4.0.xsd
http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx-4.0.xsd
http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-4.0.xsd">
<description>Shiro EhCacheManager(单点最好使用此配置，集群下使用redisManager)</description>
<!-- 缓存配置-->
<bean id="cacheManager" class="org.springframework.cache.ehcache.EhCacheManagerFactoryBean">
<property name="configLocation" value="classpath:cache/ehcache-rmi.xml" />
</bean>
<!-- 缓存管理 -->
<bean id="shiroCacheManager" class="org.apache.shiro.cache.ehcache.EhCacheManager">
<property name="cacheManager" ref="cacheManager"/>
</bean>
<!-- 会话DAO -->
<bean id="sessionDAO" class="org.apache.shiro.session.mgt.eis.EnterpriseCacheSessionDAO">
<property name="cacheManager" ref="shiroCacheManager" />
</bean>
</beans>ehcache-rmi.xml 配置：
<?xml version="1.0" encoding="UTF-8"?>
<ehcache updateCheck="false" name="defaultCache">
<!-- 分布式缓存RMI同步(大规模集群、复杂环境慎用) -->
<diskStore path="java.io.tmpdir" />
<cacheManagerPeerProviderFactory class="net.sf.ehcache.distribution.RMICacheManagerPeerProviderFactory"
properties="peerDiscovery=automatic,multicastGroupAddress=230.0.0.1, multicastGroupPort=4446" />
<cacheManagerPeerListenerFactory class="net.sf.ehcache.distribution.RMICacheManagerPeerListenerFactory" />
<!-- 默认缓存配置. -->
<defaultCache maxEntriesLocalHeap="100" eternal="false" timeToIdleSeconds="300" timeToLiveSeconds="600"
overflowToDisk="true" maxEntriesLocalDisk="100000" >
<cacheEventListenerFactory class="net.sf.ehcache.distribution.RMICacheReplicatorFactory"
properties="replicatePuts=false,replicateUpdatesViaCopy=false"/>
</defaultCache>
<!-- 系统缓存 -->
<cache name="sysCache" maxEntriesLocalHeap="100" eternal="true" overflowToDisk="true">
<cacheEventListenerFactory class="net.sf.ehcache.distribution.RMICacheReplicatorFactory"/>
</cache>
<!-- 系统活动会话缓存 -->
<cache name="shiro-activeSessionCache" maxEntriesLocalHeap="10000" overflowToDisk="true"
eternal="true" timeToLiveSeconds="0" timeToIdleSeconds="0"
diskPersistent="true" diskExpiryThreadIntervalSeconds="600">
<cacheEventListenerFactory class="net.sf.ehcache.distribution.RMICacheReplicatorFactory"
properties="replicateAsynchronously=true, replicatePuts=true, replicateUpdates=true,
replicateUpdatesViaCopy=false, replicateRemovals=true "/>
</cache>
</ehcache>实现缺点
HCACHE的组播做得比较初级,功能只是基本实现(比如简单的一个HUB,接两台单网卡的服务器,互相之间组播同步就没问题),对一些复杂的环境(比如多台服务器,每台服务器上多地址,尤其是集群,存在一个集群地址带多个物理机,每台物理机又带多个虚拟站的子地址),就容易出现问题。
究其原因, 组播/广播转发是一个很复杂的过程. 简单的说, 一个组播缺省只能在一个网段内传输,不能跨网段。
更何况在一些云计算的环境,集群的分布往往是跨网段的,甚至是跨地域的.这时更难以依赖这种初级的组播同步。
总之,分布式集群架构,建议使用Redis或者Memcache缓存实现。
下一篇文章继续讲 基于 Nginx + Shiro + Redis 实现负载均衡集群(成绩报告查询系统升级篇)
声明：本文内容大体流程仅供参考，有些并未涉及到具体代码实现。