apache+tomcat分布式集群搭建

2023-07-20 08:39:28

今天搭建apche+tomcat分布式集群，遇到很多问题，在网上找到的很多都不成功，然后和同事一起研究了一下，最终搭建成功了。做个笔记，以备自己以后参考。

1，下载apache。在下载Apache（2.4版）的时候，要下载完整版，不然会缺失很多东西。参考博文：http://jingyan.baidu.com/article/29697b912f6539ab20de3cf8.html

下载mod_jk.so，地址：http://apache.opencas.org/tomcat/tomcat-8/v8.0.33/bin/

地址里面有压缩包，下载一个与你对应的，在压缩包里面有mod_jk.so文件，拷贝到apache下文件夹modules下面。（版本注意，如果以后提示mod_jk.so错误的话，就要换一个mod_jk.so文件）。

打开conf/httpd.conf里面找到

Define SRVROOT "\apache"

ServerRoot "${SRVROOT}"

把SRVEOOT后面的路径改成你自己的Apache安装路径。

在httpd.conf同级目录下创建一个属性文件workers.properties，在文件中添加一下信息：

worker.list=jetty_a

worker.jetty_a.port=8009

worker.jetty_a.host=127.0.0.1

worker.jetty_a.type=ajp13

worker.jetty_a.lbfactor=2

worker.list=jetty_b

worker.jetty_b.port=8010

worker.jetty_b.host=127.0.0.1

worker.jetty_b.type=ajp13

worker.jetty_b.lbfactor=1

worker.list=jettybalancer

worker.jettybalancer.type=lb

worker.jettybalancer.balance_workers= jetty_a, jetty_b
worker.loadbalancer.sticky_seesion=false
worker.loadbalancer.sticky_session_force=false
 

上面信息是我们将要配置tomcat服务器的信息，sjp端口号分别是8009/8010，IP为本地所以需要修改，如果不是本地的两个服务器，那就不用改了。注意上面的参数，重点修改的是

worker.jetty_a.port
worker.jetty_a.host

上面tomcat的参数要和下面的参数项对应。

在conf/httpd.conf文件最下面添加一下信息。

LoadModule jk_module modules/mod_jk.so

<IfModule jk_module>

JkWorkersFile "${SRVROOT}/conf/workers.properties"

JkLogFile "${SRVROOT}/logs/mod_jk.log"

JkLogLevel warn

</IfModule>

<VirtualHost *:80>

<proxy balancer://cluster>

    BalancerMember ajp://127.0.0.1:8009 route=tomcat_a

    BalancerMember ajp://127.0.0.1:8010 route=tomcat_b

    ProxySet lbmethod=bytraffic

</proxy>

ServerAdmin ******@qq.com

#指定服务器管理员的E-MAIL地址，服务器自动将错误报告给该地址

ServerName  localhost

# web客户端搜索的主机名

ErrorLog    "${SRVROOT}/logs/app1_error.log"

CustomLog   "${SRVROOT}/logs/app1_access.log" common

ProxyPass /   balancer://cluster/ stickysession=JSESSIONID

# balancer： 复制会话的方式，包括JSESSIONID或PHPSESSIONID nofailover：on 表示会话在worker出错或停掉时会中断，当后端服务器不支持会话复制时设为on ;

# lbmethod:选择负载的调度算法，默认byrequests表示轮询调度（就是1:1），bytraffic表示加权重的调度，需加loadfactor指定权重值。

ProxyPassReverse / balancer://cluster/ stickysession=JSESSIONID

#此指令使Apache调整HTTP重定向应答中Location, Content-Location, URI头里的URL。这样可以避免在Apache作为反向代理使用时，后端服务器的HTTP重定向造成的绕过反向代理的问题。

#The ProxyRequests directive should usually be set off when using ProxyPass.

ProxyRequests Off

# 不允许作为正向代理

ProxyPreserveHost On

# 当启用时，此选项将把传入请求的"Host:"行传递给被代理的主机，而不是传递在ProxyPass中指定的主机名。

</VirtualHost>

2，下载tomcat。在tomcat使用上，没有太多的限制，能用就行。我的是8.0.33。

3，进入apache安装路径下的bin，打开cmd。

运行 httpd -k install 是安装apache的。在运行的时候，会出现很多问题，就是在apache默认的环境下，很多*.so的文件被注释了的。所以你在安装的时候会报错，错误信息会告诉你错误在哪，所以很好识别。现在安装的时候只需要把报错的*.so打开注释就行了。

报错的时候是一个一个报错的，第一次安装报错后，进行修改，然后在bin下运行cmd：httpd -k uninstall 卸载了apache，重新安装一次，一直到没有报错为止。

安装成功后，到服务里面去重新启动apache。我这还是报错了，但是这个错误会到日志里面去查看错误信息，其实还是开启一个*.so。

我这里总共打开了下面几个：

mod_proxy ,  mod_proxy_balancer ,  lbmethod_****_module ,  slotmem_shm_module ,  mod_proxy_ajp

这一部操作比较多，但是总结一句话，可以多开，不能少开，如果感觉不知道是哪个，那就多开几个。

4，apache配置完了，现在开始配置tomcat服务器。

因为我们有两个tomcat服务器，一般都知道端口不能冲突，所以端口要修改一下，把其中一个的端口修改了就行，另外一个可以不用改，我是对其中一个tomcat的所有端口都+1。反正只要配置的参数都一致就行了。具体如下3个地方修改：

<Server port="8006" shutdown="SHUTDOWN">

  <Connector port="8088" protocol="HTTP/1.1"

               connectionTimeout="20000"

               redirectPort="8444" />

 <Connector port="8010" protocol="AJP/1.3" redirectPort="8444" />

修改完上面的端口后，还要配置集群信息。在tomcat里面被注释的Cluster标签下面添加如下信息：

<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster" channelSendOptions="8">

        <Manager className="org.apache.catalina.ha.session.DeltaManager"

                 expireSessionsOnShutdown="false"

                 notifyListenersOnReplication="true"/>

        <Channel className="org.apache.catalina.tribes.group.GroupChannel">

            <Membership className="org.apache.catalina.tribes.membership.McastService"

                        address="228.0.0.4"

                        port="45564" frequency="500"

                        dropTime="3000"/>

            <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">

                <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>

            </Sender>

            <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"

                      address="auto" port="4000" autoBind="100"

                      selectorTimeout="5000" maxThreads="6"/>

            <Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>

            <Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>

        </Channel>

        <Valve className="org.apache.catalina.ha.tcp.ReplicationValve" filter=""/>

        <Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/>

        <!--<ClusterListener className="org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener"/>-->

        <ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>

    </Cluster>

部署完上面的，基本上就可以了，服务器集群。然后我们在需要集群的项目中声明一下本项目集群就行。webapp/META-INF/context.xml添加如下信息：

<?xml version="1.0" encoding="UTF-8"?>

<Context distributable="true"

 className="org.apache.catalina.ha.context.ReplicatedContext"/>

到这，服务器和项目的配置基本完成了。我们现在把项目放到启动两个刚刚配置好的服务器下，然后访问项目。在项目中做一个简单的输出用来查看访问的哪个服务器，两个tomcat服务器中能看到各自的访问日志。

上一篇：Mongo服务器集群配置【转】


下一篇：Apache + Tomcat + JK 集群