解析同一系统安装RPM包的tomcat与压缩包tomact同时使用问题

2022-03-03 16:55:35

大部分朋友在使用tomcat的时候，常用的功能是在一个tomcat中为不同的应用设置多个访问路径，然后修改不同的访问端口，比如初始化端口是8080，那么另一个应用使用8081,其他的依次类推，只要做到每个应用的端口号不重复就行。

但是本人在实际环境中遇到如下的问题，需要在一个系统上面同时安装两个不同“渠道”的tomcat，一个rpm包的tomcat以及一个zip形式的tomcat压缩包，结果发现出问题了，只能其中一个tomact可以启动，谁先启动，谁就是“老大”，第二个启动的tomcat就一直启动失败。

日志文件等下分析，先说说我为什么会遇到这样的问题，为什么必须要安装两个不同“渠道”的tomcat，OK，问题背景是这样的：我这边需要实施的项目架构是cloudstack+kvm，在cloudstack之上，我们有一个JAVA应用，用于调用cloudstack的API，用户使用的时候仅仅需要操作我们的上层JAVA应用即可，那么安装过cloudstack的朋友们知道，安装cloudstack-management跟cloudstack-agent最简便的方式就是通过配置Cloudstack的RPM包YUM源，然后直接通过yum install安装即可，在安装cloudstack-management的同时，系统也会安装操作系统自带的tomcat6包，于是，解释了我们为什么要安装rpm的tomcat包，那么我们还有个上层的JAVA应用怎么部署，weblogic or tomcat？当然都行，但是从简便性来说，tomcat是最佳的选择，weblogic除了安装较为繁琐，还需要创建domain,配置数据源，发布JAVA包等一系列步骤，tomcat相比而言，肯定简便很多，但是安装cloudstack-management的时候安装的tomcat包已经被cloudstack做了很多定制化配置，所以，如果我们想要发布新的JAVA应用，从维护角度去看，尽量不要去动原有的tomcat配置，于是，我们选择重新安装一个tomcat软件，从源码压缩包解压即可，为了最大程度的划分界限，新的JAVA应用，jdk程序我们也不选择已经安装好的openjdk,而是选择oracle jdk解压安装【关于tomcat跟jdk的安装，非常简单，故本文不做过多说明】。

Tomcat路径： /usr/local/jdk1.6/

JDK路径： /usr/local/jdk1.6

我们对新的tomcat配置文件做一些修改，告知其使用的jdk是新的oracle jdk

[root@clovemzone ~]# cat /usr/local/tomcat6.0/bin/catalina.sh  |grep -v "#" |grep JAVA_HOME |head -n 2

JAVA_HOME=/usr/local/jdk1.6

JRE_HOME=$JAVA_HOME/jre

修改应用监听端口，从8080 修改为10801 ，修改端口的时候，查看/etc/services中，尽量自定义该文件中未定义的端口号，当然范围也在1-65535之内

[root@clovemzone ~]# vim /usr/local/tomcat6.0/conf/server.xml

<Connector port="8080" protocol="HTTP/1.1"
修改为

<Connector port="10801" protocol="HTTP/1.1"

然后，启动两个tomcat【不考虑cloudstack-management服务】

[root@clovemzone ~]# service tomcat6 start   //启动rpm包的tomcat服务
Starting tomcat6:                                          [  OK  ]

[root@loc bin]# pwd

/usr/local/tomcat6.0/bin

[root@localhost bin]# ./startup.sh   //启动源码包安装的tomcat服务

Using CATALINA_BASE:   /usr/local/tomcat6.0

Using CATALINA_HOME:   /usr/local/tomcat6.0

Using CATALINA_TMPDIR: /usr/local/tomcat6.0/temp

Using JRE_HOME:       /usr/local/jdk1.6/jre

检查tomcat启动状态

[root@localhost bin]# ps -ef |grep java |grep -v grep

tomcat   21266     1  0 13:09 ?        00:00:01 /usr/lib/jvm/jre/bin/java -Djavax.sql.DataSource.Factory=org.apache.commons.dbcp.BasicDataSourceFactory -classpath :/usr/share/tomcat6/bin/bootstrap.jar:/usr/share/tomcat6/bin/tomcat-juli.jar:/usr/share/java/commons-daemon.jar -Dcatalina.base=/usr/share/tomcat6 -Dcatalina.home=/usr/share/tomcat6 -Djava.endorsed.dirs= -Djava.io.tmpdir=/var/cache/tomcat6/temp -Djava.util.logging.config.file=/usr/share/tomcat6/conf/logging.properties -Djava.util.logging.manager=org.apache.juli.ClassLoaderLogManager org.apache.catalina.startup.Bootstrap start

[root@localhost bin]# lsof -i:8080

COMMAND   PID   USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    21266 tomcat   37u  IPv6 104620      0t0  TCP *:webcache (LISTEN)

[root@localhost ~]# lsof -i:18080  //没有监听18080端口

[root@localhost ~]# lsof -i:18080  |wc -l
0

从如上代码可以看出，系统启动的java进程只有/usr/lib/jre/bin/java，很明显，是rpm包安装的tomact服务启动成功，而源码包安装的并没有启动OK，再通过lsof 查看监听的端口可以确认以上结论。

这个时候，我们可以来查看日志文件相关信息了，/usr/local/tomcat6.0/log/catalina.out

SEVERE: StandardServer.await: create[8005]:

java.net.BindException: Address already in use

        at java.net.PlainSocketImpl.socketBind(Native Method)

        at java.net.PlainSocketImpl.bind(PlainSocketImpl.java:383)

        at java.net.ServerSocket.bind(ServerSocket.java:328)

        at java.net.ServerSocket.<init>(ServerSocket.java:194)

        at org.apache.catalina.core.StandardServer.await(StandardServer.java:373)

        at org.apache.catalina.startup.Catalina.await(Catalina.java:630)

        at org.apache.catalina.startup.Catalina.start(Catalina.java:590)

        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)

        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)

        at java.lang.reflect.Method.invoke(Method.java:597)

        at org.apache.catalina.startup.Bootstrap.start(Bootstrap.java:288)

        at org.apache.catalina.startup.Bootstrap.main(Bootstrap.java:413)
Dec 17, 2013 1:18:53 PM org.apache.coyote.http11.Http11Protocol pause

INFO: Pausing Coyote HTTP/1.1 on http-18080
Dec 17, 2013 1:18:54 PM org.apache.catalina.core.StandardService stop
INFO: Stopping service Catalina
Dec 17, 2013 1:18:54 PM org.apache.coyote.http11.Http11Protocol destroy

通过日志分析，Address already in use,按照之前的经验来看，报这个错的，是由于端口的冲突，而且日志里面也会明确指明哪个端口被占用，比如8080之类的，但是这个日志却始终没有提醒，而且tomcat的监听端口8080也不会有冲突，第二个tomcat的默认监听端口已经从8080修改为了18080,那会有什么问题呢？

那么，Adress 会不会是内存地址呢？会不会是两个tomcat都使用了共享内存，而且使用了相同的地址，导致了这样的冲突呢？不敢确定，只有去检查了，通过ipcs命令列出所有共享内存信息

[root@localhost ~]# ipcs
------ Shared Memory Segments --------
key        shmid      owner      perms      bytes      nattch     status    
0x00000000 98304      root       600        393216     2          dest       
0x00000000 131073     root       600        393216     2          dest       
0x00000000 163842     root       600        393216     2          dest       
0x00000000 196611     root       600        393216     2          dest       
0x00000000 229380     root       600        393216     2          dest       
0x00000000 262149     root       600        393216     2          dest       
0x00000000 294918     root       600        393216     2          dest       
0x00000000 327687     root       600        393216     2          dest       
0x00000000 360456     root       600        393216     2          dest       
0x00000000 393225     root       600        393216     2          dest       
0x00000000 425994     root       600        393216     2          dest       
0x00000000 458763     root       600        393216     2          dest       
0x00000000 491532     root       600        393216     2          dest       
0x00000000 524301     root       600        393216     2          dest       
0x00000000 557070     root       600        393216     2          dest       
------ Semaphore Arrays --------
key        semid      owner      perms      nsems   
------ Message Queues --------
key        msqid      owner      perms      used-bytes   messages

定位每个shmid的进程使用程序是否有调用java的？

[root@clovemzone ~]# cat test_java.sh
#!/bin/bash
#使用该脚本查找共享内存是否有Java进程
# 列出所有使用共享内存的shmid对于的cpid号

for shmid in  `ipcs  |grep 0x |awk -F' ' '{print $2}' ` ; do ipcs -m -i $shmid |grep cpid |awk -F' ' '{print $3}'|awk -F'=' '{print $2}' ; done > cpid.txt
# 通过cpid号查找进程中的java进程
#如果存在，  输出 java process in cpid：xx
#如果不存在，输出 no java process cpid: xx

for cpid in `cat cpid.txt`
do

    ps -ef |grep $cpid |grep -v grep |grep java

    if [ $? == 0 ]

    then

        echo "java process in cpid:$cpid"

    else

        echo "no java process cpid:$cpid"

    fi
done

执行该脚本，进行测试

[root@clovemzone ~]# sh test_java.sh
no java process cpid:16677
no java process cpid:16696
no java process cpid:16718
no java process cpid:16706
no java process cpid:16935
no java process cpid:16747
no java process cpid:16696
no java process cpid:16706
no java process cpid:16958
no java process cpid:16687
no java process cpid:16687
no java process cpid:16715
no java process cpid:16754
no java process cpid:17005
no java process cpid:16785

非常残忍的发现，没有任何一个java进程是使用共享内存的，难道这样的分析有错

那既然这样，就看看已经存在的java进程到底占用了哪些端口吧

[root@clovemzone ~]# netstat  -nltup |grep java

tcp        0      0 ::ffff:127.0.0.1:8005       :::*                        LISTEN      21698/java        

tcp        0      0 :::8009                     :::*                        LISTEN      21698/java        

tcp        0      0 :::8080                     :::*                        LISTEN      21698/java

发现除了8080,<Connector port="18080" protocol="HTTP/1.1"..> 提供HTTP服务的端口

还有8009,8005这两个端口也是被监听的，那么就去配置文件里面看下这两个端口到底是干嘛用的吧。

<Server port="8005" shutdown="SHUTDOWN"> 看作用是提供关闭服务的端口

<Connector port="8009" protocol="AJP/1.3" redirectPort="8443" /> AJP端口

既然这么多端口都是每个tomcat实例都要启动监听的，那么就把这些端口都修改一下吧

8005 ==> 18005

8009 ==> 18009

修改完成，保存/usr/local/tomcat6.0/conf/server.xml。再次启动源码包的tomcat

[root@clovemzone bin]# ./startup.sh  //重新启动tomcat服务

Using CATALINA_BASE:   /usr/local/tomcat6.0

Using CATALINA_HOME:   /usr/local/tomcat6.0

Using CATALINA_TMPDIR: /usr/local/tomcat6.0/temp

Using JRE_HOME:       /usr/local/jdk1.6/jre

[root@clovemzone bin]# ps -ef |grep java

tomcat   21698     1  0 13:18 ?        00:00:03 /usr/lib/jvm/jre/bin/java -Djavax.sql.DataSource.Factory=org.apache.commons.dbcp.BasicDataSourceFactory -classpath :/usr/share/tomcat6/bin/bootstrap.jar:/usr/share/tomcat6/bin/tomcat-juli.jar:/usr/share/java/commons-daemon.jar -Dcatalina.base=/usr/share/tomcat6 -Dcatalina.home=/usr/share/tomcat6 -Djava.endorsed.dirs= -Djava.io.tmpdir=/var/cache/tomcat6/temp -Djava.util.logging.config.file=/usr/share/tomcat6/conf/logging.properties -Djava.util.logging.manager=org.apache.juli.ClassLoaderLogManager org.apache.catalina.startup.Bootstrap start

root     24200     1 68 14:20 pts/3    00:00:02 /usr/local/jdk1.6/jre/bin/java -Djava.util.logging.manager=org.apache.juli.ClassLoaderLogManager -Djava.util.logging.config.file=/usr/local/tomcat6.0/conf/logging.properties -Djava.endorsed.dirs=/usr/local/tomcat6.0/endorsed -classpath :/usr/local/tomcat6.0/bin/bootstrap.jar:/usr/local/tomcat6.0/bin/commons-logging-api.jar -Dcatalina.base=/usr/local/tomcat6.0 -Dcatalina.home=/usr/local/tomcat6.0 -Djava.io.tmpdir=/usr/local/tomcat6.0/temp org.apache.catalina.startup.Bootstrap start

root     24222 21016  0 14:20 pts/3    00:00:00 grep java

[root@clovemzone bin]# lsof -i:18080

COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    24200 root   29u  IPv6 112921      0t0  TCP *:18080 (LISTEN)

[root@clovemzone bin]# netstat  -nltup |grep java

tcp        0      0 ::ffff:127.0.0.1:8005       :::*                        LISTEN      21698/java        

tcp        0      0 :::8009                     :::*                        LISTEN      21698/java        

tcp        0      0 :::8080                     :::*                        LISTEN      21698/java        

tcp        0      0 ::ffff:127.0.0.1:18005      :::*                        LISTEN      24200/java        

tcp        0      0 :::18009                    :::*                        LISTEN      24200/java        

tcp        0      0 :::18080                    :::*                        LISTEN      24200/java

再次查看java进行，查看系统监听的java进程端口，发现两个tomcat实例已经可以“共存”了。

结论：

还是端口惹的祸！

很多朋友看到这里会郁闷，那干嘛一开始不修改所有的端口呢？

其实，我想表达的是在日志文件不是非常明确的情况下面，更多的需要我们通过自己的经验以及不断尝试才能把问题解决，有的时候，不经意间解决了问题其实也是一种思考的过程！

希望能够帮到大家，不仅问题的答案，而是一种过程！

本文转自暗黑魔君 51CTO博客，原文链接：http://blog.51cto.com/clovemfong/1341525，如需转载请自行联系原作者

码农公寓

相关文章