nginx+tomcat负载均衡

2022-02-24 08:33:46

最近练习nginx+tomcat负载均衡。根据一些资料整理了大体思路，最终实现了1个nginx+2个tomcat负载均衡。

安装JDK

1》进入安装目录，给所有用户添加可执行的权限

#chmod +x jdk-7u67-linux-i586.rpm //不知这步有没有必要

2》安装JDK

输入命令#rpm –ivh jdk-7u67-linux-i586.rpm

安装完成后在/usr/目录下生成java目录，就是JDK的安装目录。# cd /usr/java

3》配置环境变量

#vi /etc/profile

这里要注意linux系统中的分隔符为冒号，而不时Windows中的分号

#set java environment

JAVA_HOME=/usr/java/jdk1.7.0_67

JAVA_BIN=/usr/java/jdk1.7.0_67/bin

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME JAVA_BIN PATH CLASSPATH

保存退出。

4》要使JDK在所有的用户中使用，可以这样：
vi /etc/profile.d/java.sh
在新的java.sh中输入以下内容：
#set java environment

JAVA_HOME=/usr/java/jdk1.7.0_67

JAVA_BIN=/usr/java/jdk1.7.0_67/bin

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME JAVA_BIN PATH CLASSPATH

保存退出，然后给java.sh分配权限：chmod 755
/etc/profile.d/java.sh

32位JDK记得要给 JAVA_HOME/bin 下的所有.sh 脚本赋予执行权限 chmod 777 * ，今天就是没有赋予x权限，一直找不到which
java。

64位
JAVA_HOME/bin 下的所有文件赋予执行权限
chmod 777 * 。

5》刷新环境变量

source /etc/profile，如果没有提示错误，证明配置ok

可以通过echo $CLASSPATH来查看环境配置

$echo $JAVA_HOME 应出现/usr/jdk1.8.0_60
查看JAVA_HOME是否配置成功

6》检查环境变量

7》检查JDK是否安装成功。

执行java,javac,java –version，如果可以打印出相应的信息，则说明jdk安装成功

安装TOMCAT

安装TOMCAT只需要将TOMCAT解压缩即可（一般情况下，Linux自带有解压缩.gz，.tar格式文件的工具，双击即可），存放在自定义目录中，笔者自定义目录为： /usr/tomcat

然后可以设置TOMCAT_HOME环境变量（上文中已经设置）。进入$OMCAT/bin目录，执行./startup.sh命令，即可启动TOMCAT，执行命令后可以看到一些TOMCAT的环境变量：

1》在/opt目录下,然后在终端执行命令:
# tar –zxv -f apache-tomcat-8.0.24.tar.gz

2》改文件名:

# mv apache-tomcat-8.0.24 tomcat8

3》设置环境变量（略过仍可安装成功）

在/usr/local/tomcat1/bin/catalina.sh中添加JAVA_HOME=/usr/java/jdk1.7.0_67

# vi /etc/profile 用vi编辑器打开该文件进行编辑(添加环境变量)
然后在文件的最尾部加入以下代码:
CATALINA_HOME=/opt/tomcat8

export CATALINA_HOME
保存退出.
4》到这里TOMCAT的安装已经完成,现在我们来测试下是否安装成功. 现在在终端运行命令:
# /opt/tomcat/bin/startup.sh 开启TOMCAT服务器

启动tomcat # ./startup.sh
关闭tomcat # ./shutdown.sh
查看是否启动成功可以输入ps axuwf | grep java,如果出现一大堆结果,就是启动成功了

$cat /usr/tomcat/logs/catalina.out查看日志得知Tomcat是否正常启动

$links -dump http://localhost:8080/ 发送HTTP请求看Tomcat是否正常启动

然后打开浏览器,输入 http://localhost:8080 如果你看到那只可爱的小猫了,就证明安装成功了!

5》复制一个tomcat2

#分别修改tomcat1和tomcat2 端口，这里有三个端口需要修改，分别如下：

shutdown 端口：8005 主要负责启动关闭.

ajp端口：8009 主要负责通过ajp均衡（常用于apache和tomcat整合）

http端口：8080 可以通过web页面直接访问（nginx+tomcata整合）

#注* 如果tomcat1三个端口分别为：8005 8009 8080 ,那么tomcat2端口在此基础上都+1，即为：8006 9009 8081

#一台服务器上，端口不能重复，否则会报错。

#修改完端口后，然后启动两个tomcat，启动命令为：

/usr/local/tomcat1/bin/startup.sh

/usr/local/tomcat2/bin/startup.sh

#如何提示没有这个文件或者权限不足，需要tomcat 的bin目录对sh文件赋予执行权限：chmod o+x *.sh

#启动后，使用netstat -tnl 可以看到6个端口，即代表tomcat1 tomcat2成功启动。你可以使用http://ip:8080 http://ip:8081访问tomcat默认页面。

3.安装Nginx
Nginx官网：http://nginx.org/
下载最新稳定版本。在安装Nginx之前，需要先安装gcc、 openssl、 pcre和zlib软件库。 Nginx依赖一些其他PCRE、openssl（依赖libssl-dev）

1.1安装gcc、gcc-c++
安装命令：
#yum install gcc
#yum install gcc-c++

1.2安装openssl
openssl官网：http://www.openssl.org/
安装版本：openssl-1.0.1i.tar.gz
安装命令：
#tar -zxvf openssl-1.0.1i.tar.gz
#cd openssl-1.0.1i
#./config --prefix=/usr/local/openssl-1.0.1i #prefix指定安装目录
#make
#make install
【注意】：此处使用的是config命令，而不是平常的configure命令
安装完成后，到/usr/local/下查看是否安装成功。如果安装出错，需要重新加压缩，重新安装。

1.3安装pcre

Pcre的作用主要是使nginx支持HTTP
rewrite模块。

pcre官网：http://www.pcre.org/
安装版本：pcre-8.35.tar.gz
安装命令：
#tar -zxvf pcre-8.35.tar.gz
#cd pcre-8.35
#./configure --prefix=/usr/local/pcre-8.35 #prefix指定安装目录
#make
#make install
安装完成后，到/usr/local/下查看是否安装成功。如果安装出错，需要重新加压缩，重新安装。

【注意】：如果没有安装c++编译器，这个软件的安装会报错！

1.4安装zlib
zlib官网：http://www.zlib.net/
安装版本：zlib-1.2.8.tar.gz
安装命令：
#tar -zxvf zlib-1.2.8.tar.gz
#cd zlib-1.2.8
#./configure --prefix=/usr/local/zlib-1.2.8 #prefix指定安装目录
#make
#make install
安装完成后，到/usr/local/下查看是否安装成功。如果安装出错，需要重新加压缩，重新安装

1.5安装Nginx
安装版本：nginx-1.6.1.tar.gz
安装命令：
#tar -zxvf nginx-1.6.1.tar.gz
#cd nginx-1.6.1
#./configure

--prefix=/usr/local/nginx
#prefix指定安装目录

--with-openssl=/usr/local/src/openssl-1.0.0s
#指的是openssl源码路径

--with-pcre=/usr/local/src/pcre-8.36 #指的是pcre的源码路径

--with-zlib=/usr/local/src/zlib-1.2.8
#指的是zlib 的源码路径

--with-http_ssl_module

./configure
--prefix=/usr/local/nginx --with-openssl=/usr/local/src/openssl-1.0.0s
--with-pcre=/usr/local/src/pcre-8.36 --with-zlib=/usr/local/src/zlib-1.2.8
--with-http_ssl_module

#make
#make install
安装完成后，到/usr/local/下查看是否安装成功。如果安装出错，需要重新加压缩，重新安装。

注意：安装成功启动nginx，有可能会遇到下面错误，
[root@node1 nginx-1.5.8]# /data/nginx/sbin/nginx -t
/data/nginx/sbin/nginx: error while loading shared libraries: libpcre.so.1:
cannot open shared object file: No such file or directory

解决办法：
[root@node1 ~]# cd /lib64/
[root@node1 lib64]# ln -s libpcre.so.0.0.1 libpcre.so.1

#Nginx安装完毕，然后使用命令:/usr/local/nginx/sbin/nginx -t 测试OK，代表nginx安装成功。

/usr/local/nginx/sbin/nginx 回车启动nginx，可以通过访问http://ip/看到nginx默认页面。

1.6编写启动脚本

Vi nginx.sh

#!/bin/sh

CWD=`pwd`

case $1 in
        start)

/nginx/sbin/nginx;

;;
        stop)

kill -2 `ps -ef|grep "/nginx/sbin/nginx"|grep -v "grep"|awk
'{print $2}' `

;;
        restart)

cd "$CMD"

$0 stop

$0 start
        ;;
        *)
        echo $"Usage: $0
{start|stop|restart}"
        exit 1
esac
exit 0

1.7关闭防火墙

（1）
重启后永久性生效：

开启：chkconfig iptables on

关闭：chkconfig iptables off

（2）
即时生效，重启后失效：

开启：service iptables start

关闭：service iptables stop

需要说明的是对于Linux下的其它服务都可以用以上命令执行开启和关闭操作。

1.7配置Nginx
配置文件目录：/usr/local/nginx-1.6.1/conf/nginx.conf
#cd /usr/local/nginx-1.6.1/conf
#vi nginx.conf

【修改后的配置文件如下】：
#创建进程的用户和用户组
user llj llj;

#服务进程数量（通常等于CPU数量或者2倍于CPU）

worker_processes 1;

#记录进程ID的文件
pid logs/nginx.pid;
events {
#使用网络IO模型。epoll是多路复用IO(I/O Multiplexing)中的一种方式,但是仅用于linux2.6以上内核,可以大大提高nginx的性能.Linux建议使用epoll，FreeBSD建议使用kqueue.
use epoll;
#一个worker_processe允许的最大连接数
worker_connections 1024;
}

http {
include mime.types;
default_type application/octet-stream;

server_names_hash_bucket_size 128;

client_header_buffer_size 32k;

large_client_header_buffers 4 32k;

#定义日志格式

#log_format main
'$remote_addr - $remote_user [$time_local]"$request" '
# '$status $body_bytes_sent"$http_referer"
'
# '"$http_user_agent""$http_x_forwarded_for"';

#access_log
logs/access.log main;

sendfile
on;
tcp_nopush on;

#http连接的持续时间
keepalive_timeout 65;

client_max_body_size 10m;

client_body_buffer_size 128k;

#跟代理服务器连接的超时时间，必须留意这个time
out时间不能超过75秒，当一台服务器当掉时，过10秒转发到另外一台服务器。

proxy_connect_timeout 10;

proxy_read_timeout 60;

proxy_send_timeout 10;

proxy_buffer_size 8k;

proxy_buffers 4 32k;

proxy_busy_buffers_size 64k;

proxy_temp_file_write_size 64k;

# "proxy_busy_buffers_size" must
be less than the size of all "proxy_buffers" minus one buffer

#gzip压缩设置
#gzip on; #开启gzip
gzip_min_length 1k; #最小压缩文件大小
gzip_buffers 4 16k; #压缩缓冲区
#http的协议版本(1.0/1.1),默认1.1，前端如果是squid2.5请使用1.0
gzip_http_version 1.1;
#gzip压缩比，1压缩比最小处理速度最快，9压缩比最大但处理速度最慢(传输快但比较消耗cpu)
gzip_comp_level 2;
#和http头有关系，加个vary头，给代理服务器用的，有的浏览器支持压缩，有的不支持，所以避免浪费不支持的也压缩，所以根据客户端的HTTP头来判断，是否需要压缩
gzip_varyon;
#gzip压缩类型，不用添加text/html，否则会有警告信息
gzip_types text/plain text/javascript text/css
application/xmlapplication/x-javascript application/json;

#设定负载均衡的服务器列表，可以设置多个upstream，但mysvr名字要区分
upstream ClusterServer1 {
#weight参数表示权值，权值越高被分配到的几率越大
server localhost:8080 weight=5;
server localhost:8081 weight=5;

}

server {
#nginx监听的端口号
listen 80;
#域名可以有多个，用空格隔开
server_name localhost;

#字符编码方式
charset utf-8;

#设定本虚拟主机的访问日志。关闭日志可以减少IO，提高性能。
#access_log logs/host.access.log main;

#默认请求此处也可对网站进行动静分离的配置
location / {
#定义服务器的默认网站根目录位置
root html;
#定义首页索引文件的名称
index index.html index.htmindex.jsp;
#请求转向mysvr 定义的服务器列表
proxy_pass http://localhost;
proxy_redirect off;

proxy_next_upstream http_502 http_504 error timeout invalid_header;

proxy_set_header Host $host; #这一句至关重要

proxy_set_header X-Real-IP $remote_addr;

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

proxy_pass http:// ClusterServer1;

proxy_redirect off;

expires 3d;

}

#error_page
404 /404.html;

#redirect server error
pages to the static page /50x.html
#
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}

#proxy the PHP scripts
to Apache listening on 127.0.0.1:80
#
#location ~ \.php$ {
# proxy_pass http://127.0.0.1;
#}

#pass the PHP scripts
to FastCGI server listening on 127.0.0.1:9000
#
#location ~ \.php$ {
# root
html;
# fastcgi_pass 127.0.0.1:9000;
# fastcgi_index index.php;
# fastcgi_param SCRIPT_FILENAME
/scripts$fastcgi_script_name;
# include
fastcgi_params;
#}

#deny access to
.htaccess files, if Apache's document root
#concurs with nginx's one
#
#location ~ /\.ht {
# deny all;
#}
}

# anothervirtual host using mix of IP-, name-, and port-based
configuration
#
#server {
# listen 8000;
# listen somename:8080;
# server_name somename alias
another.alias;

# location / {
# root html;
# index index.html index.htm;
# }
#}

# HTTPSserver
#
#server {
# listen 443 ssl;
# server_name localhost;

#
ssl_certificate cert.pem;
# ssl_certificate_key cert.key;

#
ssl_session_cache shared:SSL:1m;
# ssl_session_timeout 5m;

#
ssl_ciphers HIGH:!aNULL:!MD5;
# ssl_prefer_server_ciphers on;

# location / {
# root html;
# index index.html index.htm;
# }
#}

}

NOTE: proxy_set_header是nginx的http代理模块中的一个指令。

在nginx中的默认proxy是只能对后面real server做端口转发的，而不能做域名转发，即默认的是：
proxy_set_header Host $proxy_host;

我们要通过域名转发就必须改为：
proxy_set_header Host $host;

1.8启动与关闭Nginx
(1)启动
#/usr/local/nginx-1.6.1/sbin/nginx
确保系统的 80 端口没被其他程序占用

重新加载配置文件：
#/usr/local/nginx-1.6.1/sbin/nginx -s reload

(2)关闭：
#pkill nginx

(3)检查是否启动成功：
#netstat -ano | grep80 有结果输入说明启动成功

打开浏览器访问此机器的 IP，如果浏览器出现Welcome to nginx! 则表示 Nginx 已经安装并运行成功。如果已经配置了负载均衡服务器，则会看Tomcat中的网站页面。

1.9进行测试
在2个tomcat的webapps目录下建立balance文件夹(不要直接放在webapps下)，在该文件夹下创建
test1.jsp，内容如下：

out.println("hello world!_bytomcat1/tomcat2");

System.out.println("======!!=====");

启动nginx，然后启动2个tomcat，在浏览器中输入http://localhost/balance/test1.jsp，回车后，界面回显hello world，测试成功。

连续快速刷新该页面，会发现在2个tomcat的控制台上都会输出“==========”，此处表明服务器已经实现了负载均衡。

报错Too many open files

http://www.jb51.net/article/35675.htm

104:
Connection reset by peer

(111:
Connection refused) while connecting to upstream

用户在连接成功后读取数据时，若遇到后端upstream挂掉或者不通，会收到该错误

nginx常见内部参数，错误总结

http://www.360doc.com/content/12/1024/11/1073512_243439687.shtml

linux下 nginx 负载均衡单独访问服务器没问题，通过负载均衡页面加载不了，什么原因？

如果你的代理服务器能与负载服务器ping同的话并且单独访问负载服务器能成功就看看
upstream中的访问地址与单独访问的地址是否相同。这个很关键负载服务器上的war包最好是ROOT形式的。

nginx负载均衡器处理session共享的几种方法

http://www.oschina.net/question/12_621

Nginx+tomcat负载均衡session问题解决

http://www.oschina.net/question/5189_4182/

码农公寓

安装JDK

安装TOMCAT

报错Too many open files

104: Connection reset by peer

(111: Connection refused) while connecting to upstream

linux下 nginx 负载均衡 单独访问服务器没问题，通过负载均衡页面加载不了，什么原因？

nginx负载均衡器处理session共享的几种方法

Nginx+tomcat负载均衡session问题解决

相关文章

104:
Connection reset by peer

(111:
Connection refused) while connecting to upstream

linux下 nginx 负载均衡单独访问服务器没问题，通过负载均衡页面加载不了，什么原因？