概述
Tomcat是一个完全功能的HTTP服务器,能够独立完成接收客户端请求,处理请求,然后封装响应报文响应客户端。但是Tomcat的并发响应能力并不强,所以往往使用httpd或nginx服务器用于在前端接收客户端请求,然后将请求调度至后端多个Tomcat节点。本文介绍的是利用httpd作为反向代理服务器,实现Tomcat的负载均衡。
httpd连接后端的Tomcat服务器,需要启用对应的模块。能够实现该功能的有两个模块:mod_proxy,mod_jk。mod_proxy是新出的模块,只有在apache 2.2及之后的版本上才可以使用,但是相对于mod_jk模块,它可以提供更丰富的功能和安全性。
实现过程
拓补图:
更多Tomcat相关教程见以下内容:
CentOS 6.6下安装配置Tomcat环境 http://www.linuxidc.com/Linux/2015-08/122234.htm
RedHat Linux 5.5安装JDK+Tomcat并部署Java项目 http://www.linuxidc.com/Linux/2015-02/113528.htm
Tomcat权威指南(第二版)(中英高清PDF版+带书签) http://www.linuxidc.com/Linux/2015-02/113062.htm
Tomcat 安全配置与性能优化 http://www.linuxidc.com/Linux/2015-02/113060.htm
Linux下使用Xshell查看Tomcat实时日志中文乱码解决方案 http://www.linuxidc.com/Linux/2015-01/112395.htm
CentOS 64-bit下安装JDK和Tomcat并设置Tomcat开机启动操作步骤 http://www.linuxidc.com/Linux/2015-01/111485.htm
CentOS 6.5下安装Tomcat http://www.linuxidc.com/Linux/2015-01/111415.htm
实验环境:
httpd:192.168.1.116
Tomcat node1:192.168.1.106
Tomcat node2:192.168.1.127
在Tomcat node1和node2上安装JDK和tomcat,完成环境变量的配置(192.168.1.106和192.168.1.127上完成)。
安装jdk:
[root@node1 ~]# rpm -ivh jdk-7u9-linux-x64.rpm
[root@node1 ~]# cd /usr/java/
[root@node1 java]# ll
total 4
lrwxrwxrwx 1 root root 16 Sep 1 07:56 default -> /usr/java/latest
drwxr-xr-x 10 root root 4096 Sep 1 07:56 jdk1.7.0_09
lrwxrwxrwx 1 root root 21 Sep 1 07:56 latest -> /usr/java/jdk1.7.0_09
在/usr/java目录下有个latest链接文件指向最新的JDK。配置环境变量时直接使用此路径。
配置环境变量:
[root@node1 ~]# vim /etc/profile.d/java.sh
export JAVA_HOME=/usr/java/latest
export PATH=$JAVA_HOME/bin:$PATH
#################################
[root@node1 ~]# . /etc/profile.d/java.sh
安装tomcat:
[root@node1 ~]# tar xf apache-tomcat-7.0.42.tar.gz -C /usr/local/
环境变量配置:
[root@node3 local]# cd /usr/local
[root@node3 local]# ln -sv apache-tomcat-7.0.42/ tomcat
`tomcat’ -> `apache-tomcat-7.0.42/’
[root@node1 ~]# vim /etc/profile.d/tomcat.sh
export CATALINA_HOME=/usr/local/tomcat
export PATH=$CATALINA_HOME/bin:$PATH
####################################
[root@node1 ~]# . /etc/profile.d/tomcat.sh
为tomcat提供服务脚本:
#!/bin/sh
# Tomcat init script for Linux.
#
# chkconfig: 2345 96 14
# description: The Apache Tomcat servlet/JSP container.
# JAVA_OPTS=’-Xms64m -Xmx128m’
JAVA_HOME=/usr/java/latest
CATALINA_HOME=/usr/local/tomcat
export JAVA_HOME CATALINA_HOME
case $1 in
start)
exec $CATALINA_HOME/bin/catalina.sh start ;;
stop)
exec $CATALINA_HOME/bin/catalina.sh stop;;
restart)
$CATALINA_HOME/bin/catalina.sh stop
sleep 2
exec $CATALINA_HOME/bin/catalina.sh start ;;
*)
echo “Usage: `basename $0` {start|stop|restart}”
exit 1
;;
esac
在代理服务器上编译安装apache2.4(192.168.1.116上)。
首先安装apr和apr-util:
[root@www ~]# tar xf apr-1.5.0.tar.bz2
[root@www ~]# cd apr-1.5.0
[root@www apr-1.5.0]# ./configure –prefix=/usr/local/apr-1.5.0
[root@www apr-1.5.0]# make && make install
#########################################
[root@www ~]# tar xf apr-util-1.5.3.tar.bz2
[root@www ~]# cd apr-util-1.5.3
[root@www apr-util-1.5.3]# ./configure –prefix=/usr/local/apr-util-1.5.3 –with-apr=/usr/local/apr-1.5.0/
[root@www apr-util-1.5.3]# make && make install
安装httpd-2.4:
[root@www ~]# tar xf httpd-2.4.9.tar.bz2
[root@www ~]# cd httpd-2.4.9
[root@www httpd-2.4.9]# yum install pcre-devel -y
[root@www httpd-2.4.9]# ./configure –prefix=/usr/local/apache –sysconfdir=/etc/httpd –e
nable-so –enable-ssl –enable-cgi –enable-rewrite –with-zlib –with-pcre –with-apr=/usr/l
ocal/apr-1.5.0/ –with-apr-util=/usr/local/apr-util-1.5.3/ –enable-mpms-shared=all –with-m
pm=event –enable-proxy –enable-proxy-http –enable-proxy-ajp –enable-proxy-balancer
–enable-lbmethod-heartbeat –enable-heartbeat –enable-slotmem-shm –enable-slotmem
-plain –enable-watchdog
[root@www httpd-2.4.9]# make && make install
在编译时需要添加这几个参数来启用对应的模块:–enable-proxy –enable-proxy-http –enable-proxy-ajp –enable-proxy-balancer,最后的几个参数用于实现httpd与后端tomcat之间的信号传递实现对其健康状态的检测。
安装完成之后启动服务查看对应的模块是加载:
[root@www ~]# httpd -D DUMP_MODULES | grep proxy
proxy_module (shared)
…..
proxy_http_module (shared)
…..
proxy_ajp_module (shared)
proxy_balancer_module (shared)
httpd基于mod_jk模块实现负载均衡
httpd可以通过2种协议连接tomcat:http,ajp。tomcat启动之后默认会监听在2个端口:8080,8009。8080用于接收http请求,8009则用于接收ajp请求。mod_jk模块仅支持使用ajp协议连接后端的tomcat。
由于mod_jk模块出现的较早,httpd默认不包括该模块,需要通过apache的apxs函数编译该模块,安装至apache的模块目录下。若是直接使用yum安装的httpd,需要安装httpd-devel以提供apxs函数。
在代理服务器节点上安装mod_jk模块(192.168.1.116上),tomcat-connectors-1.2.40-src.tar.gz即为其源码包。
[root@www ~]# tar xf tomcat-connectors-1.2.40-src.tar.gz
[root@www ~]# cd tomcat-connectors-1.2.40-src/native/
[root@www native]# ./configure –with-apxs=/usr/local/apache/bin/apxs
[root@www native]# make && make install
编辑配置文件,httpd-jk.conf默认在extra目录下没有,需要自己创建:
[root@www ~]# vim /etc/httpd/extra/httpd-jk.conf
LoadModule jk_module modules/mod_jk.so #加载mod_jk模块
JkWorkersFile /etc/httpd/extra/workers.properties #定义后端每个tomcat实例的特性
JkLogFile logs/mod_jk.log #指定mod_jk模块的日志文件
JkLogLevel error #记录日志的级别(info, error, debug)
JkMount /* lbcluster #将所有路径代理至lbcluster这个worker
JkMount /status/ stat #状态信息页
上述的配置参数中,jkWorkersFile用于指定保存了后端各个Tomcat工作属性定义的配置文件。该配置文件的文件名通常是workers.properties,该文件中每一个tomcat实例视为一个worker,在apache启动时mod_jk会读取该配置文件的信息获取每个worker的配置信息。
workers.properties文件的配置格式:
worker.list = < a comma separated list of worker names >
worker. <worker name> .<property> = <property value>
worker.list为worker列表,worker.<worker name>.<property>定义各个worker的名称和属性。
编辑workers.properties:
[root@www ~]# vim /etc/httpd/extra/workers.properties
worker.list = lbcluster,stat
worker.TomcatA.type = ajp13 #type指定worker的工作机制(定义一个tomcat实例)
worker.TomcatA.host = 192.168.1.106 #host指定tomcat实例所在主机
worker.TomcatA.port = 8009 #port指定连接tomcat实例上的端口
worker.TomcatA.lbfactor = 5 #lbfactor指定该worker的权重
worker.TomcatB.type = ajp13
worker.TomcatB.host = 192.168.1.127
worker.TomcatB.port = 8009
worker.TomcatB.lbfactor = 5
worker.lbcluster.type = lb
worker.lbcluster1.method = B #指定调度的算法(根据负载情况进行调度)
worker.lbcluster.sticky_session = 0 #是否启用sticksession
worker.lbcluster.balance_workers = TomcatA, TomcatB
worker.stat.type = status #用于显示各worker的工作状态
其中type属性可定义3种工作机制:
ajp13 #定义一个tomcat实例
lb #用于负载均衡场景中,此worker包括多个tomcat实例
status #用于显示各个worker工作状态的特使worker
上述配置中定义了2个tomcat实例:TomcatA和TomcatB,lbcluster这个worker包括了这两个tomcat实例,根据httpd-jk.conf中的定义(JkMount /* lbcluster)所用的请求都将使用定义的算法调度至TomcatA和TomcatB。实现负载均衡的算法有3种,默认为“R”,根据用户的请求个数进行调度,“T”根据已发送给各tomcat的流量进行调度,“B”根据负载情况进行调度。
若将文件中的worker.lbcluster1.sticky_session = 0改为1,则将实现session绑定,同一客户端的所有后续请求都将直接调度至第一个访问的worker。
在httpd的主配置文件中包含上述完成的配置文件:
[root@www ~]# vim /etc/httpd/httpd.conf
…..
Include /etc/httpd/extra/httpd-jk.conf
重新加载服务:
[root@www ~]# httpd -t
Syntax OK
[root@www ~]# service httpd reload