- 浏览: 247686 次
- 性别:
- 来自: 北京
文章分类
最新评论
-
zdq19891104:
soufun这个webService太坑爹。。
cxf调用.net webservice之any元素 -
panmingzhi815:
看到这么多的回复,我深感大家也对Hibernate爱恨不舍。我 ...
VO(DTO)模式在分层架构设计中是否需要的扯淡 -
yanglinone1:
太棒了,找半天问题了
cxf调用.net webservice之any元素 -
lyncn:
有个朋友在阿里系里面做架构师,工资也就不到一年25万。
未来怎么走,再次面临offer选择 -
chrissie:
遇到同样的问题!你的文章帮忙解决了~灰常感谢!支持一下!
cxf调用.net webservice之any元素
基于mod_proxy+Apache 2.2.16+Tomcat 7的负载均衡与集群配置
Peter Wei
Peter Wei
周日晚和GF的老乡们喝了五粮液,导致周一起不了床,只好请假在家睡觉。白天睡了半天,晚上自然睡不着觉。正好现在的项目中也用到了负载均衡和集群的东西,虽然有新手贴的危险,但还是手痒,决定写点东西,以备不时之需。也希望能对大家有所帮助。
第一章. 背景简介
对于大多数企业应用,都希望能做到7*24小时不间断运行。要保持如此高的可用性并非易事,比较常见的做法是将系统部署到多台机器上,每台机器都对外提供同样的功能,这就是集群。系统变为集群时,除了要求系统能够支持水平伸缩外,还要解决两个问题:
1, 如何均衡地访问到提供业务功能的机器。
2, 如何保证当机器出现问题时,用户能自动跳转到另外的机器,不影响使用。
常用的负载均衡技术有硬件和软件两种,本示例常用软件的技术实现。软件也有很多实现技术,如基于apache的mod_jk以及mod_proxy等。基于mod_jk的文章有不少,本文演示一下用mod_proxy的方式。
实现集群的应用最重要的是处理用户Session的问题,一般有三种策略:
1, Session复制
2, Session Sticky
3, 基于Cache的集中式Session
本文使用的是Tomcat 7.0.2应用服务器,用的方法是Session复制。
第二章. 配置环境
1, JDK1.6,请自行下载安装,搞Java的一般都装有的吧,哈哈。
2, Apache 2.2.16, (released 2010-07-25),现在为止应该是最新的稳定版本,下载地址: http://httpd.apache.org/download.cgi
3, Tomcat 7.0.2,目前也是最新的版本。Minimum Java Version1.6.下载地址:http://tomcat.apache.org/download-70.cgi
4, 安装过程略
第三章. 部署图
第四章. Tomcat7集群配置
一、 就地取材,复制tomcat7/webapps下的examples,重命名为cluster应用,以后就用cluster做测试。
二、 详细配置参照tomcat7 \webapps\docs\cluster-howto.html 或者http://tomcat.apache.org/tomcat-7.0-doc/cluster-howto.html
三、 为了在Tomcat7中实现session复制,以下必需完成:
• 所有session属性必需实现 java.io.Serializable
• Uncomment the Cluster element in server.xml。把Cluster元素的注释去掉。参照四
• If you have defined custom cluster valves, make sure you have the ReplicationValve defined as well under the Cluster element in server.xml 。参照四
• If your Tomcat instances are running on the same machine, make sure the tcpListenPort attribute is unique for each instance, in most cases Tomcat is smart enough to resolve this on it's own by autodetecting available ports in the range 4000-4100。参照四< Receiver>中的注释
• Make sure your web.xml has the <distributable/> element or set at your <Context distributable="true" /> 参照四
• If you are using mod_jk, make sure that jvmRoute attribute is set at your Engine <Engine name="Catalina" jvmRoute="node01" > and that the jvmRoute attribute value matches your worker name in workers.properties .用mod_jk的情况,我们可以不管。
• Make sure that all nodes have the same time and sync with NTP service! 当使用多台机器时,要保证不同机器时间的同步。原因为tomcat session复制的一些机制。具体原因看文档。
• Make sure that your loadbalancer is configured for sticky session mode. 保证负载均衡软件设置为session sticky模式。
四、 详细配置:
1. 修改tomcat7_a/conf/server.xml, 我们采用的是默认的配置,在<Engine>节点下添加:
<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster" channelSendOptions="8"> <Manager className="org.apache.catalina.ha.session.DeltaManager" expireSessionsOnShutdown="false" notifyListenersOnReplication="true"/> <Channel className="org.apache.catalina.tribes.group.GroupChannel"> <Membership className="org.apache.catalina.tribes.membership.McastService" address="228.0.0.4" port="45564" frequency="500" dropTime="3000"/> <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver" address="auto" <!—tcpListenPort如果是同一机器部署两个tomcat7应用,则修改tomcat7_b为4001,以免冲突. 不同机器下,不用更改此项。—> [color=red]port="4000"[/color] autoBind="100" selectorTimeout="5000" maxThreads="6"/> <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter"> <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/> </Sender> <Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/> <Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/> </Channel> <Valve className="org.apache.catalina.ha.tcp.ReplicationValve" filter=""/> <Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/> <Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer" tempDir="/tmp/war-temp/" deployDir="/tmp/war-deploy/" watchDir="/tmp/war-listen/" watchEnabled="false"/> <ClusterListener className="org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener"/> <ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/> </Cluster>
2. <Connector port="8081" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" /> 修改,仅为了调试方便。
3. tomcat7_a\webapps\cluster\WEB-INF\web.xml中加入<distributable/>
4. <Engine name="Catalina" defaultHost="localhost" jvmRoute="tomcat7_a">,添加jvmRoute属性,此项为后面apache负载均衡用到。
五、 复制一份tomcat7_a应用,改名为tomcat7_b.只是为了图方便,实际应该复制的是前面的cluster工程。注意以下几点配置就ok.
1. 修改tomcat7_a/conf/server.xml 中的Server port属性<Server port="8006" shutdown="SHUTDOWN">,因为是同一台机器两个tomcat应用,所以改一下。
2. 修改<connector port="8082" protocol="HTTP/1.1" onnectionTimeout="20000" edirectPort="8443" />,同理,为了避免同一台机器端口号冲突。部置在不同的机器是不用管的。
3. 修改<Engine name="Catalina" defaultHost="localhost" jvmRoute="tomcat7_b">,此项为后面apache负载均衡用到。
4. 修改<Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver" address="auto" port="4001" autoBind="100" selectorTimeout="5000" maxThreads="6"/>
5. tomcat7_b\ebapps\cluster\WEB-INF\web.xml中加入<distributable/>
到此集群配置完成.
第五章. 集群测试
1. tomcat7_a和tomcat7_b的cluster工程中分别添加测试文件:testCluster.jsp
<%@ page contentType="text/html; charset=GBK" %> <%@ page import="java.util.*" %> <html><head><title>Cluster Test</title></head> <body> <% //HttpSession session = request.getSession(true); System.out.println(session.getId()); out.println("<br> SESSION ID:" + session.getId()+"<br>"); // 如果有新的请求,则添加session属性 String name = request.getParameter("name"); if (name != null && name.length() > 0) { String value = request.getParameter("value"); session.setAttribute(name, value); } out.print("<b>Session List:</b>"); Enumeration<String> names = session.getAttributeNames(); while (names.hasMoreElements()) { String sname = names.nextElement(); String value = session.getAttribute(sname).toString(); out.println( sname + " = " + value+"<br>"); System.out.println( sname + " = " + value); } %> <form action="testCluster.jsp" method="post"> 名称:<input type=text size=20 name="name"> <br> 值:<input type=text size=20 name="value"> <br> <input type=submit value="提交"> </form> </body> </html>
2. 启动tomcat7_a,启动完毕后,启动tomcat7_b
3. 进入http://localhost:8081/cluster/testCluster.jsp 对应tomcat7_a(8081),登录几次,可看到
4. 另外打开一个浏览器,进入http://localhost:8082/cluster/testCluster.jsp对应tomcat7_b(8082),登录name:tomcat_b,value:b value可看到
5. 刷新tomcat7_a(8081)相关页面,可以看到从tomcat7_b提交的值session同步过来了,说明集群成功。
第六章. Session集群工作步骤
参照tomcat7 doc:
To make it easy to understand how clustering works, We are gonna take you through a series of scenarios. In the scenario we only plan to use two tomcat instances TomcatA and TomcatB. We will cover the following sequence of events:
1. TomcatA starts up
2. TomcatB starts up (Wait that TomcatA start is complete)
3. TomcatA receives a request, a session S1 is created.
4. TomcatA crashes
5. TomcatB receives a request for session S1
6. TomcatA starts up
7. TomcatA receives a request, invalidate is called on the session (S1)
8. TomcatB receives a request, for a new session (S2)
9. TomcatA The session S2 expires due to inactivity.
第七章. 负载均衡配置
Tomcat有两种负载均衡的方式:
1. 使用 JK1.2.x native connector
2. 使用Apache HTTP Server 2.x with mod_proxy
我们使用的是mod_proxy,在Apache Http Server2.2以上版本已经自动带有:
Mod_proxy supports either HTTP or AJP load balancing. 我们通过ajp方式。
详细查看:tomcat7\webapps\docs\balancer-howto.html
1. 首先,监听8000端口, 在Apache安装目录下找到conf/httpd.conf文件
稍前面加上
# 监听端口和监听地址 Listen 8000
2. conf/httpd.conf,去掉以下文本前的注释符(#)以便让Apache在启动时自动加载代理(proxy)模块。
LoadModule proxy_module modules/mod_proxy.so LoadModule proxy_ajp_module modules/mod_proxy_ajp.so LoadModule proxy_balancer_module modules/mod_proxy_balancer.so LoadModule proxy_connect_module modules/mod_proxy_connect.so LoadModule proxy_ftp_module modules/mod_proxy_ftp.so LoadModule proxy_http_module modules/mod_proxy_http.so
3. conf/httpd.conf文件最后加上:
#虚拟机配置,负载均衡配置 <VirtualHost *:8000> ServerAdmin weigbo@163.com ServerName localhost ServerAlias localhost #小心,有些地方要有空格,要不然会出错哈哈。 ProxyPass / balancer://cluster/ stickysession=JSESSIONID|jsessionid nofailover=On ProxyPassReverse / balancer://cluster/ #ErrorLog "logs/error.log" #CustomLog "logs/access.log" common </VirtualHost> #The ProxyRequests directive should usually be set off when using ProxyPass. ProxyRequests Off <proxy balancer://cluster> BalancerMember ajp://localhost:8009 loadfactor=1 route=tomcat7_a smax=5 max=20 ttl=120 retry=300 timeout=15 BalancerMember ajp://localhost:9009 loadfactor=1 route=tomcat7_b smax=5 max=20 ttl=120 retry=300 timeout=15 # status=+H为配置热备,当所有机器都over时,才会请求该机器 #BalancerMember http://192.168.1.218:8009 status=+H ProxySet lbmethod=bytraffic </proxy>4. Tomcat7配置(server.xml):
因为是同一机器,两个应用,所以配不同的端口,不同机器则不用配,要和前面的ajp对应上。
<Connector port="8009" protocol="AJP/1.3" redirectPort="8443" />
<Connector port="9009" protocol="AJP/1.3" redirectPort="8443" />
第八章. 负载均衡测试
Tomcat7_a的cluster工程的测试文件:testCluster.jsp加上html代码:
<b>负载均衡测试:此为:Tomcat7_a上的文件,<font color=red>aaaaaaaaaaaaaaaaaa</font><b>
Tomcat7_b的cluster工程的测试文件:testCluster.jsp加上html代码
<b>负载均衡测试:此为:Tomcat7_b上的文件,<font color=red>bbbbbbbbbbbbbbbbbb</font><b>
打开浏览器,进入地址:http://localhost:8000/cluster/testCluster.jsp
多刷新几次,会看到页面值会在aaaaa和bbbbb间切换,说明负载均衡配置成功。如图:
第九章. Mod_proxy负载均衡算法
目前mod_proxy有3种负载均衡算法:
1. Request Counting(我猜是Round-robin), lbmethod=byrequests
2. Weighted Traffic Counting(这个是按权重,此例也是用此算法), lbmethod=bytraffic
3. Pending Request Counting(从apche文档来看,应该是按负载量,也就是往负载少的派发新请求). lbmethod=bybusyness
它们通过lbmethod值设置。
第十章. 参考文档:
Tomcat 7 doc文档
http://httpd.apache.org/docs/2.2/mod/mod_proxy_balancer.html
http://httpd.apache.org/docs/2.2/mod/mod_proxy.html
第十一章. 补充内容:负载均衡管理器
负载均衡管理器可以动态更新负载均衡的应用,你可以用管理器更改负载因子或者特定的应用,还可以把应用设为off模式。
为了使用balancer management, mod_status和mod_proxy_balancer 必需要加载到apache.
设置:
#此项为mod_proxy_balancer管理器需要
LoadModule status_module modules/mod_status.so
在负载均衡项前加上:
#mod_balancer管理应用
<Location /balancer-manager>
SetHandler balancer-manager
Order Allow,Deny
Allow from all
</Location>
可以通过以下地址访问:http://localhost:8000/balancer-manager
附件中是一些相关的配置文件,大家可以参考:
- cluster_loadbalance.rar (15.7 KB)
- 下载次数: 1522
评论
60 楼
leixm
2012-06-21
为什么我的负载均衡管理器 配置不起呢?
59 楼
deng_1987
2011-09-19
关注一下,问下 你有没有遇见这样的情况,使用mod_proxy的时候,request.getRemoteAddr()获取到的是代理的ip,也就是apache所在的ip,而不是客户的ip。这个情况怎么解决呀?
58 楼
cgttian
2011-04-28
763691 写道
peterwei 写道
763691 写道
有点疑问 如果其中一个服务器 当掉了一段时间后 又启起来了 apache是不会知道 服务器OK了的 有没有方式 可以解决
你这个是什么问题?表述得不够清楚。
比如说现在有3个tomcat: tomcat1,tomcat2,tomcat3
运行一段时间后tomcat3挂了 然后我们重新启动tomcat3 现在apache是不会把请求转发到tomcat3去的 除非重新启动apache
我试了两个Tomcat : Tomcat_A,Tomcat_B
跑起来后把 A 关了又重新启动 A还是可以有被分发到请求,不过得过上一小段时间才行.
57 楼
cgttian
2011-04-28
给我扫盲了...
刚学着配置跑了下
谢谢了!
刚学着配置跑了下
谢谢了!
56 楼
mienimaer
2011-04-28
刚刚看了一篇同样主题的,http://www.iteye.com/topic/1017961,又看到这个,温习过了,哈哈!
55 楼
java_pad
2011-04-28
希望老大多多共享哈!
54 楼
lijunlong
2011-03-22
好贴,楼主真细心啊
53 楼
763691
2011-02-09
thks 写道
楼主,请问下tomcat7的环境变量怎么配置,我配置了但是启动的时候cmd窗口一闪而过。
请指教,谢谢了!
请指教,谢谢了!
你这个可能是环境变量没对吧
52 楼
763691
2011-02-09
peterwei 写道
763691 写道
有点疑问 如果其中一个服务器 当掉了一段时间后 又启起来了 apache是不会知道 服务器OK了的 有没有方式 可以解决
你这个是什么问题?表述得不够清楚。
比如说现在有3个tomcat: tomcat1,tomcat2,tomcat3
运行一段时间后tomcat3挂了 然后我们重新启动tomcat3 现在apache是不会把请求转发到tomcat3去的 除非重新启动apache
51 楼
mib168
2011-01-31
一直没时间学习这个,当前项目没设计到这块,这个弄透了也不容易呀 呵呵
50 楼
peterwei
2011-01-30
763691 写道
有点疑问 如果其中一个服务器 当掉了一段时间后 又启起来了 apache是不会知道 服务器OK了的 有没有方式 可以解决
你这个是什么问题?表述得不够清楚。
49 楼
763691
2011-01-30
有点疑问 如果其中一个服务器 当掉了一段时间后 又启起来了 apache是不会知道 服务器OK了的 有没有方式 可以解决
48 楼
peterwei
2010-12-26
angelsinklow 写道
这样做大概不能实现高可用性吧 ? apache 做 转发的 那台服务器挂了就全完蛋了。。。。。。
apache本身可以做集群,你要说地震了,机房坏了,我就没办法了。哈哈。
47 楼
peterwei
2010-12-26
thks 写道
楼主,请问下tomcat7的环境变量怎么配置,我配置了但是启动的时候cmd窗口一闪而过。
请指教,谢谢了!
请指教,谢谢了!
不用配什么呀,估计是你自身电脑环境的问题。
46 楼
thks
2010-12-26
楼主,请问下tomcat7的环境变量怎么配置,我配置了但是启动的时候cmd窗口一闪而过。
请指教,谢谢了!
请指教,谢谢了!
45 楼
xiangdefei
2010-12-09
最近也在学着配置tomcat集群。。不错。
44 楼
angelsinklow
2010-12-03
这样做大概不能实现高可用性吧 ? apache 做 转发的 那台服务器挂了就全完蛋了。。。。。。
43 楼
okjacky
2010-11-25
正打算研究这方面的东西 不错 留下个脚印供以后参考。
42 楼
解未知数
2010-11-21
谢谢分享..
怎么老是有人放风凉话呢...
怎么老是有人放风凉话呢...
41 楼
cooltester
2010-11-20
对楼主的精神非常敬佩,希望能出一个这样的深化的集合,非常期待呀...HoHo,成了你的粉丝了!
相关推荐
基于mod_proxy+Apache_2.2.16+Tomcat_7的负载均衡与集群配置
Mod_Proxy+Apache+Tomcat负载均衡与集群配置,比较详细的配置资料。
NULL 博文链接:https://kakaluyi.iteye.com/blog/759637
window下完整的apache+mod_jk或mod_proxy+tomcat配置方案,用于负载均衡及动静态页面分离。里面包含有相对应版本的apache、tomcat、mod_jk,已经多个参考文档
内附完整配置教程和修改后的apache的httpd.conf文件和tomcat的server.xml配置文件,包含test测试项目,不包含apache和tomcat安装文件。 本教程参考网上资料,本机测试成功,如有问题可以私信说明。
将以下Module的注释去掉,这里并没有使用mod_jk.so进行apache和tomcat的链接,从2.X以后apache自身已集成了mod_jk.so的功能。只需简单的把下面几行去掉注释,就相当于以前用mod_jk.so比较繁琐的配置了。这里主要采用...
apache tomcat mod_proxY参数
该软件包是apache的httpd中mod_proxy.so、mod_proxy_http.so代理模块,分别对应包含linux、windows的版本。
列表包含 mod_proxy.so mod_proxy_http.so mod_proxy_ajp.so mod_proxy_ftp.so mod_proxy_connect.so mod_proxy_balancer.so
NULL 博文链接:https://wb17534806.iteye.com/blog/679598
在Apache中通过mod_proxy_ajp模块发送AJP数据,另外一端的服务器需要实现AJP协议,能够接受mod_proxy_ajp模块发送的AJP协议数据,在接受到AJP协议数据后做适当处理,并能够将处理结果以AJP协议方式发送回给mod_proxy_...
apache2.2.4 负载均衡.txtapache2.2.4 负载均衡.txtapache2.2.4 负载均衡.txt随着访问量的不断提高,以及对响应速度的要求,进行负载均衡设置就显得非常必要了。公司的系统在最初设计的时候就已经考虑到了负载均衡的...
APACHE 2.2.9+TOMCAT6.0.18配置负载均衡 目标: 使用 apache 和 tomcat 配置一个可以应用的 web 网站,要达到以下要求: 1、 Apache 做为 HttpServer ,后面连接多个 tomcat 应用实例,并进行负载均衡。 2、 为系统...
Redhat_Linux中JDK的卸载和安装 Redhat_Linux搭建FTP服务 Redhat安装Apache和SVN Mod_Proxy+Apache+Tomcat负载均衡与集群配置 Redhat_linux创建FTP用户(含-SELinux简介)
MySQL Proxy 实现负载均衡测试 MySQL Proxy 实现负载均衡测试
下面是实现2个tomcat实现负载均衡,如果只有一个则可删除一个 apache2.2以上版本,无需使用jk_mod来集成tomcat,直接使用ajp,很方便。 修改apache配置文件httpd.conf 启用mod_proxy_ajp 代码如下: #LoadModule ...
使用Apache、mod_jk为负载均衡器的jboss集群详细配置
1,tomcat8的配置: 1.1修改tomcat8.x/conf/context.xml的配置如下: <!-- Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See the NOTICE file ...
Apache_proxy负载均衡和Session复制。
最近学习Nginx+tomcat实现 负载均衡。 首先大家注意: 本文章中没有session共享,关于session共享我会在下一篇中讲解,先实现Nginx+tomcat负载均衡再实现session共享。 从网上查了好多资料,多走了很多弯路,现在把...