tomcat分布式部署（Tomcat集群会话共享）

1|0Redis简介

redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set –有序集合)和hash（哈希类型）。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现master-slave(主从)同步。

2|0如何保持session会话

目前，为了使web能适应大规模的访问，需要实现应用的集群部署。集群最有效的方案就是负载均衡，而实现负载均衡用户每一个请求都有可能被分配到不固定的服务器上，这样我们首先要解决session的统一来保证无论用户的请求被转发到哪个服务器上都能保证用户的正常使用，即需要实现session的共享机制。

在集群系统下实现session统一的有如下几种方案：

1、请求精确定位：sessionsticky，例如基于访问ip的hash策略，即当前用户的请求都集中定位到一台服务器中，这样单台服务器保存了用户的session登录信息，如果宕机，则等同于单点部署，会丢失，会话不复制。

2、session复制共享：sessionreplication，如tomcat自带session共享，主要是指集群环境下，多台应用服务器之间同步session，使session保持一致，对外透明。 如果其中一台服务器发生故障，根据负载均衡的原理，调度器会遍历寻找可用节点，分发请求，由于session已同步，故能保证用户的session信息不会丢失，会话复制,。

此方案的不足之处：

必须在同一种中间件之间完成(如:Tomcat-tomcat之间).

session复制带来的性能损失会快速增加.特别是当session中保存了较大的对象,而且对象变化较快时, 性能下降更加显著，会消耗系统性能。这种特性使得web应用的水平扩展受到了限制。

Session内容通过广播同步给成员，会造成网络流量瓶颈，即便是内网瓶颈。在大并发下表现并不好

3、基于cache DB缓存的session共享

基于memcache/redis缓存的 session 共享

即使用cacheDB存取session信息，应用服务器接受新请求将session信息保存在cache DB中，当应用服务器发生故障时，调度器会遍历寻找可用节点，分发请求，当应用服务器发现session不在本机内存时，则去cache DB中查找，如果找到则复制到本机，这样实现session共享和高可用。

3|0nginx tomcat redis实现负载均衡、session共享

3|1环境

主机操作系统IP地址硬件/网络NginxCentOS7.339.108.140.01C2G / 公有云Tomcat-1CentOS7.3121.36.43.21C2G / 公有云Tomcat-2CentOS7.349.233.69.1951C2G / 公有云RedisCentOS7.3116.196.83.1131C2G / 公有云MySQLCentOS7.3116.196.83.1131C2G / 公有云

3|2实验拓扑

在这个图中，nginx做为反向代理，实现静动分离，将客户动态请求根据权重随机分配给两台tomcat服务器，redis做为两台tomcat的共享session数据服务器，mysql做为两台tomcat的后端数据库。

3|3nginx安装配置

使用Nginx作为Tomcat的负载平衡器，Tomcat的会话Session数据存储在Redis，能够实现零宕机的7x24效果。因为将会话存储在Redis中，因此Nginx就不必配置成stick粘贴某个Tomcat方式，这样才能真正实现后台多个Tomcat负载平衡。

部署nginx

#!/usr/bin/env bash # Mail: 18621048481@163.com # Time: 2019-9-3 # Describe: CentOS 7 Install Nginx Source Code Script version="nginx-1.14.2.tar.gz" user="nginx" nginx=${version%.tar*} path=/usr/local/src/$nginx echo $path if ! ping -c2 www.baidu.com &>/dev/null then echo "网络不通，无法安装" exit fi yum install -y gcc gcc-c openssl-devel pcre-devel make zlib-devel wget psmisc if [ ! -e $version ];then wget http://nginx.org/download/$version fi if ! id $user &>/dev/null then useradd $user -M -s /sbin/nologin fi if [ ! -d /var/tmp/nginx ];then mkdir -p /var/tmp/nginx/{client,proxy,fastcgi,uwsgi,scgi} fi tar xf $version -C /usr/local/src cd $path ./configure \ --prefix=/usr/local/nginx \ --user=nginx \ --group=nginx \ --with-http_ssl_module \ --with-http_flv_module \ --with-http_stub_status_module \ --with-http_sub_module \ --with-http_gzip_static_module \ --with-http_auth_request_module \ --with-http_random_index_module \ --with-http_realip_module \ --http-client-body-temp-path=/var/tmp/nginx/client \ --http-proxy-temp-path=/var/tmp/nginx/proxy \ --http-fastcgi-temp-path=/var/tmp/nginx/fastcgi \ --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi \ --http-scgi-temp-path=/var/tmp/nginx/scgi \ --with-pcre \ --with-file-aio \ --with-http_secure_link_module && make && make install if [ $? -ne 0 ];then echo "nginx未安装成功" exit fi killall nginx /usr/local/nginx/sbin/nginx #echo "/usr/local/nginx/sbin/nginx" >> /etc/rc.local #chmod x /etc/rc.local #systemctl start rc-local #systemctl enable rc-local ss -antp |grep nginx

配置nginx反向代理：反向代理 负载均衡 健康探测，nginx.conf文件内容：

vim /usr/local/nginx/conf/nginx.conf worker_processes 4; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; sendfile on; keepalive_timeout 65; log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; #blog lb by oldboy at 201303 upstream backend_tomcat { #ip_hash; server 192.168.6.241:8080 weight=1 max_fails=2 fail_timeout=10s; server 192.168.6.242:8080 weight=1 max_fails=2 fail_timeout=10s; #server 192.168.6.243:8080 weight=1 max_fails=2 fail_timeout=10s; } server { listen 80; server_name www.98yz.cn; charset utf-8; location / { root html; index index.jsp index.html index.htm; } location ~* \.(jsp|do)$ { proxy_pass http://backend_tomcat; proxy_redirect off; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_next_upstream error timeout invalid_header http_500 http_502 http_503 http_504; } } }

3|4安装部署tomcat应用程序服务器

在tomcat-1和tomcat-2节点上安装JDK

在安装tomcat之前必须先安装JDK，JDK的全称是java development kit,是sun公司免费提供的java语言的软件开发工具包，其中包含java虚拟机（JVM），编写好的java源程序经过编译可形成java字节码，只要安装了JDK，就可以利用JVM解释这些字节码文件，从而保证了java的跨平台性。

安装JDK，Tomcat 程序

tar xvf jdk-8u151-linux-x64.tar.gz -C /usr/local/ wget https://mirrors.tuna.tsinghua.edu.cn/apache/tomcat/tomcat-8/v8.5.55/bin/apache-tomcat-8.5.55.tar.gz tar xf apache-tomcat-8.5.55.tar.gz -C /usr/local/ cd /usr/local/ mv apache-tomcat-8.5.55/ tomcat mv jdk1.8.0_151/ jdk

按照相同方法在tomcat-2也安装

vim conf/server.xml // 设置默认虚拟主机，并增加jvmRoute <Engine name="Catalina" defaultHost="localhost" jvmRoute="tomcat-1"> // 修改默认虚拟主机，并将网站文件路径指向/web/webapp1，在host段增加context段 <Host name="localhost" appBase="webapps" unpackWARs="true" autoDeploy="true"> <Context docBase="/web/webapp1" path="" reloadable="true"/> </Host> // 增加文档目录与测试文件 mkdir -p /web/webapp1 cd /web/webapp1 cat index.jsp <%@page language="java" import="java.util.*" pageEncoding="UTF-8"%> <html> <head> <title>tomcat-1</title> </head> <body> <h1><font color="red">Session serviced by tomcat</font></h1> <table aligh="center" border="1"> <tr> <td>Session ID</td> <td><%=session.getId() %></td> <% session.setAttribute("abc","abc");%> </tr> <tr> <td>Created on</td> <td><%= session.getCreationTime() %></td> </tr> </table> tomcat-1 </body> <html> // 接下来我们将tomcat和nginx都启动起来,可以发现用户访问index.jsp会一会跳转tomcat1,一会tomcat2,session还不一致

Tomcat-2节点与tomcat-1节点配置基本类似，只是jvmRoute不同，另外为了区分由哪个节点提供访问，测试页标题也不同（生产环境两个tomcat服务器提供的网页内容是相同的）。其他的配置都相同。

用浏览器访问nginx主机，验证负载均衡

验证健康检查的方法可以关掉一台tomcat主机，用客户端浏览器测试访问。

从上面的结果能看出两次访问，nginx把访问请求分别分发给了后端的tomcat-1和tomcat-2，客户端的访问请求实现了负载均衡，但sessionid并一样。所以，到这里我们准备工作就全部完成了，下面我们来配置tomcat通过redis实现会话保持。

3|5安装redis

yum -y install gcc wget http://download.redis.io/releases/redis-4.0.14.tar.gz tar xvf redis-4.0.14.tar.gz -C /opt/ cd /opt/redis-4.0.14

编译安装

# Redis的编译，只将命令文件编译，将会在当前目录生成bin目录 make && make install PREFIX=/usr/local/redis cd .. mv redis-4.0.14/* /usr/local/redis/ # 创建环境变量 echo 'PATH=$PATH:/usr/local/redis/src/' >> /etc/profile source /etc/profile # 此时在任何目录位置都可以是用redis-server等相关命令 [root@redis1 ~]# redis- redis-benchmark redis-check-rdb redis-sentinel redis-trib.rb redis-check-aof redis-cli redis-server

配置Redis

# 设置后台启动 # 由于Redis默认是前台启动，不建议使用.可以修改为后台 daemonize yes # 禁止protected-mode yes/no(保护模式，是否只允许本地访问) protected-mode # 设置远程访问 # Redis默认只允许本机访问，把bind修改为bind 0.0.0.0 此设置会变成允许所有远程访问，如果指定限制访问，可设置对应IP。 # bind指定是redis所在服务器网卡的IP，不指定本机网卡IP，可能导致你的Redis实例无法启动 # 如果想限制IP访问，内网的话通过网络接口(网卡限定)，让客户端访问固定网卡链接redis # 如果是公网，通过iptables指定某个IP允许访问 bind 0.0.0.0 # 配置Redis日志记录 # 找到logfile，默认为logfile "",改为自定义日志格式 logfile /var/log/redis_6379.log # 把requirepass修改为123456,修改之后重启下服务 requirepass "123456" # 不重启Redis设置密码 # 在配置文件中配置requirepass的密码（当Redis重启时密码依然生效） 127.0.0.1:6379> config set requirepass test123 # 查询密码 127.0.0.1:6379> config get requirepass 1) "requirepass" 2) "test123" # 密码验证 127.0.0.1:6379> auth test123 OK 127.0.0.1:6379> set name flying OK 127.0.0.1:6379> get name "flying" # 远程主机连接 # redis-cli -h redis_ip -p redis_port -a password

启动测试

# 放到后台输出，redis自带日志了，可以输出到黑洞 nohup redis-server /usr/local/redis/redis.conf &> /usr/local/redis/redis.log & # 关闭命令 redis-cli -h 127.0.0.1 -p 6379 -a 123456 shutdown # 注意：不建议使用 kill -9，这种方式不但不会做持久化操作，还会造成缓冲区等资源不能优雅关闭。极端情况下造成 AOF 和 复制丢失数据 的情况。 # shutdown 还有一个参数，代表是否在关闭 redis 前，生成 持久化文件，命令为 redis-cli shutdown nosave|save。 # 设置开机自启动 echo "redis-server /usr/local/redis.conf" >> /etc/rc.local

3|6配置tomcat session redis同步

通过TomcatClusterRedisSessionManager，这种方式支持redis3.0的集群方式下载TomcatRedisSessionManager-2.0.zip包，https://github.com/ran-jit/tomcat-cluster-redis-session-manager，放到$TOMCAT_HOMA/lib下，并解压

cd /usr/local/tomcat/lib/ wget https://github.com/ran-jit/tomcat-cluster-redis-session-manager/releases/download/2.0.4/tomcat-cluster-redis-session-manager.zip unzip tomcat-cluster-redis-session-manager.zip cp tomcat-cluster-redis-session-manager/lib/* ./ cp tomcat-cluster-redis-session-manager/conf/redis-data-cache.properties ../conf/ cat ../conf/redis-data-cache.properties #-- Redis data-cache configuration //远端redis数据库的地址和端口 #- redis hosts ex: 127.0.0.1:6379, 127.0.0.2:6379, 127.0.0.2:6380, .... redis.hosts=192.168.6.244:6379 //远端redis数据库的连接密码 #- redis password (for stand-alone mode) redis.password=pwd@123 //是否支持集群，默认的是关闭 #- set true to enable redis cluster mode redis.cluster.enabled=false //连接redis的那个库 #- redis database (default 0) #redis.database=0 //连接超时时间 #- redis connection timeout (default 2000) #redis.timeout=2000 //在这个<Context>标签里面配置 vim ../conf/context.xml <Valve className="tomcat.request.session.redis.SessionHandlerValve" /> <Manager className="tomcat.request.session.redis.SessionManager" />

配置会话到期时间在../conf/web.xml

<session-config> <session-timeout>60</session-timeout> </session-config>

启动tomcat服务

[root@linux-node2 lib]# ../bin/startup.sh

Tomcat-2节点与tomcat-1节点配置相同

测试，我们每次强刷他的sessionID都是一致的，所以我们认为他的session会话保持已经完成，你们也可以选择换个客户端的IP地址来测试

,