首页 Linux网维 Codis 高可用负载均衡群集的搭建与使用

Codis 高可用负载均衡群集的搭建与使用

网络拓扑图: 群集架构图: 机器与应用列表操作系统:System version: CentOS 6.7 IP: 192.168.43.130 hostname: vmware-1…

网络拓扑图:

Codis 高可用负载均衡群集的搭建与使用插图

群集架构图:

Codis 高可用负载均衡群集的搭建与使用插图1

机器与应用列表操作系统:System version: CentOS 6.7 IP: 192.168.43.130 hostname: vmware-130 apps: keepalived + haproxy Master, zookeeper_1, codis_proxy_1, codis_config, codis_server_master,slave

IP: 192.168.43.131 hostname: vmware-131 apps: zookeeper_2, codis_proxy_2, codis_server_master,slaveIP: 192.168.43.132 hostname: vmware-132

apps: keepalived + haproxy Backup, zookeeper_3, codis_proxy_3, codis_server_master,slaveVIP: 192.168.43.100 Port: 45001

备注:由于是虚拟测试环境,非生产环境,所以一台机器跑多个应用,如应用于生产环境,只需把应用分开部署到相应机器上即可1、初始化CentOS系统使用镜像站点配置好的yum安装源配置文件cd /etc/yum.repos.d/。

/bin/mv CentOS-Base.repo CentOS-Base.repo.bakwget http://mirrors.163.com/.help/CentOS6-Base-163.repo接下来执行如下命令,检测yum是否正常

12yum clean all #清空yum缓存yum makecache #建立yum缓存然后使用如下命令将系统更新到最新12rpm –import /etc/pki/rpm-gpg/RPM-GPG-KEY* #导入签名KEY到RPM

yum upgrade -y2. 关闭不必要的服务1234for sun in `chkconfig –list|grep 3:on|awk {print $1}`;do chkconfig –level 3 $sun off;done

for sun in `chkconfig –list|grep 5:on|awk {print $1}`;do chkconfig –level 5 $sun off;donefor sun in crond rsyslog sshd network;do chkconfig –level 3 $sun on;done

for sun in crond rsyslog sshd network;do chkconfig –level 5 $sun on;done3. 安装依赖包1yum install -y gcc make gcc-c++ automake lrzsz openssl-devel zlib-* bzip2-* readline* zlib-* bzip2-*

4. 创建软件存放目录1mkdir /data/packages5. 软件包版本以及下载地址123456789101112jdk1.8.0_45zookeeper-3.4.8go1.6.2pcre-8.37

haproxy-1.4.22keepalived-1.4.26cd /data/packageswget http://apache.fayea.com/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

wget http://golangtc.com/static/go/go1.6.2.linux-amd64.tar.gzwget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.37.tar.gz

wget http://www.keepalived.org/software/keepalived-1.2.16.tar.gz通过浏览器自行下载http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

http://www.haproxy.org/download/1.4/src/haproxy-1.4.26.tar.gz6. 重启系统1[root@vmware-130 ~]# init 6二、部署Zookeeper群集

配置hosts文件 ( zookeeper节点机器上配置 )1234[root@vmware-130 ~]# vim /etc/hosts192.168.43.130 vmware-130192.168.43.131 vmware-131

192.168.43.132 vmware-132安装java 坏境 ( zookeeper节点机器上配置 )1234[root@vmware-130 ~]# cd /data/packages[root@vmware-130 packages ]# tar zxvf jdk-8u45-linux-x64.tar.gz -C /usr/local

[root@vmware-130 packages ]# cd /usr/local[root@vmware-130 local ]# ln -s jdk1.8.0_45 java安装Zookeeper ( zookeeper节点机器上配置 )

1234cd /data/packagestar zxvf zookeeper-3.4.6.tar.gz -C /usr/localln -s zookeeper-3.4.6 zookeepercd /usr/local/zookeeper/

设置环境变量 ( zookeeper节点机器上配置 )1234567891011vim /etc/profileJAVA_HOME=/usr/local/javaJRE_HOME=$JAVA_HOME/jre

ZOOKEEPER_HOME=/usr/local/zookeeperJAVA_FONTS=/usr/local/java/jdk1.8.0_102/jre/lib/fontsCLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$ZOOKEEPER_HOME/binexport JAVA_HOME PATH CLASSPATH JRE_HOME ZOOKEEPER_HOME

#生效环境变量source /etc/profile修改zookeeper配置文件 ( zookeeper节点机器上配置 )1234567891011121314vi /usr/local/zookeeper/conf/zoo.cfg

tickTime=2000initLimit=10syncLimit=5clientPort=2181autopurge.snapRetainCount=500autopurge.purgeInterval=24

dataDir=/data/zookeeper/datadataLogDir=/data/zookeeper/logsserver.1=192.168.43.130:2888:3888server.2=192.168.43.131:2888:3888

server.3=192.168.43.132:2888:3888#生效环境变量source /etc/profile创建数据目录和日志目录 ( zookeeper节点机器上配置 )12mkdir -p /data/zookeeper/data

mkdir -p /data/zookeeper/logs在zookeeper节点机器上创建myid文件,节点对应id 在43.130机器上创建myid,并设置为1与配置文件zoo.cfg里面server.1对应。

1echo “1” > /data/zookeeper/data/myid在zookeeper节点机器上创建myid文件,节点对应id 在43.131机器上创建myid,并设置为1与配置文件zoo.cfg里面server.2对应。

1echo “2” > /data/zookeeper/data/myid在zookeeper节点机器上创建myid文件,节点对应id 在43.132机器上创建myid,并设置为1与配置文件zoo.cfg里面server.3对应。

1echo “3” > /data/zookeeper/data/myid启动zookeeper服务, 以vmware-130为例:1234[root@vmware-130 ~]# zkServer.sh start

JMX enabled by defaultUsing config: /usr/local/zookeeper/bin/../conf/zoo.cfgStarting zookeeper … STARTED

检查zookeeper所有节点状态1234567891011121314[root@vmware-130 ~]# zkServer.sh statusJMX enabled by defaultUsing config: /usr/local/zookeeper/bin/../conf/zoo.cfg

Mode: follower[root@vmware-131 ~]# zkServer.sh statusJMX enabled by defaultUsing config: /usr/local/zookeeper/bin/../conf/zoo.cfg

Mode: follower[root@vmware-132 ~]# zkServer.sh statusJMX enabled by defaultUsing config: /usr/local/zookeeper/bin/../conf/zoo.cfg

Mode: leader三、部署Codis群集安装go语言环境 ( 所有codis机器上配置 )12/data/packagestar zxvf go1.4.2.linux-amd64.tar.gz -C /usr/local

添加GO环境变量,其他环境变量不变1234567vim /etc/profileGOROOT=/usr/local/goGOPATH=/usr/local/codisPATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$ZOOKEEPER_HOME/bin:$GOROOT/bin

export JAVA_HOME PATH CLASSPATH JRE_HOME ZOOKEEPER_HOME GOROOT GOPATHsource /etc/profile安装codis ( 所有codis机器上配置 )

12345678910111213yum install -y gitgo get -u -d github.com/CodisLabs/codiscd $GOPATH/src/github.com/CodisLabs/codis

#执行编译测试脚本,编译go和reidsmakemake gotest# 将编译好后,把bin目录和一些脚本复制过去/usr/local/codis目录下:mkdir -p /usr/local/codis/{logs,conf,scripts} #创建codis日志,配置文件,脚本目录。

mkdir -p /data/codis_server/{logs,conf,data} #创建codis_server 日志,配置文件,数据目录cp -rf /usr/local/codis/src/github.com/CodisLabs/codis/bin /usr/local/codis/ #复制bin目录到自定义的安装目录

cp /usr/local/codis/src/github.com/CodisLabs/codis/config.ini /usr/local/codis/conf/ #复制模板配置文件到安装目录cp /usr/local/codis/src/github.com/CodisLabs/codis/sample/redis_conf/6381.conf /data/codis_server/conf/ #复制codis_server配置文件到配置目录

cp -rf /usr/local/codis/src/github.com/CodisLabs/codis/sample/usage.md /usr/local/codis/scripts/ #复制模板启动流程文件到脚本目录下

配置codis_proxy_1 (vmware-130 机器上配置)12345678cd /usr/local/codisvim config.inizk=vmware-130:2181,vmware-131:2181,vmware-132:2181

product=codisproxy_id=codis_proxy_1net_timeout=5dashboard_addr=192.168.43.130:18087coordinator=zookeeper

配置codis_proxy_1 (vmware-131 机器上配置)12345678cd /usr/local/codisvim config.inizk=vmware-130:2181,vmware-131:2181,vmware-132:2181

product=codisproxy_id=codis_proxy_2net_timeout=5dashboard_addr=192.168.43.130:18087coordinator=zookeeper

配置codis_proxy_1 (vmware-132 机器上配置)12345678cd /usr/local/codisvim config.inizk=vmware-130:2181,vmware-131:2181,vmware-132:2181

product=codisproxy_id=codis_proxy_3net_timeout=5dashboard_addr=192.168.43.130:18087coordinator=zookeeper

修改配置文件,启动codis-server服务. ( 所有codis-server机器上 )12345678910111213cd /data/codis_server/conf/mv 6381.conf 6379.conf

vim 6379.conf修改如下参数: (生产环境,参数适当进行调整)daemonize yespidfile /var/run/redis_6379.pidport 6379logfile “/data/codis_server/logs/codis_6379.log”

save 900 1save 300 10save 60 10000dbfilename 6379.rdbdir /data/codis_server/data复制6380配置文件12cp 6379.conf 6380.conf

sed -i s/6379/6380/g 6380.conf添加内核参数12echo “vm.overcommit_memory = 1” >> /etc/sysctl.confsysctl -p启动codis-server服务 ( 所有codis-server机器上 )

12/usr/local/codis/bin/codis-server /data/codis_server/conf/6379.conf/usr/local/codis/bin/codis-server /data/codis_server/conf/6380.conf

查看一下启动流程:( 以vmware-130机器为例 )12345678910[root@vmware-130 ~]# cat /usr/local/codis/scripts/usage.md0. start zookeeper //启动zookeeper服务

1. change config items in config.ini //修改codis配置文件2. ./start_dashboard.sh //启动 dashboard3. ./start_redis.sh //启动redis实例

4. ./add_group.sh //添加redis组,一个redis组只能有一个master5. ./initslot.sh //初始化槽6. ./start_proxy.sh //启动codis_proxy

7. ./set_proxy_online.sh //上线proxy项目8. open browser to http://localhost:18087/admin //访问管理界面这只是一个参考,有些顺序不是必须的,但启动dashboard前,必须启动zookeeper服务,这是必须的,后面有很多操作,都可以在管理页面完成,例如添加/删除组、数据分片、添加/删除redis实例等

启动dashboard12[root@vmware-130 ~]# cd /usr/local/codis/scripts/[root@vmware-130 scripts ]# sh start_dashboard.sh

创建初始化槽脚本,可参考/usr/local/codis/src/github.com/wandoulabs/codis/sample/模板脚本( 在任一台机器上机器上配置,此环境在43.130机器上配置 )

123456[root@vmware-130 ~]# vim /usr/local/codis/scripts/initslot.sh#!/bin/shCODIS_HOME=/usr/local/codis

echo “slots initializing…”$CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini slot init -fecho “done”

执行初始化槽脚本:12[root@vmware-130 ~]# cd /usr/local/codis/scripts[root@vmware-130 scripts ]# sh initslot.sh

配置codis-server,启动codis-server master ,slave实例 ,以上步骤已经启动,不在描述通过管理页面添加组ID,为组添加主从实例,一个组里只能有一个master,设置slot分片数据等。

http://192.168.43.130:18087(最好用Firefox浏览器或者谷歌浏览器,别的浏览器比较坑爹!!!) 如下图所示:

Codis 高可用负载均衡群集的搭建与使用插图2

Codis3接下来,依次添加 Server Group 1,2,3 ( 共添加3组 )

Codis 高可用负载均衡群集的搭建与使用插图3

Codis4添加好后,图为下:

Codis 高可用负载均衡群集的搭建与使用插图4

Codis5接下来添加codis-server实例包括master,slave

Codis 高可用负载均衡群集的搭建与使用插图5

Codis6全部添加完成后,如下图所示:

Codis 高可用负载均衡群集的搭建与使用插图6

Codis7为组分配Slot(槽)范围123group_1 0 – 511group_2 512 – 1023group_3 暂时不分配,以下测试中,用来迁移其他组使用如下图操作所示:group_1 ( 0 – 511 )。

Codis 高可用负载均衡群集的搭建与使用插图7

Codis8添加成功后,页面会显示success窗口,如下图所示。

Codis 高可用负载均衡群集的搭建与使用插图8

Codis9如下图操作所示:group_2 ( 512 – 1023 )

Codis 高可用负载均衡群集的搭建与使用插图9

Codis10添加成功后,页面会显示success窗口,如下图所示。

Codis 高可用负载均衡群集的搭建与使用插图10

Codis11查看整个Slots分布情况: 选择 Slots Status 或者 右上角那个 Slots 都可以看到分布情况。

Codis 高可用负载均衡群集的搭建与使用插图11

Codis12

Codis 高可用负载均衡群集的搭建与使用插图12

Codis13配置codis-ha服务,主从自动切换( 随便找个节点机器上配置即可,此环境中在43.131机器上配置 )12345[root@vmware-131 ~]# go get github.com/ngaut/codis-ha。

[root@vmware-131 ~]# cd /usr/local/codis/src/github.com/ngaut[root@vmware-131 ~]# cp -r codis-ha /usr/local/

[root@vmware-131 ~]# cd /usr/local/codis-ha[root@vmware-131 codis-ha ]# go build创建启动脚本,启动codis-ha服务12

3[root@vmware-131 ~]# vim /usr/local/codis-ha/start_codis_ha.sh#!/bin/sh./codis-ha –codis-config=192.168.43.130:18087 -log-level=”info” –productName=vmware-Codis &> ./logs/codis-ha.log &

创建日志目录123[root@vmware-131 ~]# mkdir /usr/local/codis-ha/logs[root@vmware-131 ~]# cd /usr/local/codis-ha/

[root@vmware-131 codis-ha ]# sh start_codis_ha.sh修改start_proxy.sh,启动codis-proxy服务 ( 以130机器配置为例,其余codis-proxy只需修改下名称即可。

)1234567891011121314151617181920212223[root@vmware-130 scripts]# vim /usr/local/codis/scripts/start_proxy.sh

#!/bin/shCODIS_HOME=/usr/local/codisecho “shut down codis_proxy_1…”$CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini proxy offline codis_proxy_1

echo “done”echo “start new codis_proxy_1…”nohup $CODIS_HOME/bin/codis-proxy –log-level error -c $CODIS_HOME/conf/config.ini -L $CODIS_HOME/logs/codis_proxy_1.log –cpu=8 –addr=0.0.0.0:19000 –http-addr=0.0.0.0:11000 &

echo “done”echo “sleep 3s”sleep 3tail -n 30 $CODIS_HOME/logs/codis_proxy_1.log[root@vmware-130 scripts]# vim /usr/local/codis/scripts/set_proxy_online.sh

#!/bin/shCODIS_HOME=/usr/local/codisecho “set codis_proxy_1 online”$CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini proxy online codis_proxy_1

echo “done”启动codis-proxy./start_proxy.sh上线codis_proxy_1./set_proxy_online.sh备注:其他codis_proxy只需修改start_proxy.sh和set_proxy_online.sh启动脚本里面的codis_proxy_1名称即可。

通过redis-cli客户端直接访问codis-proxy,写入数据,看组里面的master和slave 是否同步1234567[root@vmware-130 scripts]# redis-cli -p 19000。

127.0.0.1:19000> set mike liweizhongOK127.0.0.1:19000> set benet lwzOK127.0.0.1:19000> exit[root@vmware-130 scripts]#

通过管理界面看到如下图所示:

Codis 高可用负载均衡群集的搭建与使用插图13

Codis14codis-server master,slave 同步数据正常,slots槽分片数据正常接下来在通过codis-proxy去取数据看看1234567[root@vmware-130 scripts]# redis-cli -p 19000

127.0.0.1:19000> get mike”liweizhong”127.0.0.1:19000> get benet”lwz”127.0.0.1:19000> exit[root@vmware-130 scripts]#

以下用shell简单的写了个插入redis数据脚本,此脚本会插入20W个key,每运行一次,需要调整INSTANCE_NAME参数里面的数字,才可重新插入新数据仅供测试使用:123456789101112

131415[root@vmware-132 scripts]# cat redis-key.sh#!/bin/bashREDISCLI=”redis-cli -h 192.168.43.131 -p 19000 -n 0 SET”

ID=1while [ $ID -le 50000 ]doINSTANCE_NAME=”i-2-$ID-VM”UUID=`cat /proc/sys/kernel/random/uuid`CREATED=`date “+%Y-%m-%d %H:%M:%S”`

$REDISCLI vm_instance:$ID:instance_name “$INSTANCE_NAME”$REDISCLI vm_instance:$ID:uuid “$UUID”$REDISCLI vm_instance:$ID:created “$CREATED”

$REDISCLI vm_instance:$INSTANCE_NAME:id “$ID”ID=`expr $ID + 1`done执行插入脚本1[root@vmware-132 scripts]# sh redis-key.sh

通过管理界面,我们可以看到如下图所示

Codis 高可用负载均衡群集的搭建与使用插图14

Codis15数据插完后,最终如下图所示

Codis 高可用负载均衡群集的搭建与使用插图15

Codis16»第三部分部,署Keepalived + haproxy 高可用负载均衡请看下一节,至此第一、二部分已经完成创建dashboard启动脚本可参考/usr/local/codis/src/github.com/wandoulabs/codis/sample/模板脚本( 只需在一台机器上启动即可。

43.130上启动 )[root@vmware-130 ~]# vim /usr/local/codis/scripts/start_dashboard.sh#!/bin/shCODIS_HOME=/usr/local/codis

nohup $CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini -L $CODIS_HOME/logs/dashboard.log dashboard –addr=:18087 –http-log=$CODIS_HOME/logs/requests.log &>/dev/null &

免责声明:文章内容不代表本站立场,本站不对其内容的真实性、完整性、准确性给予任何担保、暗示和承诺,仅供读者参考,文章版权归原作者所有。如本文内容影响到您的合法权益(内容、图片等),请及时联系本站,我们会及时删除处理。

作者: 3182235786a

为您推荐

CentOS系统升级内核版本教程,centos内核版本升级

CentOS系统升级内核版本教程,centos内核版本升级

CentOS 系统升级系统内核版本  1、显示CentOS 系统内核版本:             [root@demo...
Linux下对 Nginx SSL 的性能进行调整

Linux下对 Nginx SSL 的性能进行调整

初始化服务器   这个web服务器运行在一个EC2 t1.micro 环境.我选择 Nginx + PHP5-FPM 来...
Linux Shell经典实例解析:Oracle启动脚本

Linux Shell经典实例解析:Oracle启动脚本

Oracle的启动脚本从功能上讲主要分为两个部分,第一部分是初始化各种环境变量,以确认当前Oracle服务器的版本,从而...
centOS6.4 64位下安装nfs文件共享系统

centOS6.4 64位下安装nfs文件共享系统

不知道谁装的服务器,默认自带,以下内容摘自互联网,配置部分按教程执行成功 一、环境介绍:   服务器:centos 19...
Linux下的Samba安装配置

Linux下的Samba安装配置

1 Samba 简介 Samba(SMB是其缩写) 是一个网络服务器,用于Linux和Windows共享文件之用;Sam...

发表回复

返回顶部