LVS+Keepalived实现web服务器负载均衡

LVS+Keepalived实现web服务器负载均衡

1、什么是LVS?
首先简单介绍一下LVS (Linux Virtual Server)到底是什么东西,其实它是一种集群(Cluster)技术,采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率,将请求均衡地转移到不同的服务器上执行,且调度器自动屏蔽掉服务器的故障,从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的,而且无需修改客户端和服务器端的程序。

LVS+Keepalived实现web服务器负载均衡


(一) 网络架构
    localhost: (LVS_MASTER)
    eth2:192.168.1.248       MAC地址: 00:0C:29:B6:68:F9  
    D2:(LVS_BACKUP)
    eth2: 192.168.1.249        MAC地址: 00:0C:29:F3:81:E9      
    
    VIP:192.168.1.250    (网站对外提供的虚拟ip地址,域名是解析到这个ip地址)

本地虚拟机中搭建相同web环境,配置域名www.test248lvs.cc
    
(二) 安装keepalived (localhost,D2服务器都要安装keepalived)

[[email protected] ~]# mkdir /data/software/
[[email protected] ~]# mkdir -p /data/apps/keepalived/
[[email protected] ~]# cd /data/software/    
上传keepalived-1.2.13.tar.gz文件    百度云盘下载地址:http://pan.baidu.com/s/1o63rcgE
[[email protected] software]# tar -zxvf keepalived-1.2.13.tar.gz
[[email protected] software]# cd keepalived-1.2.13
[[email protected] keepalived-1.2.13]# ./configure --sysconf=/data/conf/ --prefix=/data/apps/keepalived/

遇到错误:
    [[email protected] keepalived-1.2.13]# ./configure --sysconf=/data/conf/ --prefix=/data/apps/keepalived/
    checking for gcc... no
    checking for cc... no
    checking for cl.exe... no
    configure: error: in `/data/software/keepalived-1.2.13':
    configure: error: no acceptable C compiler found in $PATH
    See `config.log' for more details

解决问题:
[[email protected] keepalived-1.2.13]# yum -y install gcc

遇到报错:
    ---> Package ppl.x86_64 0:0.10.2-11.el6 will be installed
    --> Finished Dependency Resolution
    Error: Package: glibc-headers-2.12-1.166.el6_7.3.x86_64 (updates)
           Requires: kernel-headers >= 2.2.1
    Error: Package: glibc-headers-2.12-1.166.el6_7.3.x86_64 (updates)
           Requires: kernel-headers
    You could try using --skip-broken to work around the problem
   You could try running: rpm -Va --nofiles --nodigest

解决方法:修改文件vi /etc/yum.conf 将exclude=kernel*前加注释即可解决,此参数的意思是排除安装或更新kernel开头的软件,而我们安装gcc需要依赖kernel相关的软件glibc-headers-2.12-1.80.el6_3.5.x86_64 。

再次执行:
[[email protected] keepalived-1.2.13]# yum -y install gcc

# 如果出现!!! OpenSSL is not properly installed on your system. !!! 则执行yum -y install openssl-devel
 
(三)解决以上出现的问题之后:
[[email protected] keepalived-1.2.13]# make
[[email protected] keepalived-1.2.13]# make install

配置keepalived系统文件:
[[email protected] ~]# ln -s /data/apps/keepalived/sbin/keepalived /sbin/keepalived
[[email protected] ~]# cp /home/data/conf/rc.d/init.d/keepalived  /etc/rc.d/init.d/
[[email protected] ~]# cp /home/data/conf/sysconfig/keepalived /etc/sysconfig/
[[email protected] ~]# mkdir /etc/keepalived
[[email protected] ~]# cp /home/data/conf/keepalived/keepalived.conf /data/conf/
[[email protected] ~]# ln -s /data/conf/keepalived.conf  /etc/keepalived/keepalived.conf
[[email protected] ~]# rm -rf  /data/conf/keepalived /data/conf/rc.d /data/conf/sysconfig
[[email protected] ~]# echo "1" >/proc/sys/net/ipv4/ip_forward                # 开启路由功能

(四) 安装ipvs管理软件(D1,D2服务器都要安装)
1: 检查kernel是否已经支持LVS的IPVS模块
[[email protected] keepalived]# modprobe -l | grep ipvs
kernel/net/netfilter/ipvs/ip_vs.ko
kernel/net/netfilter/ipvs/ip_vs_rr.ko
kernel/net/netfilter/ipvs/ip_vs_wrr.ko
kernel/net/netfilter/ipvs/ip_vs_lc.ko
kernel/net/netfilter/ipvs/ip_vs_wlc.ko
kernel/net/netfilter/ipvs/ip_vs_lblc.ko
kernel/net/netfilter/ipvs/ip_vs_lblcr.ko
kernel/net/netfilter/ipvs/ip_vs_dh.ko
kernel/net/netfilter/ipvs/ip_vs_sh.ko
kernel/net/netfilter/ipvs/ip_vs_sed.ko
kernel/net/netfilter/ipvs/ip_vs_nq.ko
kernel/net/netfilter/ipvs/ip_vs_ftp.ko
kernel/net/netfilter/ipvs/ip_vs_pe_sip.ko
如果有类似上面的输出则说明内核已经支持

安装ipvs
[[email protected] ~]# yum -y install ipvsadm
[[email protected] ~]# ipvsadm --help        【看到参数信息则说明安装成功】

(五) 添加防火墙规则
[[email protected] ~]# iptables -F -t mangle      【清空mangle中的规则,如果已经有负载的防火墙配置不需要执行】
[[email protected] ~]# iptables -t mangle -I PREROUTING -d 192.168.1.250 -p tcp -m tcp --dport 80 -m mac ! --mac-source 00:0C:29:F3:81:E9 -j MARK --set-mark 1        【D1执行此命令】

[[email protected] ~]# iptables -t mangle -I PREROUTING -d 192.168.1.250 -p tcp -m tcp --dport 80 -m mac ! --mac-source 00:0C:29:B6:68:F9 -j MARK --set-mark 1        【D2执行此命令】

【目标ip地址是192.168.1.250并且目标端口为80的数据标记为1 排除另外一台lvs调度器 所以是排除另外一台调度器的mac地址 两台lvs的set-mark 值不同 并且规则中都排除对端的mac地址, D1上执行排除D2的mac地址】
[[email protected] ~]# service iptables save
[[email protected] ~]# service iptables restart

验证上述操作是否成功
[[email protected] ~]# vi /etc/sysconfig/iptables
增加了一条:
-A PREROUTING -d 192.168.1.250/32 -p tcp -m tcp --dport 80 -m mac ! --mac-source 00:0C:29:F3:81:E9 -j MARK --set-xmark 0x1/0xffffffff

(五) 配置keepalived
D1 上配置
[[email protected] software]# vi /etc/keepalived/keepalived.conf
编辑文档全文如下:
! Configuration File for keepalived
global_defs {
    notification_email {
        [email protected]  # 故障通知邮件地址,可以多个地址换行        
    }
    notification_email_from [email protected] # 故障发送人
    smtp_server smtp.163.com # 由163.com发送邮件
    smtp_connect_timeout 30

    #运行Keepalived服务器的一个标识
    #发邮件时显示在邮件标题中的信息
    router_id LVS_MASTER  #BACKUP上修改为LVS_BACKUP,网上资料说这个值也需要修改,具体不详,之前我们线上的主备就一直是一样 ^ ^还是修改一下吧!
}

# 监测ipvsadm进程状态,每3秒执行一次
vrrp_script chk_ipvsadm{
    script "/data/conf/shell/chk_ipvsadm.sh"
    interval 3
    weight 3
}

vrrp_instance VI_1 {
    # 指定实例的初始状态(角色)。在两台都启动时系统会马上选择priority值高的作为MASTER
    state MASTER   #角色主MASTER,备服务器改为BACKUP
    interface eth2   #HA侦听接口
    virtual_router_id 11   #虚拟路由标记ID,同一组vrrp一致,VRID 标记(0-255)
    priority 100   #优先级自定义,MASTER高于BACKUP即可
    advert_int 1   #HA 侦听间隔:1秒
    authentication {   #认证形式
        auth_type PASS   #认证类型PASS:PASS/AH 2种可选
        auth_pass frN9PUPvemObmon506JYsKsb  #认证密码,同一组vrrp密码一致
    }

    #VIP 这个IP在发生MASTER 到 BACKUP切换时会随之add或del,所以每台服务器上可以不绑定
    #虚拟地址,而都放入virtual_ipaddress块中(可以多个),keepalived会自动使用ip地址进
    #行绑定(不需要依赖ifcfg-eth0),利用ip add show eth0可以看到加入的VIP
    virtual_ipaddress {   #虚拟服务地址,虚拟IP(VTP),可以多个,分多行
        192.168.1.250
    }
}

# 定义virtual_server (HTTP | 80)
virtual_server fwmark 2 {   #虚拟服务地址和端口
    delay_loop 6   #运行情况检查,单位秒,每隔6秒查询realserver状态
    lb_algo wlc   #负载调度算法,RR为轮询
    lb_kind DR   #LVS负载工作模式为DR,三大模式NAT,TUN,DR
    nat_mask 255.255.255.0   #网络掩码
    #persistence_timeout 50   #会话保持时间,50秒内分配同一节点,即同一IP的连接50秒内被分配到同一台realserver,测试时候为了查看均衡效果可以先注释掉
    protocol TCP    #协议类型TCP/UDP,用TCP协议检查realserver状态

    # 定义rs1,每一个rs都需要下面的一个配置段
    real_server 192.168.1.248 80 {   #配置真实服务器节点1(第一个web服务器)的IP和端口
        weight 5           #权值大小,越大权值越高,默认1,0为失效
        # inhibit_on_failure # 在服务器健康检查失败后不从IPVS中删除而将其权值标记为0

        # TCP方式的健康检查
        TCP_CHECK {           #健康检查方式,realserver 状态检测时间,单位秒
            connect_timeout 3           #连接超时时间3秒
            nb_get_retry 3                  #重试次数:3次
            delay_before_retry 3       #重试间隔
            connect_port 80                #健康检查端口连接端口
        }
    }

    real_server 192.168.1.249 80 { # 第二个web服务器
        weight 5
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }
}

D2上配值和D1基本相同只是state MASTER改成state BACKUP,priority 100 改成 priority 80

[[email protected] software]# vi /data/conf/shell/chk_ipvsadm.sh
编辑文档全文如下:
#!/bin/bash
#
# author: star
# description:
# 定时查看ipvsadm是否存在,如果不存在则启动ipvsadm,
# 如果启动失败,则停止keepalived
#

status=$(ps aux|grep ipvsadm | grep -v grep | grep -v bash | wc -l)
if [ "${status}" = "0" ]; then
        service ipvsadm start
        status2=$(ps aux|grep ipvsadm | grep -v grep | grep -v bash |wc -l)
        if [ "${status2}" = "0"  ]; then
                /etc/init.d/keepalived stop
        fi
fi
(六) Real_Server上的配置  (D1,D2上执行相同的操作)

# 在LVS的DR模式下,用户的访问请求到达Real Server 后,是直接返回给用户的,不再经过前端的Director Server,因此,需要在每个Real server节点上增加虚拟的VIP地址,这样数据才能直接返回给用户
[[email protected] ~]# chmod 777 /etc/rc.d/init.d/functions

[[email protected] ~]# vi /data/conf/shell/lvs_realserver.sh
编辑文档全文如下:
#!/bin/bash
#Description : Config RealServer
#Write by : star
#Last Modefiy : 2015/11/5
#把以下内容保存成:lvs_realserver.sh
#并放置在/etc/init.d目录下
#如果想启动LVS Server执行:/etc/init.d/lvs_realserver.sh start
#如果想停止LVS Server执行:/etc/init.d/lvs_realserver.sh stop

#VIP=119.147.208.11   #虚拟IP,视具体情况而变

. /etc/rc.d/init.d/functions     # 如果提示权限不够,那么先在命令行执行: chmod 777 /etc/rc.d/init.d/functions

case "$1" in
start)
        ifconfig lo:0 192.168.1.250 netmask 255.255.255.255 broadcast 192.168.1.250
        /sbin/route add -host 192.168.1.250 dev lo:0
        echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
        echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
        echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
        echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
        sysctl -p >/dev/null 2>&1
        echo "RealServer Start OK"
        ;;
stop)
        ifconfig lo:0 down
        route del 192.168.1.250 >/dev/null 2>&1
        echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
        echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
        echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
        echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
        echo "RealServer Stoped"
        ;;
        *)
        echo "Usage: $0 {start|stop}"
        exit 1
esac
exit 0

[[email protected] ~]# ln -s /data/conf/shell/lvs_realserver.sh  /etc/init.d/lvs_realserver.sh
[[email protected] ~]# chmod 755 /etc/init.d/lvs_realserver.sh
[[email protected] ~]# service lvs_realserver.sh start

(七) 添加开机启动
[[email protected] ~]# chkconfig --add keepalived
[[email protected] ~]# chkconfig keepalived on

[[email protected] ~]# vi /etc/rc.d/rc.local
/etc/init.d/lvs_realserver.sh start  # 添加这一行到末尾

(八) 管理lvs (以下D1,D2上都执行)
1)启动lvs调度器
[[email protected] ~]# service keepalived start
# 开启路由功能
[[email protected] ~]# echo "1" >/proc/sys/net/ipv4/ip_forward
2) 关闭lvs调度器
[[email protected] ~]# service keepalived stop
# 开启路由功能
[[email protected] ~]# echo "0" >/proc/sys/net/ipv4/ip_forward

(九) 管理真实服务器 (以下D1,D2都适用)
1) 启用lvs功能
[[email protected] ~]# service lvs_realserver.sh start
2) 停用lvs功能
[[email protected] ~]# service lvs_realserver.sh stop

(十) 人为去除一台真实服务器(比如D2)
vi /etc/keepalived/keepalived.conf 找到相应部分把
weight 1 把weight 改为 0

(十一) 查看lvs调度情况

[[email protected] ~]# ipvsadm -l
[[email protected] ~]# ipvsadm -lnc
[[email protected] ~]# watch -n 1 'ipvsadm -L -n'

绑定hosts到
192.168.1.250 www.test248lvs.cc
打开网站测试,能够看到192.168.1.248的内容
再同样配置192.168.1.249服务器

vi /etc/keepalived/keepalived.conf 找到相应部分把192.168.1.249
weight 1 把weight 改为 0
service keepalived restart
重启打开网站看是否是248的内容。

[[email protected] conf]# ip a            【验证网卡绑定:inet 192.168.1.250/32】
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet 192.168.1.250/32 brd 192.168.1.250 scope global lo:0
2: eth2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:b6:68:f9 brd ff:ff:ff:ff:ff:ff
    inet 192.168.1.248/24 brd 191.168.1.255 scope global eth2
    inet 192.168.1.250/32 scope global eth2

1 2

未经允许不得转载:好玩吧 » LVS+Keepalived实现web服务器负载均衡