LVS+Keepalived实现web服务器负载均衡

1、什么是LVS？
首先简单介绍一下LVS (Linux Virtual Server)到底是什么东西，其实它是一种集群(Cluster)技术，采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率，将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的，而且无需修改客户端和服务器端的程序。

(一) 网络架构
    localhost: (LVS_MASTER)
    eth2：192.168.1.248       MAC地址： 00:0C:29:B6:68:F9  
    D2：(LVS_BACKUP)
    eth2: 192.168.1.249        MAC地址： 00:0C:29:F3:81:E9      
    
    VIP:192.168.1.250    (网站对外提供的虚拟ip地址，域名是解析到这个ip地址)

本地虚拟机中搭建相同web环境，配置域名www.test248lvs.cc
    
(二) 安装keepalived (localhost,D2服务器都要安装keepalived)

[root@localhost ~]# mkdir /data/software/
[root@localhost ~]# mkdir -p /data/apps/keepalived/
[root@localhost ~]# cd /data/software/    
上传keepalived-1.2.13.tar.gz文件    百度云盘下载地址：http://pan.baidu.com/s/1o63rcgE
[root@localhost software]# tar -zxvf keepalived-1.2.13.tar.gz
[root@localhost software]# cd keepalived-1.2.13
[root@localhost keepalived-1.2.13]# ./configure –sysconf=/data/conf/ –prefix=/data/apps/keepalived/

遇到错误：
    [root@localhost keepalived-1.2.13]# ./configure –sysconf=/data/conf/ –prefix=/data/apps/keepalived/
    checking for gcc… no
    checking for cc… no
    checking for cl.exe… no
    configure: error: in `/data/software/keepalived-1.2.13′:
    configure: error: no acceptable C compiler found in $PATH
    See `config.log’ for more details

解决问题：
[root@localhost keepalived-1.2.13]# yum -y install gcc

遇到报错：
    —> Package ppl.x86_64 0:0.10.2-11.el6 will be installed
    –> Finished Dependency Resolution
    Error: Package: glibc-headers-2.12-1.166.el6_7.3.x86_64 (updates)
           Requires: kernel-headers >= 2.2.1
    Error: Package: glibc-headers-2.12-1.166.el6_7.3.x86_64 (updates)
           Requires: kernel-headers
    You could try using –skip-broken to work around the problem
   You could try running: rpm -Va –nofiles –nodigest

解决方法：修改文件vi /etc/yum.conf 将exclude=kernel*前加注释即可解决，此参数的意思是排除安装或更新kernel开头的软件，而我们安装gcc需要依赖kernel相关的软件glibc-headers-2.12-1.80.el6_3.5.x86_64 。

再次执行：
[root@localhost keepalived-1.2.13]# yum -y install gcc

# 如果出现!!! OpenSSL is not properly installed on your system. !!! 则执行yum -y install openssl-devel
 
（三）解决以上出现的问题之后：
[root@localhost keepalived-1.2.13]# make
[root@localhost keepalived-1.2.13]# make install

配置keepalived系统文件：
[root@localhost ~]# ln -s /data/apps/keepalived/sbin/keepalived /sbin/keepalived
[root@localhost ~]# cp /home/data/conf/rc.d/init.d/keepalived  /etc/rc.d/init.d/
[root@localhost ~]# cp /home/data/conf/sysconfig/keepalived /etc/sysconfig/
[root@localhost ~]# mkdir /etc/keepalived
[root@localhost ~]# cp /home/data/conf/keepalived/keepalived.conf /data/conf/
[root@localhost ~]# ln -s /data/conf/keepalived.conf  /etc/keepalived/keepalived.conf
[root@localhost ~]# rm -rf  /data/conf/keepalived /data/conf/rc.d /data/conf/sysconfig
[root@localhost ~]# echo “1” >/proc/sys/net/ipv4/ip_forward                # 开启路由功能

(四) 安装ipvs管理软件(D1,D2服务器都要安装)
1： 检查kernel是否已经支持LVS的IPVS模块
[root@localhost keepalived]# modprobe -l | grep ipvs
kernel/net/netfilter/ipvs/ip_vs.ko
kernel/net/netfilter/ipvs/ip_vs_rr.ko
kernel/net/netfilter/ipvs/ip_vs_wrr.ko
kernel/net/netfilter/ipvs/ip_vs_lc.ko
kernel/net/netfilter/ipvs/ip_vs_wlc.ko
kernel/net/netfilter/ipvs/ip_vs_lblc.ko
kernel/net/netfilter/ipvs/ip_vs_lblcr.ko
kernel/net/netfilter/ipvs/ip_vs_dh.ko
kernel/net/netfilter/ipvs/ip_vs_sh.ko
kernel/net/netfilter/ipvs/ip_vs_sed.ko
kernel/net/netfilter/ipvs/ip_vs_nq.ko
kernel/net/netfilter/ipvs/ip_vs_ftp.ko
kernel/net/netfilter/ipvs/ip_vs_pe_sip.ko
如果有类似上面的输出则说明内核已经支持

安装ipvs
[root@localhost ~]# yum -y install ipvsadm
[root@localhost ~]# ipvsadm –help        【看到参数信息则说明安装成功】

(五) 添加防火墙规则
[root@localhost ~]# iptables -F -t mangle      【清空mangle中的规则，如果已经有负载的防火墙配置不需要执行】
[root@localhost ~]# iptables -t mangle -I PREROUTING -d 192.168.1.250 -p tcp -m tcp –dport 80 -m mac ! –mac-source 00:0C:29:F3:81:E9 -j MARK –set-mark 1        【D1执行此命令】

[root@localhost ~]# iptables -t mangle -I PREROUTING -d 192.168.1.250 -p tcp -m tcp –dport 80 -m mac ! –mac-source 00:0C:29:B6:68:F9 -j MARK –set-mark 1        【D2执行此命令】

【目标ip地址是192.168.1.250并且目标端口为80的数据标记为1 排除另外一台lvs调度器 所以是排除另外一台调度器的mac地址 两台lvs的set-mark 值不同 并且规则中都排除对端的mac地址， D1上执行排除D2的mac地址】
[root@localhost ~]# service iptables save
[root@localhost ~]# service iptables restart

验证上述操作是否成功
[root@localhost ~]# vi /etc/sysconfig/iptables
增加了一条：
-A PREROUTING -d 192.168.1.250/32 -p tcp -m tcp –dport 80 -m mac ! –mac-source 00:0C:29:F3:81:E9 -j MARK –set-xmark 0x1/0xffffffff

(五) 配置keepalived
D1 上配置
[root@localhost software]# vi /etc/keepalived/keepalived.conf
编辑文档全文如下：
! Configuration File for keepalived
global_defs {
    notification_email {
        liuxing007xing@163.com  # 故障通知邮件地址，可以多个地址换行        
    }
    notification_email_from funet8@163.com # 故障发送人
    smtp_server smtp.163.com # 由163.com发送邮件
    smtp_connect_timeout 30

    #运行Keepalived服务器的一个标识
    #发邮件时显示在邮件标题中的信息
    router_id LVS_MASTER  #BACKUP上修改为LVS_BACKUP，网上资料说这个值也需要修改，具体不详，之前我们线上的主备就一直是一样 ^ ^还是修改一下吧！
}

# 监测ipvsadm进程状态，每3秒执行一次
vrrp_script chk_ipvsadm{
    script “/data/conf/shell/chk_ipvsadm.sh”
    interval 3
    weight 3
}

vrrp_instance VI_1 {
    # 指定实例的初始状态(角色)。在两台都启动时系统会马上选择priority值高的作为MASTER
    state MASTER   #角色主MASTER，备服务器改为BACKUP
    interface eth2   #HA侦听接口
    virtual_router_id 11   #虚拟路由标记ID，同一组vrrp一致，VRID 标记(0-255)
    priority 100   #优先级自定义，MASTER高于BACKUP即可
    advert_int 1   #HA 侦听间隔：1秒
    authentication {   #认证形式
        auth_type PASS   #认证类型PASS：PASS/AH 2种可选
        auth_pass frN9PUPvemObmon506JYsKsb  #认证密码，同一组vrrp密码一致
    }

    #VIP 这个IP在发生MASTER 到 BACKUP切换时会随之add或del，所以每台服务器上可以不绑定
    #虚拟地址，而都放入virtual_ipaddress块中(可以多个)，keepalived会自动使用ip地址进
    #行绑定(不需要依赖ifcfg-eth0)，利用ip add show eth0可以看到加入的VIP
    virtual_ipaddress {   #虚拟服务地址，虚拟IP（VTP），可以多个，分多行
        192.168.1.250
    }
}

# 定义virtual_server (HTTP | 80)
virtual_server fwmark 2 {   #虚拟服务地址和端口
    delay_loop 6   #运行情况检查，单位秒,每隔6秒查询realserver状态
    lb_algo wlc   #负载调度算法，RR为轮询
    lb_kind DR   #LVS负载工作模式为DR，三大模式NAT,TUN,DR
    nat_mask 255.255.255.0   #网络掩码
    #persistence_timeout 50   #会话保持时间，50秒内分配同一节点，即同一IP的连接50秒内被分配到同一台realserver，测试时候为了查看均衡效果可以先注释掉
    protocol TCP    #协议类型TCP/UDP，用TCP协议检查realserver状态

    # 定义rs1，每一个rs都需要下面的一个配置段
    real_server 192.168.1.248 80 {   #配置真实服务器节点1（第一个web服务器）的IP和端口
        weight 5           #权值大小，越大权值越高，默认1，0为失效
        # inhibit_on_failure # 在服务器健康检查失败后不从IPVS中删除而将其权值标记为0

        # TCP方式的健康检查
        TCP_CHECK {           #健康检查方式，realserver 状态检测时间，单位秒
            connect_timeout 3           #连接超时时间3秒
            nb_get_retry 3                  #重试次数:3次
            delay_before_retry 3       #重试间隔
            connect_port 80                #健康检查端口连接端口
        }
    }

    real_server 192.168.1.249 80 { # 第二个web服务器
        weight 5
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }
}

D2上配值和D1基本相同只是state MASTER改成state BACKUP,priority 100 改成 priority 80

[root@localhost software]# vi /data/conf/shell/chk_ipvsadm.sh
编辑文档全文如下：
#!/bin/bash
#
# author: star
# description:
# 定时查看ipvsadm是否存在，如果不存在则启动ipvsadm，
# 如果启动失败，则停止keepalived
#

status=$(ps aux|grep ipvsadm | grep -v grep | grep -v bash | wc -l)
if [ “${status}” = “0” ]; then
        service ipvsadm start
        status2=$(ps aux|grep ipvsadm | grep -v grep | grep -v bash |wc -l)
        if [ “${status2}” = “0”  ]; then
                /etc/init.d/keepalived stop
        fi
fi
(六) Real_Server上的配置  (D1,D2上执行相同的操作)

# 在LVS的DR模式下，用户的访问请求到达Real Server 后，是直接返回给用户的，不再经过前端的Director Server,因此，需要在每个Real server节点上增加虚拟的VIP地址，这样数据才能直接返回给用户
[root@localhost ~]# chmod 777 /etc/rc.d/init.d/functions

[root@localhost ~]# vi /data/conf/shell/lvs_realserver.sh
编辑文档全文如下：
#!/bin/bash
#Description : Config RealServer
#Write by : star
#Last Modefiy : 2015/11/5
#把以下内容保存成:lvs_realserver.sh
#并放置在/etc/init.d目录下
#如果想启动LVS Server执行:/etc/init.d/lvs_realserver.sh start
#如果想停止LVS Server执行:/etc/init.d/lvs_realserver.sh stop

#VIP=119.147.208.11   #虚拟IP，视具体情况而变

. /etc/rc.d/init.d/functions     # 如果提示权限不够，那么先在命令行执行: chmod 777 /etc/rc.d/init.d/functions

case “$1” in
start)
        ifconfig lo:0 192.168.1.250 netmask 255.255.255.255 broadcast 192.168.1.250
        /sbin/route add -host 192.168.1.250 dev lo:0
        echo “1” >/proc/sys/net/ipv4/conf/lo/arp_ignore
        echo “2” >/proc/sys/net/ipv4/conf/lo/arp_announce
        echo “1” >/proc/sys/net/ipv4/conf/all/arp_ignore
        echo “2” >/proc/sys/net/ipv4/conf/all/arp_announce
        sysctl -p >/dev/null 2>&1
        echo “RealServer Start OK”
        ;;
stop)
        ifconfig lo:0 down
        route del 192.168.1.250 >/dev/null 2>&1
        echo “0” >/proc/sys/net/ipv4/conf/lo/arp_ignore
        echo “0” >/proc/sys/net/ipv4/conf/lo/arp_announce
        echo “0” >/proc/sys/net/ipv4/conf/all/arp_ignore
        echo “0” >/proc/sys/net/ipv4/conf/all/arp_announce
        echo “RealServer Stoped”
        ;;
        *)
        echo “Usage: $0 {start|stop}”
        exit 1
esac
exit 0

[root@localhost ~]# ln -s /data/conf/shell/lvs_realserver.sh  /etc/init.d/lvs_realserver.sh
[root@localhost ~]# chmod 755 /etc/init.d/lvs_realserver.sh
[root@localhost ~]# service lvs_realserver.sh start

(七) 添加开机启动
[root@localhost ~]# chkconfig –add keepalived
[root@localhost ~]# chkconfig keepalived on

[root@localhost ~]# vi /etc/rc.d/rc.local
/etc/init.d/lvs_realserver.sh start  # 添加这一行到末尾

(八) 管理lvs (以下D1,D2上都执行)
1）启动lvs调度器
[root@localhost ~]# service keepalived start
# 开启路由功能
[root@localhost ~]# echo “1” >/proc/sys/net/ipv4/ip_forward
2） 关闭lvs调度器
[root@localhost ~]# service keepalived stop
# 开启路由功能
[root@localhost ~]# echo “0” >/proc/sys/net/ipv4/ip_forward

(九) 管理真实服务器 (以下D1,D2都适用)
1） 启用lvs功能
[root@localhost ~]# service lvs_realserver.sh start
2） 停用lvs功能
[root@localhost ~]# service lvs_realserver.sh stop

(十) 人为去除一台真实服务器(比如D2)
vi /etc/keepalived/keepalived.conf 找到相应部分把
weight 1 把weight 改为 0

(十一) 查看lvs调度情况

[root@localhost ~]# ipvsadm -l
[root@localhost ~]# ipvsadm -lnc
[root@localhost ~]# watch -n 1 ‘ipvsadm -L -n’

绑定hosts到
192.168.1.250 www.test248lvs.cc
打开网站测试，能够看到192.168.1.248的内容
再同样配置192.168.1.249服务器

vi /etc/keepalived/keepalived.conf 找到相应部分把192.168.1.249
weight 1 把weight 改为 0
service keepalived restart
重启打开网站看是否是248的内容。

[root@localhost conf]# ip a            【验证网卡绑定：inet 192.168.1.250/32】
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet 192.168.1.250/32 brd 192.168.1.250 scope global lo:0
2: eth2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:b6:68:f9 brd ff:ff:ff:ff:ff:ff
    inet 192.168.1.248/24 brd 191.168.1.255 scope global eth2
    inet 192.168.1.250/32 scope global eth2