VMware虚拟机里搭建lvs+keepalived实现DR模式负载均衡

    技术2022-07-10  161

    标题LVSLVS简介与工作原理

    LVS是Linux Virtual Server的简写,意即Linux虚拟服务器,是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立,是中国国内最早出现的自由软件项目之一。 目前有三种IP负载均衡技术:DR,NAT,TUN 三种模式的优缺点可参考链接https://www.cnblogs.com/yqy921/p/6572603.html 十种调度算法 ( rrr | wrr | lc | wlc | lblc | lblcr | dh | sh | sed | nq )

    标题Keepalived工作原理

    Keepalived 是一个基于VRRP协议,虚拟路由冗余协议 (Virtual Router Redundancy Protocol,简称VRRP)来实现的LVS服务高可用方案,可以利用其来避免单点故障。虚拟路由冗余协议,可以认为是实现路由器高可用的协议,即将N台提供相同功能的路由器组成一个路由器组,这个组里面有一个master和多个backup,master上面有一个对外提供服务的vip(该路由器所在局域网内其他机器的默认路由为该vip),master会发组播,当backup收不到vrrp包时就认为master宕掉了,这时就需要根据VRRP的优先级来选举一个backup当master。这样的话就可以保证路由器的高可用了

    实验准备

    4台虚拟机centos7或者6都可以 这里是7系统

    192.168.136.130 (主) lvs+keepalived

    192.168.136.133 (备) lvs+keepalived

    192.168.136.131 (web)nginx

    192.168.136.132 (web) nginx

    四台服务器都关闭防火墙

    service iptables stop/systemctl stop firewalld

    关闭 selinux

    vi /etc/selinux/config

    SELINUX=disabled

    setenforce 0 /selinux=0

    实验步骤

    配置web服务器

    安装nginx(yum安装) yum install gcc-c++ zlib zlib-devel openssl openssl--devel pcre pcre-devel -y sudo rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm yum install nginx -y service nginx start

    安装完成后浏览器测试下输入ip:192.168.136.132 ​ 2.更改web服务器的网页端 随便输入个

    there is 132

    (2台web服务器同样的操作) vim /usr/share/nginx/html/index.html,重启下nginx刷新浏览器 3.给web服务器配置vip,执行cp脚本去执行 修改vip即可

    [root@client_132` ~]# cat /etc/init.d/vip_set.sh #!/bin/bash #Author:chenjian #Date:2020-06-29 vip=192.168.136.139 mask='255.255.255.255' dev=lo:1 case $1 in start) echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce ifconfig $dev $vip netmask $mask broadcast $vip up #route add -host $vip dev $dev echo "The RS Server is Ready!" ;; stop) ifconfig $dev down echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce echo "The RS Server is Canceled!" ;; *) echo "Usage: $(basename $0) start|stop" exit 1 ;; esac 接下来执行脚本:可以看到vip已经配置好 [root@client_132` ~]# bash /etc/init.d/vip_set.sh start The RS Server is Ready! [root@client_132` ~]# ip add 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever inet 192.168.136.139/32 brd 192.168.136.139 scope global lo:1 valid_lft forever preferred_lft forever inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000 link/ether 00:0c:29:61:8c:99 brd ff:ff:ff:ff:ff:ff inet 192.168.136.132/24 brd 192.168.136.255 scope global noprefixroute dynamic ens33 valid_lft 78157sec preferred_lft 78157sec inet6 fe80::20c:29ff:fe61:8c99/64 scope link valid_lft forever preferred_lft forever [root@client_132` ~]#

    标题 配置lvs 调度器

    1.给2台lvs调度器安装lvs软件(主和备一致)

    yum install -y ipvsadm keepalived 执行ipvsadm(主和备一致) [root@client_130 ~]# ipvsadm IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn 修改keepalived配置文件 vim /etc/keepalived/keepalived.conf 注意:选择vip时需和网卡配置ip在同一个网段,这里选择192.168.136.139 ! Configuration File for keepalived global_defs { notification_email { acassen@firewall.loc #设置报警邮件地址,可以设置多个,每行一个。 failover@firewall.loc #需开启本机的sendmail服务 sysadmin@firewall.loc } notification_email_from Alexandre.Cassen@firewall.loc #设置邮件的发送地址 smtp_server 127.0.0.1 #设置smtp server地址 smtp_connect_timeout 30 #设置连接smtp server的超时时间 router_id LVS_DEVEL #表示运行keepalived服务器的一个标识。发邮件时显示在邮件主题的信息 } vrrp_instance VI_1 { state MASTER #指定keepalived的角色,MASTER表示此主机是主服务器,BACKUP表示此主机是备用服务器 interface ens33 #指定HA监测网络的接口 virtual_router_id 51 #虚拟路由标识,这个标识是一个数字,同一个vrrp实例使用唯一的标识。即同一vrrp_instance下,MASTER和BACKUP必须是一致的 priority 100 #定义优先级,数字越大,优先级越高,在同一个vrrp_instance下,MASTER的优先级必须大于BACKUP的优先级 advert_int 1 #设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔,单位是秒 authentication { #设置验证类型和密码 auth_type PASS #设置验证类型,主要有PASS和AH两种 auth_pass 1111 #设置验证密码,在同一个vrrp_instance下,MASTER与BACKUP必须使用相同的密码才能正常通信 } virtual_ipaddress { #设置虚拟IP地址,可以设置多个虚拟IP地址,每行一个 必须是同网段 192.168.136.139 } } virtual_server 192.168.136.139 80 { #设置虚拟服务器,需要指定虚拟IP地址和服务端口,IP与端口之间用空格隔开 delay_loop 6 #设置运行情况检查时间,单位是秒 lb_algo wrr #设置负载调度算法,这里设置为wrr,即加权轮询算法 lb_kind DR #设置LVS实现负载均衡的机制,有NAT、TUN、DR三个模式可选 nat_mask 255.255.255.0 persistence_timeout 0 #会话保持时间,单位是秒。这个选项对动态网页是非常有用的,为集群系统中的session共享提供了一个很好的解决方案。 #有了这个会话保持功能,用户的请求会被一直分发到某个服务节点,直到超过这个会话的保持时间。 #需要注意的是,这个会话保持时间是最大无响应超时时间,也就是说,用户在操作动态页面时,如果50秒内没有执行任何操作 #那么接下来的操作会被分发到另外的节点,但是如果用户一直在操作动态页面,则不受50秒的时间限制 protocol TCP #指定转发协议类型,有TCP和UDP两种 real_server 192.168.136.131 80 { #配置服务节点1,需要指定real server的真实IP地址和端口,IP与端口之间用空格隔开 weight 2 #配置服务节点的权值,权值大小用数字表示,数字越大,权值越高,设置权值大小可以为不同性能的服务器 #分配不同的负载,可以为性能高的服务器设置较高的权值,而为性能较低的服务器设置相对较低的权值,这样才能合理地利用和分配系统资源 TCP_CHECK { #realserver的状态检测设置部分,单位是秒 connect_timeout 3 #表示3秒无响应超时 nb_get_retry 3 #表示重试次数 delay_before_retry 3 #表示重试间隔 connect_port 80 } } real_server 192.168.136.132 80 { weight 1 TCP_CHECK { connect_timeout 3 nb_get_retry 3 delay_before_retry 3 connect_port 80 } } }

    备调度器配置只需要修改state改为BACKUP priority优先级改为比主小就行,其他一致

    state BACKUP #指定keepalived的角色,MASTER表示此主机是主服务器,BACKUP表示此主机是备用服务器 priority 80 #定义优先级,数字越大,优先级越高,在同一个vrrp_instance下,MASTER的优先级必须大于BACKUP的优先级 开启keepalived服务 [root@client_130 ~]# systemctl start keepalived

    查看进程 ps aux | grep keepalived

    [root@client_130 ~]# ps aux | grep keepalived root 2306 0.0 0.1 123012 1364 ? Ss 01:30 0:01 /usr/sbin/keepalived -D root 2307 0.0 0.3 133984 3360 ? S 01:30 0:06 /usr/sbin/keepalived -D root 2308 0.0 0.2 133852 2636 ? S 01:30 0:05 /usr/sbin/keepalived -D root 5657 0.0 0.0 112812 972 pts/0 S+ 10:32 0:00 grep --color=auto keepalived

    . 2. 查看vip是否配置成功

    [root@client_130 ~]# ip add 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000 link/ether 00:0c:29:ff:ac:1a brd ff:ff:ff:ff:ff:ff inet 192.168.136.130/24 brd 192.168.136.255 scope global noprefixroute dynamic ens33 valid_lft 63385sec preferred_lft 63385sec inet 192.168.136.139/32 scope global ens33 valid_lft forever preferred_lft forever

    如果vip配置不成功,输入下面语句试试

    echo "net.ipv4.ip_forward = 1">>/etc/sysctl.conf sysctl -p ipvsadm -Ln看到如下配置就ok [root@client_130 ~]# ipvsadm -Ln IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 192.168.136.139:80 wrr -> 192.168.136.131:80 Route 2 0 0 -> 192.168.136.132:80 Route 1 0 0 [root@client_130 ~]#

    测试

    轮询访问:随便找一台其他的机器:按照我的配置的权重2:1进行访问web服务器 [root@server_128 ~]# curl -s 192.168.136.139 |grep h1 <h1>there is 131 </h1> [root@server_128 ~]# curl -s 192.168.136.139 |grep h1 <h1>there is 131 </h1> [root@server_128 ~]# curl -s 192.168.136.139 |grep h1 <h1> there is 132 </h1> [root@server_128 ~]# curl -s 192.168.136.139 |grep h1 <h1>there is 131 </h1> [root@server_128 ~]# curl -s 192.168.136.139 |grep h1 <h1>there is 131 </h1> [root@server_128 ~]# curl -s 192.168.136.139 |grep h1 <h1> there is 132 </h1> [root@server_128 ~]# web服务down掉切换 (停掉132的nginx)看看lvs这端的状态,立马踢掉132 [root@client_132` ~]# service nginx stop

    .查看调度器

    [root@localhost ~]# ipvsadm -Ln IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 192.168.136.139:80 wrr -> 192.168.136.131:80 Route 2 0 0 [root@localhost ~]# lvs主down掉之后切备(直接关掉lvs主,可选择poweroff直接关机)也可以停掉lvs服务软件 刷新备机发现vip立马被配置好,实现了主备切换。 [root@localhost ~]# ip add 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000 link/ether 00:0c:29:ed:2d:67 brd ff:ff:ff:ff:ff:ff inet 192.168.136.133/24 brd 192.168.136.255 scope global noprefixroute dynamic ens33 valid_lft 62479sec preferred_lft 62479sec inet 192.168.136.139/32 scope global ens33 valid_lft forever preferred_lft forever [root@localhost ~]#
    Processed: 0.010, SQL: 9