Keepalived主从虚拟路由器

    技术2022-07-11  119

    Keepalived主从虚拟路由器_虚拟服务器_优先级调整

    keepalived简介:

    Keepalived是一个免费开源的,用C编写的类似于layer3, 4 & 7交换机制软件,具备我们平时说的第3层、第4层和第7层交换机的功能。主要提供loadbalancing(负载均衡)和 high-availability(高可用)功能,负载均衡实现需要依赖Linux的虚拟服务内核模块(ipvs),而高可用是通过VRRP协议实现多台机器之间的故障转移服务。

    keepalived:

    1、vrrp协议的软件实现,原生设计的目的为了高可用ipvs服务: 2、基于vrrp协议完成地址流动; 3、为vip地址所在的节点生成ipvs规则(在配置文件中预先定义); 4、为ipvs集群的各RS做健康状态检测; 5、基于脚本调用接口通过执行脚本完成脚本中定义的功能,进而影响集群事务;

    组件: 核心组件: vrrp stack ipvs wrapper checkers 控制组件: 配置文件分析器 IO复用器 内存管理组件 HA Cluster的配置前提: (1) 各节点时间必须同步; ntp, chrony (2) 确保iptables及selinux不会成为阻碍; (3) 各节点之间可通过主机名互相通信(对KA并非必须); 建议使用/etc/hosts文件实现; (4) 确保各节点的用于集群服务的接口支持MULTICAST通信; D类:224-239; 程序环境: 主配置文件:/etc/keepalived/keepalived.conf 主程序文件:/usr/sbin/keepalived 配置文件组件部分: TOP HIERACHY GLOBAL CONFIGURATION Global definitions Static routes/addresses VRRPD CONFIGURATION VRRP synchronization group(s):vrrp同步组; VRRP instance(s):每个vrrp instance即一个vrrp路由器; LVS CONFIGURATION Virtual server group(s) Virtual server(s):ipvs集群的vs和rs;用作定义虚拟服务器

    准备:四台PC,其中两台作为实验的虚拟路由器的物理路由器(Director),两台用作RS。

    1、主从虚拟路由器 两台虚拟路由器的物理主机安装keepalived软件后,将原有的/etc/keepalived/keepalived.conf重命名用作备份,完成后新建keepalived.conf文件编写如下:

    ! Configuration File for keepalived #!起始行为注释行 global_defs { # 全局定义块 notification_email { #通告邮件用户,需要邮件服务,这里不做测试 root@localhost #接收邮件地址 } notification_email_from keepalived@localhost #发送邮件用户 smtp_server 127.0.0.1 #邮件服务器 smtp_connect_timeout 30 #连接超时 router_id HA1 #当前路由设备ID,一般为主机名,可变 vrrp_mcast_group4 224.18.18.19 #组播地址,实现健康检查,心跳 } vrrp_instance VI_1 { #实例化虚拟路由器参数 state MASTER #当前路由设备状态,MASTER或BACKUP,可一主一从或一主多从, interface eth0 #实例的网络物理接口 virtual_router_id 51 #虚拟路由ID,两台主机需相同 priority 96 #当前物理网络节点的优先级,0-254 advert_int 1 #MASTER与BACKUP节点间健康检查时间间隔 authentication { #PASS或AH认证,一般使用PASS,长度为8, auth_type PASS auth_pass a1b2c3d4 } virtual_ipaddress { #虚拟路由器IP 192.168.1.201/24 dev eth0 label eth0:0 #绑定在eth0,标签为eth0:0 } }

    另一台主机设置如下:

    ! Configuration File for keepalived #!起始行为注释行 global_defs { #全局定义块 notification_email { #通告邮件用户,需要邮件服务,这里不做测试 root@localhost #接收邮件地址 } notification_email_from keepalived@localhost #发送邮件用户 smtp_server 127.0.0.1 #邮件服务器 smtp_connect_timeout 30 #连接超时 router_id HA2 #当前路由设备ID,一般为主机名,可变 vrrp_mcast_group4 224.18.18.19 #组播地址 } vrrp_instance VI_1 { #实例化虚拟路由器参数 state BACKUP #当前路由设备状态,MASTER或BACKUP,可一主一从或一主多从, interface ens33 #实例的网络物理接口,主机网络接口 virtual_router_id 51 #虚拟路由ID,两台主机需相同 priority 100 #当前物理网络节点的优先级,0-254,一般MASTER主机节点优先级设置最高,BACKUP要低一点 advert_int 1 #MASTER与BACKUP节点间健康检查时间间隔 authentication { #PASS或AH认证,一般使用PASS,长度为8, auth_type PASS auth_pass a1b2c3d4 } virtual_ipaddress { #虚拟路由器IP 192.168.1.201/24 dev ens33 label ens33:0 #绑定在ens33,标签为ens33:0 } }

    编写完成后,两主机各启动keepalived服务:

    systemctl start keepalived

    查看另一台主机状态 由于工作在BACKU模式下,所有没有虚拟路由IP,现在将MASTER主机stop停掉,查看状态: 再次查看之前工作在BACKUP模式下的主机状态: 2、主从虚拟服务器,lvs-dr与sorry_server 在其中一台Director主机keepalived.conf文件内添加虚拟服务器配置段,如下:

    ! Configuration File for keepalived global_defs { notification_email { admin@localhost } notification_email_from Alexandre.Cassen@firewall.loc smtp_server 127.0.0.1 smtp_connect_timeout 30 router_id HA2 vrrp_mcast_group4 224.18.18.19 } vrrp_instance VI_1 { state BACKUP interface ens33 virtual_router_id 51 priority 100 advert_int 1 authentication { auth_type PASS auth_pass a1b2c3d4 } virtual_ipaddress { 192.168.1.201/24 dev ens33 label ens33:0 } } virtual_server 192.168.1.201 80 { #虚拟服务配置块 delay_loop 3 #轮询健康检查时间间隔 lb_algo rr #客户端请求分配方法,rr,wrr,lc.wlc.lblc,sh,dh,默认wlc lb_kind DR #调用方法,NET,DR,TUN protocol TCP #协议 sorry_server 127.0.0.1 80 # 宕机反馈页,RS宕机后,Director提供 real_server 192.168.1.107 80 { #RS配置块 weight 1 #权重 HTTP_GET { #健康检测方式HTTP_GET,SSL_GET,TCP_CHECK,SMTP_CHECK,MISC_CHECK url { path / #请求主页信息,可以自定义一个页面,专用做健康检测 status_code 200 #判断健康反馈码 } connect_timeout 3 #检测超时时长 nb_get_retry 3 #重试次数 delay_before_retry 3 #延时时间,三秒检测一次,失败后,延时三秒后再次检测,失败三次后,判断为下线状态 } } real_server 192.168.1.108 80 { weight 1 HTTP_GET { url { path / status_code 200 } connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } }

    在另一台Director主机keepalived.conf文件内添加虚拟服务器配置段,如下:

    ! Configuration File for keepalived global_defs { notification_email { admin@localhost } notification_email_from Alexandre.Cassen@firewall.loc smtp_server 127.0.0.1 smtp_connect_timeout 30 router_id HA1 vrrp_mcast_group4 224.18.18.19 } vrrp_instance VI_1 { state MASTER interface eth0 virtual_router_id 51 priority 96 advert_int 1 authentication { auth_type PASS auth_pass a1b2c3d4 } virtual_ipaddress { 192.168.1.201/24 dev eth0 label eth0:0 } } virtual_server 192.168.1.201 80 { #虚拟服务配置块 delay_loop 3 #轮询健康检查时间间隔 lb_algo rr #客户端请求分配方法,rr,wrr,lc.wlc.lblc,sh,dh,默认wlc lb_kind DR #调用方法,NET,DR,TUN protocol TCP #协议 sorry_server 127.0.0.1 80 # 宕机反馈页,RS宕机后,Director提供 real_server 192.168.1.107 80 { #RS配置块 weight 1 #权重 HTTP_GET { #健康检测方式HTTP_GET,SSL_GET,TCP_CHECK,SMTP_CHECK,MISC_CHECK url { path / #请求主页信息,可以自定义一个页面,专用做健康检测 status_code 200 #判断健康反馈码 } connect_timeout 3 #检测超时时长 nb_get_retry 3 #重试次数 delay_before_retry 3 #延时时间,三秒检测一次,失败后,延时三秒后再次检测,失败三次后,判断为下线状态 } } real_server 192.168.1.108 80 { weight 1 HTTP_GET { url { path / status_code 200 } connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } }

    文件全部编写完成后,需要修改系统参数, 在两台RS主机分别设置如下:(注意要把iptables,selinux关闭,或对相关请求放行)

    echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore#请求目标只有是自己的才给予响应 echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore#请求目标只有是自己的才给予响应 echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce#不对网段进行自身信息通告 echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce#不对网段进行自身信息通告 ifconfig lo:0 192.168.1.201 netmask 255.255.255.255 broadcast 192.168.1.201 up#在lo配置VIP地址,只广播信息给自身 route add -host 192.168.1.201 dev lo:0#添加lo:0 VIP地址路由,响应报文要经过lo:0网卡发送到物理网卡以原地址为192.16.1.201发送出去,

    启动Director主机的keepalived服务。 启动Director主机的nginx服务,提供宕机后的状态页。 启动RS主机的httpd服务,需要在站点根目录下建立index.html测试页,。 查看keepalived服务状态: tcpdump -i eth0 -nn host 224.18.18.19监测组播信息 根据keepalived配置参数自动生成ipvsadm策略: 模型配置如下图: 3、优先级调整 在keepalived.conf文件内添加以下内容实现调整优先级:

    vrrp_script chk_down { script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0" #如果down文件存在返回1,对当前keepalived服务进行降级操作,如果不存在,返回0,跳出脚本,touch down,keepalived服务降级,删除恢复 interval 1 #间隔1秒 weight -5 #优先级降5,此值要低于其它主机的优先级 } vrrp_script chk_nginx { script "killall -0 nginx && exit 0 || exit 1"#killall -0为测试操作,如果测试killall nginx成功,则退出脚本, #如果测试killall nginx不成功代表nginx服务已停止或出现其他问题,则对当前keepalived服务进行降级操作, interval 1 #间隔1秒 weight -5 #优先级降5,此值要低于其它主机的优先级 }

    可在vrrp_instance name {}配置段中使用track_script{}调用vrrp_script

    track_script { chk_down chk_nginx }

    如下图:

    Processed: 0.014, SQL: 9