使用keepalived搭建高可用LVS集群

2024-06-28 16:04:28

字體：大中小

來源：轉載

供稿：網友

linux Cluster 使用keepalived搭建高可用LVS 一般比較常用于搭建高可用集群的有：heartbeat、keepalived、piranha。常見的高可用集群有：高可用LVS集群、高可用web集群(keepalived+nginx)、高可用MySQL集群。 keepalived是一個類似于layer3, 4 & 7交換機制的軟件，也就是我們平時說的第3層、第4層和第7層交換。只需要簡單配置keepalived的配置文件即可實現自動生成ipvsadm規則，還可以監控后端realserver主機的健康狀態，出現故障時自動剔除集群，恢復后自動添加，以及MASTER與BACKUP之間的故障切換。本次實驗使用keepalived+Apache，搭建高可用LVS集群。 DIP=director IP RIP=realserverIP VIP=virtual server IP realserver=rs ha=director

1.實驗概況

1.1實驗拓撲圖

這里寫圖片描述

1.2簡介

本次實驗使用virtualbox創建一臺最小化安裝的centos5.5配置yum源，完成后再復制出三臺剛才已安裝好的centos5.5，共四臺虛擬機，只需要啟用一張網卡，選擇橋接模式。采用LVS的DR直接路由工作模式，wlc調度算法，后端服務器健康狀態監測方式為HTTP,此外后端服務器健康狀態監測方式還有SSL、HTTPS、TCP_CHECK等。hostname ip 角色作用ha1 VIP:eth0:0 192.168.8.30 LVS負載均衡器MASTER 接收用戶請求，轉發給后端realserver處理 DIR:eth0 192.168.8.31 用于與后端realserver進行通信ha2 VIP:eth0:0 192.168.8.30 LVS負載均衡器BACKUP 備用的LVS調度器 DIR:eth0 192.168.8.32 用于與后端realserver、 LVS負載均衡器MASTER進行通信rs1 RIP:192.168.8.33 WEB服務器與director通信，提供web服務 VIP：lo:0 192.168.8.30 用于處理director分配的請求后以此地址返回給用戶rs2 RIP:192.168.8.34 WEB服務器與director通信，提供web服務 VIP：lo:0 192.168.8.30 用于處理director分配的請求后以此地址返回處理結果給用戶

1.3實驗步驟

1.3.1MASTER配置

1).單網卡、橋接模式啟動ha1，并配置ip地址為192.168.8.312).關閉防火墻與selinux service iptable stop service ip6table stop vim /etc/selinux/conf 修改為SELINUX=disabled3).安裝keepalived前的準備由于一開始centos5.5是最小化安裝，所以需要提前安裝編譯工具以及其他安裝keepalived的組件安裝openssl yum install -y openssl openssl-devel #安裝openssl以及openssl開發包未安裝內核開發也可以使keepalived安裝成功，但無法自動生成ipvsadm規則 yum install -y kernel-devel 安裝編譯工具gcc-c++ yum install -y gcc-c++ 安裝ipvs管理工具ipvsadm yum install -y ipvsadm4).安裝keepalived wget http://www.keepalived.org/software/keepalived-1.2.7.tar.gz tar xvf keepalived-1.2.7.tar.gz cd keepalived-1.2.7 ./configure --sysconf=/etc --with-kernel-dir=/usr/src/kernels/2.6.18-417.el5-i686 #注意/usr/src/kernels/2.6.18-417.el5-i686，為題主自己的內核版本，讀者自己操作是使用tab補全，萬一照抄或許會失敗。

配置檢測結束后會出現如下結果，為三個yes，其中IPVS use libnl: No，對后續的安裝配置運行無影響。

Keepalived configuration

Keepalived version : 1.2.7 Compiler : gcc Compiler flags : -g -O2 -DETHERTYPE_IPV6=0x86dd Extra Lib : -lpopt -lssl -lcrypto Use IPVS Framework : Yes IPVS sync daemon support : Yes IPVS use libnl : No Use VRRP Framework : Yes Use VRRP VMAC : No SNMP support : No Use Debug flags : No

make make install ln -s /usr/local/sbin/keepalived /sbin

至此keepalived安裝完成

5).配置keepalived keepalived的配置文件在 /etc/keepalived/keepalived.conf cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.confbk #先備份一下 vim /etc/keepalived/keepalived.conf 以下為題主自己的配置文件，后端服務器健康狀態使用HTTP! Configuration File for keepalivedglobal_defs { notification_email { root@localhost #用于接受郵件報警，當服務異常時發郵件到郵箱提醒 } notification_email_from admin@localhost #郵件發送地址 smtp_server 127.0.0.1 #郵件服務器本機 smtp_connect_timeout 30 #smtp sever 超時時間 router_id LVS_DEVEL #服務標識，郵件主題}vrrp_instance VI_1 { state MASTER #指定本服務器為主服務器 interface eth0 virtual_router_id 51 #虛擬路由標識，MASTER與BACKUP需一致 PRiority 100 #定義優先級，需大于BACKUP的priority值 advert_int 1 authentication { #設置驗證類型與驗證密碼 auth_type PASS auth_pass abcd #驗證密碼MASTER與BACKUP需一致 } virtual_ipaddress { 192.168.8.30 #設置VIP，既配置在MASTER調度器上由于接受用戶請求的地址 }}virtual_server 192.168.8.30 80 { #虛擬服務器定義部分既MASTER調度器 delay_loop 6 #運行情況監測時間6s一次 lb_algo wlc #設置調度算法為wlc lb_kind DR #設置LVS的工作模式為DR模式 nat_mask 255.255.255.0 #虛擬服務器子網掩碼 persistence_timeout 50 #session保持時間 protocol TCP #指定轉發的協議類型 real_server 192.168.8.33 80 { #后端真實服務器節點配置realserver1 weight 3 #該節點服務器權重 HTTP_GET { #后端服務器情況檢查方式HTTP_GET,向后端服務器發送http請求，無回應即為該節點服務器異常，剔除ipvsadm規則 url { path / status_code 200 } connect_timeout 3 #3秒無響應超時 nb_get_retry 3 #重試次數 delay_before_retry 3 #重試時間間隔 } } real_server 192.168.8.34 80 { weight 1 HTTP_GET { url { path / status_code 200 } connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } }}6).將改配置文件復制到BACKUP主機scp /etc/keepalived/keepalived.conf 192.168.8.32:/etc/keepalived/7).啟動keepalived服務service keepalived start 至此MASTER的配置完成

1.3.2BACKUP配置

0).單網卡、橋接模式啟動ha2，并配置ip地址為192.168.8.32 1).與MASTER的配置相差不大關閉iptables與selinux 安裝openssl openssl-dev gcc-c++ kernel-devel ipvsadm keepalived。安裝步驟參考MASTER的配置2).修改MASTER傳過來的keepalived.confvim /etc/keepalived/keepalived.conf將 state MASTER 改為state MBACKUP priority 100 改為priority 80即可3).啟動keepalived服務service keepalived start 至此BACKUP的配置完成

1.3.3Realserver1配置

1).單網卡、橋接模式啟動rs1，并配置ip地址為192.168.8.33，關閉iptables與selinux2).安裝httpd服務 yum install httpd3).配置測試頁，啟動httpd服務echo "this is realserver1 test web" > /var/www/html/index.htmlservice httpd start4).配置arptable調整網卡的響應/通告級別 echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore5).配置網絡別名及添加路由 ifconfig lo:0 192.168.8.30 broadcast 192.168.8.30 netmask 255.255.255.255 up route add -host 192.168.8.30 dev lo:0

1.3.4Realserver2配置

1).與realserver1的配置差別不大，同樣的單網卡、橋接模式啟動rs2，并配置ip地址為192.168.8.34，關閉iptables與selinux安裝httpd，創建測試頁為與realserver1區別echo "this is realserver2 test web" > /var/www/html/index.html啟動httpd服務配置arptable配置網絡別名添加路由可使用curl http://192.168.8.33 檢測realserver1的測試頁是否正常至此所有的配置結束

1.4檢測

1.4.1實驗結果檢測

1).在MASTER輸入ipvsadm -l -n 檢查是否自動創建的了集群服務及添加的集群主機輸入ip addr 檢查192.168.8.30 這個提供用戶請求的ip地址是否存在本機存在及正常

1.4.1LVS故障切換檢測

1).假設MASTER出現異常，在MASTER輸入service keepalived stop 停止keepalived服務，使用ipvsadm -l -n 查看本機的ipvsadm是否清空使用ip addr 查看VIP 192.168.8.30是否還存在本機在BACKUP輸入ipvsadm -l -n 查看BACKUP是否繼承了MASTER的ipvsadm規則輸入ip addr 查看VIP 192.168.8.30是否存在本機若有即為LVS故障切換成功。假設MASTER解除異常 service keepalived start 重新啟用則ipvsadm規則與VIP都應該存在MASTER上

1.4.1后端服務器realserver健康狀況檢測

1).假設realserver1出現異常service httpd stop則在LVS上的使用ipvsadm -l -n查看ipvsadm規則，ipvsadm將rs1剔除，顯示為集群節點服務器中無rs1 192.168.8.33假設realserver1解除異常service httpd start則ipvsadm的規則上重新出現rs1 192.168.8.33

2其他情況

2.1當兩個realserver節點，都出現異常

解決：將WEB服務重定向在MASTER與BACKUP上，顯示錯誤頁面。1).yum install httpd2).echo "404,Not Found" > /var/www/html/index.html3).修改vim /etc/keepalived/keepalived.conf，添加sorry_server 127.0.0.1 80，修改后內容如下

virtual_server 192.168.8.30 80 { delay_loop 6 lb_algo wlc lb_kind DR nat_mask 255.255.255.0 persistence_timeout 50 protocol TCP sorry_server 127.0.0.1 80 real_server 192.168.8.33 80 { weight 3 HTTP_GET { url { path / status_code 200 } connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } }

4).重啟keepalived服務service keepalived restart5).手動將兩臺realserver的httpd服務stop，再訪問http://192.168.8.30進行測試

這里寫圖片描述測試