高可用集群系統(tǒng)切換故障分析及解決方案探討

李楊

聯(lián)合石化亞洲有限責(zé)任公司 中國(guó) 香港 999077

引言

高可用集群方案，是指是雙機(jī)熱備的主備機(jī)模式，通過(guò)相關(guān)策略，利用雙機(jī)，在生產(chǎn)機(jī)機(jī)發(fā)生故障時(shí)自動(dòng)啟動(dòng)備份機(jī)，讓備份機(jī)接管生產(chǎn)機(jī)任務(wù)，從而減少服務(wù)中斷時(shí)間，減少或消除系統(tǒng)中斷對(duì)用戶的影響。采用高可用集群的技術(shù)方案的一個(gè)前提是，系統(tǒng)的應(yīng)用數(shù)據(jù)存放于在主備機(jī)之外的存儲(chǔ)設(shè)備上。

實(shí)際應(yīng)用中，高可用機(jī)制多通過(guò)采用Keepalive包或Heartbeat的方式來(lái)實(shí)現(xiàn)。其應(yīng)用思想為，通過(guò)Keepalive包或Heartbeat實(shí)時(shí)監(jiān)測(cè)網(wǎng)絡(luò)中各節(jié)點(diǎn)的工作狀態(tài),當(dāng)有生產(chǎn)節(jié)點(diǎn)失靈時(shí),備份節(jié)點(diǎn)根據(jù)預(yù)設(shè)策略自動(dòng)執(zhí)行IP接管、故障切換等技術(shù)方案，從而接替失靈節(jié)點(diǎn)進(jìn)行生產(chǎn),保障失靈生產(chǎn)節(jié)點(diǎn)上正在運(yùn)行生產(chǎn)程序、進(jìn)程和各種資源正常運(yùn)行，確保集群對(duì)外的應(yīng)用服務(wù)不間斷。

1 常見(jiàn)的故障切換策略及其故障分析

在一個(gè)高可用（High Availability，HA）集群中，通常存在一個(gè)或多個(gè)資源群組。資源群組是由關(guān)鍵應(yīng)用程序、可用IP地址、MAC地址、應(yīng)用程序及其所使用的外部存儲(chǔ)、NFS文件系統(tǒng),以及應(yīng)用所需的其他資源所組成的邏輯上的實(shí)體。在實(shí)際應(yīng)用中，集群中一個(gè)有效節(jié)點(diǎn)通常只能在單位時(shí)間內(nèi)使用一個(gè)資源群組。

網(wǎng)絡(luò)故障切換策略(Network Failover Strategies)是指在Heartbeat程序確定集群中的某個(gè)節(jié)點(diǎn)失靈后，集群冗余網(wǎng)絡(luò)中的節(jié)點(diǎn)立刻接管該失靈節(jié)點(diǎn)擁有的所有資源群組提供服務(wù)，以及失靈節(jié)點(diǎn)恢復(fù)后重新加入集群時(shí)所使用的策略。網(wǎng)絡(luò)故障切換策略是HA集群的必須具備的基本特性。當(dāng)一個(gè)節(jié)點(diǎn)發(fā)生故障時(shí)，集群系統(tǒng)自動(dòng)執(zhí)行故障切換策略，將故障節(jié)點(diǎn)擁有的資源群組“切換”到集群中一個(gè)或多個(gè)其他節(jié)點(diǎn)上。當(dāng)故障節(jié)點(diǎn)恢復(fù)運(yùn)行后，以增加組件的方式將其放回到集群中，再將其功能從其他服務(wù)器轉(zhuǎn)回。集群中的所有節(jié)點(diǎn)，必須運(yùn)行集群系統(tǒng)策略來(lái)提供相應(yīng)服務(wù)。同時(shí)，集群系統(tǒng)也必須掌握每一節(jié)點(diǎn)的實(shí)時(shí)狀態(tài)，并實(shí)時(shí)與各節(jié)點(diǎn)通信，確保集群中的每個(gè)節(jié)點(diǎn)都了解其他節(jié)點(diǎn)的實(shí)時(shí)狀態(tài)。集群系統(tǒng)通常使用一條與局域網(wǎng)路徑相分離的通信路徑來(lái)實(shí)現(xiàn)以上功能，并通過(guò)專(zhuān)用網(wǎng)卡來(lái)確保各節(jié)點(diǎn)間的通信。該路徑通常只用來(lái)更新各個(gè)節(jié)點(diǎn)的“心跳”信息，以便當(dāng)一個(gè)節(jié)點(diǎn)因故障而無(wú)法發(fā)送心跳時(shí)，就立刻會(huì)有其他節(jié)點(diǎn)根據(jù)故障切換策略進(jìn)行切換。

常見(jiàn)的故障切換策略有如下幾種：

1.1 閑置備份(Idle Standby)

閑置備份策略，主要一個(gè)或多個(gè)活躍的閑置備份節(jié)點(diǎn)實(shí)時(shí)替換出現(xiàn)故障的生產(chǎn)節(jié)點(diǎn)來(lái)實(shí)現(xiàn)。正常狀態(tài)下，生產(chǎn)節(jié)點(diǎn)擁有資源群，閑置備份節(jié)點(diǎn)則實(shí)時(shí)監(jiān)督生產(chǎn)節(jié)點(diǎn)。當(dāng)生產(chǎn)節(jié)點(diǎn)失靈時(shí)，閑置備份節(jié)點(diǎn)根據(jù)事先設(shè)置的次序，替代生產(chǎn)節(jié)點(diǎn)接管資源群。當(dāng)有多個(gè)閑置備份節(jié)點(diǎn)時(shí)，各閑置備份節(jié)點(diǎn)根據(jù)優(yōu)先級(jí)的高低依次替換生產(chǎn)節(jié)點(diǎn)。在實(shí)際應(yīng)用中，生產(chǎn)節(jié)點(diǎn)與閑置備份節(jié)點(diǎn)往往使用多對(duì)多的對(duì)應(yīng)關(guān)系，即多個(gè)閑置備份節(jié)點(diǎn)形成集群，對(duì)多個(gè)生產(chǎn)節(jié)點(diǎn)進(jìn)行閑置備份。閑置備份節(jié)點(diǎn)對(duì)各生產(chǎn)節(jié)點(diǎn)的接管優(yōu)先級(jí)可能不同[1]。

使用閑置備份策略應(yīng)特別注意限制備份節(jié)點(diǎn)的優(yōu)先級(jí)設(shè)置。通常，當(dāng)集群中加入一個(gè)優(yōu)先級(jí)較高的節(jié)點(diǎn)時(shí)，往往會(huì)導(dǎo)致系統(tǒng)資源重新配置，容易造成系統(tǒng)故障。因此對(duì)于閑置備份節(jié)點(diǎn)的優(yōu)先級(jí)通常不應(yīng)設(shè)置過(guò)高。

1.2 輪流備份(Rotating Standby)

輪流備份策略中，生產(chǎn)節(jié)點(diǎn)和備份節(jié)點(diǎn)的備份切換策略和限制備份策略相似，不同的是，生產(chǎn)和備份不做區(qū)分。即先進(jìn)入集群的節(jié)點(diǎn)作為生產(chǎn)節(jié)點(diǎn)擁有資源群組,后進(jìn)入的節(jié)點(diǎn)則作為備份節(jié)點(diǎn)。

使用輪流備份策略能夠避免長(zhǎng)時(shí)間使用單一節(jié)點(diǎn)造成生產(chǎn)節(jié)點(diǎn)消耗過(guò)度，能夠很好地平衡多個(gè)節(jié)點(diǎn)的工作能力，提升系統(tǒng)可靠性，并在一定程度上延長(zhǎng)硬件使用壽命。由于生產(chǎn)節(jié)點(diǎn)和備份節(jié)點(diǎn)的屬性幾乎完全相同，在實(shí)際應(yīng)用中容易再多次輪替后產(chǎn)生混淆。

1.3 簡(jiǎn)單切換(Simple Fallover)

簡(jiǎn)單切換策略將所有的應(yīng)用服務(wù)分為主要應(yīng)用服務(wù)和輔助性應(yīng)用服務(wù)。正常狀態(tài)下，生產(chǎn)節(jié)點(diǎn)負(fù)責(zé)主要應(yīng)用服務(wù)，擁有資源群組；而備份節(jié)點(diǎn)負(fù)責(zé)輔助性應(yīng)用服務(wù)。當(dāng)生產(chǎn)節(jié)點(diǎn)失靈時(shí)，為了保證主要應(yīng)用服務(wù)不中斷，備份節(jié)點(diǎn)立刻接管資源群組,提供主要應(yīng)用服務(wù)。此時(shí)，如果系統(tǒng)資源無(wú)法支撐備份節(jié)點(diǎn)同時(shí)提供主要應(yīng)用服務(wù)和輔助性應(yīng)用服務(wù)，備份節(jié)點(diǎn)將停止輔助性應(yīng)用服務(wù)。當(dāng)生產(chǎn)節(jié)點(diǎn)恢復(fù)時(shí)，生產(chǎn)節(jié)點(diǎn)重新接管資源群，提供主要應(yīng)用服務(wù)，備份節(jié)點(diǎn)則重新運(yùn)行輔助性應(yīng)用服務(wù)。

簡(jiǎn)單切換策略是以犧牲部分輔助性應(yīng)用服務(wù)的可靠性來(lái)支撐系統(tǒng)主要應(yīng)用服務(wù)的策略。實(shí)際應(yīng)用中應(yīng)特別注意對(duì)于主要應(yīng)用服務(wù)和輔助性應(yīng)用的劃分，以保障系統(tǒng)在故障情況下，依然能夠提供可以接受的應(yīng)用服務(wù)。

1.4 同步存取(Concurrent Access)

同步存取策略，要求所有的節(jié)點(diǎn)操作同一個(gè)資源群組，并能夠同時(shí)訪問(wèn)外部存儲(chǔ)器。

由于包括IP地址在內(nèi)的系統(tǒng)資源全部被共享，故障切換策略的有效性只取決于客戶機(jī)的靈活性和是影響。故障對(duì)系統(tǒng)的影響大大降低，但技術(shù)條件較高。

在以上幾種故障切換策略中，同步存取策略對(duì)硬件資源和技術(shù)水平有較高的要求,簡(jiǎn)單切換策略則犧牲了部分系統(tǒng)功能的可靠性，因此閑置備份策略和輪流備份策略最為常用[2]。

2 故障切換的關(guān)鍵技術(shù)

在一個(gè)高可用集群中，通常存在兩臺(tái)或多臺(tái)集群服務(wù)器,每臺(tái)服務(wù)器均配置兩個(gè)或多個(gè)網(wǎng)絡(luò)適配器。系統(tǒng)啟動(dòng)時(shí),為了避免地址沖突，每臺(tái)服務(wù)器均需設(shè)置一個(gè)主地址,主地址通常即是服務(wù)地址。因此，在故障切換時(shí)，備份節(jié)點(diǎn)需首先對(duì)生產(chǎn)節(jié)點(diǎn)主地址進(jìn)行接管。主地址的接管方式通常有如下兩種:IP地址接管、MAC地址接管[3]。

2.1 IP地址接管(IPAT)

IP地址接管（IP Address Takeover， IPAT）是指，由于應(yīng)用請(qǐng)求通常都面向固定的IP地址，因此備份節(jié)點(diǎn)在接管生產(chǎn)及提供服務(wù)之前，必須首先接管生產(chǎn)節(jié)點(diǎn)的IP地址。IPAT的基本原理為：集群系統(tǒng)中的每個(gè)節(jié)點(diǎn)有至少具有兩個(gè)IP地址接口，即備份地址和網(wǎng)絡(luò)服務(wù)地址。當(dāng)優(yōu)先權(quán)較高的節(jié)點(diǎn)獲得資源群組時(shí)，應(yīng)用服務(wù)會(huì)自動(dòng)由切換為網(wǎng)絡(luò)服務(wù)地址。當(dāng)備份節(jié)點(diǎn)接管了生產(chǎn)節(jié)點(diǎn)的網(wǎng)絡(luò)服務(wù)IP地址時(shí)，備份節(jié)點(diǎn)也同時(shí)獲得生產(chǎn)節(jié)點(diǎn)IP地址的所有資源。

IP地址接管主要有兩種方式，即：基于IP替換的IP地址接管(IPATviareplacement)和基于IP別名的IP地址接管（IPATviaalias）。

基于IP替換的IP地址接管(也稱(chēng)為“傳統(tǒng)IPAT”)，是使用服務(wù)IP地址替換網(wǎng)絡(luò)接口上的現(xiàn)有(啟動(dòng)/基本)IP地址。使用此方法，在同一網(wǎng)絡(luò)接口上，每次僅需配置有一個(gè)IP地址/標(biāo)簽。需要注意的是，在此配置中，服務(wù)IP地址必須與一個(gè)節(jié)點(diǎn)的通信接口啟動(dòng)地址在同一個(gè)子網(wǎng)上，而備用通信接口的IP地址必須在一個(gè)不同的子網(wǎng)上。雖然此方法可以節(jié)省子網(wǎng)，但是需要額外的硬件支持。當(dāng)生產(chǎn)IP地址的通信接口發(fā)生故障時(shí)，基于IP替換的IP地址接管，將把服務(wù)IP地址轉(zhuǎn)移到在同一個(gè)節(jié)點(diǎn)并在同一網(wǎng)絡(luò)上的另一個(gè)可用接口。在此情況下，關(guān)聯(lián)的資源組不受影響。如果同一個(gè)節(jié)點(diǎn)上沒(méi)有可用的接口，則將資源組連同服務(wù)IP一起轉(zhuǎn)移到另一個(gè)具有可用通信接口的節(jié)點(diǎn)上。在使用基于IP替換的IP地址接管時(shí)，還可以配置硬件地址接管（HWAT）。HWAT的實(shí)現(xiàn)方式是，使用本地管理地址（LAA）來(lái)屏蔽通信接口的本機(jī)MAC地址，從而確保客戶端上ARP緩存中的映射保持不變。

基于IP別名的IP地址接管，是將服務(wù)IP地址或標(biāo)簽用作某個(gè)現(xiàn)有通信接口的別名，而不更改或替換該接口的基本地址。需要注意的是，在此配置中，節(jié)點(diǎn)上定義的所有基本IP地址或標(biāo)簽必須配置在不同的子網(wǎng)上，并且還要與服務(wù)IP地址或標(biāo)簽不同。雖然此方法可以節(jié)省硬件，但是需要額外的子網(wǎng)。通過(guò)基于IP別名的IP地址切換，可以在某些類(lèi)型的網(wǎng)絡(luò)上使用無(wú)故ARP功能。基于IP別名的IP地址接管，使單個(gè)網(wǎng)絡(luò)適配器可以支持多個(gè)服務(wù)IP地址或標(biāo)簽。因此，同一個(gè)節(jié)點(diǎn)可以同時(shí)承載多個(gè)資源組，而不會(huì)將資源組的數(shù)量限制為可用的通信接口的數(shù)量[4]。

相對(duì)于基于IP替換的IP地址接管，基于IP別名的IP地址接管提供了以下優(yōu)點(diǎn)：基于IP別名比基于IP替換的IP地址接管速度更快，因?yàn)樵谕粋€(gè)接口上添加一個(gè)IP別名使用的時(shí)間更短；基于IP別名的IP地址接管，允許多個(gè)服務(wù)標(biāo)簽在同一個(gè)網(wǎng)絡(luò)接口上共存，因此可以減少集群中使用物理網(wǎng)絡(luò)接口卡的數(shù)量。

IPAT技術(shù)相對(duì)容易，實(shí)際應(yīng)用中通常優(yōu)先使用這種接管方式。需要注意的是，當(dāng)備份節(jié)點(diǎn)完成對(duì)生產(chǎn)節(jié)點(diǎn)的接管時(shí)，備份節(jié)點(diǎn)會(huì)同時(shí)擁有兩個(gè)IP地址。此時(shí)，如果原生產(chǎn)機(jī)IP地址用來(lái)面向客戶機(jī)服務(wù)，則需要同步更新系統(tǒng)服務(wù)路由表。

2.2 MAC地址接管

當(dāng)生產(chǎn)節(jié)點(diǎn)和備份節(jié)點(diǎn)共用一個(gè)IP地址時(shí)，可備用節(jié)點(diǎn)可使用MAC地址接管策略。當(dāng)生產(chǎn)節(jié)點(diǎn)正常工作時(shí)，會(huì)向局域網(wǎng)發(fā)送廣播ARP請(qǐng)求報(bào)文，請(qǐng)求其IP地址的MAC地址，得到主用服務(wù)器響應(yīng)后，將IP地址和生產(chǎn)節(jié)點(diǎn)的MAC地址放入ARP緩存中，以建立通信。當(dāng)生產(chǎn)節(jié)點(diǎn)發(fā)生故障時(shí)，備用服務(wù)器立刻接管其IP地址進(jìn)行服務(wù)，此時(shí)需要對(duì)ARP緩存中的MAC地址進(jìn)行接管。

MAC地址接管主要有兩種方式。第一種是同步廣播，即備份節(jié)點(diǎn)接管IP地址的同時(shí)，對(duì)外廣播一個(gè)變更MAC地址的ARP報(bào)文給所有主機(jī)，這樣讓所有的廣播網(wǎng)絡(luò)上的所有主機(jī)接收該報(bào)文，并更新ARP緩存表。第二種是虛擬MAC地址，即生產(chǎn)及在使用IP地址時(shí)，使用一個(gè)不依賴于任何一個(gè)節(jié)點(diǎn)的虛擬MAC地址，備份節(jié)點(diǎn)接管生產(chǎn)節(jié)點(diǎn)時(shí)，同步接管此虛擬的MAC地址即可。

由于虛擬MAC地址不需要客戶機(jī)做任何更改動(dòng)作，ARP緩存表不變，使用較廣。但此方法對(duì)系統(tǒng)資源有一定要求。

以上兩種技術(shù)都有固定的切換速度。IP地址接管與MAC地址接管相比速度稍慢，且可靠性較差，但相對(duì)容易實(shí)現(xiàn)；MAC地址接管速度快，但涉及復(fù)雜的物理地址，容易造成混亂[5]。

3 結(jié)束語(yǔ)

本文分析了高可用集群系統(tǒng)常見(jiàn)的故障切換策略及其對(duì)應(yīng)的常見(jiàn)故障，同時(shí)對(duì)故障切換關(guān)鍵技術(shù)及其特點(diǎn)進(jìn)行了分析。高可用集群可通過(guò)硬件和軟件的冗余實(shí)現(xiàn)，設(shè)計(jì)高可用集群時(shí)要有合適的冗余度，盡量縮短服務(wù)中斷時(shí)間，降低故障切換時(shí)的損耗。