基于FCSAN心跳的電力云平臺(tái)虛擬機(jī)HA實(shí)現(xiàn)

田富強(qiáng) 佘文魁 胡波

摘? 要：隨著業(yè)務(wù)系統(tǒng)上云規(guī)模的不斷擴(kuò)大，云平臺(tái)對(duì)虛擬機(jī)可用性要求越來越高。為了進(jìn)一步提升虛擬機(jī)的可用性，減少業(yè)務(wù)停機(jī)時(shí)間，平臺(tái)需要在短時(shí)間內(nèi)將虛擬機(jī)及業(yè)務(wù)恢復(fù)運(yùn)行，同時(shí)必須防止因判定條件不充分導(dǎo)致虛擬機(jī)腦裂。這依賴于HA（High Availability）對(duì)資源池中眾多計(jì)算節(jié)點(diǎn)的狀態(tài)進(jìn)行實(shí)時(shí)準(zhǔn)確的判定。針對(duì)電力云平臺(tái)虛擬機(jī)HA，本文全新提出通過FCSAN的邏輯卷心跳信號(hào)來增強(qiáng)對(duì)主機(jī)狀態(tài)感知的方案。經(jīng)測(cè)試，該方案相比僅通過以太網(wǎng)絡(luò)來確認(rèn)主機(jī)心跳信號(hào)的方式要更可靠。

關(guān)鍵詞：基礎(chǔ)設(shè)施及服務(wù)? 高可用? 虛擬機(jī)? 心跳? 光纖存儲(chǔ)

中圖分類號(hào)：TP302 ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1674-098X（2020）07（a）-0117-04

Abstract： With the continuous expansion of cloud scale on business systems， cloud platforms have increasingly higher requirements on the availability of virtual machines. In order to further improve the availability of virtual machines and reduce business downtime， the platform needs to resume the virtual machines and services within a short period of time. At the same time， it must prevent the virtual machine from being split due to insufficient judgment conditions. This relies on HA （High Availability） to accurately determine the state of many computing nodes in the resource pool in real time. For the power cloud platform virtual machine HA， this paper proposes a new solution to enhance the host state awareness through the FCSAN logical volume heartbeat signal. After testing， this scheme is more reliable than the way to confirm the host heartbeat signal only through the Ethernet network.

Key Words： Infrastructure and services; High availability; Virtual machines; Heartbeat; Fiber storage

在大型云平臺(tái)中，往往以數(shù)千臺(tái)設(shè)備來承載數(shù)萬個(gè)虛擬機(jī)運(yùn)行，任意一臺(tái)物理設(shè)備和環(huán)境的故障都可能導(dǎo)致多個(gè)虛擬機(jī)承載業(yè)務(wù)的中斷。虛擬機(jī)HA的任務(wù)是在短時(shí)間內(nèi)將所有故障虛擬機(jī)恢復(fù)運(yùn)行。目前，各種云平臺(tái)虛擬機(jī)HA的方案大同小異，主要還是采用心跳機(jī)制，IPMI在本場(chǎng)景上僅可用于識(shí)別物理機(jī)電源狀態(tài)，信息不充分。多數(shù)云平臺(tái)采用分布式存儲(chǔ)，其節(jié)點(diǎn)間通信方式為以太網(wǎng)，當(dāng)以太網(wǎng)絡(luò)不穩(wěn)定時(shí)缺少第三方的判定依據(jù)，容易對(duì)虛擬機(jī)誤操作導(dǎo)致腦裂。VMware的HA方案借助其vmfs，通過虛擬機(jī)文件鎖來避免腦裂，但VMware需要較高的購(gòu)買費(fèi)用。

在電力云平臺(tái)資源池的架構(gòu)中，物理服務(wù)器被劃分為多個(gè)集群，一個(gè)機(jī)房通常會(huì)配備一臺(tái)或多臺(tái)FCSAN來存放虛擬機(jī)磁盤鏡像。云平臺(tái)中一般存在一個(gè)或多個(gè)控制中心用于資源池的整體調(diào)控。計(jì)算節(jié)點(diǎn)是分散在不同的機(jī)架甚至可能在不同機(jī)房中，這些物理服務(wù)器節(jié)點(diǎn)通常通過以太網(wǎng)絡(luò)來進(jìn)行通信。HA的實(shí)現(xiàn)首先需要依賴控制中心對(duì)每個(gè)服務(wù)器節(jié)點(diǎn)的狀態(tài)進(jìn)行實(shí)時(shí)精準(zhǔn)的感知，而基于以太網(wǎng)絡(luò)的通信則是用于感知節(jié)點(diǎn)狀態(tài)的主要途徑。為了安全，物理機(jī)不能通過業(yè)務(wù)網(wǎng)絡(luò)通信，管理網(wǎng)絡(luò)將作為唯一的通信通道。管理網(wǎng)故障時(shí)，虛擬機(jī)可能仍然正常運(yùn)行，而控制中心卻無法感知虛擬機(jī)及其宿主機(jī)的任何信號(hào)，HA的調(diào)度將變得兩難。在判定不充分的情況下，很容易導(dǎo)致虛擬機(jī)腦裂。實(shí)際情況更復(fù)雜，可能出現(xiàn)網(wǎng)絡(luò)間歇性閃斷，服務(wù)器還可能自動(dòng)重啟、死機(jī)等情況，這些都不是單一的以太網(wǎng)感知方式能夠有效應(yīng)對(duì)的。本文將介紹通過FCSAN的信號(hào)補(bǔ)償機(jī)來提升虛擬機(jī)HA的可靠性的整體方案。

1? HA方案概述

本方案包括心跳保持、HA遷移觸發(fā)、FCSAN心跳機(jī)制、多機(jī)房HA結(jié)構(gòu)、調(diào)度模塊設(shè)計(jì)5個(gè)部分。

如圖1，電力云平臺(tái)采用無固定中心結(jié)構(gòu)部署，基于“控制中心/代理”模式架構(gòu)，控制中心采用pacemaker集群方式部署，數(shù)據(jù)庫(kù)采用雙節(jié)點(diǎn)相互實(shí)時(shí)同步，避免出現(xiàn)單點(diǎn)故障。FCSAN存儲(chǔ)和管理網(wǎng)均采用雙鏈路冗余部署。承載虛擬機(jī)網(wǎng)絡(luò)的業(yè)務(wù)網(wǎng)與管理網(wǎng)絡(luò)是隔離的，此處不能用于HA管理通信。

控制中心需要實(shí)時(shí)感知計(jì)算節(jié)點(diǎn)是否處于“可聯(lián)系”狀態(tài)，當(dāng)控制中心在一定時(shí)間內(nèi)無法通過任何途徑感知計(jì)算節(jié)點(diǎn)時(shí)，控制中心將虛擬機(jī)調(diào)度到其它可用的計(jì)算節(jié)點(diǎn)上運(yùn)行。計(jì)算節(jié)點(diǎn)需要不斷檢查本節(jié)點(diǎn)是否處于“失聯(lián)”的狀態(tài)，計(jì)算節(jié)點(diǎn)檢測(cè)到自己“失聯(lián)”時(shí)，會(huì)從本機(jī)移除虛擬機(jī)運(yùn)行權(quán)，以避免腦裂。

1.1 心跳保持

在資源池中主要將“虛擬機(jī)”和“物理機(jī)”作為關(guān)注點(diǎn)，系統(tǒng)通過實(shí)時(shí)保持計(jì)算節(jié)點(diǎn)和控制中心的心跳信號(hào)來確認(rèn)它們的正常運(yùn)行狀態(tài)。正常情況下，計(jì)算節(jié)點(diǎn)將不間斷地通過管理網(wǎng)向控制中心發(fā)送心跳信號(hào)，控制中心被動(dòng)接收心跳信號(hào)。計(jì)算節(jié)點(diǎn)基于TCP/IP發(fā)送正常心跳，控制中心對(duì)計(jì)算節(jié)點(diǎn)的TCP心跳請(qǐng)求進(jìn)行響應(yīng)，響應(yīng)內(nèi)容包含控制中心的實(shí)時(shí)信息，因?yàn)榭刂浦行墓?jié)點(diǎn)在集群中也是動(dòng)態(tài)變化的（見圖2）。

當(dāng)正常心跳不能保持并達(dá)到超時(shí)時(shí)間，HA將進(jìn)入心跳異常處理，心跳異常處理也將直到正常心跳的恢復(fù)或異常處理完畢為止。心跳雙方的異常處理策略如下。

（1）控制中心異常心跳策略。

當(dāng)控制中心無法接收到計(jì)算節(jié)點(diǎn)的正常心跳，且達(dá)到超時(shí)時(shí)間，將采取以下方式和順序主動(dòng)獲取計(jì)算節(jié)點(diǎn)的信號(hào)，直到條件成立。如果條件不成立或超時(shí)則進(jìn)行下一步驟。①搜集計(jì)算節(jié)點(diǎn)所有有效IP地址，并發(fā)地發(fā)起ICMP請(qǐng)求直到響應(yīng)或超時(shí)為止。②主動(dòng)多次嘗試通過計(jì)算集群代理節(jié)點(diǎn)獲取計(jì)算節(jié)點(diǎn)向FCSAN中寫入的心跳信號(hào)，直到取得信號(hào)變化或超時(shí)為止。③通過對(duì)所有網(wǎng)卡旁路監(jiān)聽，直到獲取到來自目標(biāo)的信號(hào)或超時(shí)為止。

（2）計(jì)算節(jié)點(diǎn)心跳策略。

當(dāng)計(jì)算節(jié)點(diǎn)無法向控制中心發(fā)送成功正常心跳信號(hào)，且達(dá)到超時(shí)時(shí)間，將采取以下方式和順序向控制中心或本集群的FCSAN持續(xù)地發(fā)送心跳信號(hào)，直到條件成立。如果條件不成立或超時(shí)則進(jìn)行下一步驟。①檢查本機(jī)所有網(wǎng)卡，找到狀態(tài)正常的網(wǎng)卡或超時(shí)為止。②搜集控制中心所有有效IP地址，并發(fā)地發(fā)起ICMP請(qǐng)求直到響應(yīng)或超時(shí)為止。③向本集群的FCSAN發(fā)送心跳信號(hào)，直到信號(hào)發(fā)送成功或超時(shí)為止。

心跳策略必須要求控制中心和計(jì)算節(jié)點(diǎn)雙方在同一時(shí)間執(zhí)行才能確保策略的有效性。在正常心跳下，是由策略雙方共同完成一次成功心跳，一旦正常心跳出現(xiàn)中斷，雙方將在同一時(shí)間點(diǎn)被心跳雙方感知到。但是控制中心很可能因故障的發(fā)生（如網(wǎng)絡(luò)中斷時(shí)無法讀寫數(shù)據(jù)庫(kù)）不能正常完成策略的處理。

為了防止心跳策略雙方執(zhí)行時(shí)間不對(duì)等問題，我們引入“HA故障檢測(cè)時(shí)段”，它的時(shí)間的定義范圍是從最后一次正常心跳的時(shí)間開始到數(shù)分鐘后為止。故障的判定和相關(guān)處理只在該時(shí)間階段進(jìn)行，過時(shí)則不再處理。否則可能出現(xiàn)信號(hào)不對(duì)稱導(dǎo)致錯(cuò)誤感知，使計(jì)算節(jié)點(diǎn)正常運(yùn)行情況下又將虛擬機(jī)啟動(dòng)到其它計(jì)算節(jié)點(diǎn)。這種情況下，存儲(chǔ)中的同一份虛擬機(jī)磁盤鏡像將被兩個(gè)實(shí)例同時(shí)讀寫，這就形成虛擬機(jī)腦裂。腦裂發(fā)生后，虛擬機(jī)關(guān)鍵數(shù)據(jù)很可能損壞，造成較大損失。

1.2 HA遷移觸發(fā)

當(dāng)控制中心依次嘗試完所有途徑均無法檢測(cè)到來自計(jì)算節(jié)點(diǎn)的信號(hào)時(shí)，會(huì)將該計(jì)算節(jié)點(diǎn)上的虛擬機(jī)遷移到其它可用計(jì)算節(jié)點(diǎn)上。虛擬機(jī)遷移分為帶內(nèi)存遷移和不帶內(nèi)存遷移兩種情況。

（1）帶內(nèi)存遷移。

當(dāng)因計(jì)算節(jié)點(diǎn)所有網(wǎng)絡(luò)均發(fā)生故障，而存儲(chǔ)可訪問時(shí)，虛擬機(jī)將無法與外界通信，服務(wù)也就中斷了。如果需要帶內(nèi)存恢復(fù)服務(wù)，可將虛擬機(jī)的內(nèi)存保存先在FCSAN存儲(chǔ)中，然后再?gòu)钠渌?jì)算節(jié)點(diǎn)通讀取存儲(chǔ)中的內(nèi)存進(jìn)行恢復(fù)。具體做法（見圖3）：可在存儲(chǔ)上為虛擬機(jī)專門創(chuàng)建一個(gè)LV（Logical Volume）來臨時(shí)保存內(nèi)存，LV通過文件系統(tǒng)格式化后掛載到虛擬機(jī)的宿主機(jī)，然后通過宿主機(jī)將內(nèi)存寫入文件系統(tǒng)（KVM等虛擬機(jī)均支持將內(nèi)存轉(zhuǎn)存到文件），內(nèi)存保存完成后，虛擬機(jī)運(yùn)行實(shí)例將被銷毀，在FCSAN上進(jìn)行標(biāo)記，控制中心就可以在其它計(jì)算節(jié)點(diǎn)上將虛擬機(jī)內(nèi)存文件系統(tǒng)先掛載，然后直接從內(nèi)存文件恢復(fù)虛擬機(jī)。

（2）不帶內(nèi)存遷移。

當(dāng)因計(jì)算節(jié)點(diǎn)宕機(jī)導(dǎo)致的故障，虛擬機(jī)內(nèi)存直接丟失掉了，這種情形將由控制中心為虛擬機(jī)在集群內(nèi)尋找另一個(gè)可用的計(jì)算節(jié)點(diǎn)重新啟動(dòng)虛擬機(jī)。當(dāng)計(jì)算節(jié)點(diǎn)的以太網(wǎng)絡(luò)和FCSAN通道均無法通信時(shí)，計(jì)算節(jié)點(diǎn)將虛擬機(jī)運(yùn)行實(shí)例直接銷毀。

不帶內(nèi)存遷移可確保虛擬機(jī)更快地恢復(fù)運(yùn)行，帶內(nèi)存遷移將需要耗費(fèi)較長(zhǎng)的時(shí)間，因此在設(shè)定虛擬機(jī)恢復(fù)級(jí)別時(shí)需要根據(jù)實(shí)際業(yè)務(wù)需要來確定。

1.3 FCSAN心跳機(jī)制

針對(duì)每個(gè)物理機(jī)計(jì)算集群，需要從FCSAN上劃分一個(gè)LUN，并通過LVM的方式管理。HA將為集群中的每一個(gè)計(jì)算節(jié)點(diǎn)創(chuàng)建一個(gè)LV。下文將該LV稱之為“光纖心跳塊”，它將以物理機(jī)ID號(hào)作為命名依據(jù)。計(jì)算節(jié)點(diǎn)采用向光纖心跳塊寫數(shù)據(jù)的方式發(fā)送心跳?？刂浦行膹膶?duì)應(yīng)光纖心跳塊中讀取光纖心跳信號(hào)。由于腦裂本身是因兩個(gè)虛擬機(jī)實(shí)例對(duì)FCSAN中的虛擬機(jī)磁盤產(chǎn)生了雙寫造成的，因此從避免腦裂的角度來看，以FCSAN的信號(hào)作為計(jì)算節(jié)點(diǎn)可用性判定依據(jù)比其它條件更充分。

光纖心跳信號(hào)設(shè)計(jì)。

取0-N的正整數(shù)，每一次心跳信號(hào)將順序地將這些數(shù)值通過二進(jìn)制形式寫入到光纖心跳塊的起始位置，達(dá)到最大值后又從0開始遞增。使得信號(hào)寫入期間，控制中心能夠從光纖心跳塊上讀取到在0-N間變化的數(shù)值。

1.4 多機(jī)房HA結(jié)構(gòu)

當(dāng)需要將多個(gè)機(jī)房中的設(shè)備納入同一個(gè)資源池管理時(shí)，控制集群只會(huì)部署在其中一個(gè)機(jī)房。而不同機(jī)房往往是配備的獨(dú)立的FCSAN存儲(chǔ)，不同機(jī)房間存儲(chǔ)鏈路不互通。

如圖4，這種情況下，控制中心無法直接訪問機(jī)房二中的光纖心跳塊。針對(duì)這種情況，控制中心將選舉一個(gè)代理節(jié)點(diǎn)來讀取光纖塊心跳。下文稱該節(jié)點(diǎn)為“HA檢測(cè)代理”?？刂浦行拿恳淮巫x取光纖心跳信號(hào)時(shí)，均需要從集群2中動(dòng)態(tài)選舉一個(gè)可用的計(jì)算節(jié)點(diǎn)作為“HA檢測(cè)代理”。HA檢測(cè)代理實(shí)時(shí)監(jiān)聽來自控制中心的信號(hào)讀取請(qǐng)求，并將讀取結(jié)果返回給控制中心。

1.5 調(diào)度模塊設(shè)計(jì)

為了確保HA調(diào)度過程中，每一個(gè)環(huán)節(jié)互不影響，同時(shí)也不受某一臺(tái)物理機(jī)環(huán)境故障的影響，我們將HA的每個(gè)環(huán)節(jié)設(shè)計(jì)為獨(dú)立的模塊（見表1）。HA調(diào)度模塊如下：

T指的是輪循任務(wù)，確保動(dòng)作的持續(xù)性。L指的是事件監(jiān)聽器，L負(fù)責(zé)多線程處理T發(fā)起的事件請(qǐng)求，采用消息和事件監(jiān)聽模式實(shí)現(xiàn)，確保故障可以被大規(guī)模持續(xù)處理。

2? 驗(yàn)證測(cè)試

我們針對(duì)云平臺(tái)中常見的網(wǎng)絡(luò)故障場(chǎng)景，分別采用某個(gè)基于openstack架構(gòu)的云平臺(tái)軟件（因涉及商業(yè)問題不便公開，下文稱為X方案）與采用本方案的云平臺(tái)軟件進(jìn)行對(duì)比測(cè)試。X方案主要采用以太網(wǎng)絡(luò)心跳和IPMI作為故障感知方式。

測(cè)試環(huán)境準(zhǔn)備：先后分別采用相同的5臺(tái)物理機(jī)搭建云平臺(tái)，通過相同的5臺(tái)虛擬機(jī)鏡像克隆20臺(tái)虛擬機(jī)，每臺(tái)物理機(jī)運(yùn)行4臺(tái)虛擬機(jī)，分別按相同順序?qū)γ總€(gè)測(cè)試場(chǎng)景進(jìn)行3組操作，操作過程中對(duì)虛擬機(jī)進(jìn)行ping操作，記錄每一次中斷時(shí)間。測(cè)試結(jié)果見表2。

3? 結(jié)語(yǔ)

相比僅采用以太網(wǎng)絡(luò)心跳和IPMI作為故障感知方式的云平臺(tái)HA方案，本方案在網(wǎng)絡(luò)故障場(chǎng)景下能較好地避免對(duì)虛擬機(jī)進(jìn)行誤操作，云平臺(tái)虛擬機(jī)的可用性更高。在一定條件下，采用帶內(nèi)存遷移來恢復(fù)故障虛擬機(jī)可更快地恢復(fù)業(yè)務(wù)。采用全異步方式進(jìn)行HA調(diào)度可在同時(shí)出現(xiàn)大量故障的場(chǎng)景中更快地完成虛擬機(jī)恢復(fù)。

參考文獻(xiàn)

[1] VMware，Inc.Patent Issued for VM Availability during Management and VM Network Failures in Host Computing Systems （USPTO 9465704）[J].Computer Weekly News，2016.

[2] 佘文魁，袁亮，田富強(qiáng)，等.基于KVM虛擬化平臺(tái)的輕量級(jí)HA機(jī)制研究[J].電子世界，2018（12）：45-46.

[3] 陳天翼.FCSAN為智能化騰飛插上翅膀[J].中國(guó)公共安全，2019（Z1）：107-108.

[4] 白偉華.面向云計(jì)算的小粒度應(yīng)用容器模型研究與應(yīng)用[D].廣州：華南理工大學(xué)，2017.

[5] 郭煜.可信云體系結(jié)構(gòu)與關(guān)鍵技術(shù)研究[D].北京：北京交通大學(xué)，2017.

[6] 杜威科.基于Kubemetes的大數(shù)據(jù)流式計(jì)算Spark平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D].南京：南京郵電大學(xué)，2017.