一種保證服務連續性的容災系統的設計和實現

摘 要：設計并實現了一種能夠保證服務連續性的容災系統。系統在設備驅動層使用實時監控寫操作的方法，通過Internet將數據備份到多個遠程容災中心；采用多種數據恢復策略，實現數據的快速恢復；提供了服務自動切換機制，保證系統能夠對外提供不間斷服務。此外，該系統支持多種操作系統和數據庫，并提供了基于Web的配置管理方式。

關鍵詞：容災；多點備份；失效檢測；服務切換；數據恢復

中圖分類號：TP393.08 文獻標志碼：A 文章編號：1001-3695(2008)08-2444-03

Design and implementation of disaster tolerant system

guaranteeing service continuity

CHEN Qian， LIU Xiao-jie， LI Tao， ZHAO Kui， PI Lu-lin， GU Qi-chao

(College of Computer Science， Sichuan University， Chengdu 610065， China)

Abstract: This paper presented a disaster tolerant system for supporting service continuity. It monitored writing requests on device driver level in real-time， and backuped them in several remote tolerant centers at the same time through Internet.Several recovery strategies had been used to support rapid data recovery.An automatic service switch mechanism was achieved to guarantee that the remote servers could provide continuous service instead of local servers during the disaster. Moreover， this system supports various operating systems and databases， and provides a Web-based system configuration.

Key words: disaster tolerant; multi-points backup; failure detection; service switch; data recovery

隨著信息技術的高速發展，信息系統的可用性和災難恢復能力逐漸成為企業生存的關鍵。一旦發生災難，造成信息數據丟失，將帶來無可估計的損失。人們在意識到災難恢復重要性的同時，逐漸開始強調服務的連續性（service continuity）^[1]。服務連續性不僅僅需要對數據進行災難恢復^[1]，還包括維持一個企業各項應用服務的正常運營，這對企業的生存發展至關重要。因此，建立容災系統^[1]，保證數據的完整性和服務的連續性，在現代信息社會中必不可少。

傳統的備份技術^[2，3]，如磁帶備份^[1]、RAID^[4]等，只能在較短距離內實現備份，實施數據備份時一般需要停止服務，備份和恢復時間較長。NAS^[4，5]等網絡存儲技術可實現數據的遠距離備份，但需要光纖專線，成本十分昂貴。這些技術通常只是實現了數據的備份，對于服務容災^[1]沒有很好地支持，不能保證其連續性。

目前，容災系統，特別是服務容災系統的研究和開發主要集中在國外，很多知名外企都有自己研制的災難備份系統，雖然功能強大，但運行成本較高。國內在這方面的研究則還處于起步階段，幾乎沒有自主研發的容災產品。

基于上述因素，本文設計并實現了一種容災系統，能夠支持多種操作系統和數據庫。它利用Internet實現數據的異地鏡像和恢復，并能夠在多點處同時進行數據的實時備份。此外，還提供了服務切換功能，當發生災難時，可將本地服務轉移到遠程，由遠程向外提供不間斷服務，從而保證了服務的可連續性。

1 系統設計

1.1 體系結構

本文所提及的容災系統包括本地生產中心和遠程容災中心兩大部分，這兩部分結構對稱。其體系結構如圖1所示。其中，遠程容災中心可以配置為多個。

本地生產中心由本地網關控制系統和應用服務系統組成；應用服務系統由一個或多個應用服務器組成，它與本地網關控制系統之間，通過內部高速網絡連接。遠程容災中心由一個或多個遠程網關控制系統和遠程備份系統組成。本地生產中心和遠程容災中心之間通過Internet連接。

此外，遠程備份服務系統與本地應用服務系統結構相同，由多個備份服務器組成。災難發生時，可由遠程備份服務系統接管本地應用服務。系統中，遠程網關控制系統可以配置為多個，保證了本地數據能夠在多點同時進行備份。

1.2 模塊結構

系統的模塊關系如圖2所示。

圖2 系統功能模塊結構

1）本地應用服務器和遠程備份服務器

其結構對稱，部分模塊功能相同。

a）服務狀態監控模塊。用于監控應用服務系統狀態；

b）寫操作監控模塊。用于監控并截獲本地磁盤的寫操作，并且能夠將該寫操作同步到本地網關相應的磁盤分區；

c）鏡像模塊。為遠程網關控制系統寫操作重放模塊提供操作對象。

2）本地網關控制系統和遠程網關控制系統

本地網關控制系統和遠程網關控制系統可分為四大部分：Web配置管理模塊、后臺管理模塊、數據鏡像模塊、災難恢復模塊。各部分又包含了多個子模塊，分別是：

a）Web配置管理模塊。提供系統管理的可視化界面，并根據用戶的需求完成任務組的配置管理、系統管理等操作。

b）配置管理模塊。對應Web配置管理模塊，與其一同完成容災任務的配置。

c）狀態監控模塊。監控本地鏡像、遠程復制以及恢復的狀態等。

d）失效檢測模塊。監測本地生產服務器的服務狀態，當服務失效時激活服務切換功能。

e）服務切換模塊。災難發生時將本地的應用服務切換到遠程，災難恢復之后再將應用服務切換回本地，以此來保證服務的連續性。

f）寫緩存模塊。將本地應用服務器寫監控模塊截獲的寫操作緩存到緩沖區磁盤。

g）寫轉發模塊。將緩沖區中的寫操作取出，并鏈接到多個發送隊列，然后發送到遠程。

h）寫操作重放模塊。在遠程容災中心進行寫操作重放，以實現數據的異地備份。

i）災難恢復模塊。按照失效檢測提供的有效數據源和失效點選擇恢復策略。

2 系統實現

容災是一項系統工程，其流程如圖3所示。

2.1 任務配置管理

任務配置主要是進行容災任務的配置，由Web配置管理模塊、后臺管理模塊以及數據鏡像模塊等共同負責，所有操作都是基于Web頁面進行的。

容災任務是指針對一種服務而進行的容災功能配置，包括鏡像配置、恢復策略配置，以及服務切換功能的配置。本系統是基于磁盤數據容災之上的服務容災。因此，容災任務配置指一個操作單元，這個單元包含了特定邏輯關系，分布于多臺主機的一組磁盤設備，還包括了對這些磁盤進行數據備份恢復以及服務切換等服務中的配置信息。

總的來說，容災任務T=〈G，M，R，S 〉。其中：G表示具體的一個任務組； M表示鏡像策略；R表示為容災任務配置的恢復策略；S表示任務狀態。

G中包含了一組相關的鏡像設備，設備之間有如下的聯系：

G=〈LDC，DRC1，DRC2，…，DRCn 〉

LDC=〈LSP，LGP，LGP′〉

DRC=〈RGP，RSP〉

其中：LDC表示本地數據生產中心； DRC表示遠程數據容災中心；LSP 表示本地磁盤分區；LGP表示本地網關磁盤分區；LGP′表示本地網關緩沖分區； RGP表示遠程網關數據備份分區；RSP表示遠程服務器備份分區，并有關系：LSP=LGP=RGP=RSP，即四者大小相等。

任務組配置好之后，就可以對每一個容災任務進行相應的容災操作，如狀態監控、數據鏡像等。

2.2 狀態監控

狀態監控負責對容災任務狀態、生產中心和容災中心狀態的監控。具體信息包括主機存活狀態、網絡狀況、數據鏡像情況、容災任務組運行狀態等。位于后臺的狀態監控模塊從各個模塊上收集到以上信息后，會以消息的形式將其傳遞給上層Web配置管理模塊。通過對消息的解析、過濾等處理，配置管理模塊會將狀態信息顯示在頁面中，從而為用戶提供了可視化界面。

2.3 遠程數據鏡像

數據鏡像是保證服務連續性的基礎，也是整個容災系統的關鍵。這一功能由數據鏡像模塊來完成，整個鏡像過程可以分為三個階段，如圖4所示。

1）本地應用服務器磁盤分區的寫操作截獲

當本地應用服務器發出寫數據請求時，寫操作監控模塊截獲寫操作，并將截獲的寫操作進行封裝，通過高速的本地網絡發送到本地網關控制系統進行緩存，然后再將寫操作實際向設備驅動提交，完成對物理磁盤的寫操作。

2）本地網關控制系統寫操作的緩存

考慮到本地網關控制系統與遠程網關控制系統之間通過Internet進行通信，網絡速度慢、不穩定，因此在將截獲到的寫操作發送到遠程網關之前，首先提交給本地網關的緩沖磁盤進行緩存。同時，本地網關上還有一個轉發模塊，負責從緩沖磁盤中取出寫操作，并將其鏈接到多個發送隊列，轉發到多個遠程網關控制系統并等待確認。待所有的遠程控制系統確認后，銷毀緩存中的數據。

3）備份系統寫操作的重建和提交

遠程網關控制系統在收到寫操作數據后，會完成寫操作的重放，將遠程網關上災備分區的寫操作同步到遠程服務器上。最后向控制系統進行確認，從而完成本地數據到遠程鏡像的全過程。

2.4 服務切換

服務切換的目的在于提供一個有效的機制，使得故障或災難發生時，遠程容災中心能夠代替本地生產數據中心，提供連續性的服務，使外界覺察不到服務的中斷，保證服務的可持續性。本系統中，服務切換主要由失效檢測模塊、服務切換模塊共同完成。

2.4.1 失效檢測模塊

失效檢測模塊能夠實現對網絡通信和系統服務狀態信息的檢測，是服務切換功能實現的基礎和條件。本系統中，失效檢測^[6，7]由檢測客戶端和檢測服務端組成。失效檢測客戶端負責對本地服務監控模塊獲取的數據進行分析。將獲取到的相關狀態信息，以消息的形式發送到檢測服務端，保證實時的失效檢測。服務端根據所收到的容災任務狀態，將其分為三類，即正常運行狀態（TRUST）、被懷疑狀態（SUSPECT）和失效狀態（FAILURE）。本系統中采用了基于PUSH模型的失效檢測算法，并運用了CHEN等人^[8]所提出的預測算法。其算法描述如下：

Failure_Detector( )

{

si.state = SUSPECT;

Ti＋1 = System Estimate time;

for(si∈S)

{

receive messages mj at time t;

if (t <=Ti j>=i || Ti =i)

si.state = TRUST;

else

si.state = FAILURE;

}

}

其中:S表示服務器狀況列表；si（si∈S）保存著服務器的狀況信息；t表示實際收到心跳消息的時間。待檢測端會按一定周期定時地向檢測器發送心跳消息。檢測器會估計出本次心跳時間Ti以及下一次心跳時間Ti+1。如果在Ti時，已收到消息mj(j≥i)，則將si為TRUST，表示正常工作；反之，設為SUSPECT表示懷疑。如果在[Ti， Ti+1]時間內收到了消息，則也將si狀態設為TRUST。如果在上述兩個階段均未收到消息，則認為服務端失效，將其狀態設為FAILURE。

2.4.2 服務切換模塊

當失效檢測模塊檢測到生產中心應用服務系統中存在的失效狀態，便將工作移交給服務切換模塊，由其完成最后的服務切換工作。

基于系統的拓撲結構，本系統采用了IPTables中的DNAT（destination NAT）將IP報文重定向，從而實現對數據內容提供訪問切換的服務切換方式。這種切換方式下，只需要將服務請求進行重新定向，無須保持會話狀態，而具體的事務由上層的應用來保證。該服務切換方式操作起來簡單方便，可以大大降低系統的成本。

當服務器監測模塊檢測到本地服務器出現故障時，服務切換模塊動態地在IPTables的防火墻NAT規則中添加一條DNAT規則，將訪問本地生產中心的請求發送到遠程容災中心，由遠程容災中心的備份服務器對外提供服務；當本地服務器從故障中恢復并且數據恢復完成后，服務切換模塊會刪除該DNAT規則，訪問本地容災中心的請求仍然發送至本地應用服務器。

2.5 數據恢復

數據恢復模塊負責災難發生后，提供對生產中心數據的快速恢復。系統中提供了多種恢復策略和恢復方式?；謴筒呗杂腥謴?、快速恢復和定時恢復。全恢復是對所有的數據都進行一次重新拷貝?？焖倩謴褪且环N差異恢復，通過計算應用服務器和磁盤陣列上數據的校驗值，找出更新過的數據，并針對這部分數據作拷貝。而定時恢復是由用戶自行設定恢復的時間，當達到用戶指定時間時，系統將自動進行恢復?；謴头绞接惺謩踊謴秃筒呗曰謴汀Ｊ謩踊謴褪怯扇斯みx擇可靠的數據源進行恢復，多用于發現數據存在不一致的情況下；策略恢復只需人工選擇災難發生點，然后系統會智能選擇恢復源，以最低的代價實現數據的恢復。

3 結束語

本文設計并實現的容災系統，不僅僅提供了數據的異地備份和快速恢復功能，還使得數據能夠同時備份在多個異地容災中心，并提供了服務自動切換功能。災難發生時，本地應用服務能夠迅速切換到遠程，由遠程向外提供不間斷服務，從而保證了系統服務的穩定性和連續性。同時，該系統能支持多種平臺，具有廣闊的發展前景。

參考文獻:

[1]李濤.網絡安全概論[M].北京：電子工業出版社，2004：474-490.

[2]HUTCHNSON N C，MANLEY S，FEDRWISCH M，et al. Logical vs.physical file system backup[C]//Proc of the 3rd Symposium on Operating Systems design and implementation.Berkeley:USENIX Association，1999:239-249.

[3]QIAN Cun-hua，SYOUJI N，TOSHIO N.Optimal backup policies for a database system with incremental backup[J]. Electronics and Communications in Japan， Part III: Fundamental Electronic Science， 2002，85(4): 1-9.

[4]韓德志， 謝長生， 李懷陽. 存儲備份技術探析[J]. 計算機應用研究， 2004， 21(6): 1-7.

[5]陳凱，白英彩.網絡存儲技術及發展趨勢[J].電子學報，2002，30(12A):1928-1932.

[6]董劍， 左德承，劉宏偉，等.一種基于QoS的自適應網格失效檢測器[J]. 軟件學報， 2006，17(11):2362-2372.

[7]王樹鵬，云曉春，余翔湛，等.一種容災中間件的設計與實現[J]. 通信學報， 2005，26(7)：68-75.

[8]CHEN W， TOUEG S， AGUILERA M K. On the quality of service of failure detectors[J].IEEE Trans on Computers，2002，51(5)13-32.

[9]CHEN Yan， QU Zhi-wei， ZHANG Zhen-hua，et al. Data redundancy and compression methods for a disk-based network backup system[C]//Proc of International Conference on Information Technology.2004:778-785.

[10]KOTLA R， DAHLIN M. High throughput Byzantine fault tolerance[C]//Proc of International Conference on Dependable Systems and Networks.2004:575-584.

注：本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文