網絡服務器集群技術

湯 鑫

(河南高速公路發展有限責任公司,河南 鄭州 450052)

中圖分類號:TP393 文獻標識碼:A文章編號:1673-0992(2009)12-105-02

摘要:隨著網絡的普及,網絡服務器需要為越來越多的用戶提供服務。因此,為提高效率人們使用多臺服務器為眾多用戶提供服務,通過網絡提供高質量綜合信息服務,形成一個安全、可靠、實用、可擴展的現代化的信息服務器系統,以達到信息資源共享、合理利用和高效整合的目的。因此,人們就借鑒了并行計算技術研究中的有關技術,形成了目前的服務器集群技術。

關鍵字:服務器;集群

隨著企業ERP、CRM和 SCM等的應用,數據量急劇增長,一臺服務器往往不能滿足需求,那么如何才能提高處理速度,數據可用性、數據安全性和數據集可擴性。對此,引起了越來越多的人們廣泛關注。

在這樣的背景下,人們提出了集群(Cluster)的概念。它通過使用特定的連接方式,將價格相對較低的硬件設備結合起來,同時也能提供高性能相當的任務處理能力。采用服務器集群技術,可以提高訪問數據庫的效率,提高可靠性和安全性。

簡單地說,集群是由兩臺或多臺節點機(服務器)構成的一種松散耦合的計算節點集合,為用戶提供網絡服務或應用程序(包括數據庫、Web服務和文件服務等)的單一客戶視圖,同時提供接近容錯機的故障恢復能力。集群系統一般通過兩臺或多臺節點服務器系統通過相應的硬件及軟件互鏈,每個群集節點都是運行其自己進程的獨立服務器。這些進程可以彼此通信,對網絡客戶機來說就像是形成了一個單一系統,協同起來向用戶提供應用程序、系統資源和數據。除了作為單一系統提供服務,集群系統還具有恢復服務器級故障的能力。集群系統還可通過在集群中繼續增加服務器的方式,從內部增加服務器的處理能力,并通過系統級的冗余提供固有的可靠性和可用性。

一、集群的分類

1.高性能計算科學集群

以解決復雜的科學計算問題為目的的IA集群系統。是并行計算的基礎,它可以不使用專門的由十至上萬個獨立處理器組成的并行超級計算機,而是采用通過高速連接來鏈接的一組1/2/4 CPU的IA服務器,并且在公共消息傳遞層上進行通信以運行并行應用程序。這樣的計算集群,其處理能力與真正超級并行機相等,并且具有優良的性價比。

2.負載均衡集群 負載均衡集群為企業需求提供更實用的系統。該系統使各節點的負載流量可以在服務器集群中盡可能平均合理地分攤處理。該負載需要均衡計算的應用程序處理端口負載或網絡流量負載。這樣的系統非常適合于運行同一組應用程序的大量用戶。每個節點都可以處理一部分負載,并且可以在節點之間動態分配負載,以實現平衡。對于網絡流量也如此。通常,網絡服務器應用程序接受了大量入網流量,無法迅速處理,這就需要將流量發送給在其他節點。負載均衡算法還可以根據每個節點不同的可用資源或網絡的特殊環境來進行優化。

3.高可用性集群

為保證集群整體服務的高可用,考慮計算硬件和軟件的容錯性。如果高可用性群集中的某個節點發生了故障,那么將由另外的節點代替它。整個系統環境對于用戶是一致的。實際應用的集群系統中,這三種基本類型經常會發生混合與交雜。

二、網絡服務器集群技術主要特點

1.服務器鏡像技術 服務器鏡像技術是將建立在同一個局域網之上的兩臺服務器通過軟件或其他特殊的網絡設備(比如鏡像卡)將兩臺服務器的硬盤做鏡像。其中,一臺服務器被指定為主服務器,另一臺為從服務器。客戶只能對主服務器上的鏡像的卷進行讀寫,即只有主服務器通過網絡向用戶提供服務,從服務器上相應的卷被鎖定以防對數據的存取;主/從服務器分別通過心跳監測線路互相監測對方的運行狀態,當主服務器因故障宕機時,從服務器將在很短的時間內接管主服務器的應用。 服務器鏡像技術的特點是成本較低,提高了系統的可用性,保證了在一臺服務器宕機的情況下系統仍然可用,但是這種技術僅限于兩臺服務器的集群,系統不具有可擴展性。

2.應用程序錯誤接管集群技術 錯誤接管集群技術是將建立在同一個網絡里的兩臺或多臺服務器通過集群技術連接起來,集群節點中的每臺服務器各自運行不同的應用,具有自己的廣播地址,對前端用戶提供服務,同時每臺服務器又監測其他服務器的運行狀態,為指定服務器提供熱備份作用。當某一節點因故障宕機時,集群系統中指定的服務器會在很短的時間內接管故障機的數據和應用,繼續為前端用戶提供服務。 錯誤接管集群技術通常需要共享外部存儲設備——磁盤陣列柜,兩臺或多臺服務器通過SCSI電纜或光纖與磁盤陣列柜相連,數據都存放在磁盤陣列柜上;這種集群系統中通常是兩個節點互為備份的,并不是幾臺服務器同時為一臺服務器備份,集群系統中的節點通過串口、共享磁盤分區或內部網絡來互相監測對方的心跳。錯誤接管集群技術經常用在數據庫服務器、MAIL服務器等的集群中。這種集群技術由于采用共享存儲設備,所以增加了外設費用,但是可以實現最多32臺機器的集群,極大的提高了系統的可用性及可擴展性。

3.容錯集群技術容錯集群技術的一個典型的應用即容錯機,在容錯機中,每一個部件都具有冗余設計。在容錯集群技術中集群系統的每個節點都與其他節點緊密的聯系在一起,它們經常需要共享內存、硬盤、CPU和I/O等重要的子系統,容錯集群系統中各個節點被共同影像成為一個獨立的系統,并且所有節點都是這個影像系統的一部分。在容錯集群系統中各種應用在不同節點之間的切換可以很平滑的完成,不花費任何時間。

容錯集群技術的實現往往需要特殊的軟硬件設計,因此成本很高,但是容錯系統最大限度的提高了系統的可用性,是財政、金融和安全部門的最佳選擇。

4.可連續升級的集群技術這種集群技術提供了可連續升級的能力,是前幾種技術的一個組合。在這種集群系統中通常有一個負責管理整個集群系統的中央節點,中央節點負責將用戶的請求分配給集群系統中的某個節點,然后這個節點將直接通過INTERNET網絡向用戶提供服務。在集群系統中每一個節點都互為備份,包括中央節點,他在完成向集群節點分配任務的同時,也向用戶提供服務,一旦中央節點宕機,系統將自動推舉一個節點為中央節點,來接管它的全部應用。 這種可連續升級的集群系統通常只需簡單的設置就可以添加或移除一個節點,使用管理比較簡單。通常用在WEB、MAIL、FTP等服務上。

三、網絡服務器集群的技術實現

1.構建服務環境

為了使得多臺系統能表現的如同一臺服務器系統一樣,那么就必須具備一個基本條件,就是這么多臺服務器系統,每臺單獨運行,都能提供完全一致的服務,否則,不同的服務器提供不一致的服務,又如何對外表現出完全一致的表現呢?這里,最簡單的例子是Web服務器,我們可以設置Web服務器,使多個Web服務器中保存的網頁文件內容完全一致,這樣,無論訪問哪個服務器,只要使用同樣的URL就能得到同樣的結果。

因此,在這個階段要保證內容的一致性,就需要使用諸如服務器之間的同步鏡像、網絡存儲系統NAS或SAN,數據庫的同步復制等等技術。

2.實現任務調度

實現任務調度的方式有很多種,一種方法是在系統內部完成,所有的服務器能夠自我協調,完成任務調度,這種方法要涉及所有的服務器,依賴于具體的應用系統,因而更為復雜。另一種方法是不在服務器之間實現調度,而依賴于外部的任務調度設備執行調度。無論那種任務調度方式,最大的問題就是害怕任務調度本身帶來的額外消耗或性能瓶頸,因此使用硬件設備和單一的高效率系統,作為外部任務調度設備,成為了集群的首選方案。

3.外部任務調度,負載平衡和虛擬服務器

使用外部任務調度設備對任務按照網絡連接進行分配,這種情況通常被稱為網絡服務器的負載平衡。外部的任務調度設備有很多種,例如基于BSD/OS的F5,CISCO的LocalDirector,以及一些七層交換機,例如Foundry的交換機等等。

目前,除了一些基于硬件交換機設備之外,完全軟件的實現中最為流行的就是LVS,Linux Virtual Server,作為一個開放源代碼的項目,他得到了Linux社區的大力支持,并用于大部分Linux集群設備中。 LVS是由國防科技大學的章文松提出的一個開放源代碼項目,事實上這也是國內Linux開發工作中最被國際認可的一個工作,這也標志著國內在這個方向上的研究并不次于國際同行。

LVS中最為優秀的特點是實現了策略路由的觀念,它允許一個TCP連接由任務分配設備分配給后端服務器中之后,后端服務器使用不同的路由,不再經過任務分配器,而是直接返回給客戶,這種方式需要后端服務器也是Linux設備,因此不是簡單的任務調度。

4.集群的可靠性

任務調度的關鍵是將所有的任務平均的分配給所有的服務器,如果不能做到合理的分配,就能出現部分服務器上的擁塞現象,此時還可能有后臺服務器類型差異造成的處理能力的不一致等情況。

為了達到這個任務分配的目的,必須使用一種方法來獲得服務器狀態,這里就有不同的幾種方法。最簡單的方法是按照當前服務器的任務數量來衡量服務器負荷,通常就是按照網絡連接的數量來衡量,這種方法應該是比較模糊的,因此不同的連接對服務器造成的壓力是不同的,例如一個靜態網頁的處理和一個后臺CGI程序的處理,服務器負擔就絕對不同。

一些負載均衡設備通過測量設備對網絡連接響應時間來判斷服務器的負荷,這基本上能夠反映一些情況,但也并非絕對如此,因為優秀的服務器對于基本的網絡響應是迅速的,但對于后面的處理過程則受系統負荷的影響。

因此,一些系統甚至引入了客戶/服務器機制,在后臺服務器中安裝代理來完成探測系統性能的任務。當任務調度設備能夠精確的了解服務器負荷的時候,它顯然就能夠達到了解后臺服務器的可用性,就是說任務調度設備能夠檢測出某些后臺服務器不能正確運行,從而避開這個服務器,將任務分配給其他設備,達到容錯的目的。

5.共享數據及會話管理

以Web訪問為例,對于普通的網頁,不同的HTTP連接就可以認為是不同的任務。但是,對于更復雜的應用,例如需要用戶登錄,并根據不同用戶提供不同服務的情況呢?此時,如果仍然還是要把不同的HTTP連接看作不同的任務,那么這些連接之間實際上還是有一定關系的,事實上每個用戶從登錄到退出,可以被看作一個完整的HTTP會話。

服務器集群實際上就是多個服務器以某種模式連接在一起的系統,它不但可以自動將計算任務并行化,充分調動大型服務器計算能力,而且還可以自動應對大多數系統故障,實現高水平的自主管理。也正因此,很多赫赫有名的中外大型IT企業都在不惜投入巨資研發服務器集群技術。

我們相信,集群技術的廣泛應用將不僅從根本上改變我們的網絡環境,而且將從根本上改變IT產業的盈利模式,是真正幾十年一遇的重大變革,對于一些企業和技術人員來說是難得的歷史機遇。?

參考文獻:

[1]吳景茂.基于遺傳算法的Web服務器集群負載均衡研究.《計算機安全》

[2]楊孟輝,朱曉民.基于軟交換的集群媒體服務器的系統特征.《無線電電子學與電信技術》

[3]李雙慶.《Web服務器集群技術研究》

[4]李捷.面向廣域Web集群的仿真平臺,《計算機應用》