并行機群環境在網絡資源平臺建設中的應用

武亮亮，薛業，吳毅松，王德健

（大連民族學院網絡與信息技術中心，遼寧大連， 116605）

并行機群環境在網絡資源平臺建設中的應用

武亮亮，薛業，吳毅松，王德健

（大連民族學院網絡與信息技術中心，遼寧大連， 116605）

引入廣泛應用于并行計算領域的機群環境，采用多服務器分布式并行任務處理模式，組合NAS網絡存儲設備，提出了一種新的解決方案，使資源平臺的管理和使用更加實用、穩定和高效。

并行，機群，網絡存儲，共享分布

隨著網絡應用的不斷發展，多業務、多網絡不斷普及，高校網絡資源平臺的建設和使用勢在必行，目前平臺建設和使用多基于Ftp服務，Ftp是一種文件傳輸協議，在校園網內可使用戶可靠高效地傳送數據。隨著平臺建設廣域發展，訪問量日益增多，傳統的單處理機模式已不能滿足對平臺使用的高效性和穩定性的要求，當在線人數達到超負荷時，則可能出現無限延遲等待甚至宕機。因此如何搭建更加安全穩定的網絡資源平臺，以方便師生高速有效地訪問使用越顯重要［1］。本文引入廣泛應用于并行計算領域的機群環境，采用多服務器分布式并行任務處理模式，實現負載均衡高效的運行模式。

1 多處理機模式——并行機群環境

基于分布式存儲技術的機群環境，通過提高局部節點的處理能力而使其成為所謂的超結點，廣泛應用于高性能計算領域，例如石油勘探、氣候模擬等，是滿足高性能數據處理要求的有效途徑，是目前計算機科學領域研究的熱點之一［2］。機群系統較之傳統的并行處理系統，具有成本低、開發周期短、投資風險低、系統擴展性好等優點。性能對比如圖1。

圖1 優化的機群系統性能

1.1 負載均衡策略

機群環境由分布在高速局域網上的多臺服務器節點組成，通過將用戶的Ftp請求按特定的分發策略重定向到不同的節點以達到負載平衡［3］。單個服務器節點往往采用基于進程調度的資源分配方法，根據應用的需求將Ftp請求劃分為若干個子類，調整各子類的進程數量，從而達到服務分級的目的，如圖2。在機群環境下，可以將所有服務節點的進程資源統一分配，同時在請求分發時，保證每臺節點的同類資源被公平消耗。

圖2 傳統網絡資源訪問——多對多形式

網絡資源平臺前端是采用Web服務，影響用戶使用感受最直接的因素是延遲等待，即排隊時間和服務時間之和，是指從前端節點建立TCP連接，開始接受Ftp請求直到將應答響應移交給TCP連接的傳輸層協議所經歷的時間。鑒于此，考慮采用最大空閑節點優先的負載均衡策略，以保證各服務節點能夠協同合作、公平消耗，提高系統資源的利用率。

機群中的服務節點P0，是整個機群系統的核心，需要同時和客戶端以及其他服務節點建立TCP連接，系統開銷較大，實際應用中優先采用性能相對較高的硬件設備，避免成為系統瓶頸。所有節點采用進程每連接結構，為了實現不同優先級的業務子類，各節點的進程池相應地劃分為若干個部分，進程池能容納服務進程的個數稱為進程配額，不同子類在相互隔離的池中接受服務。每個節點按照一致的分類準則，相同部署，可處理機群定義的所有業務子類，以FIFO的方式等待進程服務。前后節點通過心跳檢測原理實現可靠的消息通訊，在每個心跳時刻，后續節點通過狀態向前繼節點報告，返回自己的狀態信息，進程調度器根據前繼節點返回的控制命令，調整當前服務節點各個業務類的進程配額，如圖3。

圖3 機群環境下超節點多處理器共享存儲訪問

將分布式共享的并行機群應用于網絡資源平臺的使用特點是:

（1）多節點多處理單元可負載均衡、安全高效地處理同時在線多用戶提出的訪問申請，減少用戶延遲等待的時間，用戶可在節點內進行任意的瀏覽和選擇操作，將下載任務計入隊列。

（2）下載任務順次啟動，根據最大空閑節點策略，可觸發多節點并行下載，使得單用戶下載速度成倍增長，整體訪問速度大大提升。

1.2 機群環境搭建

?

相關操作:

（1）所有節點機均安裝同一版本的Debian操作系統，最好采用相同的分區結構;

（2）統一設置用戶（node0，node1，node2…）和根口令;

（3）關閉系統防火墻，開啟apache，ftp，echo，rsh，nfs，netfs，telnet等相應的系統服務，并修改主機名:vim/etc/sysconfig/network例:HOSTNAME =node0（node1，node2…）;

（4）對所有節點進行同網段的IP網絡設置，修改IP地址、網關等信息。

2 多存儲模式——NAS網絡存儲

網絡存儲，是基于數據存儲的通用網絡術語，分為直連式存儲DAS、網絡存儲設備NAS和存儲網絡SAN三種。其中NAS是一種專用數據存儲設備，直接采用網絡介質相連實現數據存儲機制，避免增加服務器的I/O負載。如圖4，NAS內嵌系統軟件，提供跨平臺文件共享，實現數據集中管理，不但具有SAN的共享數據和集中管理的優點，同時具有接入快捷、成本低、兼容性好、管理方便等特點，因此NAS已經逐漸成為企事業單位網絡存儲方案的主要選擇之一［4］。

管道輸水灌溉和滴灌的單井控制面積應根據公式（1）計算，并結合片區的空間分布確定，原則上采用的單井控制灌溉面積不小于計算值的10畝。噴灌工程的單井控制面積的確定還應結合噴灌機的選型確定。審查中要嚴格控制單井控制面積，一方面盡量少打井減少投資，另一方面可促進節水，避免水資源的浪費。

圖4 NAS存儲結構

2.1 共享分配策略

并行機群具有多種樣式，這里采用的是分布式共享模式。由多個節點計算機通過消息傳遞網絡互相連接，各個處理單元雖然擁有自己獨立的局部存儲器，但是信息資源主要存放于NAS網絡共享存儲空間，每個進程都有權利對共享地址空間進行存儲訪問，如果多個進程同時訪問一個地址時，通過鎖機制來協調處理。各個處理單元之間通過消息傳遞來交換信息和協調控制各個處理器的執行。

要實現機群服務的高可用性，就要確保服務進程在失效后能夠快速重啟，并且可靠恢復。經分析引入機群環境中的檢查點機制［5］，其核心目標是:檢查點信息的高效讀寫，提高機群服務的可用性;檢查點信息的一致性，確保機群服務失效后能夠根據檢查點信息可靠地恢復服務狀態。

如圖5，根據機群檢查點機制服務的核心目標，基于共享內存的并行機群環境設計思路是:

（1）基于共享內存的檢查點信息讀寫。在機群系統的每個服務節點上啟動一個檢查點進程，維護本服務端和檢查點進程都可以訪問的共享內存;在此節點上運行的服務將其關鍵信息保存在該共享內存中，并在機群某一服務進程失效重啟后，能夠迅速通過檢查點進程讀出該服務的檢查點信息，恢復服務狀態。

（2）基于單向環狀的檢查點備份結構。將機群內所有檢查點進程組成一個單向邏輯環結構，在該邏輯環中，檢查點進程按照順時針方向，向其前繼節點備份檢查點信息，當檢查點進程失效重新啟動后，檢查點進程可根據在邏輯環中的備份信息，恢復失效前所維護的服務檢查點信息。檢查點進程T1將檢查點信息備份到進程T2，進程T2將檢查點信息備份到進程T3，依此類推。

圖5 共享內存的并行機群環狀檢查點機制

由此，基于共享內存和檢查點機制的機群環境，設計的核心思想是通過基于共享內存訪問提高檢查點的執行效率，并通過檢查點間的備份結構降低內存作為非穩定存儲帶來的信息可靠性風險維護。根據機群可靠性理論，短時間內出現2次或更多次故障的概率近似為零。

2.2 網絡存儲搭建

2.2.2 具體操作:

（1）存儲端

配置存儲端網絡

管理磁盤組，建立ISCSI和NAS兩種類型的虛擬磁盤

Debian下調用的是ISCSI盤，選擇local user驗證模式，建立用戶組和共享目錄

（2）服務器節點終端

更新Debian系統資源獲取列表sources.list，安裝open－iscsi

添加相應存儲節點iscsiadm–m discovery–t sendtargets–p 210.30.1.41:3260

磁盤分驅，設定文件格式fdisk/dev/sdb

掛接本地文件夾mount/dev/sdb1//var/ftp/開啟iscsi服務/etc/init.d/open－iscsi start修改開機啟動項/etc/rc.local

3 測試結果

網絡中心并行機群環境根據實際情況搭建，網絡資源平臺建設小具規模，現供全校師生訪問，運行一段時間以來，安全平穩，用戶延遲等待和宕機現象明顯改善，具體參考數據如下。

表1 機群共享存儲環境下訪問速度對比

表2 機群共享存儲環境下服務性能對比

4 結語

通過測試結果來看，機群環境在網絡資源平臺中的應用得到了很好的效果，各方面性能都有所提升，基本解決了現階段存在的問題，但是隨著信息資源量和訪問人數的日益增大，則還需要通過增加更多服務節點，優化負載均衡等方法，以達到最佳效果，有待于進一步研究。

［1］孫進康，陳章其.高校網絡教學資源的建設與共享［J］.中國電化教育，2008（1）:60－63.

［2］鄭曉薇，武亮亮.機群下基于網格的并行任務分配策略研究［J］.微電子學與計算機，2008（3）:134－136.

［3］郭成城，晏蒲柳.一種異構Web服務器集群動態負載均衡算法［J］.計算機學報，2005（2）:179－183.

［4］GAO Wen，CHEN Mingyu.A faster checkpointing and recovery algorithm with a hierarchical storage approach，Proc of the 8th Int conf on High—Performance computing inAsia.Pacific Region.Los Alamitos，CA:IEEE，ComputerSociety，2005:78－86。

［5］梁祿金，喬強.NAS存儲技術在現代數字圖書館中的應用研究［J］.現代情報，2008（12）:99－101.

Application of Parallel Cluster in Network Resource Construction

WU Liang－liang，XUE Ye，WU Yi－song，WANG De－jian
（Network and Information Technology Center，Dalian Nationalities University，Dalian Liaoning 116600，China）

In this paper，we introduce the cluster environment，which widely applies in parallel computing field，into network resource construction.Adoptting mutiserver distributed parallel task treatment mode and NAS network memory equipment，we propose a kind of new solution which brings the administration and usage of resource platform more practicality，stability，and high－effect.

parallel;cluster;network memory;shared distribution

TP393

A

1009－315X（2012）03－0272－03

2011－12－13;最后

2012－03－26

武亮亮（1982－），女，遼寧錦州人，助理工程師，主要從事并行機群、數據安全研究。

（責任編輯 劉敏）