集群資源管理技術及在遙感產品生產系統中的應用分析

摘 要 為了實現集群中調度服務器對資源的管理以及對整個集群狀態的監控，以高效地生產遙感數據產品，對現有的一些集群資源管理技術進行了分析，并通過研究基于五層十五級的數據組織結構、集群任務組織和調度策略、集群節點資源可視化技術等，提出了一種支持多機多任務高效的集群資源管理方法，并在遙感產品生產系統中進行應用，實驗表明該方法能夠在保證任務完成的情況下使調度服務器對資源的管理和調配能力以及生產效率提高40%。

關鍵詞 集群;調度服務器;數據組織和檢索;任務分配;資源管理

引言

現代空間遙感技術的發展已使傳感器的空間分辨率、光譜分辨率和時間分辨率大幅度提高，使得遙感圖像的數據量急劇增加，有的影像文件大小甚至達到GB級[1]，這使得計算機在處理這些遙感圖像時計算量及資源耗費成倍增加。為了提高遙感影像的處理效率并最大限度地利用已有資源，越來越多的研究者開始將集群技術應用到遙感產品生產領域，隨之而來的就是集群資源管理問題，如何才能高效的發揮集群作用，提高集群系統中調度服務器對資源的調配、管理及對整個集群狀態的監控已成為集群技術應用者值得考慮的問題。目前集群技術在遙感產品生產應用中主要存在的問題有以下幾方面：①CPU占用率、內存使用率以及磁盤使用率高;②網絡的數據發送和接收速度低;③多機任務分配負載不均衡[2];④數據組織及檢索速度慢。因此，有必要深入研究集群資源管理技術，使之在保證任務順利完成的情況下能夠有效地對集群中的資源進行管理、調配。

1集群和集群資源管理技術

1.1 集群

集群（Cluster）是一種造價低廉、方便構建并且具有很好的可擴展性的計算機體系結構[3]，由一組通過高速網絡互聯并相互獨立的計算機組成，集群的一大特點是高可用性和靈活的伸縮擴展性[4]。典型的集群體系結構及各層關鍵技術主要分為網絡層：網絡互聯結構、通信協議、信號技術;節點機和客戶機：分層級操作系統;管理層：資源管理、調度、負載均衡、并行、安全;應用層：開發環境、串并行應用。

每一層解決的問題不同，其中本文所討論的集群資源管理主要集中在集群系統管理層，該層是集群所特有功能和關鍵技術的體現。在現如今按需計算的時代，各種應用集群技術的系統，大部分依賴于集群的系統管理層，因此，合理的集群管理會大大發揮集群在實際應用中的作用。

1.2 集群資源管理技術

在遙感產品生產這個復雜的背景下，集群資源的管理技術顯的更加復雜，不僅要對集群狀態、集群中節點資源使用情況和節點狀態進行動態監控，還要實時監控系統的I/O狀態，如數據發送速度、網絡的數據接收速度等，另外在遙感產品生產中集群資源管理還涉及對提交的任務進行資源分析，根據任務預期執行周期，組織任務需要的一切資源，然后執行匹配，同時資源管理還要考慮到遙感數據的存儲和計算的方便快捷性，進而保證任務能夠高效快速完成。針對這種現象，本文研究的集群資源管理方法從遙感數據組織和檢索、任務組織和調度策略及節點資源可視化管理等方面對系統管理層進行優化。

2參數反演集群計算平臺

參數反演集群計算平臺是中國科學院遙感與數字地球研究所信息產品生產系統下的一個子系統，主要是通過一臺任務管理服務器來管理數量眾多的并行計算節點。這種模式可以很好地利用現有的計算資源，同時可以通過任務管理來控制任務執行模式。這樣的模式具有很強的擴展性，新的產品算法可以以插件的方式加入集群，進行遙感產品生產;已有的算法也可以升級或者更換版本。

參數反演集群計算平臺既可以接收來自其他系統發過來的任務然后組織數據進行產品生產，又可以通過自身來檢索數據下達任務進行生產，主要流程是：檢索衛星影像切分數據、選擇產品、提交任務、生成訂單、將訂單發送到調度服務器、調度服務器向數據庫請求生產所需數據、調度服務器接收并解析訂單然后成子訂單、將子訂單分發給節點服務器、節點服務器進行產品生產并將生產進度反饋給調度服務器。

3參數反演集群計算平臺中資源管理技術的應用

3.1 數據組織和檢索

參數反演集群計算平臺要處理的數據是海量的遙感數據，因此合理的數據存儲和傳輸技術直接決定了系統的性能，為了高效的生產遙感產品，本系統采用基于新型的五層十五級的影像分級標準[5]，是因為根據該分級特性能夠直接尋址檢索，從而實現數據的快速查找。新型的五層十五級的影像分級標準是按照全球雙經緯度地理空間對影像進行切分組織，先以10–4、10–3、10–2、10–1、1、101度為基準，建立十進制空間分辨率標準化層級，每層按照二分之一、四分之一形成三級標準瓦片，每個瓦片大小設定為1000，根據每一層瓦片分割的間隔度數能夠計算影像的層級和行列號范圍，再根據四個角的經緯度就可以計算出瓦片的行列號，再加上影像所屬的衛星、傳感器類型還有拍攝日期就可以唯一標識一個瓦片。經緯度轉化成行列號計算公式如下：

（1）

（2）

其中L表示行號，C表示列號，lat表示緯度，lon表示經度，Z表示層級瓦片之間分割度數。

本系統中瓦片在存儲時的命名格式如“GF1_WFV1_20140329_L1A0000192449_8_497_1173-1.tif”，其中GFI表示原始影像數據的衛星，WFV1為傳感器類型，20140329表示影像數據的拍攝時間，L1A0000192449為原數據產品號，8為所屬層級，497為行號，1173為列號，1為波段。

3.2 任務組織和調度策略

任務調度的核心是任務調度服務器，負責解析訂單、生成任務隊列、將任務發給計算節點，然后驅動算法生產。文獻[6]提出了基于任務“代價”的任務分配模型，將任務分配問題轉化為對混合整數線性規劃的求解問題，但是在解決負載均衡時效果并不好。文獻[7]提出了一種基于尺度的影像數據不平均分配策略，但是不適用多節點的集群環境。

基于此，在遙感產品生產中進行任務調度的時候，我們主要考慮三方面問題，一是當前可用的計算機資源，二是任務執行時間，三是是集群間負載問題，在參數反演集群計算平臺中采用的結合調度節點優先級和任務優先級相結合的新的調度策略，調度節點優先級算法是根據系統可用內存（E）、CPU主頻（C）、正在運行任務數（N）、等待生產任務數（W）及他們各自的比重（W1、W2、W3、W4）計算出某個調度節點優先級，然后對這些節點的優先級進行降序排序，得到新的調度節點隊列，然后將任務分發給這些節點，這種方法只考慮了調度節點的優先級而未考慮任務的執行時間（Th）、任務量（L）。基于任務優先級算法是取集群之前處理同類產品時的平均時間作為參考，然后結合每個任務的歷史執行時間、任務量及它們各自加權值（Q1，Q2）計算出任務的執行優先級，得到任務隊列，此方法忽略了集群當前可用的調度節點資源使用情況。

基于對上述兩種方法的研究，參數反演集群計算平臺采用二者結合的方式，一方面，對調度節點進行優先級降序排列，一方面對任務進行優先級降序排列，然后將經過優先級排序的任務隊列中的任務分給經過優先級排序的計算節點隊列。其中計算節點優先級P計算公式和任務優先級T計算公式如下所示：

（3）

（4）

由此可以獲得2個隊列，一個是基于任務的隊列，一個是基于計算節點的隊列，然后將任務隊列中的任務根據計算節點的情況，動態分配到計算隊列中的節點上進行產品生產。同一產品生產，三種算法的執行結果如圖1所示。

圖1 三種算法的執行結果

由次看出，二者結合的調度算法在參數反演集群計算平臺中的應用縮短了產品生產時間，提高了遙感產品生產效率。

3.3 節點資源管理可視化管理

為了輔助集群管理，參數反演集群計算平臺中對集群計算節點資源進行可視化展示。該方案根據Stuart K.Card等人提出的CARD[8]信息可視化模型提出的節點信息可視化過程如下：首先獲取節點信息，然后進行節點信息建立節點連接信息表[9]，再構建可視化區域結構信息表，最后根據這兩張表進行節點的繪制[10]。其中網絡拓撲結構采用單中心節點連接，同時將生產節點狀態以樹型結構進行展示。實驗表明，該方案能夠相比其他可視化方案能夠最小的消耗內存資源。其中節點網絡拓撲如圖2所示。

圖2 網絡拓撲圖

網絡拓撲圖繪制過程如下所示：

計算中心點坐標（Px，Py），Px=W/2，Py=H/2;W為顯示區域的寬度，H為顯示區域的高度;

計算中心點圖片的左下角（P1x，P1y）和右上角（Prx，Pry）坐標，P1x=Px-Pw/2，P1y=Py-Ph/2，Prx=Px+，Pry=Py+Ph/2;Pw為圖片寬度，Ph為圖片高度

計算各節點坐標（，），=Rcos（2πi/n），=Rsin（2πi/n）;R為節點到中心節點的連線長度，取值范圍為+MAX（Pw/2，Ph/2）=

計算各節點圖像左下角（）和右上角（）坐標;

當集群的并行節點分別為0，2，4，6，8，12個時資源占用情況如表1所示。

表1 不同節點展示時資源占用情況

節點個數 CPU利用率（%） 內存占用（K）

0 10 195323

2 12.5 195523

4 13 195723

6 14.3 195923

8 15.2 196323

12 16 198323

上述中心節點的CPU是八核的內存是5824MB，由表可以看出隨著計算節點的增加，CPU和內存的占用都會增加，但是增加的不是很多，但是通常情況下，負載超過85%機器性能就會降低，進而影像任務的執行，這方面研究有待提高。

4結束語

本文通過研究集群資源管理技術，在參數反演集群計算平臺的數據組織和檢索時采用基于新型的五層十五級分級標準和直接尋址檢索方式，實現了遙感數據的快速檢索，在任務組織和分配時采用基于節點優先級和基于任務優先級相結合的任務調度策略，從而實現任務的快速有效分配，進而保證任務的高效執行，在節點資源管理方面，采用基于Stuart K.Card等人提出的CARD信息可視化模型，設計出了節點可視化方案，從不同層次對節點資源進行管理。然而，論文研究的方法還存在一定的局限性，在面對節點過多的時候，任務實行效率方面、參數反演集群計算平臺穩定性方面能力表現不足，接下來將從資源釋放、內存管理方面等進行研究。

參考文獻

[1] Alain Merigo，Alfredo Petrosino.Parrllel Process-Inge for Image and Video Processing： issues and challenges[J].Parallel Computing，2008，34（12）：694-699.

[2] 劉愛珍，王嘉禎.改進的多任務分配與調度遺傳算法[J].微電子學與計算機，2007，24（9）：162-165.

[3] Flynn M J.Very high-seed computing systems [J].Proc of the IEEE，1996，54（12）：1901-1909.

[4] 李敬.集群系統集中管理平臺的研究與實現[D].西安：西北工業大學，2004.

[5] 王棟，鄭逢斌，賴積保，等.基于五層十五級遙感數據結構的并行算法研究.微計算機信息，2012，（1）：166-167.

[6] 曾志，劉仁義.一種基于分塊的遙感影像并行處理機制[J].浙江大學學報，2012，39（2）：135-141.

[7] 沈占鋒，駱劍承，陳秋曉.高分辨率遙感影像并行處理數據分配策略研究[J].哈爾濱工業大學學報，2006，38（11）：1968-1971.

[8] CARD SK，MACKINLAY J D，SHNEIDERMAN B.Readings in Information Visualization; Using Vision to Think[M].San Francisco：Morgan Kaufmann，1999：109.

[9] 楊彥波，劉濱，祁明月.信息可視化研究綜述[J].河北科技大學學報，2014，35（1）：91-102.

[10] 任磊，王威信，周明駿，等.一種模型驅動的交互式信息可視化開發方法[J].軟件學報，2008，19（8）：1947-1967.

作者簡介

王一民（1992-），男，本科，助理工程師，主要研究領域為人工智能、集群、遙感、數據挖掘、無線電、衛星通信。