衛(wèi)星群分布式技術的研究與實現(xiàn)①

侯玉峰,倪 明

(華東計算技術研究所 航天產(chǎn)品部,上海 201800)

衛(wèi)星群分布式技術的研究與實現(xiàn)①

侯玉峰,倪 明

(華東計算技術研究所 航天產(chǎn)品部,上海 201800)

隨著航天技術的發(fā)展,越來越多的信息需在星上處理,衛(wèi)星群分布式技術已成為近年來研究的熱點. 與地面環(huán)境不同,衛(wèi)星受到體積、功耗、空間輻射等條件的限制,在衛(wèi)星群建立分布式環(huán)境需掌握架構設計、操作系統(tǒng)、資源管理等關鍵技術. 針對以上問題,本文先研究衛(wèi)星群分布式計算與存儲架構、其次研究衛(wèi)星群分布式資源監(jiān)控的實現(xiàn)過程,最后通過衛(wèi)星群驗證系統(tǒng)證明其可行性與優(yōu)越性.

衛(wèi)星; 分布式; 計算; 存儲; 資源監(jiān)控

1 引言

隨著信息技術的發(fā)展,人們已進入了大數(shù)據(jù)時代,構建集群對海量數(shù)據(jù)進行分布式計算與存儲已成為一種共識,航天衛(wèi)星領域也同樣如此. 構建衛(wèi)星群分布式架構很有意義,在國家層面上,面對紛亂復雜的周邊形勢,若能實現(xiàn)衛(wèi)星組網(wǎng)進行分布式計算與存儲,便可大幅提高衛(wèi)星能力,擴展衛(wèi)星功能,對國防偵查、態(tài)勢感知、地圖導航、通信指揮等起到更大作用. 在公眾層面上,人們可通過移動設備隨時接入衛(wèi)星網(wǎng)絡,從而享受衛(wèi)星群系統(tǒng)提供的更加精確的實時定位、物流追蹤和遙感信息服務. 綜上,通過衛(wèi)星組網(wǎng)進行分布式計算與存儲已成為航天衛(wèi)星領域發(fā)展的必然趨勢[1].

當下地面環(huán)境上的分布式計算技術已相當成熟,但由于衛(wèi)星所處太空環(huán)境的限制,計算機需要高標準的制造要求、低功耗的處理架構,以及剪裁過的操作系統(tǒng),因而衛(wèi)星群分布式環(huán)境的構建與地面有明顯差異[2].

2 衛(wèi)星群分布式架構

針對引言所述問題,本文選擇了八臺采用ARM體系架構,搭載銀河麒麟操作系統(tǒng)的國產(chǎn)飛騰服務器作為衛(wèi)星計算機. 整個集群系統(tǒng)分為天地兩部分,地面共三臺服務器,通過電口交換機互連,其中一臺模擬管控臺計算機,通過搭建django框架,編寫web應用程序顯示衛(wèi)星群的信息,剩余兩臺采用飛騰的存儲服務器用于模擬數(shù)據(jù)中心. 天上采用五臺剪裁過的低功耗飛騰服務器來模擬衛(wèi)星,服務器間通過光口交換機互連,模擬衛(wèi)星群的點對點激光通信過程,天地集群間通過光纖收發(fā)器的光電轉化技術進行互連. 集群系統(tǒng)的總體設計架構如圖1所示.

圖1 衛(wèi)星群總體設計架構

衛(wèi)星群的分布式架構分為存儲和計算兩部分,分別在2.1節(jié)和2.2節(jié)中介紹.

2.1 衛(wèi)星群分布式存儲架構

衛(wèi)星群中的一臺節(jié)點記作master節(jié)點,剩余的四臺記作slave節(jié)點,各節(jié)點的本地文件系統(tǒng),在邏輯上是一個統(tǒng)一的存儲系統(tǒng). 當某臺衛(wèi)星進行存儲時,會根據(jù)冗余備份機制,選擇網(wǎng)絡距離最近的兩個衛(wèi)星進行存儲,保持數(shù)據(jù)的備份數(shù)為 3. 進行存儲時,master節(jié)點運行namenode進程,負責管理衛(wèi)星文件系統(tǒng)的命名空間,維護文件系統(tǒng)樹,保存命名空間鏡像文件和編輯日志文件,此外還記錄每個文件中各個塊的節(jié)點信息.slave節(jié)點運行datanode進程,是存儲數(shù)據(jù)塊的工作節(jié)點,并定期向master節(jié)點發(fā)送它們所存儲的塊列表[3].

衛(wèi)星群采用分布式存儲架構后,不僅能夠增大存儲空間,而且可以將監(jiān)測到的數(shù)據(jù)進行冗余備份,增強了數(shù)據(jù)的安全性,存儲備份過程如圖2,箭頭指向為數(shù)據(jù)備份的目的地.

圖2 衛(wèi)星群存儲備份示意圖

2.2 衛(wèi)星群分布式計算架構

master節(jié)點從衛(wèi)星群的文件系統(tǒng)取數(shù)據(jù)后,按照指定的大小分成多個block,接著將block切分成多個inputsplit傳送到各slave節(jié)點處. 然后各個slave節(jié)點通過map程序對塊進行處理,結果通過combine函數(shù)預處理后先寫入環(huán)緩沖,緩沖區(qū)溢滿后,再將結果進行分區(qū)、排序、寫磁盤操作. 隨后master節(jié)點通過Reduce程序從衛(wèi)星群的文件系統(tǒng)中取到相應的數(shù)據(jù)塊進行處理,最后將所有Reduce程序的處理結果存儲到衛(wèi)星群文件系統(tǒng)中[4-6].

衛(wèi)星群采用分布式計算架構后,通過對數(shù)據(jù)進行分發(fā)和歸約操作使計算速度加快,計算流程如圖3.

3 衛(wèi)星群的分布式資源監(jiān)控

資源監(jiān)控是集群部署中的關鍵組件,具有實時、精確、全面的特性,通過采集集群運行指標,展示詳細的工作狀態(tài). 衛(wèi)星群部署資源監(jiān)控系統(tǒng),一方面是為了保證衛(wèi)星群運行穩(wěn)定,讓運維人員能第一時間發(fā)現(xiàn)節(jié)點宕機、失連等故障,及時解決問題,從而將損失降到最低. 另一方面也是評判星上應用程序是否高效的一個重要依據(jù). 衛(wèi)星群的資源監(jiān)控運用了Ganglia的原理,所有需要監(jiān)控的衛(wèi)星節(jié)點上運行gmond進程,用于收集衛(wèi)星信息,并將這些數(shù)據(jù)以XML格式定時發(fā)送給主節(jié)點. 主節(jié)點運行gmetad進程,接收各從節(jié)點的數(shù)據(jù),并以rrdtool的形式存放在rrds文件中. 與此同時,主節(jié)點運行gweb進程,該進程通過HTML、PHP、JS等前端技術,讀取監(jiān)控數(shù)據(jù)文件,并將其顯示到瀏覽器中.

圖4 衛(wèi)星群資源監(jiān)控數(shù)據(jù)流圖

執(zhí)行流程如圖4所示,首先修改gmond與gmetad的配置文件,包括設置衛(wèi)星群信息、存儲信息以及采樣頻率. 配置設置好后,啟動 gmond 與 gmetad 進程,開始監(jiān)控集群. 集群信息每隔設定時間存儲到rrdtool中,對應于master節(jié)點的rrds目錄. 然后通過PHP文件獲取衛(wèi)星群信息,TPL和JS文件進行界面的布局,Apache2服務器和FireFox瀏覽器進行代碼解析和前端顯示. 通過使用分布式資源監(jiān)控技術,監(jiān)控衛(wèi)星群的運行數(shù)據(jù),從而可對衛(wèi)星群進行性能檢測、故障維修以及資源分配.

3.1 監(jiān)控指標

衛(wèi)星群的監(jiān)控指標包括CPU使用率、MEMORY使用率、LOAD負載率、NET負載率. 數(shù)據(jù)的計算方法如下.

(1) CPU 使用率

CPU有內核態(tài)、用戶態(tài)和空閑態(tài)三種狀態(tài). 用Cc表示內核態(tài),Cu表示用戶態(tài),Ci表示空閑態(tài). 通過命令vmstat的返回值,獲取衛(wèi)星的這三個數(shù)據(jù)值后,CPU使用率CPUu表達式如下:

(2) 內存空閑率

用Mf表示空閑內存量,Mt表示總內存量. 通過讀取內存文件獲取free屬性值后,內存空閑率MEMi表達式如下:

(3) LOAD 負載率

進程有運行態(tài)、就緒態(tài)和阻塞態(tài)三種狀態(tài). 用Pe表示運行進程數(shù),Pr表示就緒進程數(shù),Pb表示阻塞進程數(shù). 通過讀取進程文件獲取ps各屬性值后,平均負載率PROr表達式如下:

(4) 網(wǎng)絡負載率

從本星流入流量記作Ni,從本星流出流量記作No,本星網(wǎng)絡吞吐能力記作Nt,網(wǎng)絡負載率NETl表達式如下:

3.2 存儲結構

衛(wèi)星群的數(shù)據(jù)存儲結構為一個四維數(shù)組. 以CPU的度量數(shù)據(jù)為例,第一維包括user、nice、system、wait、idea 五項指標. 每項指標下有各類信息,其中datapoint存儲一段時間的數(shù)據(jù),共241個采樣時間點,每個采樣時間點存儲(數(shù)據(jù)值,時間)的鍵值對. 如圖5所示.

圖5 衛(wèi)星群 CPU 數(shù)據(jù)結構

3.3 運行機制

心跳監(jiān)測是實現(xiàn)衛(wèi)星群資源監(jiān)控的運行機制,其中衛(wèi)星主節(jié)點運行RecourseManager進程,衛(wèi)星從節(jié)點運行NodeManager進程. 從節(jié)點運行一個循環(huán),每隔一段時間向主節(jié)點發(fā)送心跳Heartbeat,在此期間,將從節(jié)點采集的數(shù)據(jù)傳送給主節(jié)點[5]. 主節(jié)點接受到心跳的同時,將收集到的數(shù)據(jù)存入 rrdtool中,并發(fā)出 reply. 發(fā)送心跳的函數(shù)為transmitHeartBeat(),接受心跳的函數(shù)為heartbeat()函數(shù),如圖6 所示.

圖6 心跳監(jiān)測機制圖

3.4 核心代碼

衛(wèi)星群資源監(jiān)控底層代碼通過調用gmetad()方法獲取數(shù)據(jù),使用socket與衛(wèi)星主節(jié)點的8652端口進行交互,將衛(wèi)星群各節(jié)點的性能指標,以xml數(shù)據(jù)格式存儲于rrds文件夾內[7]. 核心代碼如下:

3.5 改進與完善

衛(wèi)星群原有的監(jiān)控界面簡陋,監(jiān)控指標少,且只能進行一段時間的整體監(jiān)控,如圖7.

本人在熟悉監(jiān)控代碼的基礎上,利用js、php、css等技術,完成了對圖表樣式以及界面的改進、并增添了衛(wèi)星實時數(shù)據(jù)動態(tài)監(jiān)控、衛(wèi)星節(jié)點數(shù)據(jù)對比、衛(wèi)星節(jié)點動態(tài)部署等功能. 主要實現(xiàn)過程如下.

(1) 圖表樣式美化

在test_cluster.js文件中,利用js的jquery技術獲取了衛(wèi)星群的信息,之后調用highcharts圖表庫編寫繪圖函數(shù)draw_line、draw_area、draw_histo、draw_pie,實現(xiàn)了圖表樣式的美化[8]. 數(shù)據(jù)獲取函數(shù)如下:

圖7 修改前監(jiān)控圖表

效果圖如圖8.

圖8 修改后監(jiān)控圖表

(2) 節(jié)點數(shù)據(jù)對比功能

通過編寫節(jié)點對比函數(shù)draw_total,實現(xiàn)多個衛(wèi)星節(jié)點的數(shù)據(jù)匯總. 在此圖表內,可對比衛(wèi)星主節(jié)點master與任意衛(wèi)星從節(jié)點slave的數(shù)據(jù),以便進行衛(wèi)星節(jié)點間的性能分析與評估[9]. 部分實現(xiàn)代碼如下:

圖9 節(jié)點對比圖

(3) 實時數(shù)據(jù)動態(tài)監(jiān)控

test_dynamic.js文件用于動態(tài)顯示衛(wèi)星群的實時數(shù)據(jù),具體過程見下.

打開受控節(jié)點的gmond.conf文件,參數(shù)collect_every 值為采樣頻率,設置為 1,time_threshold 值為時間閾值,設置為 300. 之后設置數(shù)據(jù)存儲大小,修改配置語句“RRA:AVERAGE:0.5.1.1:244”,該配置語句表示存儲空間默認每15s存一次數(shù)據(jù),共存夠244個后. 由于采樣頻率已改為1,固須將存儲空間加大,將244修改為3000即可. 隨后將主節(jié)點下的rrds文件夾刪除,重啟衛(wèi)星群后,修改采樣間隔操作即可成功. 最后在test_dynamic.js文件中開啟highcharts的動畫屬性animation,開啟方法如下:

動態(tài)監(jiān)控效果圖如圖10.

(4) 動態(tài)增減節(jié)點

為實現(xiàn)衛(wèi)星群的動態(tài)部署,需添加衛(wèi)星節(jié)點的動態(tài)增減功能. 可通過修改hdfs-sites文件,將節(jié)點狀態(tài)從live轉換為decommissioned,表示所選衛(wèi)星節(jié)點已與衛(wèi)星群斷開連接. 相關配置如下:

圖10 實時數(shù)據(jù)動態(tài)顯示

4 衛(wèi)星群驗證系統(tǒng)

4.1 硬件配置

衛(wèi)星硬件配置如表1所示.

表1 衛(wèi)星硬件配置

4.2 應用介紹

驗證系統(tǒng)包括四個功能,詞頻統(tǒng)計、資源監(jiān)控、數(shù)據(jù)恢復和動態(tài)部署與報警,見表2.

表2 應用介紹

4.3 界面遷移

驗證系統(tǒng)的界面遷移如圖11所示.

圖11 界面遷移圖

5 實驗結果

5.1 衛(wèi)星群分布式資源監(jiān)控結果

衛(wèi)星群資源監(jiān)控整體界面如圖12所示,該監(jiān)控系統(tǒng)可對衛(wèi)星群進行整體、實時、單點和不同節(jié)點的對比監(jiān)控,通過全方位監(jiān)控衛(wèi)星群,保證其安全可靠的運行.

圖12 衛(wèi)星群資源監(jiān)控圖

5.2 動態(tài)部署與報警結果

如圖13所示,選中衛(wèi)星2與與地面三臺設備后,這四臺機器構成一個星地集群,其他衛(wèi)星被移除集群,并顯示紅色進行報警,選中節(jié)點顯示綠色表示正常運行.

5.3 衛(wèi)星群分布式計算結果分析

以詞頻統(tǒng)計的測試程序為例,展示衛(wèi)星群分布式計算的優(yōu)越性. 用動態(tài)部署所選中的星地四臺節(jié)點,對大小350 Mb的文本文件進行詞頻統(tǒng)計的分布式計算,用時 72 s,單機計算 242 s,衛(wèi)星群分布式計算增速三倍有余. 圖14為衛(wèi)星單機與分布式計算對比圖.

衛(wèi)星分布式計算性能與文件大小關聯(lián)性見表3.

衛(wèi)星群分布式計算環(huán)境下,當計算文件小于125 M時,單機反而快于分布式計算,這是是因為此時節(jié)點間的通信開銷遠大于計算開銷. 當文件大于125 M之后,分布式計算逐漸快于單機計算,且在300 MB文件左右,提高的速度趨于穩(wěn)定,約為單機性能的 3.3 倍. 這是合理的,因為衛(wèi)星群分布式計算需要占取網(wǎng)絡和存儲資源,理論上不可能達到4倍的提升速度.

圖13 衛(wèi)星動態(tài)部署與報警

圖14 計算對比圖

表3 文件大小與性能關系表

5.4 衛(wèi)星群分布式存儲結果

傳統(tǒng)衛(wèi)星單機存儲技術,如果數(shù)據(jù)損壞無法第一時間得知,且需由地面上傳數(shù)據(jù). 而衛(wèi)星群分布式存儲技術,始終保持數(shù)據(jù)的備份數(shù)為3,當某一節(jié)點丟失數(shù)據(jù)后,最近的節(jié)點會迅速進行數(shù)據(jù)的自動恢復. 圖15展示了將ip地址為192.168.1.2的衛(wèi)星2的blk_1073741835_1011文件刪除后,ip地址為192.168.1.5的衛(wèi)星3自動將丟失數(shù)據(jù)傳送給衛(wèi)星2的數(shù)據(jù)恢復過程.

圖15 數(shù)據(jù)恢復日志

6 結論

本文通過選取符合衛(wèi)星條件限制的處理器架構和操作系統(tǒng),模擬搭建了衛(wèi)星群的分布式計算環(huán)境,運用現(xiàn)有的分布式技術,實現(xiàn)了衛(wèi)星群的動態(tài)部署、分布式計算、存儲和資源監(jiān)控功能,并對衛(wèi)星群資源監(jiān)控功能進行了改進和擴展. 通過衛(wèi)星群驗證系統(tǒng)的實驗,證明了分布式技術在國產(chǎn)衛(wèi)星平臺上部署的可行性.此外通過衛(wèi)星群與單機衛(wèi)星節(jié)點在計算時間和數(shù)據(jù)恢復上的對比,證明了分布式技術在國產(chǎn)衛(wèi)星平臺性能上的優(yōu)越性.

1王敬超,于全. 基于分布式星群的空間信息網(wǎng)絡體系架構與關鍵技術. 中興通訊技術,2016,22(4): 9–13,18.

2彭東. 深度探索嵌入式操作系統(tǒng). 北京: 機械工業(yè)出版社,2015.

3陸嘉恒. Hadoop 實戰(zhàn). 2 版. 北京: 機械工業(yè)出版社,2012.

4White T. Hadoop 權威指南. 3 版. 華東師范大學數(shù)據(jù)科學與工程學院譯. 北京: 清華大學出版社,2015.

5Holmes A. Hadoop 硬實戰(zhàn). 梁李印,寧青,楊卓犖,譯. 北京:電子工業(yè)出版社,2015.

6顧炯炯. 云計算架構技術與實踐. 北京: 清華大學出版社,2016.

7Zandstra M. 深入 PHP. 人民郵電出版社,2016.

8尤海鵬. 基于Ganglia的數(shù)據(jù)中心監(jiān)控平臺設計[碩士學位論文]. 濟南: 山東大學,2014.

9曹東航. 基于Ganglia的云平臺監(jiān)控的研究與實現(xiàn)[碩士學位論文]. 成都: 電子科技大學,2016.

Research and Realization of Distributed Technology on Satellite Cluster

HOU Yu-Feng,NI Ming

(Department of Aerospace Products,East China Institute of Computer Technology,Shanghai 201800,China)

With the development of space technology,more and more information needs to be computed on the satellite.The distributed technology of satellite cluster hence has become a research hotspot in recent years. Different from the ground environment,the satellite is limited with some constraints such as volume,power consumption and space radiation. The key technology such as architecture design,operating systems and resource management should be grasped to establish distributed environment on satellite cluster. To solve problems above,this paper first studies the distributed computing architecture and storage architecture on satellite cluster. Then,it focuses on the implementation of distributed resource monitoring on satellite cluster. Finally,it proves its feasibility and superiority through the authentication system of satellite cluster.

satellite; distributed; computing; storage; resource monitoring

侯玉峰,倪明.衛(wèi)星群分布式技術的研究與實現(xiàn).計算機系統(tǒng)應用,2017,26(12):233–239. http://www.c-s-a.org.cn/1003-3254/6111.html

2017-03-14; 修改時間: 2017-03-31; 采用時間: 2017-04-07