公共安全監控預警混合云的研究*

師雪霖，趙 英，李 娜

（北京化工大學信息科學與技術學院 北京100029）

1 引言

公共安全近年來越來越受到世界各國政府的重視，我國的應急管理工作也取得了長足進展，以“一案三制”（一案指制訂修訂應急預案；三制指建立健全應急的體制、機制和法制）為核心的應急管理體系基本形成，應急管理綜合能力得到提高[1]。但是與較為完善的應急管理辦法相比，公共安全的基礎技術支撐環節薄弱，總體公共安全形勢仍然趨于嚴峻，這同時也是各國面臨的問題。以日本2011年3月11日地震引發的核泄漏事件為例，其暴露出全局或重點區域部署智能化識別和定位核、生、化危險物質的無線傳感監控網絡的重要性。在我國，《國家中長期科學和技術發展規劃綱要（2006—2020年）》已將“公共安全”列為重點領域，其優先主題明確包括了“危險化學品泄漏”、“核生化恐怖源的遠程探測”。因此，基于物聯網（Internet of Things）技術的危險核、生、化監測和遙感研究，受到業界和政府相關部門的高度重視，同時不可忽視的是，這也對與其配套的監測數據處理分析計算平臺提出了更高的要求。面對實時收集的海量數據，如何提供高效、經濟、便捷又有QoS（quality of service，服務質量）保證的計算服務和存儲服務，成為公共安全支撐技術領域的難點和熱點。面對這種需求，云計算無疑是一種可行的解決方案。

Buyya定義了云的概念：“云是由很多彼此互聯、虛擬化的計算機組成的并行、分布式系統，服務提供者和用戶之間通過協商達成一致服務協議，動態提供統一計算資源”[2]。通過這個定義，可以看出云計算要解決的問題是如何有效安全地管理和共享接入云的各種資源，并提供相應的服務，它強調的是全面的共享資源、全面的應用服務。云計算提出了全互聯網范圍內共享資源的最高目標，最大限度地充分利用計算/存儲資源，是整合全社會高性能計算資源的有效方法[3,4]。

由此可見，云的特點和優勢十分適合為公共安全監控預警提供計算、存儲服務。本文提出了一種用于公共安全監控預警的混合云體系統架構，借鑒傳統IaaS（infrastructureas a service）云架構，集成了高性能計算和虛擬私有云兩種計算資源的管理模式，實現統一的服務部署、調用管理，為用戶提供了SaaS（software as a service）方式的云計算和存儲服務，還設計了此平臺的資源調度模型、算法、QoS策略及其實現方式。

2 HCPSMF系統框架

公共安全監控預警最核心的兩個問題就是數據感知和數據處理，其對計算資源的要求與目前商用云有所不同。云商業應用，如亞馬遜公司的Amazon EC2平臺、谷歌公司的Google App Engin(GAE)平臺等，往往以虛擬化技術為基礎滿足不同用戶的不同計算需求。但是公共安全監控預警中主要是對所采集數據的分析，所需計算服務類型相對固定（即使用特定的幾種軟件），但對并發計算性能要求更高。基于此，公共安全監控預警計算平臺要支持對HPC（high performance computing，高性能計算）資源的管理和調度。此外，平臺也需要為監控領域專家、工作人員提供計算服務、軟件服務，所以同樣需要支持虛擬化計算資源的管理和調度。因此，本文提出了一種混合云平臺架構——HCPSMF，支持對HPC資源和虛擬化資源（指VPN）進行混合管理。

2.1 公共安全監控預警體系框架

公共安全監控預警是一個系統工程，包括數據的采集、接入、傳輸、分析、監控以及用戶服務。因此可以用圖1所示的5層結構描述。

公共安全監控預警體系框架可分為5層：感知層、接入層、網絡層、云計算層和用戶層。

感知層是用來識別核、生、化物質和采集數據的，是整個體系框架的基礎，由各種類型的采集終端和控制模塊組成，如無線傳感器網絡（wireless sensors network，WSN）和其他移動監控終端。WSN是由許多在空間上廣泛分布的自動裝置組成的網絡，這些裝置使用傳感器協作監控不同的環境狀況。WSN集分布式信息采集、傳輸、處理技術于一體，能夠通過各類傳感器協作實時監測、感知和采集核、生、化危險物質含量，并通過隨機自組織無線通信網絡以多跳中繼方式將感知信息傳送到接入點或網關。此外，還可使用其他移動監控終端，如為巡邏警車安置GPS、攝像頭、危險物質檢測設備等，即可成為一個數據感知節點，通過基站傳送數據。移動監控終端增加了數據采集監控的靈活性，可根據反饋情況快速調整監控目標。因此，感知層的功能是完成不同環境中危險物質含量的數據采集和設備控制。

接入層由接入網關和基站節點組成，負責感知層設備的組網控制、信息匯集、協議轉換等功能。保證上行數據符合承載網絡的傳輸需要，并將承載網絡下達的控制指令轉換成感知層可接收的下行數據。

網絡層提供所有數據傳輸的承載網絡，可以根據應用環境和具體需求設定，可以是互聯網、局域網、移動通信網絡等，完成接入層和元計算層之間的信息傳送功能。

云計算層是整個體系框架的核心，由各種HPC服務器、虛擬機、數據存儲設備組成，主要功能是對采集數據進行多源信息融合、轉換、分析，同時在需要對終端設備進行實時控制時，生成控制指令并下發。此外，還要響應用戶層用戶提交的各種服務請求。

用戶層為用戶提供了公共安全監控預警的各種應用接口。可通過監控界面實時調取不同區域的監控數據和分析結果、下達控制指令。由于云計算層提供一些領域的軟件服務，如流體力學分析軟件、擴散模擬軟件等，用戶可通過用戶界面提交一些服務請求。

2.2 HCPSMF結構

HCPSMF是公共安全監控預警體系中的云計算層，它是一種混合云平臺架構，支持對HPC資源和VPC的混合管理。HCPSMF和其他常見的商用云平臺不同，它不僅僅是虛擬機的集合，還包含很多集群服務器和海量數據存儲設備。因為在公共監控預警體系中，大量的數據需要高性能的并行計算處理，以普通計算機網絡相連的虛擬機無法滿足計算要求，往往需要由高速連接（如Infiniband）的多個計算節點、專業I/O存儲組成的集群服務器，僅靠虛擬機是無法滿足的[5]。此外，HCPSMF也需要考慮專業人員的計算需要，此類計算可能對高速連接、存儲沒有要求，但是往往需要多種不同的虛擬機，因此也提供基于虛擬技術的多種軟件服務。

針對上述需要，HCPSMF提供了兩種資源管理方式：管理調度HPC的任務管理系統 （load management system，LMS）和管理VPC的虛擬架構管理系統（virtual infrastructure management system，VIMS）。圖2給出了HCPSMF的架構。

HCPSMF管理的計算節點可以分成兩類：一類是HPC的計算節點，即一臺傳統的硬件計算機上只運行一種操作系統，稱之為物理機（physical machine，PM）；另一類是VPC節點，可根據需要在一臺硬件計算機上運行多個操作系統，稱之為虛擬機（virtual machine，VM）。

需要HCPSMF處理的任務首先提交給作業調度器，作業調度器將任務組成提交隊列，分配給LMS或VIMS管理，最終提交到PM節點或VM節點上執行。

PM節點上配有相對固定的軟件，主要用于對監控數據的分析和處理，由LMS統一管理。無線傳感器、移動監控設備收集的數據通過承載網絡傳遞給HCPSMF云計算平臺，由作業調度器形成的計算任務，再由LMS分配給不同的PM節點進行執行。任務可分成不同的優先級，但發生突發事件時，可對重點監控區域反饋的數據優先進行分析處理。實時監控數據量非常大，歷史數據的記錄也十分必要，往往需要和歷史數據比對，形成核、生、化物質變化趨勢，以供決策分析。

此外，專業人員也需要進行一些模擬計算、科學研究計算，此時需要的軟件可能是不固定、多變的，而且每種軟件所要求的操作系統也各不相同，VM節點主要用于執行此類任務。通過用戶接口（即云portal）提交的計算任務，由作業調度器分配給VIMS，VIMS根據任務需求，選擇空閑硬件節點動態創建虛擬資源，安排任務執行。

這種設計架構易于集成現有HPC調度軟件和虛擬軟件。在HCPSMF中，LMS選用商業軟件Platform公司的 LSF(load sharing facility)[6]實現，VIMS采用開源軟件OpenNebula[7]實現對虛擬資源的管理。作業調度器只需要管理LMS和VIMS即可，即開發與二者的集成接口，不用關心具體的底層資源調配，這樣既能保證HCPSMF的運行效率，又使之具有可擴展性，通過更新作業調度器與LMS或VIMS的接口，即可支持新的HPC調度軟件或虛擬軟件。

3 資源調度模型及調度算法

現有的云調度研究往往假定排序問題中的約束參數都是確定性的，屬于排序理論中的確定性排序。而實際云環境下，資源調度要受到很多不確定、隨機因素的影響，而且云資源是動態變化的，這就需要利用隨機模型解決排序問題，即隨機排序。從效率角度考慮，基于經濟度量的調度模型更具意義。在HCPSMF框架中，集成的LMS和VIMS固有的調度策略往往是基于確定性排序的簡單模型，因此建立了一個包含成本、懲罰代價等經濟參數的、基于隨機變量的經濟模型，并設計了相應的進化調度算法，在作業調度器上實現。

3.1 云經濟調度模型

建立調度模型即分析云環境下不確定資源因素的隨機分布特征，建立它的隨機模型，并增加經濟衡量參數，將資源調度問題轉換為尋找目標函數數字特征最小化排序問題。設C為HCPSMF中所有節點的集合（包含PM節點和VM節點），C中節點數量為m，C={C1,C2,…,Cm}，設J為作業集合，J中包含n個作業，J={J1,J2,…,Jn}。參考現有網格調度方法[8]，本模型定義了如下調度參數。

tij:第i個作業使用第j個節點所需處理時間；

pj:第j個節點的使用代價；

aj:第j個節點可用的時間；

uj:第j個節點不可用的時間；

bi:第i個作業的預算；

di：第i個作業執行的最后期限；

ri：第i個作業的到達時間；

li：第i個作業調度失敗的懲罰代價。

作業在節點上的執行時間（tij）可以預先估計[6]，假設tij滿足指數分布：

將tij作為指數分布的隨機變量可以簡化調度問題。如果在此假設下調度算法的性能較好，那么在實際云平臺隨機環境下，調度算法的性能也依舊會很好。

為了簡化模型，假設作業預算bi足夠大，因此可忽略該參數。作業失敗的懲罰代價li是指作業在最后期限前仍未執行完畢的損失。因此，調度算法不僅要保證使用節點的總花費∑tijpj小，還要盡量減少損失，即要考慮作業最后期限di和懲罰代價li。因此，就得到了調度模型的數學表達：

其中，si表示第i個作業開始執行的時間，max(0,li(si+tij-di))是第i個作業失敗的懲罰代價，如果該作業在最后期限之前執行完畢，則懲罰代價是0，否則是 li(si+tij-di)。懲罰代價可以標記出不同作業的優先級。調度模型的目標函數是E(∑(tijpj+max(0,li(si+tij-di))))。使用上述隨機調度模型，HCPSMF平臺的調度目標就抽象為尋找總花費∑ (tijpj+max(0,li(si+tij-di)))的最小數學期望。

3.2 進化調度算法

針對隨機期望調度模型，利用EA設計云調度算法。EA的關鍵是設計合適的優化編碼，即選擇染色體，確定目標函數，通過迭代獲取最優解。在本調度算法中，染色體就是（作業，節點）序偶的組合，最優解是使∑(tijpj+max(0,li(si+tij-di)))期望值最小的組合方式。令βi表示第i個作業，γj表示第 j個節點，二者組成的序偶(βi,γj)為基因，基因的不同組合構成不同染色體。通過遺傳進化，迭代選取不同基因，獲得最后解。調度算法工作原理如圖3所示。

最終調度排序結果實質就是哪個作業（記作βi）分配到哪個節點（記作γj）執行，也就是序偶(βi,γj)的集合。因此，調度算法的目標就是選擇最優的集合，保證所有作業執行后的經濟效益最優，這就靠選擇初始種群P、優選精英基因比例進行進化迭代，從而獲得調度模型的最優解。為了在進化過程中優選后代，定義了如下優選函數：

通常EA算法隨機選擇初始種群，如果初始種群性能優于平均水平會提高算法效率。但是在本調度算法中，為了防止早熟，仍然隨機選擇初始種群P。將P中的所有基因 (βi,γj)按照 tijpj+max(0,li(si+tij-di))升序排列，選出模板種群TP。算法每次迭代都按照如下方式生成新的種群Pnew：

其中，x為預先定義的參數，以保證迭代過程中父種群的精英基因能夠保留下來，可以根據算法需要調整x的值，在HCPSMF中將x設置為50%。

算法流程如圖4所示。

重組變異是EA算法的核心，在本調度算法中，采用最基本的交叉操作實現基因重組。預先設定了迭代終止條件，當找到滿足此條件的組合時，算法停止。

4 QoS策略

HCPSMF平臺采用的調度模型和進化調度算法雖然以經濟參數方式可以區分任務優先級，但是從服務效率上考慮，僅僅使用調度優先級是不夠的，還必須有其他策略保證“重要”作業優先使用資源，并且減少資源浪費，如在“重要”作業到達前，節點已經分配了普通作業進行計算，此時中斷普通作業計算可能會造成資源浪費，但是如果通過挖掘資源使用規律，預測“重要”作業到達情況，設計資源協商預留策略就可以避免此種情況。因此，HCPSMF中設計了QoS策略以實現有差別的服務，即QoS保證，從而在整體上提高了云調度效率。

制定QoS策略前，首先要定義基本約束概念。在ISO 13236標準中定義了分布式計算技術涉及的QoS基本概念集合[9]。參照此集合，本文定義了基于使用模式分析（use pattern analysis，UPA）的資源預測調度機制。

資源預測調度是提高調度效率的一種方式，其關鍵是學習資源使用模式，多采用聚類分析、狀態空間模型等實現。在HCPSMF平臺上通過采用機器學習方法挖掘云資源使用模式（use pattern,UP），通過分析各節點資源的歷史數據，找出支持調度決策的規律，這就將問題的本質轉換為云資源使用日志的聚類分析問題。將日志中的每條數據按照其資源使用情況，量化為權重wjk（表示第j個作業使用第k種資源的情況），對作業使用資源情況進行分類，計算作業i與j兩兩之間UP的相似度：

通過計算相似度，確定合理閾值，即可將UP分類，調度時，可以據此規則預先保留資源，從而提高整體調度效率。

5 結束語

本文的創新之處在于：根據公共安全監控預警數據采集、分析的需要，設計了一種公共安全監控預警混合云平臺HCPSMF；提出的基于經濟度量的調度模型以可量化的經濟效益參數方式將調度效率考慮在內，同時設計了針對此種模型的進化調度算法；設計了QoS策略及在HCPSMF上的實現方法。與所有服務一樣，為了實現效益最大化，“非公平可控”的QoS策略也是必不可少的。有差別的服務策略，優先“重要”應用將極大提高整體資源利用效率。

1 馬鑫，黃全義，疏學明等.物聯網在公共安全領域中的應用研究.中國安全科學學報，2010,20(7):170～176

2 Rajkumar Buyya,Chee Shin Yeo,Srikumar V,et al.Cloud computing and emerging IT platforms:vision,hype,and reality for delivering computing as the 5th utility.Future Generation Computer Systems,2009(25):599～616

3 Hong-Linh Truong, Schahram Dustdar. Composable cost estimation and monitoring for computational applications in cloud computing environments.Procedia Computer Science,2010(1):2 169～2 178

4 Arnon Rosenthal,Peter Mork,Maya Hao Li,et al.Cloud computing:a new business paradigm for biomedical information sharing.Journal of Biomedical Informatics,2010(43):342～353

5 Gabriel Mateescu,Wolfgang Gentzsch,Calvin J Ribbens.Hybrid commputing-where HPC meets grid and cloud computing.Future Generation Computer Systems,2011(27):440～453

6 Sotomayor B,Montero R,Llorente I,et al.Virtual infrastructure manaagementin pirvate and hybird clouds.IEEE Internet Computing,2009,13(5):14～22

7 Subodha Kumar,Kaushik Dutta.Maximizing business value by optimal assignment of jobs to resources in grid computing.European Journal of Operational Research,2009(194):856～872

8 Richard Onchaga.Quality of service management framework for dynamic chaining of geographic information services.International Journal of Applied Earth Observation and Geoinformation,2006(8):137～148