省級氣象基礎設施資源池的建設及在業務中應用

朱亮 賀煒 鐘艷雯 歐陽計躍

摘要：本文講述省級氣象基礎設施資源池建設以及使用的虛擬化、分布式計算等技術，介紹了集約化基礎設施資源池在氣象業務中應用，實例講解虛擬化資源池，分布式數據環境在業務中發揮的效益。從而得出通過發揮虛擬化技術和分布式數據環境各自的優勢，按照需求進行擴容，實現全局共享，從而提升資源利用率。

關鍵詞：資源池；集約化；虛擬化；分布式

中圖分類號：TP311 文獻標識碼：A

文章編號：1009-3044（2019）10-0208-03

開放科學（資源服務）標識碼（OSID）：

Provincial Meteorological Infrastructure Resource Pool Construction and Application in Business

ZHU Liang， HE Wei， ZHONG Yan-wen， OUYANG Ji-yue

（Hunan Meteorological Information Center， Changsha 410118， China）

Abstract： This paper introduces the provincial meteorological infrastructure resource pool construction and the use of virtualization， distributed computing technology， introduces the application of intensive infrastructure resource pool in meteorological service， and explains the benefits of virtualized resource pool and distributed Data environment in business. It is concluded that the advantages of virtualization technology and distributed data environment should be brought into play to expand capacity according to the demand and realize global sharing so as to improve resource utilization.

Key words： resource pool； intensive； virtualization； distributed

1 背景

隨著氣象現代化不斷推進和氣象觀測預報預測業務能力不斷建設，氣象業務的快速發展，信息處理能力逐年提高，對服務器資源的需求也逐漸增大。 氣象業務系統一般均為7*24小時運行，傳統的業務部署方式是增加一項業務就配備一臺或多臺服務器，往往會造成服務器資源利用率低，管理開銷大，耗電量大，運維成本高等問題，已經無法滿足海量業務數據存儲以及氣象資料分析處理加工的需求[1-4] 。按照信息化、集約化、標準化的理念和方式推動氣象業務現代化，進行省級基礎設施資源池建設。基礎設施資源池是由虛擬化、分布式計算等技術構建的IT虛擬資源和物理資源的集合，主要滿足不同業務應用對基礎設施資源的需求。

2 省級基礎設施資源池

基礎設施資源池整合各種IT硬件資源，向上層應用系統提供基礎設施資源服務。省級基礎設施資源池由虛擬化池、分布式物理池池構成。按照《氣象信息化基礎設施資源池建設指南》的技術指標進行購置和搭建，納入信息化基礎設施資源池進行統一管理。同時通過制定《湖南省氣象局省級計算與存儲資源管理辦法（試行）》，規范省級計算與存儲資源的規劃、審批、建設、使用、運行、維護、安全與評估等，明確省局各內設機構和直屬單位采購的用于各類應用系統的基礎軟、硬件設施應納入省級資源池的統一管理和調配使用，推進基礎資源池集約化建設。

虛擬化資源池將服務器、存儲和網絡等基礎IT資源通過虛擬化軟件邏輯化，實現運行、維護、安全與評估等，明確省局各內設機構和直屬單位采購的用于各類應用系統的基礎軟、硬件設施應納入省級資源池的統一管理和調配使用，推進基礎資源池集約化建設。

虛擬化資源池將服務器、存儲和網絡等基礎IT資源通過虛擬化軟件邏輯化，實現資源的統籌高效利用，為上層應用提供靈活可擴展的基礎架構。利用虛擬化軟件將一臺物理機虛擬成多個邏輯虛擬機，虛擬機從功能、性能和操作方式上等同于傳統的單臺物理服務器，相當于一臺計算機同時進行多個邏輯資源，互不影響，從而提高資源利用率，降低成本[5]。

分布式物理池通過各種分布式計算系統和云數據庫構建及調度運行，分布式系統是一個硬件或軟件組件分布在不同的網絡計算機上，彼此之間僅僅通過消息傳遞進行通信和協調的系統。簡單來說就是一群獨立計算機群體共同對外提供服務，但是對系統用戶而言，好像是只有一臺計算機在提供服務[6]。

2.1 虛擬化技術實現

虛擬化資源池建設，系統通過在所有的服務器上安裝虛擬化軟件，服務器通過光纖交換機共享磁盤陣列搭建硬件環境，再通過集群軟件和虛擬化軟件等實現虛擬化。省級氣象部門虛擬化技術實現采用主流VMware，通過在物理機上部署ESXi系統，并在服務器集群中安裝虛擬化管理軟件vCenter Server實現所有的服務器資源實現共享。通過VMware vSphere Client客戶端對物理機和虛擬機進行統一管理，向省級用戶提供IaaS服務。 省局成立氣象信息化集約化工作相關機構，在省局范圍內項目建設統一規劃，統籌考慮。從2014年開始，《湖南省縣級人影作業氣象業務綜合平臺省級基礎環境建設》，氣象監測與災害預警工程項目《省級服務器和網絡系統設備購置》《強對流天氣臨近預報分系統省級基礎環境建設設備采購》《集約化基礎設施資源池建設》等多個項目也已陸續納入省級虛擬化資源池，如圖1所示，根據購買的服務器情況分批次進行擴充，盡量保持同一個集群中服務器配置一致。

2.2 分布式技術實現

目前省級分布式數據環境系統主要有Cassandra分布式存儲系統的MICAPS4業務系統及基于Hadoop的分布式存儲系統的湖南氣象業務內網平臺。如圖2所示，系統底層硬件資源采用通用x86服務器部署，同時采用內部交換與外部訪問獨立的方式，內部數據交換采用堆疊的兩個萬兆交換機，外部數據交換采用堆疊的兩個千兆交換機。系統利用分布式存儲與計算架構大數據體系，并根據需求進行一定封裝和訂制開發；處理后的數據根據上層應用需要向各系統提供數據訂制服務和數據共享服務。

對于Cassandra分布式存儲系統各服務器節點，各節點保持硬盤類型、個數、容量和RAID配置完全一致。對服務器進行RdaHat7.0操作系統安裝，再進行Cassandra及DPC等相關應用部署；而Hadoop分布式數據環境5臺服務器，操作系統安裝CentOS7.3，在進行Hadoop，Hbase等相關應用部署。

3 應用效果

3.1 虛擬化應用效果

當前集約化平臺共計虛擬機26臺，虛擬化資源池已有主機26臺，CPU608核，內存6144GB，存儲200TB，已經整合了現代業務平臺、智能網格預報、雷電中心站、農田小氣候、區域站中心站、內網平臺等業務系統，總體運行情況良好，為綜合觀測、預報預測、減災服務等提供服務，管理界面如圖3所示。通過Vm ESXI 網絡支持Trunk的設置，提供跨網段給其他業務部門使用，如現代天氣業務平臺。主要有以下幾點優勢：

1）省級虛擬化資源池搭建后，充分發揮虛擬化技術的HA功能、負載均衡和實時遷移等功能，保證其上的所有業務穩定運行。服務器集群的搭建能保證業務的連續性、可靠性和可維護性，提高服務器資源利用率；2）利用VMvare進行服務器虛擬化后，將業務程序運行在虛擬服務器上，一臺物理服務器承擔了原有幾臺服務器的業務量，同時能保證業務程序的正常運行。通過VMvare vRealize Operations Manager 進行運行狀態查看。從服務器CPU、內存的使用率來看，虛擬化后，服務器CPU利用率和內存利用率均提高；3）系統可擴展性，在充分利用現有項目的情況下，系統實現了服務器通過光纖交換機共享磁盤陣列搭建硬件環境。虛擬化軟件和數據庫系統具有可擴展性，除了滿足項目需求外，預留一定的服務器資源。若有服務器資源可直接加入服務器集群，或者有新增業務，可以在該基礎環境之上運行，不需要再做重復的資金投入。根據《湖南省氣象局省級計算與存儲資源管理辦法（試行）》辦法，已經進行多批次擴充。

3.2 分布式應用效果

分布式物理資源池包括17臺服務器、CPU352核、內存3968GB、存儲222TB 。主要包含以MICAPS4和內網平臺應用為主的分布式物理資源池，系統運行效果良好，為各類氣象業務系統提供硬件基礎環境，為氣象預報預測服務，氣象防災減災服務提供了強有力支撐。

3.2.1 MICAPS業務

原有MICAPS在全省的業務布局是每個站點配備一個接收機，一臺數據處理服務器，全省92個縣級氣象局以及14個市州氣象局。通過接收衛星數據廣播系統（CMACast）廣播數據和省內預報預警指導等產品，在數據處理服務器進行處理得到預報所需的實況模式等資料。運行過程中存在以下問題：1）由于受到衛星信道傳輸誤碼、接收干擾、雨衰等因素影響，CMACast小站文件接收錯誤或丟失情況時有發生；2）我省內的市（州）、縣級CMACast小站由于設備故障、技術服務不到位等原因，影響了資料接收的完整性，給預報業務和服務業務帶來了直接影響；3）每個站點都要設備維護，數據維護，重復工作量偏大，加大了基層維護困難。

基于CASSANDRA的MICAPS4分布式數據環境以CIMISS為基礎，接入了包括T639、歐洲中心、德國、日本數值預報及模式產品，以及衛星、雷達、高空地面資料等在內的多種氣象數據，建立了省市縣三級共用的統一的數據環境，為全省各類業務提供數據支撐，其界面如圖4所示；處理服務器從全省的100多臺到集中省級8臺，提高了實時氣象數據存儲效率與檢索速度，實現了市縣氣象局數據環境“零維護”， 解決了基層氣象部門低水平重復開展數據加工處理問題[7]。

3.2.2 湖南省氣象業務內網平臺

基于Hadoop湖南氣象業務內網平臺部署在省級，面向省-市-縣三級用戶提供統一的數據產品和共享服務，提供省內實時觀測、預報預警、氣候業務、氣象信息業務等氣象信息與產品的一站式可視化展示，其界面如圖5所示。

內網平臺將會商視頻點播、城鎮預報降水/氣溫/風預報檢驗及評分結果查詢、自動站降水實況與統計等功能移植整合，逐步取代會商視頻點播、城鎮預報質量檢驗、中小尺度天氣資料應用系統等功能單一的業務系統。內網平臺根據業務特點，聚合數據和服務，計算、存儲資源向省級集中，通信資源向外延伸，形成 “一級部署、多級應用”的業務布局。以省級為核心，省市縣三級應用的模式，減少了基層氣象部門設備及運維成本，實現了業務扁平化。

4 結束語

省級氣象基礎設施資源池建設充分發揮虛擬化技術和分布式數據環境的優勢，按照需求進行擴容，實現全局共享，從而提升了服務器資源利用率。總體得出以下結論：

1）省級成立氣象信息化集約化工作相關機構，同時制定《湖南省氣象局省級計算與存儲資源管理辦法（試行）》，項目建設統一規劃，統籌考慮。通過提前規劃、采購并部署所需資源或能力，并通過各種虛擬化、分布式技術實現資源和能力的池化，在實際業務需求到來時將池化的資源按需分配給業務使用。

2）針對各類中心站，WEB應用，數據存儲等單一、小而散應用服務，充分發揮虛擬化技術的HA功能、負載均衡和實時遷移等功能，提高資源利用率。

3）針對MICAPS4及氣象業務內網平臺的計算和IO高的實時業務采用分布式數據環境，通過統一的數據平臺，實現了市縣兩級運維人員對該系統“零”維護，為氣象預報預測服務，氣象防災減災服務提供了強有力支撐[7]。

參考文獻：

[1] 羅林艷，張繼光，劉曉波等.基于 Hyper-V 的湖南氣象信息業務系統虛擬化實現[J]，安徽農業科學.2017，45（ 6） ： 198-199，204.

[2] 汪華，黃笞，方斌.貴州省氣象信息業務系統的虛擬化實現[J].成都信息工程學院學報，2012，27（ 2） ： 186-191.

[3] 劉國宏，余東昌，劉旭林.等.虛擬化技術在氣象業務中的應用[J].計算技術與自動化，2013，32（ 4） ： 119-122.

[4] 聶元丁.基于云計算的國家級氣象資源池設計與建設[J].計算機技術與發展.2018.12.

[5] 俞辰鳴.淺析VMware虛擬化技術在民航氣象系統中的應用[J].信息通信.2018，02：179-180.

[6] 張建輝.基于分布式技術的氣象預報業務系統的設計與實現[D].南京，東南大學.2018.

[7] 楊芳，金琪，邢麗平，等 .基于Cassandra 的實時氣象數據分布式存儲系統[J].陜西氣象，2017（4）：26-30.

【通聯編輯：梁書】