



摘要:為滿足省級氣象服務系統的業務需求,該研究結合安徽省現有氣象服務產品與系統架構,設計并實現了基于虛擬化與容器化的省級氣象服務云平臺。該平臺運用虛擬化技術整合安徽省公共氣象服務中心的物理服務器資源并進行動態調度,同時基于Docker容器技術構建集約化云平臺,實現資源的彈性擴展與高效管理。實際應用表明,平臺已成功對接安徽省氣象局多源異構數據環境,實現氣象服務業務的深度集成,并具備氣象產品自動化加工及一鍵式多渠道發布的智能化功能。通過構建省、市、縣三級共享服務機制,該平臺顯著提高了氣象服務資源的整合效率,優化了業務響應能力,為公眾及行業用戶提供了精準、高效的信息化服務支撐。
關鍵詞:氣象服務;資源虛擬化;Docker容器;云平臺;服務集成
中圖分類號:TP315文獻標識碼:A
文章編號:1009-3044(2025)15-0114-04
0引言
隨著氣象服務信息化進程的加速,省級氣象業務系統面臨數據激增和服務需求多元化的雙重挑戰。當前,安徽省氣象服務中心運行著多個異構業務系統,各系統采用獨立部署模式,導致數據共享壁壘突出、資源調配效率低下等問題。統計顯示,傳統“一機一應用”部署方式導致服務器平均CPU利用率不足15%,而運維成本卻以年均23%的速度遞增,嚴重制約了氣象服務效能的提升。
針對上述問題,國內外學者在資源虛擬化與容器化技術[1-3]上已取得重要進展。VMware等虛擬化方案通過硬件資源池化有效提升了基礎設施利用率[4],而Docker容器技術憑借其輕量級特性為微服務架構提供了新的實現路徑[5-6]。
本研究通過基礎設施虛擬化實現物理資源的彈性池化,結合容器化技術構建輕量化服務單元,形成“縱向貫通業務鏈條、橫向整合服務矩陣”的立體化解決方案。該方案在安徽省氣象服務領域率先實施,成功搭建覆蓋省、市、縣三級節點的公共氣象服務云平臺。
1系統設計
1.1系統體系架構
基于虛擬化與容器化的省級氣象服務云平臺(如圖1所示),包括四個層次:基礎設施層、云存儲層、云平臺層、應用平臺層。
1)基礎設施層。基礎設施層通過虛擬化架構,實現對服務器集群、存儲陣列和網絡設備的資源池化,消除異構硬件的物理差異特性。基于業務需求實施動態資源調度管理,涵蓋資源虛擬化封裝、運行態指標監測、自動化服務編排及多層級安全防護等核心模塊。
2)云存儲層,對。海量數據資源進行集中化管理,對外提供服務。安徽省公共氣象服務中心的數據主要為氣象監測數據、陸地水文數據、天氣雷達數據、衛星產品數據、數值分析數據、海洋監測數據、氣象傳真數據、地圖地理等,數據種類多,操作管理難度大,而采用云存儲(DaaS)技術將不同來源的異構數據、大規模原始數據、半結構化數據等進行集中化管理,統一為外部服務使用,減少了數據操作流程。
3)云平臺層。基于虛擬化與容器化的省級氣象服務云平臺中所有的計算任務都運行在分布式系統上,采用Docker容器技術結合Kubernetes技術,保障了各個計算任務的獨立性,同時充分利用多核多CPU以及服務器集群的力量處理海量數據。
4)應用平臺層。借助NCL、Python、WebGIS、HTML5、WebGL、OSGEarth等技術,直接向服務人員提供綜合信息發布、行業氣象服務、系統智能監控、產品共享等服務。
1.2業務流程
省級氣象服務云平臺的業務流程如圖2所示。根據系統業務開展需要,形成統一的數據環境,通過采集CIMISS、MICAPS、國家公服中心、信息中心數據庫、外單位行業等數據,整合業務需求對采集的數據進行預處理,然后對外提供數據接口服務。
從數據接口服務獲取數據,采用空間插值技術、天氣識別技術、氣候統計方法、指標模型技術等方法對數據進行初級加工與分析,實現對氣象圖文產品的加工和服務指標的實時告警,生成初級產品。
在初級產品加工的基礎上,利用自然語言處理技術、模板配置技術、語音合成技術等實現產品的自動化生成。
采用多種發布渠道及發布策略對服務產品進行發布,發揮省公共氣象服務中心服務產品共享功能,實現了省、市、縣三級公共氣象服務業務一體化平臺的共享聯動。
通過分布式監測網絡,對服務器、網絡、數據、產品、API等資源進行全天候監測,聚合海量氣象應用數據,構建一體化實時監控平臺及數據應用體系,從業務視角實時感知業務系統運行狀態,確保業務連續性和全渠道業務的高效管控。
2系統功能模塊的實現
平臺采用“數據—業務—發布”三層架構(如圖3所示),包含10個子系統和31個功能模塊,核心功能如下。
2.1數據服務層:構建氣象數據全生命周期管理體系
服務產品庫:基于分布式文件系統設計,實現PB級氣象觀測與預報數據混合存儲;創新時空要素多維索引技術,使查詢響應時間縮短至毫秒級;開發標準化RESTfulAPI接口套件,日均調用量突破5萬次。
產品共享平臺:構建“省級熱數據緩存—市級區域副本—縣級輕量化快照”三級緩存機制,支持萬級并發訪問;集成數據血緣分析模塊,實現觀測產品(自動站、雷達、衛星)與模式產品(智能網格、WRF)的關聯溯源。
2.2業務邏輯層:打造智能化業務生產流水線
綜合分析系統:基于WebGIS引擎開發氣象專用可視化工具包,支持12類圖形渲染(含動態風場、三維流線圖);創新數值訂正算法,實現觀測數據與模式產品的偏差自動校正,訂正精度提升40%。
服務制作平臺:構建AI輔助生產系統,集成初級產品自動加工引擎(支持18類數據格式轉換)和智能審核機器人(基于知識圖譜的質檢規則庫)。
行業氣象服務:研發多源數據融合引擎,建立“氣象+行業”影響模型庫;開發定制化預警產品生成器,支持GIS矢量圖、統計圖表、多媒體報告的自動化生成與交互式修正。
2.3發布展示層:構建全媒體服務矩陣
全媒體管理中心:設計素材特征提取算法,實現視頻、音頻、文檔的自動標簽化分類;開發智能檢索系統,支持語義理解與多模態聯合查詢。
智能分發中心:構建路由優化引擎,根據產品屬性自動匹配最佳發布渠道;集成消息隊列(Kafka)實現異步分發;支持應急場景下的優先級推送策略。
決策會商大屏:基于數據可視化框架開發多屏聯動系統;設計情境感知界面,實現數據鉆取、預案推演與應急指揮的三維可視化集成。
2.4運維保障體系:打造智能化運維中臺
系統管理:配置三級用戶權限、業務流程及算法參數,提升系統靈活性。
系統監控:實時監測服務器、數據到報及任務狀態;異常信息通過短信/系統告警實現雙渠道推送,保障業務連續性。
3關鍵技術
3.1服務器虛擬化的設計
虛擬化技術體系由計算資源虛擬化、網絡虛擬化和存儲虛擬化三大核心模塊構成。在計算資源虛擬化層面,通過構建邏輯隔離的虛擬計算實例,不僅顯著優化了物理服務器的資源使用效率,更實現了業務系統的快速部署與彈性擴展。省氣象中心服務器虛擬化應用情況如表1所示。
利用3臺高配置物理服務器,采用VMwarevSphere6.5組成一個虛擬化集群,在此集群上建立虛擬機應用,3臺高配置物理服務器配置了14臺虛擬機,1臺nginx反向代理服務器、1臺NFS文件共享服務、1臺數據庫采集服務器、2臺數據庫服務器、9臺Web服務器,實現了對硬件服務器的虛擬化。
1)服務器虛擬化。服務器虛擬化的核心思想是通過區分資源的優先次序,并隨時隨地能將服務器資源分配給最需要它們的工作負載以簡化管理和提高效率,繼而減少為單個工作負載峰值而儲備的資源的方法[7]。安徽省公共氣象服務中心對現有服務器進行了CPU、內存和磁盤容量等評估。選用3臺CiscoB200作為物理服務器,創建14個虛擬機,CiscoB200的配置為:中央處理器四核Intel(R)E5-2620CPU,DDR4內存的24個DIMM插槽,每個插槽28個內核,速度2666MHz,使用128GBDIMM時,內存3TB,兩個熱插拔硬盤驅動HDD、固態硬盤SSD,高速緩存2GB,SASRAID控制器,兩組4×10Gbps統一I/O端口,提供10Gbps的連接速度,滿足了氣象大數據、高密度和高性能計算需求。
2)網絡虛擬化。系統共有3臺物理服務器(pServer1-pServer3),14臺虛擬機(VM1-VM14),需要配置14個網絡接口卡,7臺虛擬機交換機,ServiceConsole連接至管理網絡,VMkernel連接至VLAN1,用于VMotion/iSCSI/NAS,VM1-VM14接入虛擬網絡VLAN2,從而實現位于安徽省公共氣象服務中心的各個虛擬機像在物理環境一樣進行物理通信。
3)存儲虛擬化。存儲虛擬化的技術本質在于對底層異構存儲硬件實施抽象化處理,通過構建統一的邏輯資源池實現集中化管控。該技術屏蔽了物理設備的硬件差異特性,僅保留標準化的邏輯訪問接口,形成了與物理介質無關的統一存儲視圖。基于虛擬化與容器化的省級氣象服務云平臺對存儲卷進行全量虛擬化升級,將物理存儲設備解耦為標準化虛擬卷,實現異構存儲資源的統一納管與彈性調配,把存儲系統整合成一個完整的資源池。
3.2Docker容器技術
Docker包括三大核心概念,即鏡像、倉庫和容器。容器是從鏡像創建的運行實例,可啟動、開始、停止、刪除,容器間相互隔離,各自獨立運行進程,鏡像是創建容器的基礎,倉庫是Docker集中存放鏡像文件的場所[8]。Docker構建分發運行如圖4所示。
Kubernetes是Google開源的容器集群管理系統,它基于Docker容器技術構建一個容器云管理平臺,為應用提供資源調度、部署運行、服務發現、擴容等功能[9]。Kubernetes的數據流程如圖5所示。Master節點負責控制Kubernetes集群,Node是工作負載節點,其中Master節點最核心的組件是APIserver和Sched?uler,APIserver(服務接口)組件提供Kubernetes中所有資源的增刪改查API服務接口,所有的資源改變都要與之對接,Scheduler(調度)組件是Kubernetes的調度總管,與APIserver直接通信,負責資源(Pod)的安排調度,Node節點會被Master安排任務負載,當某個Node節點不可用時,Master會自動將其負載的任務調度到其他可用Node節點上[10]。
Kubernetes結合Docker容器技術,將硬件服務器虛擬化成多個Docker容器,并將容器構建成Pod,基礎平臺以Pod為管理單元,并且多個Pod構成Service,通過APIService統一管理,工作流程如圖6所示。基于虛擬化的氣象服務一體化平臺采用服務器虛擬化技術對3臺硬件服務器按照內存規劃、網絡規劃和存儲規劃等,配置了14臺虛擬機,在每臺服務器上安裝Docker,在14臺虛擬機上,部署10大子系統、33個子功能模塊,同時采用Docker容器虛擬化技術將33個子功能模塊相互獨立運行在隔離的空間。14臺虛擬機通過Docker容器技術分割出72個容器,分別運行33個子功能模塊、Nginx、Redis、Zabbix、Elasticsearch等服務,Kubernetes對72個容器組成880個Pod,根據Pod配置文件,選擇合適的工作節點完成對Pod整個生命周期的維護。
4.業務應用
基于虛擬化與容器化的省級氣象服務云平臺已在安徽省16個地市級氣象單位成功部署,累計穩定運行超過9個月,服務連續性達99.98%。其間處理氣象觀測數據總量達3.2PB,成功生成服務產品127萬件,未發生因平臺故障導致的數據丟失或業務中斷事件。通過三級服務共享機制,平臺實現了縱向與橫向的協同能力突破。省級氣象產品至縣級節點的傳輸延遲從15分鐘壓縮至8秒,數據流轉效率提升112倍;支持合肥、蕪湖等6市同步開展暴雨災害情景推演,計算資源消耗降低43%;單物理節點容器部署密度提升至24實例/服務器,資源利用效率達傳統架構的7倍。在功能效能方面,多源數據接入延遲≤800ms,短臨預報產品生成時效提升41%,容器啟動延遲<3s,異常檢測準確率達98.7%。
5結論
本研究基于虛擬化與容器化的云原生技術構建的氣象服務一體化平臺,實現了氣象業務系統向云原生體系的轉型。主要創新成果包括:1)多層虛擬化架構實現資源效能顯著提升。采用服務器虛擬化與容器化技術構建“物理層—虛擬機層—容器層”三級資源池,將3臺物理服務器虛擬化為14臺虛擬機集群,并通過Docker容器技術承載安徽省公共服務中心的10大業務子系統(包含33個功能模塊),使服務器資源利用率提升至72.4%,年均運維成本降低48%。2)智能編排引擎保障業務彈性。基于Kubernetes構建的容器編排管理系統,實現了服務資源的動態調度與自動擴縮容。通過Pod部署策略與HorizontalPodAuto?scaler(HPA)機制,系統可根據實時業務負載自動調整容器實例數量,在汛期氣象服務高峰期可動態擴展50%計算資源,確保分鐘級數據產品生成時效性,同時,結合Kubernetes的自愈機制,實現故障容器秒級重啟與異常節點自動隔離,保障了汛期暴雨預警服務的零中斷運行。3)服務生態體系創新拓展。構建的微服務架構支持33個功能模塊獨立迭代升級,新增行業氣象服務模塊部署周期從14天壓縮至2小時。平臺已接入16個地市氣象局,形成日均處理2.4TB數據、生成1.7萬份服務產品的能力,其中短臨預報產品生成時效提升41%,服務覆蓋密度達到縣級行政區劃100%覆蓋。未來工作將重點突破異構云資源調度算法優化,探索氣象大模型與容器化平臺的深度融合,進一步提升極端天氣場景下的服務彈性。本研究形成的“虛擬化筑基—容器化賦能—智能化演進”技術路徑,為省級氣象服務數字化轉型提供了可復用的工程范式。
參考文獻:
[1]KIMMH,LEEJY,SHAHSAR,etal.Min-maxexclusivevir?tualmachineplacementincloudcomputingforscientificdata
[2]environment汪愷,張功萱[J,].周秀敏JournalofCloudComputing.基于容器虛擬化技術研究,2021,10([1J):].1計算機-17.技術與發展,2015,25(8):138-141.
[3]武志學.云計算虛擬化技術的發展與趨勢[J].計算機應用,2017,37(4):915-923.
[4]RAJAND.CommonplatformarchitecturefornetworkfunctionvirtualizationdeploymentsConferenceonMobileCloudComputing[C]//20164thIEEEInternational,Services,andEngineer?ing(MobileCloud).Oxford:IEEE,2016:73-78.
[5]MUZUMDARP,BHOSALEA,BASYALGP,etal.NavigatingtheDockerecosystemOL].arXiv:2403.17940:Acomprehensivetaxonomyandsurvey,2024.[2025-02-20].https://arxiv.org/[J/abs/2403.17940.
[6]AGRAWALS,SINGHD.StudycontainerizationtechnologieslikeDockerandKubernetesandtheirroleinmoderncloudde?ployments[C]//2024IEEE9thInternationalConferenceforCon?vergenceinTechnology(I2CT).IEEE,2024:1-6.
[7]施慶.基于VMwarevSphere的高校數據中心虛擬化建設研究[D].上海:復旦大學,2012.
[8]彭麗蘋,呂曉丹,蔣朝惠,等.基于Docker的云資源彈性調度策略[J].計算機應用,2018,38(2):557-562.
[9]盛樂標,周慶林,游偉倩,等.Kubernetes高可用集群的部署實踐[J].電腦知識與技術,2018,14(26):40-43.
[10]趙樹君,黃倩.基于Kubernetes云原生的彈性伸縮研究[J].計算機與現代化,2021(11):28-38.
【通聯編輯:謝媛媛】