基于大數據的氣象保障應用和基礎云平臺架構

摘要：該文分析了大數據在氣象保障中的應用，主要包括電力運行、防災減災和交通出行領域，就氣象業務開展過程中應用傳統數據支撐環境遇到的問題，提出了以實際業務需求為導向，基于大數據的氣象保障云平臺架構的設計，旨在為智慧氣象健康高效的發展提供參考。

關鍵詞：大數據；氣象保障；云平臺架構

doi：10.3969/J.ISSN.1672-7274.2024.05.040

中圖分類號：P 4；TP 3" " " " " 文獻標志碼：A" " " " " " 文章編碼：1672-7274（2024）05-0-04

Meteorological Support Application and Basic Cloud Platform Architecture Based on Big Data

ZHAO Jianwei， ZHAO Guang， WANG Zhen， LI Qi

（Xiamen Yiligao Information Technology Co.， Ltd.， Xiamen 361001， China）

Abstract： This paper analyzes the application of big data in meteorological support， mainly in the fields of power operation， disaster prevention and reduction， and transportation. In view of the problems encountered in the application of traditional data to support the environment in the process of meteorological business development， the paper puts forward the design of meteorological support cloud platform architecture based on big data， which is oriented by actual business requirements， in order to provide reference for the healthy and efficient development of smart meteorology.

Keywords： big data; meteorological support; cloud platform architecture

隨著氣象觀測技術的不斷發展，氣象數據的采集和獲取能力得到了大幅提升。衛星、雷達、傳感器等設備為氣象保障提供了大量實時、準確的氣象數據，為基于大數據的氣象保障應用奠定了基礎。近些年全球氣候變暖導致的極端氣候事件頻繁發生，如暴雨、干旱、臺風、風暴等。這些極端氣候事件對人類生活、農業生產、基礎設施等方面產生嚴重影響，社會生產方方面面對氣象保障的需求越來越高[1]。互聯網、云計算、人工智能等現代信息技術的快速發展為氣象保障提供了強大的技術支持。大數據技術可以實現對海量氣象數據的快速處理、分析和挖掘，為氣象保障提供精準預測和決策支持。在此背景與條件下，基于大數據的氣象保障應用和基礎云平臺架構的研究進入相關研究人員的視野。

1" "大數據在氣象保障中的應用

1.1 電力運行

第一，電力需求預測。基于大數據的氣象保障可以預測氣溫、濕度、風向等氣象因素的變化，從而預測電力需求。電力需求與氣象因素密切相關，特別是在夏季高溫季節和冬季低溫季節，氣溫的變化會對電力需求產生顯著影響。

第二，電力設備運行維護。大數據氣象保障可以實時監測氣象變化，為電力設備的運行維護提供預警。例如，高溫、潮濕的氣象條件可能導致設備散熱不良，增加故障風險。通過實時監控氣象數據，可及時采取措施防范潛在風險，確保電力設備安全穩定運行。

第三，優化調度策略。基于大數據氣象保障，電力部門可以優化發電、輸電和配電的調度策略[2]。例如，在風電、光伏等可再生能源發電方面，可以根據氣象預報調整發電計劃，提高發電效率；在輸電方面，可以根據氣象變化調整輸電線路的運行參數，降低輸電損耗。

1.2 防災減災

第一，災害預警。大數據氣象保障可以通過實時監測和分析氣象數據，提前預警暴雨、洪水、臺風、干旱等氣象災害。這有助于政府和相關部門及時采取措施，減少災害造成的生命財產損失。

第二，風險評估。大數據氣象保障可以對特定區域進行氣象風險評估，為防災減災工作提供科學依據。通過分析歷史災害數據和氣象數據，可以評估不同區域的災害風險，從而合理配置防災減災資源。

第三，跨部門協作：大數據氣象保障可以促進各部門之間的信息共享和協作。例如，在氣象災害發生時，電力、交通、水利、農業等相關部門可以依據氣象數據，共同開展防災減災工作，提高整體應對災害的能力。

1.3 交通出行

一方面，交通狀況預測。基于大數據的氣象保障可以預測氣象變化，如降雨、雪天、霧霾等，從而幫助交通部門及時掌握道路通行狀況，制定合理的交通疏導措施。此外，還可以通過分析歷史數據，預測節假日、特殊事件等時期的交通需求，為交通管理部門提供決策依據[3]。另一方面，交通運輸安全。大數據氣象保障可以實時監測氣象變化，為交通運輸安全提供預警。例如，在雨雪天氣條件下，道路濕滑、能見度低，容易發生交通事故。通過實時監控氣象數據，交通部門可以提前采取措施，提醒駕駛員注意安全，降低交通事故發生的風險。

2" "設計基于大數據的氣象保障云平臺的

背景

氣象觀測工作隨著信息技術的發展有了愈加明顯的自動化特征，需要分析的數據量激增。目前國家級自動觀測站數量超過1 000，觀測時間間隔低于1 min。就數據對環境的支撐而言，氣象業務對于數據傳輸、儲存、提取的高時效需求已經無法從傳統數據環境中得以滿足，性能上的弊端愈發明顯。就IT基礎設施建設情況來說，傳統技術架構不具備可調整彈性擴展功能，無法均衡、充分的利用存儲、計算和網絡這些基礎資源[4]。就信息系統建設情況而言，傳統氣象業務系統共享性能差，各板塊的業務數據和邏輯聯系并不緊密，信息孤島問題時有發生。在實現集約化發展的過程中，缺乏模塊統一、數據共享的服務平臺是難以順利融入共享服務和其他氣象應用，只能慢慢整合信息系統。就氣象服務效果而言，氣象服務對象多元，主要通過氣象專網、電子政務外網和互聯網提供服務，所以氣象數據安全性和布局合理性面臨著巨大的挑戰。

3" "基于大數據的氣象保障云平臺架構的

設計

3.1 總體架構

在科學安排混合云布局的基礎上，聯合云計算、分布式計算和分布式存儲等技術，嚴格把控等級保護要求，只有在2.0以上才能繼續賦予云上平臺的安全性能，如此便可對基礎資源做到統籌管理，為共享數據奠定服務邏輯基礎。與此同時，以實現氣象大數據統計分析和實時處理能力為目的建立數據加工生產流水線，選擇以數據湖的方式存儲各種類型的海量數據，滿足不同氣象業務場景需求。氣象保障云平臺共分為4層，分別是SaaS、PaaS、DaaS和IaaS。IaaS主要是統一的基礎設施平臺，借助云融合管理系統對地方氣象專網基礎資源、地方云平臺政務資源和互聯網公共資源進行統籌管理，為后期彈性應用創造支撐條件；DaaS主要是多方整合氣象數據形成一個資源池，以便進行統一的加工處理和質量控制；PaaS主要是提供多功能接口來滿足各種業務應用需求；SaaS是選擇大數據支撐下的氣象保障云平臺為載體，創建4個功能各異的業務系統，指向分別是探測、預報、服務、防災。

3.2 平臺功能設計

3.2.1 數據采集

基于大數據的氣象保障云平臺要不間斷的采集數據，動態化的覆蓋氣象觀測數據，當中包括個性化氣象服務產品、高性能計算數值產品、多種類的行業數據、政務管理信息等。采集數據的模式有多種選擇，可以是圖像、文本、視頻，也可以是矢量、柵格等。采集數據的方式通常分為被動狀態下的接收和大范圍主動收集，數據采集方式最常用的有兩種，一是主動收集，二是被動接收，前者具有多數據源接入的功能，嚴格按照合理配置的協議內容，逐項執行每個采集任務，接入方式支持包括文本、消息列隊等多種格式。后者經常出現在數據質量控制系統和數據傳輸系統中，這些均屬于可直接推送省去審核環節的氣象數據，選定消息列隊類型后建立多個功能不一的集群，如文件接收、服務接收等。

3.2.2 數據處理

數據處理模塊的功能主要是預處理海量數據，常用方式有二，流式數據處理和文件批處理。具體步驟如下：一是數據清洗，要去掉重復、異常或無效的氣象數據。清洗方法包括去除重復記錄、填補缺失值、糾正數據錯誤等。二是數據整合，將來自不同來源的氣象數據進行整合，形成統一的數據集。這包括將不同站點、不同傳感器和不同時間序列的數據進行合并。數據整合過程中需要考慮數據的一致性和兼容性[5]。三是數據格式轉換，將整合后的氣象數據轉換為適用于云平臺的數據格式。常見的數據格式包括CSV、JSON、XML等。格式轉換有助于提高數據處理和分析的效率。四是數據質量控制，聯合數據校驗、數據審核和數據評估等方式對氣象數據進行質量控制。五是數據降維，針對高維氣象數據，可通過降維技術減少數據規模，提高數據處理和分析效率。

3.2.3 數據存儲

第一，數據倉庫，存儲形式普遍為歷史結構化，應用率最高的三種場景是OLAP場景、深度學習運行和數據挖掘，同時還具備存儲PB級規模化數據的功能，能夠靈活、動態的擴展出多個存儲節點；對于空間優化的實現，主要使用壓縮算法，圍繞Prestore提供多元查詢功能，最關鍵的是可用于OLAP場景的分析引擎。第二，分布式關系狀數據庫，技術支撐的首選是TiDB，存儲結構不統一、動態化采集而來的各種復雜數據。TiDB這一技術性產品除了可提供遠程事務處理功能以外，還可進行遠程分析，有明顯的綜合性、融合性特征，新一代的技術產品還具有橫向收縮容量、支持MySQL協議的特點。第三，對象存儲，在明確指向目標資料的前提下，個性化的提供云服務項目，把繁多復雜的氣象數據有序的完成二次加工、圖像處理等，然后逐一完好存儲，這是在海量數據背景下實現同步讀寫和訪問的重要基礎。第四，分布式文件系統，服務技術毫無疑問的選擇基于NAS云服務的系統，只有這樣才能完成大體量氣象數據存儲任務。

3.2.4 數據服務

數據服務模塊經過多元數據的封裝處理后會形成多個服務接口，統一接受微服務網關的運行管理。數據服務接口將按照Web Service的統一標準提供服務，針對氣象原始數據和圖文資料，不管是查詢、讀取，還是提煉關鍵要素，每一項都必須作為一項單獨的功能發布出來，精準的選擇接口才能和業務系統建立有效連接，經過二次或三次加工后以全新的業務產品推出，不過相關數據的歸屬并不受影響，依然屬于氣象大數據資源池。所有數據服務接口的在線管理都必須在微服務網關下運行，內容有原始注冊資源、接口查詢服務、闡述性文檔等，另外還包括可遠程處理的審核與發布、接口注冊，處理成功的關鍵在于同時滿足每個氣象數據接口的資源需求。充分利用微服務網關這一平臺，通過接口發布功能，將接口、實例、氣象數據、關鍵要素之間的映射關系理清楚，最終呈現一份整體性、權威性的數據服務給業務系統[6]。緊緊圍繞幾個關鍵信息，如目錄、氣象要素、原始資料名稱等，就可高效精準的鎖定目標資料的原始數據類別，一并查閱有關目標資料的應用型實例信息、服務接口以及使用說明等。訪問數據服務接口必然會增加足跡信息，通過統計分析日志內容就能為數據管理員定期維護提供參考，精準追溯問題根本所在并有效解決問題。

3.3 性能分析

基于大數據的氣象保障云平臺相對傳統架構的氣象數據支撐環境優勢顯著，如表1所示。

3.3.1 高效處理性能

指向數據存儲的技術主要是原始計算和分布式兩種，氣象業務對數據的需求并非固定不變，所以計算資源的分配也要隨之進行靈活調整，從調配資源到相關數據傳輸至庫內的用時必須在10 s之內，開啟部門外共享數據的使用時間最長為1 min。針對數據查詢，具體是從地面、高空還是雷達觀測中提取具體數據，要根據數據訪問需求做出決定，這是保證響應快速的前提和基礎。

3.3.2 超強安全防護

針對網絡安全，在云計算環境下將全面部署應用各種安全防護組件，如網頁防篡改、防火墻、入侵防御、上網行為管理等，細化網絡區域隔離策略的同時要從橫縱向強化基礎資源的安全防護能力。針對數據安全，做到及時與氣象數據資源平臺對接，保證數據資源訪問順利且隨時可追溯訪問痕跡。針對應用安全，應用了負載均衡、數據防泄密、雙因子認證的身份鑒別技術，為業務系統安全性提供保障。

4" "結束語

以大數據為技術支撐的氣象監測平臺，從設計、架構到實際運用，都要嚴格遵照中國氣象局的相關要求和標準進行，在技術選型方面，堅決以氣象數據特征為重要參考，更好的保證適配性，提供集算數為一體的平臺化服務能力給氣象觀測、氣象預報和各種氣象服務。上述設計整體架構不但能靈活擴張，具有極高的可行性，還能在大規劃、全格局的運行背景下，讓海量的氣象數據提取、統計需求得以滿足。以大數據的氣象保障云平臺為依托，開展氣象信息系統集約化建設，可從根本上解決業務反復建設和系統低效使用的問題，對于一體化氣象應用生態化、模式化發展奠定了堅實的基礎。

參考文獻

[1] 劉洋，黃志，徐娟，等．氣象大數據云平臺監控告警系統[J]．計算機系統應用，2023，32（3）：86-94．

[2] 李雨陽．氣象大數據+智慧城市災害風險預警系統應用研究[J]．內蒙古科技與經濟，2022（24）：70-71，89．

[3] 張中杰，李飛，曲曉黎，等．基于Hadoop的河北行業氣象服務大數據云平臺設計與應用[J]．軟件，2023，44（1）：24-28．

[4] 崔玉玲，馬雷凱，李阿橋，等．新疆氣象大數據+棉花科創助農平臺建設與應用[J]．中國棉花，2022，49（4）：6-9．

[5] 張釗揚，鐘劍，周炯，等．COSMIC資料在遠洋氣象保障中的應用[J]．安徽農業科學，2017，45（35）：190-192，205．

[6] 許竹霞，張春燕，徐娟．甘肅省氣象大數據云平臺的存儲與服務系統設計[J]．信息技術與信息化，2022（2）：53-57．