氣象數據共享交換系統的設計與實現

摘要：在福建省統一的氣象數據環境基礎上，采用微服務架構設計氣象數據共享交換系統，作為氣象部門與其他政務部門之間的數據共享交換的技術平臺。系統采用面向服務模式，通過“構件化、拼裝式”方式，將數據共享交換需求以每個微服務功能方式封裝到Docker容器中，實現具有高伸縮性的個性化數據服務。系統運行后在縱向層面可通過微服務實例提高數據處理能力，在橫向層面可通過新的微服務快速滿足新增業務需求，提升氣象部門的橫向數據協同能力。

關鍵詞：面向服務；微服務；數據共享交換；Docker容器

一、前言

福建省是臺風、暴雨、冰雹等氣象氣候災害多發的省份，因此，做好氣象災害防御工作具有至關重要的意義。氣象、水利、海洋、環境等行業類數據，分別由相應部門負責進行觀測設備部署建設并負責數據的收集、存儲、管理與本行業使用。福建省氣象部門通過部門數據共享協議與相關部門的氣象數據、生態環境數據、水位數據、浮標數據等開展數據共享交換?，F實情況是部門之間的數據共享和交換仍存在平臺支撐不足問題。例如，數據輸出手段單一，需要通過文件級形式提供，授權機制和安全管理機制需進一步完善。分發控制機制比較薄弱，缺少輸出數據的脫敏脫密自動化處理機制，難以統計監控數據輸出的分發渠道和分發情況。數據的快捷導入能力不足，難以建設全面、客觀、多維的數據資源。

在支撐環境上，福建省政務云為各部門提供了數據交換與共享的網絡環境與基礎設施云平臺，省級政府部門均已接入，可實現異構數據平臺之間的間接互聯、數據雙向傳輸，其技術可行性已經完全具備。通過探索面向業務應用構建完整貫通的數據鏈[1]，實現數據跨層級、跨地域、跨部門有序共享，提升公共數據開放水平。

福建省氣象部門已建立以氣象大數據云平臺“天擎”為核心的基礎信息化平臺，支持海量、標準化的氣象數據存儲，滿足不同業務應用對氣象數據獲取需求[2]。本文基于福建省政務云環境，打通部門專網通信鏈路、建立數據傳輸通道，設計一種基于微服務架構的氣象數據共享交換系統，實現氣象數據與其他部門行業數據的雙向傳輸、共享。最終建立起氣象部門與其他業務相關職能部門之間的數據共享交換機制，為相關部門提供定制化的氣象數據，提升各部門之間的數據協同與應急聯動能力。

二、系統的數據流程框架設計

為建設一個“一對多輸出、多對一輸入的”的數據共享與交換機制，給其他部門提供“服務+自助”的數據使用模式，從系統架構、技術和工具流程支撐角度，整個鏈條自上而下、各個維度設計數據共享安全機制，保護數據資源的安全性。

氣象數據共享交換系統是在氣象專網環境下，通過標準化接口實現從氣象大數據云平臺進行數據采集、加工處理、存儲與共享至政務云數據庫形成統一的數據處理流程和集約化的共享支撐環境，并向其他部門提供定制化的氣象數據與產品。因此，首先從氣象大數據云平臺的標準化接口獲取各政務部門所需氣象數據的采集和匯聚。共享系統為各部門提供共享接入注冊管理、數據目錄管理、數據接口配置、數據存儲查詢與到報監控、系統運行監控功能，為數據共享系統的部門接入、數據擴展、穩定運行提供支持。同時，建立并行的反向數據傳輸路徑，各政務部門輸出本部門數據，傳輸至政務云，支持福建省氣象局獲取收集至氣象專網進行存儲到氣象大數據云平臺，供氣象業務應用系統調用。

三、系統的設計與實現

建立福建省氣象數據共享系統，實現部門間數據的實時收集匯聚并以標準化接口的方式提供數據服務，為全面、客觀、多維數據的融合分析業務應用提供有力的數據支撐。在平臺技術選型方面，系統采用B/S模式和面向服務構件技術SOA及MVC前臺設計模式，滿足平臺資源按需使用、可擴展性要求。氣象數據共享系統基于Spring Cloud的微服務架構，通過“構件化模塊，拼裝式系統”方式，結合Docker容器技術實現根據服務數據類型與服務對象開發集成面向不同部門的數據應用需求，采用微服務分布式架構和容器化部署技術，對各應用需求進行微服務化開發和實施管理[3]。

（一）系統架構設計

基于微服務的生態系統，按照層次化的設計思想，平臺的總體架構分為五層。

1.基礎設施層

基礎設施層用于支撐應用系統的軟硬件環境，包括省級政務云環境提供的虛擬資源池和福建省氣象專網的氣象大數據云平臺支撐資源。

2.數據資源層

數據資源層是整個系統平臺的數據資源中心，包括各類信息數據庫、基礎信息數據庫及服務信息數據庫。

3.應用支撐層

應用支撐層是整個系統平臺的運行能力保障，包括消息服務總線、任務調度中心、日志處理服務及服務負載均衡。

4.應用層

本系統建設在數據層和支撐層的基礎上，搭建微服務化的應用系統功能模塊。

5.用戶層

為業務管理用戶及系統運維用戶提供Web應用服務。部署在政務云上，為各部門提供數據清單、共享數據權限申請等人機交互操作界面、開展業務管理。

（二）系統功能設計

本系統是面向全省各政務部門提供基礎性、公共性、通用性氣象信息。根據應用需求，系統設計了數據采集、數據資源匯聚、數據加工與處理、數據共享與服務、全流程業務監視等功能模塊。最終建立貫穿數據接入、存儲、處理、服務等環節的數據全生命周期管理長效機制，實現“產品可取、產品可控、產品可用、產品可靠”，打破氣象與各機構部門壁壘、推進產品服務融合共享。

1.數據采集

數據采集管理是將數據從氣象內網采集到政務云平臺，并在政務云平臺中緩存。數據采集提供了API接口、配置化采集方式。

（1）API接口方式采集

根據氣象數據共享目錄規劃，系統采用定制化的接口從“天擎”系統中采集數據。系統實現配置化的數據接口，可以通過采集配置實現從“天擎”系統中采集不同的數據。

（2）配置化方式采集

配置化方式采集根據數據產品的采集配置文件執行數據采集。配置化方式采集的配置內容包括基本信息、采集對象配置、采集策略配置及采集到報配置。基本信息包括產品源頭類型、產品名稱、產品類型及數據產品表名稱。采集配置文件包括服務IP、文件名規則、采集路徑、產品監測時間。采集策略配置包括分配采集器、采集頻率、采集模式、失敗重試次數、任務優先級。到報配置包括每日應到文件數，更新頻率規律、更新頻率、允許等待時間。

2.數據資源彈性匯聚

數據資源是共享系統最重要的資源，且氣象資源匯聚涉及多個部門、多個行業，基于“一次獲取、全網共享”的思路，進行數據資源匯聚體系的設計，氣象資源彈性匯聚負責數據收集與統一存儲，作為所有氣象數據的來源，為平臺上層應用提供數據服務，是數據管理與處理的重要基礎。數據的實時采集均來自氣象大數據云平臺，包括：自動站、觀測站、水位站、交通站等的氣象資料，以及氣象觀測系統生成的各類氣象數據（自動站、雷達數據、衛星數據、歷史數據等）、氣象業務系統生產的各種產品資料。通過建立基于氣象數據對外部門的共享數據總清單，建立共享數據目錄，并同步建立水利、生態環境、海洋與漁業等部門數據共享授權狀態與共享部門數據申請注冊狀態。

數據匯聚是對數據采集后的高效組織與存儲管理，匯聚的效率直接關系著系統整體性能。傳統數據匯聚方式，往往將數據匯聚業務都運行在同一個進程中，導致模塊內部之間存在強耦合，限制了數據匯聚的擴展性和處理能力，進而導致在處理大數據量的接入情況時，系統整體性能急劇下降。同時，當需要新增數據匯聚種類時，則要對原有功能代碼進行改動才可以接入新類型的數據，勢必會影響原有數據接入的穩定性和系統運行效率。因此，基于微服務軟件架構來實現數據匯聚系統可以很好地解決該問題。

基于微服務的架構相比傳統的單體架構，可以有效解決接入數據、數據服務動態增長帶來的沖擊問題。微服務架構作為一種全新的架構模式，通過微服務將一個功能復雜的單體應用分解成一組小的服務，不同服務之間可以相互協調、互相配合，共同完成一個復雜業務邏輯功能[4-5]。由于部門間數據匯聚的業務非常清晰且互不關聯，所以可對每個部門的共享交換數據服務劃分成一個個微服務。因此，采用微服務架構可以很好地解決政務部門間數據共享交換過程中的實際問題：

第一，不同部門對氣象數據獲取的業務需求不一樣，可定制輕量化的微服務實例與實際業務需求相匹配。

第二，每個微服務應用之間都是獨立的，因此，可以保證在系統接入新的部門需求時，不影響原有的微服務運行和數據接入。

第三，在新增業務需求時，可快速部署微服務實例，不需要太多重復開發的工作量。

第四，通過對外提供統一的API接口，可解決接入發送方數據格式差異性的問題。

3.數據加工與處理

數據加工與處理功能是基于標準規范、自動運行的數據流水線加工處理，實現對共享數據按照需求進行相應的質量控制和產品生成。共享數據加工與處理邏輯如圖1所示。通過資料加工處理，實現對實時氣象資料和歷史氣象資料的加工處理。實時資料加工處理系統基于一體化數據加工處理流水線的技術架構。軟件包括解碼處理、質量控制和深加工等模塊，并且能夠實現對實時數據流水線加工處理任務的任務管理、任務調度和任務監控等功能。數據加工與處理主要完成對氣象數據的分布式計算處理或批量文件處理，對采集以后的數據按照結構化與非結構化的類別通過由算法模板指定的算法進行分布式計算處理，系統同樣支持第三方的算法按照算法插件規則加入算法模型庫。實現部門氣象共享數據的加工處理、質量檢查、綜合質控和質量評估等功能，同時對全過程信息進行集約管理和共享。

4.氣象數據共享與服務

按照“集成統一、共建共享”的原則，嚴格遵循 SOA 架構規范，采用高內聚、低耦合的設計理念，實現數據共享與服務功能。氣象數據共享與服務流程如圖2所示。提供的所有數據和產品均按照氣象大數據云平臺MUSIC接口規范創建新的服務接口獲取[6]。同時，為共享數據需求部門提供氣象數據目錄配置管理人機交互界面，進行共享數據目錄增、刪、改、查操作。同時，為數據需求部門提供氣象數據共享目錄查詢權限，可了解氣象數據的共享服務范圍，支持通過Restful API接口等方式共享數據，可通過get/post等標準格式發送數據請求，獲得JSON返回數據結果。最終為全省各級氣象業務和管理用戶提供信息共享和一站式在線服務，提高部門間數據共享的集約化和規范化。

5.全流程業務監視

依據統一監控管理的規范化要求，對數據采集、產品上報及產品服務環節的任務進行監控，具體包括總體業務監控、數據采集監控、產品上報監控和產品服務監控，通過圖表結合形式實現業務情況的直觀展示，方便管理員了解本系統各業務流程的執行情況。實現氣象數據共享的全流程業務監視，即氣象數據的采集、加工處理和共享情況的實時監控[7]?？蓮臍庀笠鼐S度、數據維度提取狀態信息，包括：數據采集情況、數據質量情況（準確性、完整性、規范性、一致性、關聯性）、數據加工處理情況（開始時間、結束時間、總用時、超時、處理質量）、服務發布情況。

四、結語

近年來，各地區、各部門積極響應國務院加快推進信息系統整合共享的號召，促進跨地區、跨部門、跨層級數據互聯互享。面向各部門對氣象數據愈加迫切的實際需求，以破除不同數據源間的數據融合障礙和技術藩籬為目標，在氣象大數據云平臺統一的數據規范基礎上，建設氣象數據共享系統實現氣象信息資源的互聯互通和高效共享。

系統采用微服務架構，將各部門不同的共享數據需求以每個微服務功能方式封裝到可虛擬化快速部署的Docker容器中，構建高伸縮性的數據服務，便捷地進行氣象服務的持續開發和集成，滿足不斷拓展、多種多樣的氣象數據共享需求。目前，該系統已在福建省氣象部門應用環境中部署運行，通過業務應用證明了該系統在面對多部門的數據共享需求時大大降低了開發成本，實現高可用性，具有可持續發展的潛力。

參考文獻

[1]劉建宏，陳增境，高國弘，等.云端省級公共氣象服務數據共享平臺設計與實現[J].長江信息通信，2021，34（05）：54-58.

[2]趙芳，熊安元，張小纓，等.全國綜合氣象信息共享平臺架構設計技術特征[J].應用氣象學報，2017，28（06）：750-758.

[3]崔宏，吳恩平，熊安元，等.基于分布式和微服務架構的華信氣象服務云平臺[J].氣象科技進展，2018，8（06）：125-132.

[4]徐浩天，梁俸齊，羅麗.微服務架構與容器技術分析及應用[J].信息系統工程，2019（04）：97-98.

[5]張進猛，蘇健，柴立巖.基于微服務架構的信息系統開發技術研究[J].電腦知識與技術，2020，16（10）：273-274.

[6]張正陽，朱倩雨. 基于CIMISS環境的氣象數據統一訪問接口簡介[J].沙漠與綠洲氣象，2015，9（B08）：134-136.

[7]尹常紅，胡雅超，袁文波，等.一種氣象數據共享接口系統的設計與實現[J].電腦知識與技術，2021，17（05）：93-95+109.

作者單位：福建省氣象信息中心

責任編輯：王穎振、鄭凱津