基于“云+端”架構的江西省雷達拼圖系統設計

袁正國， 李顯風， 鄧衛華， 胡麗麗， 周雪瑩

(江西省氣象信息中心， 南昌 330096)

隨著觀測技術和信息技術發展，中國氣象信息化能力不斷提高，氣象及相關行業數據量急劇增長。依托全國綜合氣象信息共享系統(China Integrated Meteorological Information Service System，CIMISS)構建了國家和省級集約化氣象數據環境，初步實現了對國-省-市-縣四級業務平臺的數據支撐[1]，但CIMISS僅實現了對主要氣象數據的存儲管理，而且在線能力有限，對雷達、衛星、數值預報產品只能提供短期的在線服務。隨著氣象業務系統集約化改造的推進，全國各級業務單位對現有業務系統進行了一定優化整合，但業務系統重復建設、數據煙囪現象依然存在，后臺處理算法仍各自管理、分散運行[2]。現有信息系統存在數據供應不足、數據交換不便、數據服務不夠高效等問題，制約了現代化智慧氣象業務發展。針對上述存在問題，中國氣象局利用云計算、大數據等新的信息技術，構建了國-省兩級的氣象大數據云平臺(“天擎”)，實現地球系統數據全集的統一管理和云上計算能力，全面支撐“云+端”的氣象應用業務，構成集約化、標準化、開放發展的氣象新業態。

多普勒天氣雷達具有很高的時空分辨率，是中小尺度天氣監測的重要手段，對災害性天氣預報預警、精細化氣象服務具有重要意義[3-4]。利用雷達資料可為強對流天氣進行有效的外推預報，用于改善數值模式的初始場，從而提升模式預報結果[5]。為了提高對區域尺度災害性天氣監測、預報以及預警能力，發揮多部雷達在聯合監測天氣中的作用，需要把多部雷達資料進行組網拼圖，以完整地反映多種尺度天氣系統的移動和演變過程，在更大范圍發揮天氣雷達監測災害性天氣的作用。此外，組網結果還可以為中尺度數值天氣模式中雷達數據同化等提供數據基礎。針對雷達拼圖產品的實際需求，國內氣象學者開展了全國、省級以及區域等不同空間尺度的雷達組網拼圖技術研究與系統建設，胡勝等[6]實現了廣東省四部新一代雷達數據拼圖處理；王建國等[7]建立了山東省以及周邊鄰省雷達數據逐6 min實時拼圖處理業務；肖艷姣等[8]提出了新一代天氣雷達資料的三維格點化及拼圖方法，實現了廣州和梅州雷達三維反射率組網拼圖；王志斌等[9]利用并行處理方法開展了全國天氣雷達實時拼圖處理研究；林紅等[10]設計研發了長三角地區12部雷達組網拼圖系統；邱拓等[11]利用開放圖形庫(open graphics library，OPENGL)技術實現了組網氣象雷達數據三維可視化顯示；鮑婷婷等[12]利用WebGL技術構建了天氣雷達三維可視化分析平臺。由于雷達探測資料時空分辨率高，對該資料的數據解碼與組網拼圖處理耗時長。為實現在一次體掃時間內完成對大量雷達資料的組網處理，上述研究中主要采用多線程或多進程方式對程序并行化來提高數據處理效率。隨著氣象業務越來越精細化，其對資料時效要求越來越高，傳統通過多核處理器的并行處理方式一定程度上提高了雷達組網拼圖處理效率，但該方式業務邏輯主要以定時同步方式運行，產品滯后時間較長，不能完全滿足精細化氣象業務需求。因此，如何進一步提高雷達拼圖產品時效是迫切需要解決的問題。

“天擎”是支持“數算一體”的服務平臺，其采用消息、流式處理、分布式存儲等技術，有效實現氣象及相關行業數據資源的快速收集處理與存儲管理，提供實時以及歷史長序列數據的高效在線訪問。“天擎”搭建了多計算節點的分布式計算環境，具有時間和任務等多種調度方式，以及流計算、分布式計算、容器計算、普通計算等多種計算框架，支持多算法、多任務的低延時、同步調度運行。因此，通過“天擎”可以及時獲取各種雷達探測資料，通過“天擎”加工流水線可以實現雷達資料的快速加工處理。

基于此，現嘗試探討將雷達資料加工處理融入“天擎”，設計和實現基于“云+端”技術架構的雷達組網拼圖系統，利用江西省及周邊省份雷達探測資料實時生成雷達數據產品，旨在進一步提高雷達資料處理與組網拼圖效率，以滿足全省精細化氣象業務對高時效雷達數據產品的服務需求，實現本省雷達資料的集約化處理和算法的共建、共享，為推進構建“云+端”的新氣象業務提供合理可行的思路方法。

1 雷達資料

使用的雷達資料包括江西省南昌、九江、上饒、撫州、宜春、吉安、贛州和景德鎮8部多普勒天氣雷達和周邊省份安慶、黃山、武漢、衡陽、郴州、長沙、岳陽、衢州、三明、龍巖、建陽、河源、韶關、梅州14部多普勒天氣雷達(共22部)，雷達站點分布如圖1所示。多普勒雷達采用VCP21體掃模式對9個具體仰角(0.5°、1.5°、2.4°、3.3°、4.5°、6.0°、10.0°、15.0°、20.0°)進行實時探測，探測范圍約460 km，探測頻次為6 min，探測數據包括反射率因子、徑向速度和速度譜寬3類數據。省內8部雷達站探測數據由臺站通過流傳輸方式實時傳輸至省級通信系統，向國家級通信系統不落地轉發的同時，處理生成統一標準格式的逐仰角和全體掃基數據文件，并儲存至省級“天擎”提供服務。省外14部雷達站探測數據是從中國氣象局數據共享平臺實時獲取的全體掃基數據文件。省內及省外雷達站數據均通過“天擎”提供統一存儲管理與共享服務，支撐各類氣象業務應用。雷達資料詳細收集流程如圖2所示。

圖1 江西省與周邊省雷達站點分布圖Fig.1 Radar station distribution in and around Jiangxi Province

圖2 雷達數據收集流程Fig.2 Radar data collection process

2 雷達拼圖處理流程

針對基礎觀測數據的加工處理，“天擎”提供了對算法的統一集中管理和統一任務調度平臺，有效提升了算法的復用率和算法的執行效率。本文研究采用重疊區最大值法[13]進行多部雷達組網拼圖處理，依托“天擎”統一加工流水線來實現雷達拼圖處理的調度運行，其處理流程如圖3所示。首先基于數據源感知觸發方式，實時獲取“天擎”共享存儲上的雷達逐仰角基數據文件和全體掃基數據文件，然后依次對數據文件進行數據解碼、質量控制處理，得到質控后網格化的雷達反射率數據，并對處理后數據進行實時緩存處理，解決每部雷達探測數據不同步問題。采用多進程并行處理技術，基于順序任務和定時任務調度方式，對緩存的單站逐仰角反射率數據進行組網拼接處理和圖形繪制，循環更新生成單站和區域組網的雷達反射率產品，將產品數據回寫到“天擎”提供統一存儲管理和對外共享服務。

圖3 基于云計算的雷達組網拼圖處理流程Fig.3 Processing flow of radar networking mosaic based on cloud computing

3 雷達拼圖系統設計

依托“天擎”提供數算一體的氣象云平臺服務，采用“云+端”的體系結構進行雷達拼圖系統設計。系統云端主要包括IaaS層和PaaS層兩層結構，應用端主要為業務應用層，并提供系統監控功能。系統總體技術架構如圖4所示。

(1)云端IaaS層：基于“天擎”提供雷達拼圖系統運行所需要的計算、存儲等基礎設施資源。

(2)云端PaaS層：針對雷達拼圖處理系統所需的數據資源，通過“天擎”提供數據管理和訪問服務，包括“天擎”已有的雷達基數據和系統回寫的雷達數據產品。所有數據產品通過分布式文件庫(包含存儲文件索引信息的虛谷庫以及存儲數據實體的分布式網絡附加存儲(network attached storage，NAS))存儲并提供數據管理。在“天擎”加工流水線部署數據解碼、質量控制、組網拼接、產品繪制等算法，生成的業務產品存入“天擎”數據環境。新增雷達產品數據服務接口，支撐各類業務系統應用。

(3)應用端：利用“天擎”數據服務接口，將業務系統平臺直接對接“天擎”數據存儲，實現對雷達數據產品的訪問。開發詳情信息(detail information，DI)、事件信息(event information，EI)日志發送模塊，將監控信息發送至氣象綜合業務實時監控系統(“天鏡”)[14]，實現系統入庫處理流程的實時監控。

圖4 系統總體技術架構Fig.4 Overall technical structure of the system

4 關鍵技術

4.1 基于Redis的數據緩存技術

雷達探測頻次為6 min一次，但由于每部雷達體掃啟動時間不同，導致同一時次的雷達探測數據不能在同一時間點生成。為提高雷達拼圖處理效率，避免每次組網拼圖對單站雷達數據重復處理，需要將不同時刻生成的單站雷達網格化數據進行緩存處理，待每部雷達數據處理后，直接從緩存中讀取數據，通過循環更新方式進行拼圖處理直到全部單站雷達數據完成拼圖處理。本文研究采用基于內存運行的Redis緩存技術進行數據緩存處理。Redis采用鍵值對(Key-Value)存儲結構[15]，通過鍵值進行數據的存取操作，并可以設置數據緩存期限實現內存空間的動態釋放，滿足數據實時動態緩存需求。為了便于拼圖處理時查找同一時次探測數據，需要對數據緩存時間進行標準化處理。根據逐6 min拼圖處理頻次，即每小時包括00、06、12、18、24、30、36、42、48、54共10個時次，通過每部雷達實際探測時間以最鄰近方法進行時間標準化處理。例如，雷達探測時間為08：10，根據上述標準化處理規則數據緩存時間為08：12。在時間標準化處理基礎上，遵循Key值唯一性原則，以“雷達站號_仰角_探測標準化時間”設計緩存數據的Key、Value為質控后的網格化反射率因子數據。

4.2 基于DI的數據源感知調度

雷達探測數據通過省級通信系統實時收集，并分發至“天擎”，經過“天擎”數據解碼、數據同步等處理，實現數據在緩沖庫、服務庫和分析庫等多種數據庫的存儲管理，以滿足不同的應用場景需求。每個處理環節在處理完成后實時向“天鏡”發送詳情信息(DI)，由“天鏡”自動完成對DI信息的解析和入庫處理，實現對雷達基數據的收集、分發、處理、入庫的全流程監控。因此，根據DI信息可以第一時間感知到文件目錄中落地的數據文件，避免傳統通過目錄定時掃描方式造成數據訪問不及時問題。據此，“天擎”設計了基于DI的數據源感知調度方式，具體處理流程如圖5所示。“天擎”加工流水線實時監聽與接收數據庫同步DI信息，對接收的DI信息進行統計分析，并發送指令到加工流水線服務總線，觸發調度任務執行代理，啟動算法調度運行。

算法程序根據DI提供的文件名信息，并結合文件存儲路徑，實現對“天擎”NAS存儲的數據文件直接讀取訪問，然后依次進行數據解析、質量控制和網格化處理，其中質量控制處理主要包括孤立回波檢測和紋理變化檢測，具體處理方法詳見文獻[16]。將處理后數據緩存至Redis內存庫，以提供后續算法調取使用。

圖5 數據源感知調度處理流程Fig.5 Data source aware scheduling process

4.3 基于任務的順序調度

產品加工處理通常需要有多個任務順序完成，且任務之間有輸入/輸出的依賴關系。為此，“天擎”加工流水線設計了基于任務的順序調度方式。在部署順序調度任務時，首先需要設置前置任務節點，并根據前置任務的輸出結果，配置任務的模型輸入參數，然后配置任務的觸發方式實現多個任務按順序依次調度執行。前置任務的輸出要遵循“天擎”加工流水線的算法輸出格式規范。本文研究通過基于任務的順序調度方式來運行單站逐仰角雷達產品生成算法程序，其前置任務是單站逐仰角基數據處理的數據源觸發任務。前置任務按照“天擎”算法輸出格式規范，以標準輸出方式輸出JSON格式的執行結果，其格式內容如圖6所示。輸出內容以兩個半角雙引號及兩個半角單引號(""")開頭和兩個半角單引號及兩個半角雙引號(""")結束，以區別于普通輸出日志。具體輸出內容主要包括輸出信息和輸出狀態碼。本文研究中輸出信息為Redis緩存的“站號_仰角層_日期”鍵值，輸出狀態碼包括0和非0兩種，0代表成功返回，非0代表失敗返回。算法程序根據前置算法輸出的鍵值獲取該鍵值對應的數值信息，進行單站逐仰角雷達反射率圖形產品繪制。

圖6 算法輸出格式示例Fig.6 Example of algorithm output format

4.4 基于數據接口的產品共享技術

為保存全部的數據產品并提供對外服務，基于“天擎”統一數據環境建立數據產品的共享服務流程，具體實現方法如下，根據業務需求和數據融入標準規范，在“天擎”NAS存儲中規劃用于存放系統生成的各類數據產品的標準目錄和存儲空間，在“天擎”文件索引庫創建用于存儲數據產品文件索引信息的數據表，其主要字段包括文件標識、數據來源、入庫時間、資料時間、存儲路徑、文件名、文件大小等。目前“天擎”數據庫為虛谷數據庫。系統在生成產品的同時，將產品的文件信息寫入索引數據表相應字段，實現數據文件的存儲管理。針對業務應用場景需求，遵循“天擎”數據接口標準規范，建立“按站號”“按時間”“按時間段”等多種靈活配置的數據服務接口，滿足常見業務對數據產品的檢索需求。

4.5 基于“天鏡”的監控告警技術

根據氣象業務系統集約化監控管理要求，雷達拼圖系統納入“天鏡”統一監控管理。系統按照“天鏡”的DI標準規范，主動將監控的主要指標信息發送給“天鏡”。發送的DI信息采用JSON格式，DI信息結構主要由信息類型(type)、信息名稱(name)、信息內容(message)、信息時間(occur_time)和信息字段(fields)5部分組成，其中信息字段主要包括資料文件名、文件大小、資料四級編碼、資料時間、系統名稱、發送時間等內容。本文研究在產品生成算法中開發DI發送模塊，算法程序將每時次生成的產品文件信息以POST方式提交至“天鏡”RESTful接口，由“天鏡”自動完成DI信息的解析入庫。通過配置監控策略，實現基于“天鏡”的系統業務產品的入庫完整性監視和異常告警服務。

5 系統實現與效果

基于融入“天擎”的集約化設計理念，采用“云+端”的系統體系架構，利用“天擎”2個計算節點搭建雷達拼圖系統的分布式運行環境，系統運行操作系統為Linux。采用python語言進行系統算法程序開發，設計開發了雷達數據處理和圖形產品生成4大類8個業務算法。本研究按照產品粒度對8個算法進行整合封裝形成5個可獨立運行的算法執行腳本，分別為單站逐仰角雷達基數據處理、單站全體掃雷達基數據處理、單站逐仰角反射率產品生成、單站組合反射率產品生成和區域組網反射率產品生成等5個算法程序，其中單站逐仰角雷達基數據處理、單站全體掃雷達基數據處理采用數據源感知調度，單站逐仰角反射率產品生成采用任務順序調度，單站組合反射率產品生成和區域組網反射率產品生成采用定時任務調度(表1)。產品生成算法具備產品DI發送和產品回寫“天擎”數據環境功能，全部算法計算方式為普通計算。通過“天擎”加工流水線管理頁面進行算法的注冊、算法加載、任務定義和任務調度管理，配置基于數據源感知、順序任務和定時任務等多種調度運行方式，實時制作單站和區域組網的雷達反射率數據產品。

通過采用“天擎”加工流水線統一調度和多進程并行處理技術，顯著提升了雷達拼圖處理效率，產品滯后時間大幅度減少。通過對2021年4月7日逐時次雷達處理耗時統計計算，系統處理平均總耗時為26.5 s，其中數據解碼、質控處理、網格化處理、組網拼圖、可視化處理平均耗時分別為0.6、2.6、10.6、4、8.7 s。利用2021年4月7日18：00—19：00(共10個時次)上饒雷達站0.5°仰角基數據，采用傳統定時任務和“天擎”加工流水線調度兩種處理方式，分別生成每個時次的反射率圖形產品，并統計計算出每個時次產品的生成時間(圖7)。

圖7 雷達產品時效對比Fig.7 Time consuming comparison of radar products with different processing methods

表1 系統算法及任務調度說明Table 1 System algorithm and task scheduling description

從統計結果可以看出，基于“天擎”加工流水線方式的每時次產品滯后時間明顯要小于傳統定時任務處理方式。“天擎”加工流水線處理滯后時間在57.2～67.5 s，平均滯后時間為62.7 s，傳統定時任務處理滯后時間在114.1～272.3 s，平均滯后時間為186.2 s，基于“天擎”加工流水線較傳統定時任務方式的處理時效提升了66.3%。

本文研究生成的單站產品覆蓋江西省全部8部雷達站，拼圖產品空間范圍為111°E～121°E、22°N～32°N，單站及區域拼圖產品的空間分辨率均為0.01°，時間分辨率均為6 min。每時次生成的單站及拼圖產品包括全部仰角組合反射率以及逐仰角反射率(0.5°、1.5°、2.4°、3.3°、4.5°、6.0°、10.0°、15.0°、20.0°)。圖8為2021年4月7日17：00區域拼圖的組合反射率以及0.5°、1.5°、2.4°反射率產品。

6 結論

利用江西省及周邊省份的天氣雷達探測資料，提出了一種基于“天擎”的雷達組網拼圖系統設計與實現思路，構建了基于統一加工流水線任務調度的分布式處理業務，制作了高時空分辨率、高時效的雷達數據產品。對系統處理流程以及數據緩存、任務調度、共享服務、實時監控等關鍵技術進行了詳細闡述。

(1)利用Redis內存緩存技術，實現了對質量控制、網格化處理后的雷達反射率數據實時在線緩存，解決了雷達組網拼圖時探測時間不同步等技術問題。

(2)利用“天擎”統一加工流水線，構建了基于數據源感知和順序任務等多種實時調度運行機制，較傳統定時調度處理方式，顯著提升了系統處理效率。

圖8 2021年4月7日17：00雷達拼圖產品Fig.8 The radar mosaic product at 17：00 on April 7， 2021

(3)基于“天擎”統一數據環境，實現了對系統生成的各類數據產品的高效存儲管理，并基于數據接口技術為各類業務應用提供了標準規范、集約統一的數據共享服務支撐。

(4)基于納入“天鏡”的綜合一體化的業務監控思想，實現了系統的全流程監控與異常告警功能，保障了系統的連續穩定運行。

(5)搭建了江西省雷達組網拼圖系統的業務運行環境，實時制作江西省逐6 min、1 km分辨率的雷達單站及區域組網的雷達數據產品，產品最高生成時效在1 min以內，滿足了精細化氣象業務服務需求。

依托“天擎”強大的“數算一體”服務能力，在保障系統運行的及時性和穩定性同時，有效解決了現有雷達數據產品時效性不足的技術難題，有效實現了本省雷達資料的集約化處理以及算法的共建、共享，研究成果為推動建構“云+端”的新氣象業務提供了重要技術參考。研制的雷達數據產品已納入“天擎”統一數據環境在全省氣象部門應用，為全省各級精細化業務提供了可靠的數據支撐。