交管風險管控平臺與氣象大數據云平臺融合的實踐與思考

■ 唐衛 渠寒花 霍慶

(作者單位：唐衛、渠寒花，中國氣象局公共氣象服務中心；霍慶，國家氣象信息中心)

氣象信息化是實現氣象現代化的重要途徑。氣象大數據云平臺是氣象信息化工作的“主角”，中國氣象局組織編制了《氣象大數據云平臺試點建設工作方案》，要求推進云平臺與天氣、氣候、探測、服務等核心業務應用系統的對接，滿足國家、省級核心業務應用系統數據需求，在國家級和部分省級建成云平臺，提供在線數據訪問與數據挖掘應用功能，在公眾服務、行業影響服務開展氣象服務核心業務試點應用。交管天氣風險管控平臺作為2018年中國氣象局山洪新建項目，成為公眾服務方向融入大數據云平臺試點工程的首批項目。以云平臺為支撐，依托其基礎環境池、存儲資源、超算能力、國省共享通道、監控保障等優勢能力，推動交管平臺融入云平臺，更是現階段實現氣象資源互聯互通、共享共用，構建資源高效利用、數據充分共享、流程高度集約、標準體系完備的氣象業務現代化新格局的必行之舉。

1 交管天氣風險管控平臺基本情況

交管天氣風險管控平臺（Traffic management weather risk control platform，TWRCP，圖1），聯合交通管制部門、國省氣象服務部門，建設了“一級部署、兩級應用”、多部門協同的綜合業務服務平臺，綜合運用大數據分布式處理、流式計算框架、GIS空間分析、數據庫、多維可視化等關鍵技術，重點建設了交管氣象服務大數據集、交管氣象風險一張圖、業務應用3個分系統，研發全國主要高速干道15萬樁點、1 km和10 min—小時級別的精細化時空分辨率交通氣象服務產品，通過實時氣象數據、高速管控數據、地理數據、交通數據的共建、共享、共用和挖掘分析，開展交管與氣象大數據的融合應用，旨在為交通管理部門實時決策提供輔助工具，提高國省氣象災害應急工作效率，提升防災減災服務水平。

圖1 交管風險管控平臺主界面

2 交管平臺融入云平臺的主要需求

2.1 大數據資源需求

交管平臺數據涉及基礎氣象資料，行業社會的交通管制數據，基礎地理數據等4大類30余項，涉及公安部門、交通部門、氣象部門及社會企業等10余個單位，數據來源廣泛、格式標準各異、接入方式復雜，交管平臺依靠自身力量，協調部委和數據提供方精力不足，依據數據門類專門研發相應數據接口和算法工作量大、效率不高。

2.2 高效存儲訪問需求

經測算，交管平臺涉及輸入輸出數據60余種、處理業務功能140余項，日采集及處理數據量約3 TB，日生成服務產品近100 GB，日緩存數據超過300 G，日分布式存儲記錄1.2億余條，高速路段與樁號信息分別與8大類氣象要素的空間疊加分析及中間計算結果以小文件存放，高時空分辨率數據時空分析、高頻回滾計算對分類存儲、快速存儲檢索、分析再計算能力均提出更高需求。

2.3 高性能計算及服務能力需求

交管平臺涉及全國主要高速公路15萬樁點、900多條主要路段，實現分鐘級交通實時流量疊加分析，同時，精細化至全國1 km路段、樁號的實況、短臨和預報，逐10 min至小時級的產品滾動計算加工及多要素氣象交通數據產品實時反演分析，需要滿足數據訪問、在線計算及回存需求，實時數據訪問秒級響應，歷史長序列數據統計分析秒級響應能力的支撐能力。

2.4 支撐部門內外、國省業務的混合網絡架構需求

交管平臺服務交管、國省氣象業務部門，存在大量數據和產品實時匯交與共享，數據分析、產品加工、前端交互涉及多個網段，目前雖功能研發完成，但建設單位不具備向外部門、國省業務部門提供應用服務能力，需從業務布局出發，聯合大數據云平臺統一設計、集約部署。

2.5 統一監控運維需求

交管平臺未來面向交管部門、國省氣象業務服務部門7×24 h全天候服務，需對數據到達、產品加工、服務分發等關鍵環節提供“全流程、全要素、全過程”監控，在信息監視、指標性能、秒級事件處理能力方面提出更高要求，以提高數據質量、服務時效、故障處理時效，增強平臺運行的穩定性。

氣象大數據云平臺，以提供“數算一體”的平臺化服務為目標，采用統籌構建基礎設施資源，統一構建數據環境的方式，旨在打造氣象信息資源互聯互通、開放共享的 “云+端”業務模式的全面發展，逐步構建集約化、標準化、開放發展的氣象新業態，經過一年多來的建設與完善，在氣象數據資源、數據交換、產品加工、挖掘分析、存儲與服務、業務監控等，初步具備支撐交管平臺的能力。

圖2 交管天氣風險管控平臺應用融入方案

3 交管平臺融入大數據云平臺的實踐

根據交管平臺業務架構和功能特點，向氣象大數據云平臺的融入分別從“云”“端”兩方面聯合設計融入方案（圖2）。其中：1）“云”的融入包含IaaS層、SaaS層。其中，IaaS層由大數據云平臺提供TWRCP所需的虛擬資源池、分布式物理池、數據存儲的基礎設施資源，在此不作贅述；SaaS層，云平臺針對TWRCP數據及產品特征，提供分類數據存儲、算法集成改造融入、擴充現有數據服務接口，將原TWRCP中的算法庫管理、工作流引擎、任務調度和并行處理框架調整為大數據云平臺的加工流水線支持，生成的業務產品存入云平臺統一的數據及存儲環境。2）“端”的融入包括Web端展示融入、后端管理端的融入改造。后端管理端的改造在消息機制、用戶權限管理方面保留前端界面，實現交互信息加工結果的獲取與展示，并增加交管平臺監控功能改造后融入天鏡的需求，實現TWRCP全業務、全流程的監控。

3.1 數據流程改造

數據存儲的應用融入，經過交管平臺數據流程再梳理，如圖3所示。將數據采集、存儲及服務接口統一納入云平臺。

圖3 數據應用與服務融入流程設計

數據采集環境，現有數據交互算法向云平臺遷移。對于原本對接CIMISS數據服務接口，不作變化。對于云平臺尚不包含的實時流量等數據，遵循大數據云平臺的數據輸入輸出和監控規范，納入統一交換及質控系統進行解析處理，采集算法封裝后注冊到流水線環境，采集信息管理納入天鏡統一監控。

數據存儲管理，完全轉移至云平臺。新增空間數據庫，以postgreSQL支撐點、線、面SHP數據與氣象基礎數據的空間融合入分析與信息提取；擴充歷史分析庫，大體量、長時次、循環滾動計算的歷史檢驗數據，采用云平臺ADS/Gbase分析型數據庫提升計算效率；分配共享文件存儲，用于中間結果緩存，對頻繁更新的共享指標、路況流量以分布式NAS存儲。

數據服務接口改造，數據接口融入包含兩部分，基于現有標準、擴展MUSIC底層通用接口，在時間窗、區域段、地理信息區間等方面容納更多動態適配參數，定制開發空間分析服務接口功能，滿足不同參數化方案下的動態空間信息調用和分析；利用眾創接口，對MUSIC接口無法滿足的功能定制開發，如根據TWRCP前端展示需求，形成多個數據服務接口。

3.2 產品加工算法改造融入

按照服務功能對數據采集算法、交通事件融合算法、實況短臨預報產品道路融合算法、風險產品的道路融合算法、風險等級計算及等級訂正6類89個業務算法進行整合封裝，形成獨立運行的可執行腳本或程序，注冊至大數據云平臺的流水線環境，實現交管平臺算法的統一注冊、審核、發布等管理。

算法的管理在后端管理層實現，包括算法的部署、管理、運行等，算法的支持環境為基礎設施的算法運行池，生成的業務產品存入數據環境。通過任務調度方式納入大數據云平臺產品加工流水線，以參數形式觸發定時任務執行，其輸入輸出參數改造為云平臺存儲環境提供的開放數據接口，并通過監控日志統一監測、調度、管理。

TWRCP算法按照流水線環境的統一標準規范改造封裝后注冊在流水線環境。其中，對氣象業務中頻繁使用的氣象基礎數據要素提取算法、GIS地理數據引擎調用接口、歷史氣象要素統計算法等，注冊時采用了public方式暴露接口，可提供及其他平臺或系統的復用，如支撐防災減災監控管理平臺應用、輔助決策支持系統等，其他平臺將依托流水線的眾創發現接口多次調用，同時也提供支持源碼共享服務。

3.3 前端應用服務融入

TWRCP屬于典型的應用服務型業務系統，因服務用戶的特殊性，TWRCP Web端服務既要滿足用戶交互、共享、服務需求，同時也要按照大數據云平臺融入要求，開展交互操作、服務發布的準確、實時應用，分兩個階段開展工作。

1）由大數據云平臺提供前端Web網絡環境，完成網絡架構下整體功能的遷移。因TWRCP服務用戶的特殊性，采用分兩步實施：先期開通氣象寬帶網，實現國家級、省級氣象業務人員應有，實現國省交通風險指標的匯聚、基礎支撐產品與風險產品的共享與下發。

2）對遷移后的TWRCP前端，逐步開展云平臺的融入改造。TWRCP前端Web服務的人工交互操作，保證交互操作分析、計算返回結果的準確性和實時性，是TWRCP前端融入的關鍵所在。對TWRCP web應用服務接口改造，梳理WEB應用涉及的服務接口，在大數據云平臺新增人工觸發接口，同時設計共享存儲目錄及文件，做好服務接口與共享文件的觸發匹配，確保交互數據及產品能夠準確返回。

4 業務融入中的經驗與思考

4.1 協同融入需重視，組織管理是保障

合作雙方達成共識，是推進融合的工作基礎。早在交管平臺系統設計階段，實施責任機構組織省級試點單位、聯合國家氣象信息中心氣象大數據云平臺團隊成立專項聯合工作組。結合氣象大數據云平臺技術能力，就融入流程、技術條件、功能流程做早期需求分析，聯合設計國省業務架構、共享流程、產品分發，并就相關的軟硬件資源申請、基礎數據列表做前期溝通，形成工作共識，同期做好會議紀要，為后期融入工作提供了組織保障。

4.2 頂層設計要統籌，融入進程要同步

對新建業務系統來說，協同頂層設計能有效避免后期技術架構、業務流程的反復工作量。團隊主要采用分工合作方式，設計階段由氣象大數據云平臺負責國省業務架構布局設計，研發團隊同期提交輸入輸出數據列表、給出存儲資源、計算資源、網絡資源詳細測算列表，雙方就消息中間件、數據庫等應用軟件進行了定制部署，較好地支撐了平臺融入工作。

4.3 重視數據產品接口規范的設計與規劃

未來各項業務服務系統融入氣象大數據云平臺是大勢所趨，各類數據、產品、接口要嚴格遵循云平臺技術標準和規范要求。其中，應用的大數據云平臺CIMISS數據，一般都有相應標準規范，難點在于自身業務邏輯輸入及產出的數據、產品。團隊參照交通行業標準及規范、聯合公安部交通管理科學研究所，先后形成了《交管天氣風險預警指標技術規范》《高速公路交通安全管控風險預警等級》《交管天氣風險管控平臺風險產品共享格式規范》等，參照《氣象信息化標準》、大數據云平臺現有規范，聯合國家氣象信息中心，形成功能算法、數據服務接口、監控格式規范多類，為平臺向大數據云平臺的快速融合與業務應用奠定了良好基礎。

深入閱讀

沈文海, 2016. 再析氣象大數據及其應用. 中國信息化, (1): 85-96.

王志, 韓琰紅, 李藹恂, 2017. 我國公路交通氣象研究與業務進展.氣象科技進展, 7(1): 85-89.

翟永, 劉津, 2015. 建設地理信息大數據的思考. 氣象科技進展,5(1): 70-71.

張暉妍, 楊青軍, 李林, 等, 2019. 青海省氣象大數據云平臺設計. 青海科技, 3: 67-71.