天津氣象信息綜合管理共享系統建設與應用①

趙玉娟,武國良,袁衛華,雷 鳴,朱男男,王 藝,姜罕盛

1(天津市氣象信息中心,天津 300074)

2(天津海洋中心氣象臺,天津 300074)

隨著氣象現代化建設不斷推進,天津氣象業務信息化水平顯著提高,市區兩級建設了多個業務系統,涉及觀測、天氣預報、環境預報、海洋預報、服務等多個領域,對于提升監測能力、預報服務效果發揮了重要作用.但由于缺乏頂層設計和整體規劃,業務流程冗余、數據反復搬家、數據不一致等問題突出.此外,隨著氣象業務快速發展,氣象數據增長迅猛,天津省級各類氣象數據日增量接近TB 級,業務和科研希望存儲更長時間序列數據的需求日益迫切.構建統一的數據環境,做好海量氣象數據的管理和共享已成為天津氣象發展亟需解決的關鍵問題.

氣象數據涉及地面、高空、雷達、衛星、數值模式、服務產品等多種類型,來源廣、格式復雜、數據量大,用戶需求多樣,氣象數據的存儲管理和共享一直是困擾業務和管理人員的難題,氣象專家不斷在探索氣象數據存儲管理及共享的技術和方法.

20世紀初期,國家和省級許多專家利用Web 技術、數據庫提升氣象數據存儲和共享能力,并取得了一定進展,但都是獨立開發、分散建設[1-3].為解決國省數據環境不一致,應用難推廣的問題,2009年國家氣象信息中心啟動了全國綜合氣象信息共享系統建設(China Integrated Meteorological Information Sharing System,CIMISS),CIMISS 系統集數據收集與分發、質量控制與產品生成、存儲管理、共享服務及業務監控于一體,采用統一的技術架構、數據處理標準和流程、數據存儲規格和接口服務規范,在國省級兩級部署[4],為氣象部門用戶提供了統一的數據環境.此后,各級氣象部門專家開展了許多基于CIMISS 的研究工作.何林等[5]依托CIMISS 和本地數據庫構建了面向業務一線人員的陜西省氣象數據共享系統,實現了CIMISS 提供的地面、高空、農氣等14 大類數據及陜西自有特色數據的對內共享服務.范保松[6]針對本省觀測數據服務質量低下、存在“信息孤島”的問題,設計并實現了河南省氣象觀測數據綜合服務平臺.李新慶等[7]基于CIMISS 提出了寧夏綜合氣象信息共享與管理系統設計與實現的思路,有效解決了省際氣象數據匯交、標準化存儲等問題.郭慶燕等[8]基于CIMISS構建了具備實時歷史數據查詢、數據統計及極端事件監控功能的服務系統.總體來看,以CIMISS 為基礎,面向各地實際需求建設共享系統是近年來采用的主要方式.

CIMISS 業務化以來,在促進省級數據集約、共享方面發揮了重要作用,但隨著氣象數據種類和數據量的持續增長,單純依靠傳統集中式存儲架構已無法充分滿足需求[9].與此同時,大數據、云計算技術蓬勃發展,國家和省級氣象專家紛紛開始探索新技術對氣象數據處理效率、服務能力的提升方案,取得了良好效果.宋智等[10]采用分布式文件系統和分布式數據庫對CIMISS 系統進行升級改造,有效改善了四川省級氣象數據存儲和并發響應能力.肖衛青等[11]提出了基于Hadoop 的地面觀測資料統計分析效率提升方案.徐擁軍等[12]利用分布式關系型數據庫開展了海量氣象站點數據的存儲研究,發現分布式數據庫在數據插入和檢索方面都具有較好的性能,同時具有較好的可靠性、靈活性和擴展性.王建榮等[13]提出了分布式數值預報產品處理與存儲系統的解決方案,為長時間序列數值預報產品的存儲和檢索提供了新思路.

本文針對天津氣象數據特點及管理共享需求,結合技術發展趨勢,基于分布式存儲和WebGIS 技術,構建了集采集、加工處理、可視化展示、統計分析、數據服務于一體的氣象信息綜合管理共享系統,實現了天津氣象數據的集約管理和一站式服務,文中對系統的設計思路、數據流程、關鍵技術、主要功能及應用情況進行了介紹.

1 系統設計

1.1 總體架構

天津氣象信息綜合管理共享系統致力于實現天津氣象業務涉及的各類氣象數據的統一管理,為市區兩級氣象業務提供更穩定高效的數據支撐,為各類用戶提供一站式信息共享和服務.

為實現各類信息的統一管理、高效訪問,在遵循CIMISS 數據標準和規范下,參考氣象資料和氣象要素分類編碼標準,對天津氣象數據資源進行梳理,制定了天津氣象局數據存儲規范,在CIMISS 基礎上擴建分布式數據庫和文件庫,構建了天津氣象大數據環境.

系統采用分層架構進行布局,邏輯上分5 個層次,針對5 類用戶進行設計開發,總體架構如圖1所示.

基礎支撐層負責為平臺提供計算、存儲、網絡資源及相關的軟件支撐,依托天津氣象局基礎設施資源池實現.數據存儲層負責氣象觀測數據、氣象產品、業務管理信息、行業共享數據、互聯網數據及GIS 數據、運行日志等信息的存儲,依托CIMISS 和擴展的分布式存儲環境實現；數據管理層負責實現數據的收集分發、解碼入庫、質量控制,按業務需求進行數據同步、加工、清理及為上層應用提供訪問接口,依托CIMISS 和自建數據處理系統實現.展現交互層為天津氣象數據的綜合展示和共享門戶,負責與用戶進行交互,提供數據可視化展示及檢索、統計等功能,通過WebGIS、圖形、表格、數據下載、接口等形式實現數據的共享服務.

5類用戶是業務人員、科研人員、管理人員、行業共享用戶和開發人員.業務用戶可通過平臺的展示、統計功能快速實現對各類氣象數據的分析；管理用戶可通過平臺發布管理制度、業務軟件、質量通報等信息,在全省范圍實現信息共享,也可通過平臺展示的數據了解各業務系統運行狀態；科研用戶可利用平臺的檢索下載功能獲取研究所需數據；對行業共享用戶,能按照管理需求,為其提供定制數據的瀏覽；開發人員可通過平臺了解數據接口使用方法,更快完成應用對接.

1.2 數據流程

天津氣象信息綜合管理共享系統的核心目標是實現各種資料的統一收集、加工、存儲及共享,功能上主要包括數據收發、數據加工、數據存儲管理、信息共享門戶4 部分,數據流程如圖2所示.

圖1 系統架構

圖2 數據流程

(1)數據收發系統：按照業務需求完成通信系統、業務平臺、行業共享、互聯網數據的收集或主動采集,分發給各業務系統和數據加工系統.

(2)數據加工系統：按照應用需求對數據進行格式轉換、質量控制、加工、統計等處理,提交給數據存儲管理系統進行存儲.

(3)數據存儲管理系統：根據數據特點存儲至CIMISS 存儲環境和分布式存儲環境；定期對數據進行備份與清理；為加工系統和各類應用系統(包括共享門戶)提供數據的調取服務.

(4)信息共享門戶：響應用戶操作,按照用戶權限,為用戶提供數據的綜合展示、查詢、統計及下載.調用數據存儲管理系統提取數據,對于需要加工的,調用數據加工處理系統對數據進行加工,將加工結果反饋給用戶.

1.3 關鍵技術

1.3.1 氣象大數據存儲管理技術

在CIMISS 基礎上,根據本市氣象數據特點和應用需求,運用Share-Nothing 架構[14]的分布式NAS、分布式數據庫技術擴建分布式存儲環境,提高數據訪問性能.對于結構化數據,采用列式數據庫Gbase8a 構建存儲集群.鑒于Gbase8a 目前不支持主鍵約束,實時數據首先接入事務型數據庫保障唯一性,再通過專用工具同步到Gbase8a.對于半結構化數據,采用HBase數據庫構建存儲集群,對于文件數據,采用分布式NAS集群進行存儲.按照應用需求定期對各類數據進行清理,清理策略利用數據庫存儲保障靈活性,數據清理任務基于Quarz[15]調度.基于Quarz 的任務調度關鍵代碼如下：

1.3.2 數據接口技術

通過建立數據訪問接口,可降低數據環境和業務系統間的耦合度,保證數據使用規范性和可擴展性.

對于天津氣象省級數據環境中的數據,封裝了多個接口,供共享門戶和其他業務系統調用,同時提供接口的在線服務,支持用戶在線查看接口使用說明和測試,為快速實現應用對接提供支撐.CIMISS 系統的氣象數據統一服務接口(Meteorological Unified Service Interface Community,MUSIC),為用戶提供了多種形式的數據訪問接口和應用編程接口,同時支持新增資料接口的配置發布[16].對于天津特色結構化氣象數據的通用訪問,基于MUSIC 實現數據接口配置與發布.對于HBase 及分布式NAS 中存儲的數據,基于Swagger框架[17]實現接口文檔自動生成和在線測試.

當應用系統需要獲取要素級數據時,將檢索條件(如資料代碼、接口ID、時間、經緯度、要素等)提交給接口,接口從存儲環境提取數據返回給應用系統,返回數據提供JSON、CSV、數組等多種形式.當應用系統需要獲取文件時,將資料類型、時間、要素等信息提交給接口,接口將文件返回給應用系統.以下為調用接口獲取自動站資料的關鍵代碼：

基于MUSIC 配置特色資料接口的主要步驟：

(1)定義元數據信息,一是對于要按站點查詢的數據,按照CIMISS 規范在省級自建關系型數據庫中建立臺站元數據表；二是連接到本省CIMISS 支撐庫,增加新增數據字段定義.

(2)定義數據庫,包括數據ID、數據庫類型、數據庫連接參數等.

(3)定義數據實體及數據表,即配置數據所在數據表、關聯數據庫、數據字段及是否有臺站信息表等.

(4)基于MUSIC 系統的通用接口,篩選適合新增數據的查詢接口發布.

1.3.3 Web 平臺優化技術

利用多種技術手段,提高顯示性能,改善用戶體驗,具體包括：應用并行計算技術提高WebGIS[18]顯示速度；對于服務器端返回數據使用壓縮技術,減少傳輸時間；對于返回數據量較大的統計頁面,采用分頁技術；對于自定義繪圖功能,采用基于流的實時繪圖技術代替傳統的生成圖片文件的方式.此外,對于系統欄目采用配置方式進行管理,提高其靈活性.

2 主要功能設計

2.1 數據存儲架構設計

CIMISS 系統采用的Share Disk 架構受制于磁盤IO 瓶頸,性能難有大幅提升,在高并發用戶數據請求時,查詢時效變差.分布式存儲將負載分擔到多個節點,性能和擴展性更好[19].

針對本省需求及CIMISS 在數據訪問方面的不足,引進業界先進存儲產品擴建分布式存儲環境.針對結構化數據的長時間序列歷史數據存儲檢索場景,采用列式數據庫搭建存儲集群；針對智能網格預報、數值模式等半結構化數據,采用HBase 數據庫；針對文件級數據,采用分布式NAS 系統.升級改造后的天津氣象大數據存儲環境架構如圖3所示.

分布式NAS 集群由7 個專用服務器和內部高性能交換機構成,Gbase8a 集群由3 臺服務器構成,HBase集群由3 臺服務器構成,均可根據需求橫向擴展.

分布式列式數據庫較傳統的行存儲數據庫,具備更高的壓縮比,并行性高,僅檢索和返回用戶所需數據,因此,對長時間序列數據查詢可提供更好的性能.

圖3 天津氣象大數據環境存儲架構

對于非結構化數據,CIMISS 系統采用的是文件存儲聯合在關系數據庫中建立相應索引和元數據描述信息的方式.其中的數值天氣預報、智能網格數據具備經緯度、要素、高度、時間等屬性,按時間、要素、經緯度范圍等進行提取是業務中常用的場景,針對此類數據,搭建HBase 數據庫集群保障性能并滿足精細化查詢的需要.

對于圖片、視頻、衛星、雷達等應用場景主要是文件整體訪問的非結構化數據,引入分布式NAS對訪問性能進行改善.相對傳統的磁盤陣列,分布式NAS 支持NFS、SMB、FTP 等多種協議,訪問方式更加靈活,各業務系統利用以太網即可訪問,使用更加便捷.

2.2 數據集約存儲范圍和服務接口擴展

CIMISS 實現了全國通用數據和產品的集約管理,但是未將各省特色氣象數據及業務所需的行業共享、互聯網數據納入統一管理.為了解決本省特色數據存儲分散的問題,促進數據集約,依托新建的分布式存儲環境對本省特色觀測、質控、預報產品、行業共享數據、業務所需互聯網數據等資料進行集中存儲管理.

各業務平臺制作的預報服務產品、加工的數據文件、圖片等非結構化數據存入分布式NAS 集群,陸地、海洋、環境等智能網格預報產品存儲至HBase 集群,本地特色觀測數據、非常規觀測資料、本地特色預報產品、行業共享數據、氣象災害資料等結構化數據進行要素級存儲.

為方便用戶獲取集約存儲的本地特色數據,對于新增的數據和產品,封裝并發布數據接口.依托CIMISS的MUSIC 系統新增站點類接口395 個,基于Swagger發布格點數據訪問接口32 個、文件訪問接口218 個,新增接口詳見表1.

2.3 信息共享門戶

信息共享門戶包括首頁、實況監測、數值模式、智能預報、氣象服務、數據服務、視頻數據、管理信息等10 大模塊,實現了天津氣象業務所需觀測數據和預報產品的綜合顯示,同時可滿足數據服務、管理信息共享、系統管理、技術交流的需求.

表1 天津氣象信息綜合管理共享系統新增接口

(1)首頁：由最新實況、欄目導航、常用欄目快捷通道、通知公告、全站搜索等功能組成.最新實況基于GIS 將當前最新的自動站、雷達、預警信息及降水、溫度統計數據集成在一張圖中,并提供自動刷新,為用戶快速了解天氣信息及服務情況提供了便捷途徑,通過欄目導航、常用欄目快捷通道、全站搜索功能,用戶可快速進入二級功能頁面,獲取更詳細的數據.

(2)實況監測：包括自動站、雷達、云圖、風廓線、城市邊界層、大氣環境、重要天氣、站網信息等13 個子模塊,顯示內容涵蓋了天津氣象局的地面、高空、海洋的所有觀測項目及天津氣象業務所需的海河流域、行業共享、互聯網觀測數據,提供GIS、色斑圖、時序圖、表格等顯示形式,用戶可按站號、站名、站類、時間、區域、閾值進行數據篩選,圖片、表格數據支持下載,對于業務最常用的自動站數據,提供GIS 綜合分析、單要素統計、單站多要素疊加分析、24 小時變化趨勢分析、歷史數據對比等功能,單要素統計包括業務常用的1、3、6、24 小時及08-08、05-05 等固定時段統計和自定義統計,對于自定義統計支持實時生成色斑圖.

(3)數值模式：提供8 類業務常用數值模式中國、華北、海河、天津4 個區域的產品展示,支持按時間、要素進行產品篩選,提供單圖和郵票圖兩種顯示形式.

(4)智能預報：提供天津智能網格預報產品的GIS、時序圖展示.

(5)氣象服務：提供天氣、海洋、環境、決策、農氣、氣候、人影等預報服務產品的展示.除了常規文檔展示及下載,對于業務常用的雨情公報和預警信號展示,增加了特色顯示和統計功能.對于雨情公報,以日歷直觀展示各日降雨量級,點擊日期可查看該降水過程各國家站的逐時降水詳情,同時提供按時間段、降雨量級篩選降雨過程,提供近一周、近一月、近半年、近一年、入汛以來等時間段的降雨最多TOP10日期和站點統計.對于預警信號,可按時間段、預警類型、發布單位、預警級別統計發布情況,同時利用時序圖展示預警演變、持續時間情況.

(6)數據服務：提供天津氣象大數據環境的氣象、行業共享及社會數據的在線查詢和下載服務.服務方式包括在線檢索、訂單和接口服務等.

(7)視頻數據：提供實景觀測及會商視頻展示共享.

(8)管理信息：各類管理制度、業務軟件、會商PPT 等信息的展示共享.

(9)系統管理：包括角色、用戶、菜單、文件等信息的管理功能,供系統管理員對用戶、權限、系統欄目進行配置.

(10)社區論壇：供用戶反饋系統問題及完善建議.

3 系統應用

3.1 系統應用

天津氣象信息綜合管理共享系統構建了統一集約的省級數據環境,為天津氣象各類應用提供數據支撐,市、區兩級的氣象部門用戶和行業共享用戶可通過瀏覽器訪問信息共享門戶,共享門戶顯示數據來源于天津氣象大數據環境,氣象部門用戶可通過FTP、共享、數據接口、數據訂單等方式獲取數據環境中的數據,數據環境存儲內容涵蓋氣象數據、行業共享數據及天津業務所需的互聯網數據,信息共享門戶提供了相關數據的綜合展示及數據下載.圖4為基于GIS 的自動站數據展示效果,圖5為智能網格預報產品展示效果,圖6為雨情公報展示效果.

圖4 基于GIS 的自動站數據展示效果

圖5 智能網格預報產品展示效果

圖6 雨情公報展示效果

3.2 效益分析

通過搭建分布式存儲環境,建立統一的數據采集、加工、共享流程,擴展集約存儲數據范圍和服務接口,天津省級氣象數據環境的存儲容量和性能得到大幅提升,存儲能力由幾十TB 級提升至幾百TB 級,為天津預報一體化平臺、天津氣象APP、決策服務平臺等關鍵業務系統提供了更加集約、高效的數據支撐,7 大類36 小類本市特色數據實現要素級存儲,網格數據訪問性能提升4 倍,業務中最常用的自動站數據查詢性能提升8倍,分鐘級數據存儲時長由數月增長至數年并可按需擴展.

4 結論與展望

天津氣象數據綜合管理共享系統構建了集約、高效的氣象大數據環境及綜合可視化展示服務平臺,主要承擔為天津各類氣象業務提供數據支撐,為氣象部門市區兩級用戶和行業共享用戶提供實時監測數據、產品數據的綜合展示、查詢、統計服務,實現各類管理制度、業務軟件、會商資料在全省范圍的共享.系統基于分布式存儲技術和WebGIS 技術進行優化處理,響應速度快、功能完善、界面友好,為氣象監測預警、信息共享提供了良好的支撐,得到用戶的一致肯定.接下來的研究工作是進一步擴充完善系統功能,提升數據支撐和共享能力.