基于CIMISS的省級氣象大數據服務系統設計

雷鳴 武國良 趙玉娟 姜罕盛

摘 要：針對原有省級CIMISS系統無法有效支撐現代化氣象數據服務的問題，利用分布式技術，構建了天津省級氣象大數據服務中心，搭建了以HBase、GBase、分布式NAS為基礎的統一數據存儲環境，與省級CIMISS系統形成了無縫對接，滿足了天津氣象業務的現代化需求。在測試對比中發現，本系統的查詢性能得到較大提升：自動站數據比CIMISS系統提升了5.2-22.3倍（倍數隨著時間不斷擴大），而格點數據則比原一體化平臺提升了5倍多，充分驗證了本方案的有效性。

關鍵詞：數據共享;CIMISS;分布式數據庫;關系數據庫

Abstract：In view of the problem that the original provincial CIMISS system can not effectively support the modern meteorological data service. By using the distributed technology， Tianjin provincial meteorological big data service center is built， a unified data storage environment based on HBase， Gbase and distributed NAS is built， and a seamless connection with the provincial CIMISS system is formed， which meets the modern needs of Tianjin meteorological business. In the test and comparison， it is found that the query performance of this system is greatly improved： the automatic station data is 5.2-22.3 times higher than the cimiss system （the multiple increases with time）， while the grid data is more than 5 times higher than the original integrated platform， which fully verifies the effectiveness of this scheme.

Key words：data sharing; CIMISS; distributed database; relational database management system（RDBMS）

隨著分布式技術的興起，現代化數據服務的能力越來越高，但目前，氣象系統的數據服務能力卻相對落后。業務平臺的集成力度和產品服務的質量仍然不夠，產品和數據存在不一致，“信息孤島”現象仍然存在[1]。

同時，原有由國家氣象信息中心2009年建設的全國綜合氣象信息共享系統（CIMISS），于2013年推廣部署于全國各省級氣象數據中心，為各省氣象部門提供了良好的業務支撐與數據服務[2-6]，使上述問題得到一定程度的緩解。

但是CIMISS無法對本地化特色資料進行有效支撐，而隨著氣象數據量的不斷增長和業務的不斷拓展，省級CIMISS的數據處理和服務能力已經明顯不足，無法滿足現有的業務和數據服務的需求[7-10]。

基于以上原因，利用分布式技術，構架天津省級氣象數據服務中心。同時，透過CIMISS系統中的全國氣象數據統一服務接口（MUSIC：Meteorological Unified Service Interface Community）[11-12]，將本地數據服務中心與省級CIMISS的數據源進行整合服務，提供全國統一數據訪問服務和應用編程接口（API），構建無縫連接的數據服務中心。

1 系統數據架構設計

為了更有效的提供數據服務，將天津省級數據分為冷熱兩級數據進行處理，將實時性要求較高的自動站類數據透過分布式數據庫提供服務，而將需求實時性相對較低的數據，透過HDFS和Hbase提供服務。整個提供架構圖如圖1所示：

其中，Hbase分為兩套不同的數據庫，熱數據中的Hbase為了有效保證查詢速度，僅存儲3個月的數據，其余的數據則存儲在另外一套Hbase中作為冷數據源，提供數據服務。

隨著業務搜索維度的不斷添加，使得跨表查詢需求越來越多，系統的慢查不斷報出，為此引入了Elasticsearch（簡稱ES，下同） 搜索引擎。

其中ES，是一個實時的分布式分析和搜索引擎，能夠快速處理大規模數據。常用于進行全文搜索、結構化搜索和分析。ES主要用來存儲有聚合和篩選的熱數據，特別是存儲近幾年的格點數據索引和站點數據，方便高速搜索和聚合查詢。

2 后臺數據庫流程設計

為了有效與CIMISS系統進行對接，做到使用用戶對后臺變動無感。同時，又有效保證天津省局數據服務的高速性。針對天津省局數據：通信系統數據/報文數據、核心業務數據和CIMISS數據，進行合理劃分，整體規劃如圖2所示：

圖2從左到右，依次是通信系統數據/報文數據、核心業務數據和CIMISS數據。

2.1 通信系統數據

當通信系統（MDOS）產生報文后，利用GBase8t良好的事務性數據操作功能，進行數據的入庫操作。同時，利用8t與8a之間高速的數據同步性能，透過RTSync進行同步，從而實現安全性更高的數據庫讀寫分離。最終透過分布式數據庫GBase8a，藉由MUSIC接口提供服務。

其中，在要素表級別，8t與8a同用戶同表，兩者在列名稱，列類型，列數量上幾乎完全一樣（具體類型由于8t，8a是不同數據庫，因產品特性會導致列類型有細微差別），8t有聯合主鍵（觀測時間+臺站編碼），而8a在入庫邏輯層面上，控制數據的唯一性（而非依靠8a的分布式數據庫特性，該數據庫不支持主鍵）

2.2 核心業務數據

天津省局業務涉及到大量的核心數據，可以分為結構化數據和半/非結構化數據兩部分（如上圖中部所示），前者主要是站點數據，基于都是存儲在分布式關系型數據庫Mysql中。而半/非結構化數據則主要是天氣實時應用（實況、預報）數據。

為了優化數據，提升數據的服務能力和集約化程度。另一方面，為保證核心業務不受影響，直接將Mysql中的數據同步到GBase8a當中，形成集約化的數據匯集服務中心。這里同步的技術手段，采用成熟的阿里巴巴的Canal同步方案。Canal是通過模擬成為Mysql的slave的方式，監聽Mysql的binlog日志來獲取數據，實時性強，對于應用無任何侵入性，且性能更好，不會造成資源浪費。當binlog設置為row模式以后，不僅能獲取到執行的每一個增刪改的腳本，同時還能獲取到修改前和修改后的數據，基于這個特性，Canal就能高性能的獲取到Mysql數據的變更。針對數據庫進行增刪改的操作，同時也進行ES的增刪改操作，便于后續數據的高速準確的查詢。

針對半/非結構化數據的存儲需要。因為這些數據對服務的響應速度要求非常高（毫秒級）。這里采用Hbase分布式數據庫進行存儲。同時，利用氣象數據分塊壓縮技術，對數據進行無損壓縮，減少傳輸數據量的大小，提升響應速度。數據分塊壓縮技術路線示意圖如圖3所示：

在Hbase存儲中，數據常常是按照超級大表存儲的。為了增加查詢速度，針對HBase中的大表按區域進行切分，設每塊名稱為HRegion1，HRegion2，HRegion3……HRegionN。HBase是集群結構，會把這些塊分散存儲到多個服務器中，假設每個服務器名為HRegionServer。同時，為了方便的管理服務器，增加一個管理節點服務器HMaster，用來專門處理HRegionServer負載均衡處理和HRegion的分配等事務。當數據庫中某個HRegion的大小達到閾值后，系統將會自動將其分割，新的HRegion也會由HMaster進行分配，放置到相應的HRegionServer中。

HRegion內部會按照列族進行切分，分為多個Store，每個Store保存一個列族，所以HRegion由一個或者多個Store組成。每個Strore又由一個MemStore和N個StoreFile組成。

其中，MemStore是內存存儲單元，當內存中數據達到閾值后，寫入StoreFile中，而StoreFile則以HFile格式進行保存。

而用來存儲半/非結構化數據的HBase，其物理存儲是基于Hadoop的分布式存儲，整體的系統架構如圖4所示：

3 數據服務設計

針對氣象數據的服務，共設計實現了三種方式：接口服務、FTP文件和訂單下載，并對省級氣象大數據服務中心的數據提供數據說明、數據檢索和數據下載等功能。為了滿足本地業務的需求，特增加了24種天津特色資料服務接口。

3.1 數據服務架構設計

系統數據服務模塊具備數據與產品目錄導航功能，提供各類基礎數據及產品的數據摘要描述、數據來源、數據處理方式、空間屬性信息、時間屬性信息、相關引用文獻等相關信息的查詢及數據檢索和展示。數據與產品目錄導航提供的資料涵蓋氣象行業標準《氣象資料分類與編碼》（QX/T102-2009）的12大類資料、4類行業社會數據和質量控制數據。整體數據服務架構設計如圖5所示：

圖5中最底層的資料中，還含有更詳細的資料清單，如雷達基數據下面還包含：質控前標準格式單站多普勒雷達基數據、質控后標準格式單站多普勒雷達基數據和質控前原始格式單站多普勒雷達基數據3類數據。限于篇幅，不贅述。下圖展示了自定義數據下載的展示界面如圖6所示：

3.2 數據下載功能實現

用戶可通過數據信息描述了解數據產品概況，通過檢索和下載獲取所需要的數據。模塊可實現通過配置方式調整（新增、修改、刪除）數據下載功能，實現對數據下載的自由配置，使數據下載種類可自由擴展或縮減。數據下載的核心代碼如下所示：

3.3 系統服務性能測試

為了測試系統服務性能，特別針對氣象兩類關鍵數據：自動站和格點數據，進行測試。

其中，自動站數據存儲在Gbase數據庫中，并收集了建站以來，即1951年至今70年的自動站數據，庫中數據記錄總數為：155，281，334，700條。下表展示了與CIMISS系統中oracle庫對比的查詢結果。

可以清楚看到系統查詢性能提高了5.2-22.3倍，且隨著時間延長，倍數還在不斷增大。

針對格點數據，采用過去6個月共計4萬天津1KM網格歷史數據，系統測試能夠在0.3 s內到應用終端（如下圖所示），與原有天津省局一體化平臺中格點數據的應用相比，速度提升了5倍左右。

4 結 論

1）利用分布式技術，構建了天津省級氣象大數據服務中心，搭建了以HBase、GBase、分布式NAS為基礎的統一數據存儲環境，并與省級CIMISS形成了無縫對接，滿足了天津本地的特色數據服務和業務的需求。

2） 在測試對比中發現，系統的查詢性能得到較大提升：自動站數據比CIMISS提升了5.2-22.3倍，且性能優勢會隨著時間跨度延長而不斷增大，而格點數據則比原一體化平臺提升了5倍左右。

3） 同時，利用數據訂單技術，屏蔽了差異多變的后臺數據環境，形成和諧一致的數據訂單獲取平臺，極大便利了用戶對數據的獲取和管理。不但如此，利用分布式技術，形成多任務、多訂單的同步數據匯聚功能，極大縮短數據的獲取過程，響應速度快。同時，系統便于移植，可靈活適配應用到不同的數據服務環境當中。但也應當看到，整個方案并沒有考慮如何優化CIMISS系統的查詢性能，這方面有待在以后的工作中，進一步強化和完善。

參考文獻

[1] 王甫棣，王帥，趙希鵬.氣象部門管理信息化系統設計初探[J].信息技術， 2019（3）： 156-160.

[2] 熊安元，趙芳，王穎，等.全國綜合氣象信息共享系統的設計與實現[J]. 應用氣象學報， 2015， 26（4）： 500-512.

[3] 趙芳，熊安元，張小纓，等.全國綜合氣象信息共享平臺架構設計技術特征[J]. 應用氣象學報， 2017， 28（6）： 750-757.

[4] 馬渝勇，徐曉莉，宋智，等.省級氣象信息共享系統的設計與實現[J]. 應用氣象學報， 2011， 22（4）： 505-512.

[5] ZHANG Zhi-qiang，ZHANG Qiang，HU Xing， al. Design and implementation of national meteorological service platform[J]. 亞洲農業研究（英文版），2016，8（9）：77-81.

[6] 史彩霞，黎穎智，張許斌. 基于CIMISS的廣西氣象服務信息綜合業務系統的設計與實現[J]. 氣象研究與應用， 2016， 37（4）：82-85.

[7] 宋智，徐曉莉，張常亮，等.應用分布式存儲技術優化省級CIMISS數據服務能力[J]. 熱氣象科技， 2019， 47（3）： 433-438.

[8] 李新慶，陳海波，楊有林，等.寧夏綜合氣象信息共享與管理系統設計研究[J]. 計算機技術與發展， 2019， 29（5）： 135-141.

[9] 陳晴，楊明，陳曄峰，等.基于CIMISS的省級氣象業務系統的應用設計[J]. 計算機應用與軟件， 2018， 4（35）： 117-121.

[10]向筱銘，徐曉莉，楊雪，等.CIMISS數據存儲管理系統結構優化及應用[J]. 氣象科技， 2019， 2（47）： 237-243.

[11]曾行吉，李濤，詹利群，等.基于MUSIC的特色數據與產品回寫CIMISS方法研究[J]. 氣象研究與應用， 2018， 39（1）： 111-114.

[12]曾行吉，任曉煒，宋瑤，等.微服務在氣象數據服務中的應用研究[J]. 氣象研究與應用， 2019， 40（1）： 80-83.