氣象大數(shù)據(jù)平臺的設計及應用

文/陳晴 高婷 楊明 呂梁 孫曉燕

為推進氣象工作穩(wěn)步提升與發(fā)展，浙江氣象局以科技創(chuàng)新為核心，已經(jīng)建成涵蓋氣象信息服務、氣候資源開發(fā)利用、城市環(huán)境氣象服務、海洋氣象服務、氣象工程技術服務等氣象應用開發(fā)研究的眾多信息化系統(tǒng)，實現(xiàn)了氣象工作的信息化和自動化。浙江省氣象局經(jīng)過多年的信息化建設，目前由于系統(tǒng)眾多，獨立部署，各系統(tǒng)的數(shù)據(jù)標準、業(yè)務規(guī)劃、系統(tǒng)功能盡不相同，相互關聯(lián)度不夠，造成了氣象工作的精確分析和預測的工作瓶頸。為解決上述問題，開展氣象大數(shù)據(jù)云計算平臺研究，合理選擇數(shù)據(jù)存儲模型，設計云數(shù)據(jù)存儲結構解決平臺的大數(shù)據(jù)存儲問題，采用分布式應用服務和云計算技術，構建平臺的總體框架，在統(tǒng)一的框架下，數(shù)據(jù)、業(yè)務、應用服務分離，形成分布式應用服務框架，采用新的前端展示技術和預處理技術改善平臺顯示效果，逐步實現(xiàn)信息化建設的統(tǒng)一規(guī)劃，提高氣象服務的社會效益和經(jīng)濟效益，為浙江省氣象局自我提升提供有力支撐。

1 系統(tǒng)體系結構

氣象大數(shù)據(jù)平臺基于SOA 架構進行設計，可分為四個層次基礎層（IaaS）、數(shù)據(jù)層（DaaS）、平臺層（PaaS），應用層（SaaS）。如圖1所示。

1.1 基礎層（IaaS）

通過數(shù)據(jù)中心私有云資源平臺提供統(tǒng)一、穩(wěn)定的運行環(huán)境，為上層的各類服務提供存儲、計算和調(diào)度等方面的底層支持，通過對數(shù)據(jù)資源的統(tǒng)一規(guī)劃，實現(xiàn)資源的集中存儲、數(shù)據(jù)共享。

1.2 數(shù)據(jù)層（DaaS）

將來自單方、多方的數(shù)據(jù)源，通過機構前置機和業(yè)務前置機按需的配置，在數(shù)據(jù)服務總線中，通過輸入隊列、計算隊列和輸出隊列的方式完成業(yè)務數(shù)據(jù)服務，同時包括調(diào)度管理、計算中心、審計管理、安全管理和日志管理等功能。

1.3 平臺層（PaaS）

基于上云中間件和應用平臺服務，采用應用SOA 服務化的核心框架方案，提供高性能的NIO 通訊及多協(xié)議集成、服務尋址與路由、軟負載均衡等功能，實現(xiàn)應用間的松耦合，提高服務的復用能力。構建共享服務中心，迅速實現(xiàn)多變的業(yè)務需求。薄應用，厚服務，讓IT 系統(tǒng)沉淀共享資產(chǎn)，讓新需求基于共享服務層快速生長。

1.4 應用層（SaaS）

基于平臺層PaaS 的微應用共享服務中心，快速構建氣象SaaS 應用服務，包括數(shù)據(jù)服務和應用服務。

2 功能設計

2.1 氣象數(shù)據(jù)的分布式存儲

2.1.1 制定省級氣象數(shù)據(jù)資源標準與應用規(guī)范在中國氣象局氣象信息化標準體系框架下，以CIMISS 數(shù)據(jù)接口標準為基礎，發(fā)展和完善本省特有的共享數(shù)據(jù)服務接口標準，補充制定浙江省省級面向行業(yè)的統(tǒng)一數(shù)據(jù)格式標準與業(yè)務應用規(guī)范。

2.1.2 梳理數(shù)據(jù)資源

以《氣象要素分類與編碼》標準為基礎，對本省的數(shù)據(jù)資源進行梳理，編制本省數(shù)據(jù)共享清單，并提供觀測、監(jiān)測、和預報服務數(shù)據(jù)共享。

2.1.3 統(tǒng)一存儲策略

氣象數(shù)據(jù)具有大容量、高速增長、維度高、實時性高、存儲時效長等特點。氣象數(shù)據(jù)的類型多，具有結構化數(shù)據(jù)和非結構化數(shù)據(jù)的特征。針對不同的氣象數(shù)據(jù)類型，采用不同的分布式數(shù)據(jù)庫系統(tǒng)存儲分析。

氣象結構化數(shù)據(jù)采用分布式關系型數(shù)據(jù)庫作為存儲介質(zhì)。氣象探測數(shù)據(jù)、氣象歷史數(shù)據(jù)、實時運行數(shù)據(jù)、氣象精細化站點預報數(shù)據(jù)、氣象元數(shù)據(jù)等都屬于結構化數(shù)據(jù)。分布式關系型數(shù)據(jù)庫通過原來的集中式關系型數(shù)據(jù)庫中的數(shù)據(jù)分散存儲到多個網(wǎng)絡連接的數(shù)據(jù)存儲節(jié)點上，獲取大存儲量和高并發(fā)量。

氣象非/半結構化數(shù)據(jù)采用分布式文件系統(tǒng)和NoSQL 數(shù)據(jù)庫兩種方式存儲。

（1）分布式文件系統(tǒng)是實現(xiàn)非結構化數(shù)據(jù)存儲和海量結構化歸檔數(shù)據(jù)存儲的主要技術，基于分布式文件系統(tǒng)的存儲框架在保證存儲容量橫向擴充的同時，能有效支撐海量非/半結構化數(shù)據(jù)分析的需求。雷達產(chǎn)品、氣象衛(wèi)星產(chǎn)品、預報和服務產(chǎn)品等非/半結構化數(shù)據(jù)可采用分布式文件系統(tǒng)集中存儲。分布式文件系統(tǒng)是運行在通用硬件上的分布式文件系統(tǒng)，通過高效的分布式算法，將數(shù)據(jù)的訪問和存儲分布在集群中的各個服務器中。

（2）NoSQL 數(shù)據(jù)存儲一般采用面向列的存儲方式，其存儲結構保證了數(shù)據(jù)表的列可擴展性和讀寫I/O 的高吞吐性，更加適合氣象云數(shù)據(jù)環(huán)境中數(shù)據(jù)表的字段擴充特性和密集型數(shù)據(jù)分析應用，避免了后續(xù)表結構改變帶來的維護壓力，有效提高密集型數(shù)據(jù)分析的吞吐性能。基于NoSQL 的列式數(shù)據(jù)存儲，往往把同類型的數(shù)據(jù)放在一起壓縮，由于數(shù)據(jù)有共性，因此可獲得較大的壓縮比。NoSQL 可以采用Key-Value 存儲結構，結構化數(shù)據(jù)需要轉(zhuǎn)換成Key-Value 格式進行存儲，同時支持壓縮編碼，有效減少I/O 損耗，提高數(shù)據(jù)吞吐量。根據(jù)實際應用需求，還可以為NoSQL 建立次級索引。NoSQL 數(shù)據(jù)存儲用于存儲從各異構數(shù)據(jù)源抽取的海量結構化數(shù)據(jù)，采用分布式和多副本的存儲方式，有效減少單點故障影響全局數(shù)據(jù)的安全的問題。NoSQL 數(shù)據(jù)存儲的存儲容量擴充采用橫向增加存儲節(jié)點的方式，在存儲容量獲得擴展的同時，能同時提高計算性能。存儲節(jié)點間可自動負載均衡，支持PB 級的結構化數(shù)據(jù)存儲。

圖1：氣象大數(shù)據(jù)平臺整體架構

圖2：云上系統(tǒng)架構圖

2.2 氣象數(shù)據(jù)的共享服務

氣象數(shù)據(jù)共享服務在功能分布上主要有七大模塊：數(shù)據(jù)服務化、數(shù)據(jù)資源目錄、數(shù)據(jù)匯聚服務、主數(shù)據(jù)管理、非結構化數(shù)據(jù)、數(shù)據(jù)支撐和大數(shù)據(jù)體系等。

（1）數(shù)據(jù)服務化，依據(jù)標準的服務發(fā)布訂閱規(guī)范，將內(nèi)部的數(shù)據(jù)服務資源對外發(fā)布數(shù)據(jù)共享服務，供上層應用調(diào)用。

（2）數(shù)據(jù)資源目錄，為數(shù)據(jù)服務資源實現(xiàn)分類管理，并對數(shù)據(jù)源、元數(shù)據(jù)等資源實現(xiàn)標準化管理，為數(shù)據(jù)服務提供資源庫。

（3）數(shù)據(jù)匯聚服務，云上的大數(shù)據(jù)集成服務平臺Base 開發(fā)數(shù)據(jù)ETL 任務，編寫相應的數(shù)據(jù)同步、抽取、清洗轉(zhuǎn)換腳本，并對影響數(shù)據(jù)的質(zhì)量的異常數(shù)據(jù)進行集中管理。

（4）主數(shù)據(jù)管理、維護統(tǒng)一核心業(yè)務運行數(shù)據(jù)，可將主數(shù)據(jù)依據(jù)數(shù)據(jù)服務規(guī)范發(fā)布相應的數(shù)據(jù)服務。數(shù)據(jù)建模，依據(jù)業(yè)務應用需求為數(shù)據(jù)主題建模，并將結果數(shù)據(jù)回寫到數(shù)據(jù)生產(chǎn)區(qū)和分析區(qū)，對外發(fā)布相應的數(shù)據(jù)服務。

（5）非結構化數(shù)據(jù)、存儲文件源數(shù)據(jù)信息，構建文件的全文檢索，對外提供相應的檢索服務。

圖3：DRDS 的數(shù)據(jù)拆分圖

（6）數(shù)據(jù)支撐、為上層數(shù)據(jù)服務及協(xié)同提供相關技術組件支撐。

（7）大數(shù)據(jù)體系建設：構建包括數(shù)據(jù)來源、主題模型、數(shù)據(jù)倉庫、應用集市、數(shù)據(jù)管控和數(shù)據(jù)服務的大數(shù)據(jù)服務、管理體系。

2.3 氣象數(shù)據(jù)的可視化

氣象數(shù)據(jù)可視化分析采用HTML、CSS、JavaScript 等技術，分別負責前端網(wǎng)頁的內(nèi)容結構、網(wǎng)頁的布局和網(wǎng)頁行為和功能。WebGIS 負責實現(xiàn)在互聯(lián)網(wǎng)平臺上進行地理信息發(fā)布、交流協(xié)作和數(shù)據(jù)共享，依靠JavaScript 和WebGIS 的結合，實現(xiàn)地理信息文件和數(shù)據(jù)庫中數(shù)據(jù)的動態(tài)顯示效果，提升顯示速度，加強用戶與平臺的交互。引入高德地圖改進地圖框架、地圖引擎和結構，加快地圖顯示速度，極大優(yōu)化地圖的展示效果。利用后臺分布式云存儲技術和平臺顯示的集約化功能，對數(shù)據(jù)采用預處理技術，將大批量數(shù)據(jù)的計算處理從前端轉(zhuǎn)向后臺，減小客戶端壓力。

3 應用實例

浙江省氣象探測系統(tǒng)APP 是構建云上靈活開放的體系架構、堅持滿足原版功能所有需求，實現(xiàn)該應用云上重構之后和大數(shù)據(jù)平臺的無縫連接的成功案例。使用 負載均衡服務（SLB）實現(xiàn)系統(tǒng)的高可用，使用程序或中間件部署在彈性計算服務器（ECS）上，數(shù)據(jù)庫服務放在 分析數(shù)據(jù)庫服務（RDS）上分擔讀數(shù)據(jù)的壓力，使用開放存儲服務（OSS）存儲文本、視頻、圖片等。其云上系統(tǒng)架構圖如圖2所示。

3.1 數(shù)據(jù)層改造

根據(jù)浙江省氣象探測系統(tǒng)APP 數(shù)據(jù)層的特點，其改造分兩種情況：OLTP 和OLAP。

3.1.1 OLTP 類關系數(shù)據(jù)庫架構改造

針對浙江省氣象探測系統(tǒng)APP 業(yè)務壓力（數(shù)據(jù)庫訪問壓力）伴隨時間推移，訪問量不斷增大的特點，單個RDS 的讀寫已經(jīng)無法滿足業(yè)務訪問請求。基以此，對OLTP 類關系數(shù)據(jù)庫架構改造，主要從如下三方面考慮：緩存：使用緩存系統(tǒng)（OCS）分攤讀壓力，通過緩存熱點數(shù)據(jù)來提供快速訪問；讀寫分離：考慮對數(shù)據(jù)庫改造成讀寫分離的應用架構，浙江省氣象探測系統(tǒng)APP 采用RDS 讀寫分離機制進行改造；數(shù)據(jù)拆分：考慮到RDS 容量不超過1T的限制，以及數(shù)據(jù)庫單實例的性能限制，當數(shù)據(jù)庫的單實例存儲空間無法滿足或?qū)懭氲腡PS接近數(shù)據(jù)庫能力上線時，數(shù)據(jù)庫通常需要做 Scale up 與 Scale out 拆分，實現(xiàn)根據(jù)不同業(yè)務拆分到不同庫。利用云平臺提供的分布式數(shù)據(jù)庫服務（DRDS）使數(shù)據(jù)庫拆分對應用相對透明。圖3就是DRDS 的數(shù)據(jù)拆分。

3.1.2 OLAP 類關系數(shù)據(jù)庫架構改造

浙江省氣象探測系統(tǒng)APP 采用聯(lián)機分析處理（OLAP）類型系統(tǒng)支持復雜的分析操作，滿足根據(jù)分析人員的快速、靈活地進行大數(shù)據(jù)量的復雜查詢處理，并直觀地將查詢結果顯示出來。

浙江省氣象探測系統(tǒng)APP 屬于中型規(guī)模實時分析系統(tǒng)，因此OLAP 系統(tǒng)面向數(shù)據(jù)存儲規(guī)模在50TB 級別，單表記錄數(shù)達到千億級別，云平臺提供分析數(shù)據(jù)庫服務（ADS），實現(xiàn)對海量數(shù)據(jù)實時高并發(fā)在線分析（Realtime OLAP）的云計算服務，實現(xiàn)數(shù)據(jù)的快速響應，直接嵌入業(yè)務系統(tǒng)為浙江氣象局提供服務。

3.2 接口層改造

系統(tǒng)接口請求、響應，遵循Restful 設計改造，其中包括降雨量、溫度、風、能見度、天氣、氣壓、濕度、蒸發(fā)、地溫、各層日最低氣溫、自動降雪觀測、降雪加密觀測、雷電、海洋浮標、交通站、分鐘實時材料、正點以來統(tǒng)計值等涉及到的接口。

3.3 應用層改造

3.3.1 負載均衡改造

原浙江省氣象探測系統(tǒng)APP 中WEB 服務器、應用服務器搭配硬件設備F5，實現(xiàn)后端服務器負載均衡。上云時需要改造為云上負載均衡服務（SLB）。云上SLB 服務支持TCP、HTTP、HTTPS 等三種協(xié)議實現(xiàn)流量負載均衡，同時支持自動對服務器進行健康檢查，自動屏蔽異常狀態(tài)的服務器，在服務器恢復正常后自動解除屏蔽重新提供服務。

3.3.2 Web 和應用層改造

原浙江自動氣象探測系統(tǒng)應用部署在小型機、PC Server、商業(yè)或開源虛擬化服務器上，通過直接部署在云上ECS（彈性計算服務器）。為保證服務器的高可用性，采用至少部署在兩臺ECS 服務器上，使用SLB 做負載均衡和服務容錯。

3.3.3 文件存儲改造

原浙江自動氣象探測系統(tǒng)涉及大量文件對象的存儲和管理，針對文件對象存儲，采用云平臺提供開放存儲服務（OSS），解決應用文件、圖片等的存儲問題。

4 結束語

通過開展氣象大數(shù)據(jù)平臺的研究，合理選擇數(shù)據(jù)存儲模型，實現(xiàn)氣象數(shù)據(jù)的分布式存儲問題；采用分布式應用服務和云計算技術，構建平臺的總體框架，在統(tǒng)一的框架下，形成分布式應用服務框架，實現(xiàn)氣象數(shù)據(jù)的共享服務；采用新的前端展示技術和預處理技術改善平臺顯示效果，實現(xiàn)氣象數(shù)據(jù)的可視化。基于氣象大數(shù)據(jù)平臺，將浙江省自動氣象探測信息業(yè)務服務（APP 版）成功遷移到云平臺，為其它業(yè)務應用系統(tǒng)上云工作提供經(jīng)驗。氣象大數(shù)據(jù)平臺的研究與應用為逐步實現(xiàn)浙江信息化建設的統(tǒng)一規(guī)劃提供了一定的借鑒。