基于DataV 的氣象可視化數據平臺設計與實現

邱忠洋, 蔣 駿, 雷正翠, 黃文彥

（常州市氣象局, 江蘇 常州 213022）

現代計算機網絡和數字資源建設的不斷發展極大地加快了各行業信息化建設步伐。2016 年底, 中國氣象局發布了《關于發展智慧氣象的若干思考》[1］, 文中高度重視并關注 “智慧氣象” 的戰略研究, 闡述了智慧氣象的內涵和特征, 提出了發展智慧氣象的三大戰略——氣象大數據戰略、 “互聯網氣象+” 戰略和氣象平臺戰略。這為數據可視化技術在氣象行業的應用做了政策上的引導。

大數據時代的到來, 對于數據分析以及數據展示都帶來了極大的挑戰。氣象數據具有種類繁多、監測頻次密、傳輸周期短、歷史資料量大等特點[2］。這也給行業氣象數據服務的展示帶來很大困難。將傳統技術中的統計學、機器學習、運籌學、數值模式等技術與可視化技術結合, 將數據挖掘出來的結果與演示的系統相結合, 最終形成大型數據資源和挖掘系統, 為用戶提供服務, 成為行業內需要研究的重要方向。

數據可視化是應對該挑戰非常有效的辦法, 從海量的氣象數據中挖掘獲取有價值的關鍵信息, 及時高效地洞察隱藏信息, 并將其直觀地展示給決策機構, 為決策提供參考依據。數據可視化平臺致力于用更生動、友好的形式, 及時呈現隱藏在瞬息萬變且龐雜數據背后的變化規律。數據可視化主要是借助圖形化的手段, 演示所要傳達的信息。在大數據分析、監控、指揮、調度等方面, 可視化平臺已經成為不可或缺的基礎工具之一。結合當前業務現狀, 本研究提出通過DataV 技術建設可視化大屏系統, 將氣象預警、預報、觀測、站點、服務產品等信息集中進行展示。大屏系統還可以作為參展平臺將業務中的服務產品、影視視頻、新媒體、科普情況等以統計信息的方式給予演示。通過地理分析、實況監控、歷史資料再現等方式讓用戶在一個屏幕上讀懂多元數據的深層次關系。

1 關鍵要點

1.1 系統業務需求分析

根據前期業務需求分析以及調查研究, 本平臺采用單頁在大屏上進行數據的呈現與展示, 展示內容包括觀測、預報、預警、服務產品、氣候統計、視頻監控、空氣質量、新媒體服務等方面（圖1）。

圖1 系統模塊

1）觀測。展示常州地圖, 在地圖上標注站點, 并顯示數據流向、監控站點狀態。同時展示實時溫度、小時降水量、濕度、風速風向、能見度、日出日落時間、空氣質量等數據。

2）預報。展示7 d 天氣預報, 空氣質量預報。

3）預警。滾動展示生效預警信號, 按預警類型與預警級別分別統計歷史預警信號。

4）服務產品。滾動展示各項服務產品, 主要包括重要天氣報告、氣象服務專報、氣候影響評價、生活指數預報等。

5）影視視頻。播放最新氣象影視視頻。

6）新媒體。展示通過微信、微博、App、短信、傳真、郵件等渠道發布出去的統計信息。

7）科普次數。統計氣象科普次數。

8）氣候統計。展示極端最高/最低氣溫及發生日期、最大日雨量、最大小時雨量、極端最大風速等信息。

9）設備建設。展示自動站、加密站、雷達站、探測設備、無人機、應急指揮車等設備統計。

1.2 系統業務架構設計

系統業務架構主要分為4 層：基礎數據層、采集服務層、數據接口層, 數據展示層[3］。基礎數據層和采集服務層為可視化平臺提供基礎數據, 數據接口層包含了對基礎數據的分析整合, 其中包括數據挖掘算法的實現。數據展示層則是將大屏系統所需要的數據進行展示, 形式多樣（圖2）。

圖2 系統模塊劃分

1）數據接口層。該模塊主要任務在于統一數據源, 將零散的數據資源整合到同一個平臺, 目前集中處理的數據源包括CIMISS、CMACAST、省局數據共享平臺、自建數據庫及外部共享數據等。

2）采集服務層。該模塊主要工作是對來源多、種類繁雜的氣象數據進行自動采集、處理、分批入庫并提供相應的數據服務。采集的數據除了本地氣象探測資料以外, 還包括雷達、衛星云圖、自動站、PM2.5 以及PM10 等多種類型數據。

3）數據接口層。將底層整理好的數據進行再處理, 處理過程包括對基礎數據的整理、分析、提純、再加工等, 最終得到用戶想要的數據。包括了觀測數據接口、站點信息接口、預警數據接口、空氣質量接口、服務產品接口等。

4）數據展示層。該層主要是響應用戶需求, 將數據進行可視化展示, 在DataV 技術中使用拖拽即可實現對大屏整體結構的把控, 該技術提供了GIS地圖、地圖層疊、飛線、熱力圖、折線圖、餅圖、柱形圖等, 這些都為用戶更直觀地感受數據提供有力的技術支撐。

1.3 數據可視化技術

1.3.1 傳統可視化技術 傳統可視化技術主要基于軟件的原生研發, 前端可視化主要依托第三方提供的可視化開發工具, 如D3、Charts、Highcharts 工具等, 對數據進行組合展示。而軟件的原生研發則需要前端、后臺、數據庫等全方面的研發團隊共同參與才能實施完成, 成本較高、效率低下, 一套系統的完成需要漫長的研發周期, 這種模式在大數據時代已經無法滿足用戶對數據及時獲取并用于決策的實際需求。這就對全新的數據可視化平臺提出了新的需求, 應具備實時性、操作簡單、研發快捷、展現豐富、多元數據兼容等特點。

1.3.2 DataV 技術 DataV 是由阿里巴巴（中國）網絡技術有限公司開發, 是一個精于業務數據與地理信息融合的大數據可視化平臺。相較于傳統可視化技術, DataV 數據可視化技術有了質的飛越, DataV技術使用了可視化應用的方式來分析、展示龐雜的數據。DataV 旨在讓更多的人看到數據可視化的魅力, 幫助非專業工程師通過圖形化的界面輕松搭建專業水準的可視化應用, 滿足業務監控、風險預警、地理信息分析等多種業務的展示需求[4］。

1.3.3 DataV 技術使用 對于DataV 技術的使用, 主要包括頁面布局、文字及顏色設計、圖表選擇、數據接入4 個方面[5］。

1）頁面布局。該模塊主要是對大屏可視化頁面進行合理布局, 是信息可視化的基礎, 主要分為主要素、次要素、輔助要素3 大類, 主要素放中間, 其他要素盡量靠近, 本系統GIS 地圖以及預警信息放置中間, 其他輔助擺放。

2）文字和顏色設計。可視化中色彩和文字是重要元素, 色彩可以快速讓人區分信息, 文字則可以簡要說明, 避免閱讀疲勞。

3）圖表選擇。圖形可視化以圖表的形式為主。本平臺使用了曲線圖顯示天氣預報, 反映天氣變化形式, 柱狀圖直觀反映降水量, 餅圖反映氣象要素部分與總體的對比。DataV 能將數據由單一的數字轉化為各種動態的可視化圖表, 從而實時地將數據展示給用戶。

4）數據接入。DataV 支持多種類型的數據源, 包括數據庫類、文件類、API 類等。其優勢在于能夠加強信息傳輸的效率, 快速訪問相關數據接口, 更好地管理業務, 快速識別最新趨勢, 可以準確定位客戶需求、與數據直接交互、做深度挖掘演示分析、定制數據可視化以及輕松理解數據。

1.4 小型數據中臺技術

在傳統IT 建設方式下, 各種信息系統大多獨立采購或建設, 無法做到信息的互聯互通, 導致內部形成多個數據孤島。互聯網以及移動互聯網的發展帶來了很多模式, 新模式通過新平臺支撐, 產生的數據也無法與傳統模式下的數據互通。分散的數據很難完成當前快速變化的前端業務。 “大中臺, 小前臺” 的數據中臺技術應運而生, 該模式能夠融合老模式, 整合分散在孤島上的數據, 快速提供數據服務能力[6, 7］。氣象數據種類繁多, 對數據的實時性要求高。按照類型可以分為常規天氣資料和非常規天氣資料。比如, 基本站資料（溫度、濕度、氣壓、風速、風向等）屬于常規天氣資料, 非常規天氣資料包括加密自動站、探空、雷達、風廓線雷達、衛星等。這些數據分散獨立, 將其形成一整套可用于提供氣象數據服務的后臺系統顯得尤為重要。為適應復雜多變的前端業務, 本平臺采用數據中臺技術整合資源, 提供數據服務（圖3）。

圖3 小型數據中臺技術流程

1.5 數據存儲服務管理

1.5.1 數據庫技術選擇 MySQL 是一個高速度、高性能、多線程、開放源代碼, 建立在客戶/服務器結構上的關系型數據庫管理系統。MySQL 數據庫可以高度融合標準結構化查詢語言（SQL 數據庫語言）。在性能方面, MySQL 性能卓越、服務穩定, 很少出現宕機, 并且源代碼開放、自主性強、使用成本低。軟件體積小, 安裝使用簡單, 并且易于維護。在WEB應用方面, MySQL 是最好的RDBMS 應用軟件之一。支持多種操作系統, 提供多個API 接口, 支持多個開發語言[8, 9］, MySQL 數據庫因其安裝便捷、使用方便、安全性能高、穩定性強以及可移植性好等性能被廣泛使用。

結合當前實際, 考慮小型數據中臺能夠使多元數據完成整合管理, 為了能夠讓本系統與其他系統對接兼容, 本系統采用MySQL 數據。

1.5.2 表結構構建 系統關聯是減少數據冗余, 提高數據操作效率的重要方式, 本系統中數據表之間有許多關聯表。本系統構建的數據庫表包括人員信息表、觀測業務管理表、預報業務數據管理表、預警業務數據管理表、氣候業務數據管理表、統計信息管理表、日志管理表等（圖4）。

圖4 數據庫表結構

1.5.3 多線程入庫技術 本研究對數據的處理除了基礎的氣象數據, 還有其他業務數據。數據種類較多、數據量較大, 使用傳統的單線程的操作方式不僅效率低下, 而且會影響平臺的實時展示。針對效率問題, 系統將采用多線程的操作方式進行解析入庫。在多線程處理數據的過程中, 一方面, 需要使用線程同步機制, 即處理數據的各線程依賴主線程, 需要主線程通過掃描提供消息進行喚醒調用, 而其他的線程則是處于等待狀態。另一方面, 當共享資源被多個線程爭相使用時, 又用到線程互斥機制, 即任何時候最多只允許一個線程使用資源, 其他要使用該資源的線程必須處于等待狀態, 直到占用資源的線程釋放了該資源[10, 11］。

多線程的創建主要從新建線程對象開始, 通過線程Start（）方法開始線程操作, 線程就緒完畢, 則等待CPU 分配時鐘片進入運行狀態, 若線程發生阻塞, 則當前線程進入阻塞狀態, 等待阻塞結束, 重新回到線程就緒狀態等待CPU 分配時鐘片, 否則線程結束。具體流程如圖5 所示。

圖5 多線程運作方式

1.5.4 Mybaitis 框架提供API 服務 系統對數據的調用和訪問都有一定的要求, 一是數據的精準度, 二是調用數據的效率, 三是能夠滿足多并發數據獲取的條件。這樣的后臺數據處理急需一個具備簡易存儲過程、高級映射、通用SQL 及高并發的持久性框架來滿足。經過研究, 系統最終選擇了MyBatis 框架, 除了能夠滿足上述的功能以外, 通過XML 和注解配置數據庫原生信息, 將接口和java 對象映射成數據庫中的記錄, 滿足基本數據調用需求, 該模式可以讓開發者把更多的精力放在業務SQL 的編輯上, 節省了一定的開發成本。Mybatis 功能框架主要分為3 層[12］。

1）API 接口層。負責為外部應用提供API 接口服務, 通過這些API 可對數據庫進行操作。 向接口層發送帶參數的request 請求, 數據處理層將接收參數并完成數據處理。

2）數據處理層。負責將接收到的SQL 及參數進行解析、執行、映射處理及反饋結果。返回的結果可自行設定, 可以是JSON/XML 等。它的主要目的是根據調用的請求完成一次數據庫操作。

3）基礎支撐層。負責基礎的功能支撐, 包括數據庫鏈接配置、映射管理、事務管理、配置加載和緩存處理。為上層的數據處理層提供最基礎的支撐。

考慮到系統未來使用的可擴展性、高效性、兼容性、通用性。選擇Mybatis 作為系統開發的ORM 框架, 框架結構如圖6 所示。

圖6 Mybatis框架結構

2 軟件框架設計

本研究在軟件研發過程中對涉及到的數據流進行模塊化劃分, 主要包括數據源模塊、數據處理模塊、中臺服務模塊以及數據演示模塊（圖7）。數據源模塊重點研究多元數據資料的整合, 對于來自多個渠道的數據分類采集, 包括了人員信息、OA 辦公信息、觀測數據、預報信息、預警信息、自動站信息等。數據采集之后有一個自檢預處理的過程, 合格的數據將進入進一步的整理。整理之后的數據進入數據處理模塊, 在數據處理模塊中首先是數據接收, 之后進行分類、解碼、質量控制, 進行融合分級、評估鑒定, 最后再作存儲入庫。入庫后的數據進入中臺服務模塊, 該模塊主要是對數據進行匯聚連接、存儲計算、算法研發、提純加工、數據整理以及API 服務。數據演示模塊中, 通過API 調用數據, 使用DataV 技術中的控件進行數據綁定, 可以通過個性化的選擇完成前端演示, 比如, 氣候統計匹配曲線圖、餅圖、形圖等, 站點信息匹配GIS 地圖, 預警預報可匹配文字滾動。在數據流中, 最重要的是數據中臺服務, 數據中臺可以將復雜的氣象數據進行融合處理, 使信息協調優化便于調用。

圖7 數據處理及反饋流程

3 系統運行

系統使用B/S 模式和JAVA 語言進行開發, 前端使用DataV 技術數據可視化控件進行頁面布局以及JavaScript 技術前端數據調取, 后臺則是采用mybatis框架和MySQL 數據庫同步編程, 在系統開發工具上選擇Eclipse、VS Code、Tomcat 等。Java 語言選擇基于其面向對象、分布式、解釋性、安全特性、可移植、高性能、多線程和靜態等特點。 Eclipse 選擇基于其是一種流行的開源軟件, 其強大的語言提示功能和代碼分類顯示功能, 極大地提高了軟件開發人員的程序開發效率。Tomcat 服務器優點是兼有可擴展性和安全性。系統可運行于Windows 及Linux 服務器, 兼容性良好。這些選型基本可以解決系統實施中的技術問題。

實際運行效果表明系統性能良好。大屏首頁如圖8 所示, 預警以及氣候數據統計如圖9、圖10 所示。但是, 未來如何進一步優化對海量氣象數據的處理以及挖掘數據中隱藏的規律, 還需要進一步研究和探索。

圖8 可視大屏首頁

圖9 預警統計

4 小結

本研究根據氣象資料輔助決策的實際需求, 設計并實現了可視化大屏系統, 該系統具備自動采集、分析、提純、可視化等功能。采用DataV 技術極大地減輕了前端開發人員的工作量, 使系統能夠快速搭建。數據中臺技術的引入, 實現對局內資源的整合, 完成了傳統數據供給到新型數據倉庫的轉型。系統結合使用了多線程數據處理、B/S 框架、Mybatis 框架下MySQL 數據庫同步編程, 最后跨平臺部署。最大效能地發揮了互聯網技術在氣象服務中的作用。

圖10 氣候數據統計

系統當前處于應用階段, 還有很多不足和需要改進的地方, 后期將重點解決3 個問題, 一是進一步整合氣象系統的各類數據, 完善中臺數據基礎。二是對多元氣象數據進行深度挖掘, 探索海量氣象數據背后的規律和秘密。三是深入研究數據可視化技術, 并將其應用于實際業務中。