大數據在氣象行業中的應用探討

亓東霞++王馨++朱大銘++馬琳++楊小龍

摘要：近年來，氣象服務進入高速發展階段，從提供簡單的氣象信息服務，逐步轉變為產生經濟效益的社會生產力，為人民生活趨利避害、防災減災和應對氣候變化發揮著越來越重要的作用。技術的不斷發展對氣象服務技術也提出了更高的要求，大數據技術為提高氣象服務速度和服務質量提供了技術手段，氣象行業的大數據分析及應用也有了很大的進步。

關鍵詞：氣象行業；大數據；數據分析

中圖分類號：TP393 文獻標識碼：A 文章編號：1007-9416（2017）10-0233-02

隨著社會、經濟和科技的發展，氣象與國計民生的關系越來越密切，氣象服務對經濟建設、社會發展和人民生活的影響日益明顯，氣象工作也前所未有地受到全社會的關注。農業、交通業、建筑業、旅游業、銷售業、保險業和電力行業等，都與天氣變化息息相關。隨著社會氣象意識、氣象觀念的提升，氣象服務也發揮著越來越重要的作用。

氣象業務從最初的天氣預報發展到現在氣候預測、氣候可行性論證、公共氣象服務、專業專項氣象服務、氣象防災減災等，大數據技術也成為氣象服務不斷創新和完善的重要支撐。

1 大數據發展現狀

大數據相關技術從國外開始率先研究，IBM、SAP等服務公司爭相涌入大數據行業，技術平臺提供者甲骨文、SAS、EMC、Google、亞馬遜等都從中盈利[1]。國內大數據是用傳統的IT技術、軟硬件工具和數學分析方法，感知、獲取、管理、處理和分析數據集合[2]。

2012年，美國提出“大數據研究和發展倡議”，積極推進大數據核心技術研究和應用。麻省理工大學等6所大學建立了大數據科學技術中心，英國牛津大學也成立了首個綜合運用大數據的醫藥衛生科研中心[4]。

2012年，中國計算機學會和中國通信學會都成立了大數據專家委員會，專門研究大數據分析及應用，旨在推動我國大數據發展。

2013年，國家氣象信息中心開始著手氣象數據與云計算的研究探索。

2015年，國務院印發《促進大數據發展行動綱要》，全面推進我國大數據發展和應用，探索開展氣象、交通、公安、安監、地震、測繪、旅游、農業等跨部門、跨地域數據融合和協同創新，加快建設數據強國。

2 大數據理論

大數據的定義不是一成不變的，而是呈現多樣化發展的狀態。廣泛通用的定義是2011年國際數據中心IDC定義的大數據：“大數據技術描述了一個技術和體系的新時代，被設計用于從大規模多樣化的數據中通過高速捕獲、發現和分析技術提取數據的價值”。這個定義刻畫了大數據的4個顯著特征，即體量（Volume）、多樣性（Variety）、價值（Value）和速度（Velocity）。

Volume：數據體量大，一般在TB級及以上；

Variety：數據多源異構多樣，包括傳統的關系數據庫存儲類型的結構化數據和以文本、圖像、視頻、音頻、e-mail、網頁等形式存在的未加工、半結構化或非結構化數據；

Value：數據價值低，隱藏在海量數據中的有用信息所占比例較小。通過各種分析手段提取有用信息，提高數據質量及其價值；

Velocity：處理速度快，對海量數據實現近乎實時的分析處理。

大數據價值鏈可分為數據生成、數據獲取、數據存儲、數據分析等四個階段[5]。

3 氣象行業大數據

氣象大數據是現有各種氣象數據加上其他行業數據分析得出行業事件變化規律和對未來的一些預測，即要將多種跨行業跨領域的異構數據融合，并應用大數據分析方法確立一定的規則，對未來進行預測。氣象大數據可分為“行業大數據”和“互聯網大數據”兩類。

氣象行業大數據由與氣象部門各項工作相關、且產生自氣象部門內部的所有數據組成，包括：由氣象部門建設的、具有國內最高專業水準的氣象探測體系所產生的氣象專業探測數據，其它部門自行采集、通過數據共享/交換等方式匯聚到氣象部門、且經過氣象部門嚴格質量控制的氣象要素探測數據，由氣象業務部門和業務系統產生的各類氣象服務產品數據、派生數據及中間產品數據，職能部門各管理系統如項目管理系統等所產生和管理的數據，各業務和管理系統的狀態數據和日志數據等[6]。

本文主要講述氣象的行業大數據，是從氣象服務的具體業務角度出發，將大數據分析應用分為數據整合、數據存儲、數據計算、數據分析、可視化服務五個部分內容。

3.1 數據整合

數據整合采用消息隊列、數據導入工具、數據抽取工具、數據復制工具等多種技術手段，實現結構化、非結構化、海量歷史數據、準實時數據、地理空間等數據接入。

國家氣象信息中心副總工程師沈文海說，在2014年整個中國氣象局所保存的數據在4～5PB左右，每年大概增加數百TB。這些數據包含了地面觀測、衛星、雷達和數據預報產品等觀測數據。

其中，地面氣象站觀測所獲取的數據是需要永久保存的，其使用率非常高，除了常規天氣預報業務需要用到外，諸如氣候預測、氣象農業、環境氣象、交通氣象、電力氣象以及科研等領域，都需要用到這些數據。目前，我國地面觀測臺站已達到約4萬個，遍布我國各個地區。由于自動觀測技術的發展以及地面自動氣象站的推廣普及，地面觀測業務擺脫了人工觀測居住環境的要求，觀測站點可布設到許多環境十分嚴苛的地域，如：荒島、沙漠、高原等。

以氣象衛星和多普勒天氣雷達為代表的遙感遙測業務領域近三十年來取得了飛速發展，這些領域一方面每天產生著數TB級的觀測數據，另一方面也需要地面觀測等實測數據作為其遙感數據的訂正依據。

地面及高空觀探測數據為結構化數據，氣象衛星、天氣雷達數據則為非結構化數據。以這些數據為主，構成了“氣象大數據”。雖然“氣象大數據”與目前業界公認的以“4V”為特征的大數據的存在一定差異，但數據量的巨大以及迅速膨脹的速度則是十年前完全無法想象的。

3.2 數據存儲

數據存儲是對各類接入數據按照統一數據規范按照標準化格式進行存儲，依據應用需求存儲在分布式文件系統、分布式數據倉庫、非關系型數據庫、關系型數據庫，實現各類數據的集中存儲與統一管理，滿足大量、多樣化數據的低成本存儲需求。

數據存儲管理使用基礎數據管理、數據質量管理、數據流轉監測、數據權限管理和數據運維輔助管理，管理內容如下：

（1）基礎數據管理：提供對大數據元數據資源的統一管理，保證數據資源的標準化應用，為質量監測、流轉監測提供基礎數據。

（2）數據質量管理：提供業務明細數據、指標數據等多數據模型的數據質量分析和校核規則，持續提升數據質量。

（3）數據流轉監測：從數據接入環節、抽取環節、業務處理環節對過程處理進行逐級監測、層層控制。

（4）數據權限管理：提供訪問各類數據的授權功能，保證數據的安全及可靠性。

（5）數據運維輔助管理：提供數據日常管理和監控等輔助管理。

3.3 數據計算

氣象大數據的數據計算采用流計算、內存計算、批量計算、查詢計算等分布式計算技術，滿足不同時效性的計算需求。

流計算支持實時處理，內存計算支持交互性分析，批量計算支持大批量數據的離線分析，查詢計算支持類似SQL查詢分析。

3.4 數據分析

氣象大數據分析在融合傳統數據挖掘算法的基礎上，優化分布式挖掘算法，形成數據挖掘基礎算法庫，在此基礎上，構建支撐氣象行業大數據分析算法模型。

對于建模算法選擇，主要依賴于所要解決的問題，即大數據分析應用的具體業務需求。對于預測類的問題，有回歸和分類預測兩種，算法可以選擇決策樹、邏輯回歸、神經網絡、機器深度學習應用等；對于描述類的問題，可以選擇聚類分析、關聯分析、最優化分析等。最后根據所選擇的建模算法，通過分析建模工具建立模型。

4 總結和展望

目前，氣象行業大數據分析及應用在跨行業數據融合分析有了很大的進步，但社會上大多數行業的大數據應用仍局限在行業數據自身價值的深度挖掘。跨行業數據壁壘是當前大數據應用推廣的一個實實在在的障礙，建立一個行業間雙方及多方的信息共享基礎環境，進行跨行業跨領域的數據融合及深度分析，更大地實現氣象行業大數據的價值，為社會創造更多的財富仍是未來一個技術探索領域。

參考文獻

[1]維克托·邁爾·舍恩伯格，肯尼斯·庫克耶.大數據時代[M].杭州：浙江人民出版社，2012.

[2]李國杰，程學旗大數據研究：未來科技及經濟社會發展的重大戰略領域——大數據的研究現狀與科學思考[J].中國科學院院刊，2012，27（6）：647-657.

[3]高志鵬，牛琨，劉杰.面向大數據的分析技術[J].北京郵電大學學報，2015，38（3）：1-12.

[4]李學龍，龔海剛.大數據系統綜述[J].中國科學：信息科學，2015，45（1）：1-44.

[5]方巍，鄭玉，徐江.大數據：概念、技術及應用研究綜述[J].南京信息工程大學學報：自然科學版，2014，5：405-419.

[6]沈文海.再析氣象大數據及其應用[J].中國信息化，2016，（1）：85-96.