基于網絡技術的氣象數據共享方案探討

◆黃錦燦 蔡賢達 田良鈺

?

基于網絡技術的氣象數據共享方案探討

◆黃錦燦 蔡賢達 田良鈺

(佛山市高明區氣象局 廣東 528500)

隨著科技的不斷發展，為了對于氣象信息的解讀也更加科學與高效，加強氣象數據系統建設與信息分享勢在必行，本系統建設以氣象業務系統、預警發布手段以及電子政務網和政務大數據為基礎，充分利用移動、聯通、電信等運營商的網絡資源和社會資源，實現氣象信息的高速共享，為其進一步發展打下堅實的基礎。

網絡技術；氣象數據；共享

0 引言

目前高明區氣象局每天要處理大量的觀測數據、預報數據、預警數據，但是尚沒有自己的數據中心，所有數據需要從其他局系統中抓取，經常導致數據不完整、不穩定、不正確、不及時等問題。嚴重影響氣象業務的正常開展，更加難以適應“互聯網+”和大數據戰略的實施。難以給公眾和各行各業提供實時、準確的、充足的氣象數據和服務。同時經過多年的建設，高明區氣象局在硬件上已經滿足了日后的發展的需要，隨時可以滿足氣象數據綜合管理系統的建設。如果不充分利用這些硬件設施，會造成資源的浪費，因此需要對于氣象數據做好共享工作，提升共享效率。

1 高明區氣象局數據中心建設背景

1.1建設現狀

高明“智慧氣象”數據中心是基于高明氣象局以及其他部門的數據共享的基礎上，利用氣象大數據，搭建氣象數據中心以實現數據資源的采編、審核、清洗、分析、挖掘的等一系列的功能，為智慧氣象的業務系統和信息服務提供深入、全面的數據基礎，并提供相應數據接口。數據中心的主要功能有數據交換與共享、數據存儲、數據處理三大部分。實現對采集到的各種信息進行分類和存儲等功能，能夠按照數據來源、數據類別、數據時間等多種維度進行管理，且具備統計分析、監控、報表制作等功能。在數據的存儲上要求能夠存儲和管理結構化數據，也能夠存儲和管理非結構化數據。能夠應對大數據量、多數據類型的情況。

1.2建設目標

智慧氣象是智慧城鎮建設的重要組成部分。要實現智慧氣象更好的服務公眾，服務行業經濟，實現“互聯網+”的應用和跨界大數據分析功能，首先要建立一個氣象數據綜合管理中心，提供數據管理和氣象數據支持，通過整合統一的大數據接口平臺為其他部門、社區信息員和人民群眾提供精細化、網格化的信息服務，為智慧城鎮建設提供氣象信息支持。

根據以上背景和分析，我們提出以下項目建設總體目標：

（1）依托通用數據平臺，建設“智慧氣象”數據中心管理平臺基于廣東省氣象局和佛山市氣象局的數據支持和其他部門的數據共享，“智慧氣象”數據中心項目將搭建大數據平臺以實現數據資源的采編、審核、清洗、分析、挖掘的等一系列的功能，為智慧氣象的業務系統和信息服務提供深入、全面的數據基礎，并提供相應數據共享接口。

（2）建設基于GIS的氣象業務數據可視化支撐平臺為協助氣象部門對氣象數據分析預報并使服務信息更精細化，項目將建設氣象數據結合GIS地理信息分析，展現各類的氣象要素，從而綜合提升氣象部門的業務能力。

1.3建設意義

本系統充分利用公共無線和固定通信網絡，通過多種發布手段相互結合、互為彌補的方式為人民群眾提供一個及時傳遞氣象產品信息和公共事件預警信息的載體，是解決信息服務“最后一公里”問題的有效途徑，大大提高了公共事件預警信息發布的時效性。通過智慧氣象系統建設，使原來分散在不同部門、不同行業的應急信息，通過系統中專用的突發公共事件預警信息發布系統，權威、暢通、有效的突發公共事件預警信息發布渠道統一進行發布。同時，利用各種發布手段的覆蓋范圍和控制功能，可以將氣象產品信息和公共事件預警信息的發布范圍進行精確控制。氣象數據的跨行業價值挖掘將產生巨大的社會和經濟價值，據了解，英國的氣象服務已經全部商業化，年產值達到2600億美元，美國1600億美元，日本100億美元，而中國只有6億美元，專業的氣象數據服務在中國市場前景巨大。本系統的建設將挖掘氣象跨行業的數據價值，最終提供商業化服務。

2 網絡技術在氣象數據共享中的應用

2.1技術規范

數據中心配備包括支撐以上功能的硬件基礎設施、大型外部設備、數據庫管理商用軟件、數據處理專業商用軟件、數據管理應用軟件、數據服務應用軟件、數據交換系統，以及相應的專業人員。數據中心硬件配置一般包括：服務器（業務應用服務器、數據庫服務器、交換服務器）、存儲系統（SAN 光纖交換機、磁盤陣列、NAS文件存貯）、交換機（核心交換機、服務器群子網交換機、部門接入子網交換機）、大型外設、全冗余的硬件設備及鏈路。數據中心軟件配置包括：網管軟件、應用服務器軟件、數據庫管理系統、GIS軟件、數據備份軟件、目錄服務及元數據發布軟件、LDAP服務器、安全管理軟件、消息中間件、云虛擬機管理軟件等。整個高明“智慧氣象”數據中心網絡可以建立在云計算平臺之上，所有的應用系統服務器均由虛擬化服務器提供，這樣的好處在于可以按需配置服務器資源，保障服務器資源的充分利用和靈活調度。

2.2數據采集

氣象業務數據采集子系統包括：氣象自動站數據采集模塊、氣象格點數據數據采集模塊、臺風路徑數據采集模塊、氣象預報數據采集模塊、氣象預警數據采集模塊。

（1）氣象自動站數據采集模塊連接氣象自動站數據源接口，按相應規則定時采集指定時次，站點，要素的自動站基礎數據。

（2）氣象格點數據數據采集模塊連接氣象格點數據源接口，采集指定時次、要素、區域范圍的格點數據。

（3）臺風路徑數據采集模塊連接臺風數據源接口，按數據規則采集臺風數據，采集內容包括臺風名稱、實時風力風速、途經地點、風力半徑等。

（4）氣象預報數據采集模塊連接氣象預報數據源接口，采集多時次、多區域的天氣預報、氣象指數、景點天氣預警等預報數據。

（5）氣象預警數據采集模塊連接氣象預警數據源接口，采集指定區域的實時預警數據。

2.3數據存儲

高明“智慧氣象”數據中心由兩臺高性能計算機作為數據庫載體，配以大容量的磁盤陣列和磁帶機，系統通過光纖存儲交換機相連，采用雙鏈路備份的方式，保證數據庫的可用性與可靠性。系統涉及到整合其他業務系統的數據，其他寫數據有結構化數據和非結構化數據，數據庫可能有Oracle或者SQLServer等結構化數據庫，也有NoSQL類型的數據庫，或者分布式數據庫，同時考慮到與政務大數據平臺相結合，因此，本方案設計系統把采集過來的數據存儲在由Hadoop搭建的分布式存儲系統上，通過HBase進行結構化數據存儲，通過逐步建立分布式數據分析模型，不斷地豐富系統提供的氣象產品服務。

2.4數據共享

MapReduce是由Google提供的建立在HDFS之上的一個并行計算框架；我們需要通過MapReduce框架設計對共享數據的檢索與分析，為各種業務系統提供數據。HBase是一個類似于Google BigTable的分布式NoSQL列數據庫；Hive是由Facebook貢獻的一個數據倉庫工具提供類SQL查詢方法，使得上層數據應用程序可以通過關系型數據庫訪問的方式查詢分布式文件系統中的數據；Zookeeper是由Facebook提供的一個分布式鎖設施，在整個平臺中起到協調各種操作的作用。Pig是一個大數據分析平臺，為用戶提供多種接口，在系統中主要通過其方便的腳本編程接口為上層數據應用程序提供服務。

3 總結

在對于氣象數據進行分析和共享時，各種錯誤數據需要認真的比對和分析，從而對其進行評估，因此作為工程師應當具有一定的建模能力，使得共享效率提升，能夠將相應工具在精確運行中應用，同時這樣有利于實現氣象數據設備的科學規劃與合理布局。共享技術對于氣象設備的發展來說具有極為重要的意義，因此需要對其技術進行進一步的優化。

[1]王闊音.航空氣象信息服務系統的設計與實現[D].中國礦業大學，2015.

[2]馮慧菁.基于GIS的氣象信息集成與可視化系統[D].南京信息工程大學，2013.

[3]王增武.基于GIS技術的氣象數據處理系統設計與實現[D].電子科技大學，2008.

廣東省氣象局“氣象信息大數據創新團隊”（團隊編號：201507）。