云計算環境下氣象大數據服務的應用

張潔　薛勝軍

摘要 設計了云計算環境下氣象大數據服務框架，該框架設計的氣象服務主要包括氣象業務服務、氣象科研服務以及公共氣象服務。MapReduce分布式處理技術可以有效地進行分布式處理服務，是提供氣象大數據服務的基礎計算架構。基于MapReduce對上海寶山站氣象日值數據（2013年1～12月）進行了氣溫以及降水量統計，并給出了相應示例。云環境下氣象大數據的應用研究可以提升整體氣象業務服務水平，加快各地氣象部門資源整合與資源共享的步伐，同時對于加快“大數據時代”氣象信息化進程具有重要作用。

關鍵詞 云計算；氣象大數據；氣象服務；Hadoop；MapReduce

中圖分類號 S126 文獻標識碼 A 文章編號 0517-6611（2016）05-298-04

Abstract This paper designed the framework for the services of meteorological data in cloud computing. The framework mainly included weather business services， meteorological research services and public meteorological services. The distributed processing technology MapReduce could be effectively processed services distributed. And also it was the infrastructure for the meteorological data services. This paper did some statistics on the temperature and precipitation based on the meteorological log data of Shanghai Baoshan Station（from January 2013 to December 2013） by using the technology of MapReduce and gave the corresponding examples. The research on the services of meteorological big data in cloud computing could promote the whole meteorological service level， speed up the pace of the local meteorological department resource integration and resource sharing， at the same time play an important role in promoting the informationization of the “big data era”.

Key words Cloud computing； Big meteorological data； Meteorological services； Hadoop； MapReduce

隨著氣象信息化進程的不斷加速，氣象行業內部累積的歷史氣象數據不斷增加。目前，我國國家氣象局保存的氣象數據總量達到PB級，且每年新增加的數據量也接近PB級[1]。氣象數據包含豐富的數據種類，包括地面觀測、衛星、雷達和數值預報產品等不同種類的觀測和氣象產品數據，且通常通過觀測站點收集。目前，我國擁有自動監測站點50 000余個、地面氣象觀測站點2 000余個以及其他各類觀測站點千余個[2]。由這些氣象觀測站點所采集的歷史數據以及實時氣象數據構成了氣象大數據。

氣象大數據蘊含豐富的應用和研究價值，可以提供各類氣象服務，包括氣象部門內部業務服務、科研服務和公眾服務等。氣象部門內部業務服務主要指針對氣象部門工作人員提供的各種服務，如氣象數據查詢、預報產品制作、氣象數據入庫等功能[3]；而氣象科研服務主要指利用氣象大數據進行數值分析、氣象災害風險評估等升值服務功能[4-6]；公共氣象服務主要指對氣象觀測大數據進行處理和分析，進而惠及人們日常生產、生活以及其他行業，包括海洋、農業、交通等。目前對大數據管理、高可靠存儲、分析、處理以及檢索等面臨著著巨大的技術挑戰。

云計算技術可以為氣象大數據服務提供技術支撐。由于云計算彈性計算、虛擬化、按需服務、異地災備、分布式存儲與處理等技術特性，越來越多的用戶選擇將應用部署到云平臺上。美國國家標準與技術研究院（National Institute of Standards and Technology，NIST）將云計算定義為“云計算技術可以通過互聯網以便利的、按需服務、按需付費的方式獲取資源（計算、存儲和網絡帶寬等），這些資源可以通過互聯網快速獲取和釋放”[7]。而開源云平臺技術Hadoop的出現為構建氣象行業內部的“私有云”或者“專有云”提供了技術支撐。Hadoop的分布式處理模型MapReduce模型可以有效地支持海量氣象數據分析與處理；而分布式數據庫HBase支持海量氣象數據的索引。

云計算環境下氣象大數據的應用研究可以提升整體氣象業務服務水平，加快各地氣象部門資源整合與信息共享的步伐，同時對于加快“大數據時代”氣象信息化進程起著重大作用。筆者基于MapReduce對上海寶山站氣象日值數據（2013年1～12月）進行了氣溫及降水量統計，并給出了相應示例。

1 云計算環境下氣象大數據服務框架

1.1 氣象大數據特征分析

為了提供氣象大數據服務，需要判斷氣象數據的大數據特征。大數據通常具有體量（Volume）大、數據種類繁多（Varity）、數據需求處理速度（Velocity）快、數據價值（Value）高的基本特征[8-9]。

當前氣象行業累積海量的數據，數據體量已經達到了PB級，具有大數據的Volume特征；氣象數據種類繁多，包括各類結構化和非結構化的數據，滿足大數據的Varity特征；氣象數據的采集過程通常是逐天逐小時甚至到逐分鐘發生的，氣象行業數據增長速度飛快，因此處理速度需求也與日俱增，滿足大數據的Velocity特征；而且氣象數據的處理、分析與深入挖掘，有助于氣象行業內部的服務，如預報、預警等，因此氣象數據滿足大數據的Value特征。

氣象數據滿足大數據的4V特征，因此如何高效地存儲、處理氣象大數據已成為急需解決的問題[10]。云計算技術可以為解決上述問題提供技術支撐，有助于開發和實現高效的氣象大數據服務，進而更好地提升氣象業務服務水平。

1.2 氣象大數據服務框架

我國氣象行業中，氣象區域中心分布著大量的硬件設施，包括高性能計算機以及常規存儲服務器、網絡通信設施等。將這些基礎設施通過云計算技術進行整合，進而構成氣象行業專有云，其部署示意見圖1。氣象行業大數據服務框架可以基于該氣象行業專有云進行部署。

基于上述描述，該研究設計了云環境下的氣象大數據服務框架（圖2）。該框架主要包含5個層次。

（1）基礎設施層。基礎設施層主要用于存放和處理氣象大數據的物理設施，包括主機、存儲、網絡設備、照明系統、制冷系統以及數據中心場地等。在云計算環境下，需要對原有的基礎設施層硬件進行云化處理，形成基礎設施資源池，并且基礎設施池的計算資源和存儲資源可以動態伸縮地提供給氣象內部業務人員和科研人員使用，以實現資源的整合，大大提高資源利用率。

（2）平臺層。

平臺層主要是利用云計算中的主要技術在基礎設施層的基礎上實現平臺的搭建。可以使用Hadoop分布式文件系統實現分布式文件冗余存儲；使用分布式數據庫HBase實現動態氣象大數據分布式數據索引；使用分布式計算模型MapReduce實現數據并行計算；使用數據倉庫Hive實現靜態氣象數據的存儲與便捷索引。平臺層搭建完成后，能夠為應用層提供技術支撐。

（3）應用層。

應用層主要利用平臺層提供的軟件工具進行應用的開發（存儲與數據處理相關），主要包括站點監控等功能、云平臺監控與管理、氣象服務。站點監控主要是對氣象監測點以及監測設備進行管理和監控，包括站點信息管理、設備信息管理、數據源狀態監控等；云平臺監控與管理主要對區域氣象數據中心的服務器節點進行動態監控與管理，包括節點管理、能耗監控、節點信息管理等；按照不同的應用需求提供氣象服務，包括部門業務功能（數據查詢、數據審核、數據入庫等）、預報產品制作、公共氣象服務（產品發布、災害預警等）、科研服務（數值預報等）。

（4）大數據服務層。

大數據服務層主要根據應用層開發的不同種類應用提供氣象大數據服務。如站點監控與云平臺監控這2個功能，主要利用基于HBase的實時數據檢索為氣象部門提供氣象業務服務；而數值預報與預報產品的制作可以利用分布式數據處理模型MapReduce進行氣象數據分布式處理，進而提供氣象科研服務以及公共氣象服務等。

（5）用戶層。

氣象大數據服務的用戶主要包括氣象行業內部人員（業務部門）、氣象科研人員（科研部門）、相關行業人員（其他行業）。氣象行業內部人員可以通過氣象行業內部網絡訪問氣象大數據服務；氣象科研人員通過互聯網獲取部分權限數據；而相關行業人員可以通過互聯網獲取相關預報產品。

2 基于MapReduce的氣象大數據服務示例

2.1 MapReduce處理技術

MapReduce是一種編程模型，用于大規模數據集（大于1TB）的并行運算。概念“Map（映射）”和“Reduce（歸約）”是其主要思想，都是從函數式編程語言里借來的，還有從矢量編程語言里借來的。他極大地方便了編程人員在不會分布式并行編程的情況下，將自己的程序運行在分布式系統上[11]。氣象大數據可以利用MapReduce進行并行處理（圖3）。MapReduce對輸入數據處理之前，將輸入數據劃分為同等規模的數據片；再通過MAP處理（創建MAP任務）每個分片中的數據信息；然后對所得到的數據結果進行REDUCE操作（創建REDUCE任務），得到處理結果，進而得到最終的輸出。

2.2 基于MapReduce的氣溫與降水量統計示例

以中國地面國際交換站氣候資料日值數據為處理對象，在處理前保存在HBase數據庫中。為了獲取相應的氣象顯示服務，利用MapReduce計算模型對氣象日值數據進行處理、分析。在分析統計前，通過對試驗對象分析，可以得出對氣溫和降水量的分析統計具有實際意義。通過月統計站點的最高氣溫、最低氣溫、最高平均氣溫、最低平均氣溫和降水量，可以清晰地觀察到站點的歷史氣溫和降水量變化情況，對預測未來氣溫和降水量的變化具有參考作用。

氣象數據分析統計方法邏輯流程見圖4。MapReduce計算模型能夠分布式處理存放在HBase表中的氣象數據。多個Map任務將并行的讀取氣象數據記錄，輸入Map任務中的數據為{key，value}對。其中key為行鍵，value為行鍵對應的一行數據。經過Map任務的處理將生成新的{key，value}對，作為Reduce任務的輸入。Reduce任務處理后會將逐月信息寫入到結果文件中，將結果文件中的逐月信息解析導入到關系型數據庫MySQL中。利用MySQL的SQL語句和相關函數，統計得到逐年信息。

MapReduce操作后，上海寶山站2013年1～12月的氣溫統計分析以及降水量統計分析見圖5、6。通過該示例，可以發現MapReduce能夠有效地支撐氣象大數據服務。

3 小結

氣象大數據服務為氣象行業工作者提供了氣象服務的方向和目標，也是國家信息化進程中的一個重要分支。利用氣象大數據制作氣象服務產品可以惠及人們日常生活的方方面面。MapReduce分布式處理技術可以有效地適用于氣象大數據的處理與分析。該研究設計的云環境下的氣象大數據服務框架為氣象行業大數據服務奠定了基礎。云環境下氣象大數據的服務與應用可以加速氣象行業信息化進程，加速氣象部門信息共享，提高氣象部門氣象服務能力，有效提升公眾對于氣象服務的滿意度，因此應是今后氣象服務的重中之重。

參考文獻

[1]沈文海. 氣象數據的“大數據應用”淺析——《大數據時代》思維變革的適用性探討[J].中國信息化， 2014， 30（11）： 20-31.

[2]張蕾， 楊勇， 湛瑩瑩. 氣象“云”氣象萬千[N].貴州日報， 2014-03-26（9）.

[3]潘文偉.基于.NET的氣象業務服務平臺構建[D].上海：復旦大學， 2010.

[4]張振濤， 張正文， 陳宇，等.基于天氣事件的公共氣象服務產品制作系統[J].應用氣象學報， 2014， 25（2）：249-256.

[5]于庚康， 申雙和， 羅艷，等.基于江蘇省公眾氣象服務效益的分析與研究[J].氣象， 2012， 38（12）：1546-1553.

[6]張軍.交通氣象服務系統的設計與實現[D].北京：中國地質大學（北京）， 2014.

[7]顏斌.云計算安全相關標準研究現狀初探[J].信息安全與通信保密， 2012（11）： 66-68.

[8]趙蓓.大數據時代對氣象服務的推動[J].考試周刊， 2014（33）：195-196.

[9]李文， 馬勇杰.大數據時代的氣象服務應用研究[J].河南科技， 2014（18）：175.

[10]付偉錚， 巴洪連， 任愛勝.大數據時代農村信息服務的實例研究[J].農業網絡信息， 2014（11）：5-10.

[11]MapReduce[EB/OL].[2015-12-20].http：//baike.baidu.com/link？ url=C-d6ofwPnUOCONXAditXb5mFYO9HHyu0kZuFVBO8YFG4mT BytzOyYOihtXbUdDQQAz5vOnvsb4cGaAXZ7SM1fq.