崔 巍(湖南省氣象信息中心,湖南長沙410000)
大數據在氣象服務中的應用與分析
崔巍(湖南省氣象信息中心,湖南長沙410000)
現如今,科學技術發展迅速,信息化發展進程也在不斷加快,氣象行業在內部累積的歷史氣象數據數量不斷增加。氣象大數據的應用價值比較高,能夠提供各類氣象服務,包括科研服務、氣象部門內部業務服務以及氣象公共服務等等。然而,現如今,對于大數據管理、高可靠存儲、分析、處理以及檢索等技術的發展不斷提高。對此,本文首先對氣象大數據服務進行了介紹,然后對大數據在氣象服務中的應用方式進行了分析,并且以“氣象+農業”的應用方式為研究對象,并對此進行了詳細闡述。
氣象;大數據;應用
隨著現代社會的發展和天氣氣象的愈漸復雜,氣象中心的工作量開始增大,越來越多的數據和信息處理成為發展現代化氣象業務所面臨的重要問題,一般的數據庫已經無法有效的完成大型綜合性數據分析的需要,無法有力的為氣象決策服務提供數據支撐。隨著大數據應用技術的不斷發展。如何更好的把握應用氣象服務的特點,突破技術瓶頸,已經成為氣象科研工作要探究的重要課題。
2.1氣象大數據特征分析
為了提供氣象大數據服務,需要判斷氣象數據的大數據特征。大數據通常具有體量大(Volume)、數據種類繁多(Varity)、數據需求處理速度快(Velocity)、數據價值高(Value)的基本特征。
當前氣象行業累積海量的數據,數據體量已經達到了PB級,具有大數據的Volume特征;氣象數據種類繁多,包括各類結構化和非結構化的數據,能夠滿足大數據的Varity特征。氣象數據的采集過程通常是逐天逐小時甚至到逐分鐘發生的,氣象行業數據增長速度飛快,因此,處理速度需求也與日俱增,滿足大數據的Velocity特征;而且氣象數據的處理、分析與深入挖掘,有助于氣象行業內部的服務,如預報、預警等,因此氣象數據滿足大數據的Value特征。
氣象數據滿足大數據的4V特征,因此如何高效地存儲、處理氣象大數據已成為急需解決的問題。云計算技術可以為解決上述問題提供技術支撐,有助于開發和實現高效的氣象大數據服務,進而更好地提升氣象業務服務水平。
2.2氣象大數據服務框架
我國氣象行業中,氣象區域中心分布著大量的硬件設施,包括高性能計算機以及常規存儲服務器、網絡通信設施等。將這些基礎設施通過云計算技術進行整合,進而構成氣象行業專有云,其部署示意見圖1。氣象行業大數據服務框架可以基于該氣象行業專有云進行部署。
3.1氣候分析中數據挖掘技術特點及應用

圖1 氣象行業專有云部署示意圖
數據挖掘技術是氣候分析中的重要數據技術,其應用優勢在于可以快速的在海量的信息庫中找到目標信息,它能夠處理不完全信息、噪聲信息、模糊數據信息、預警信息轉換為特殊標識,方便技術人員分析得出結論。在原有的數據信息庫中,挖掘技術對于信息的處理及時更為敏感,尤其是對于不斷變化的天氣信息,其半結構化信息的處理技術利于對于復雜天氣的預測。從應用層面來講,數據挖掘技術的氣候信息技術更為新穎、科學、準確。挖掘數據將數據濃縮成一個數據集合,利用處理軟件的功能,把具象數據抽離出來,形成具有說明功能的數據群。其次,每一個數據都有對應的映射目標,這便于工作人員更能全面清晰的了解數據的個體信息,便于氣候變化的精準預測。總的來說,數據挖掘技術具有共享、研究的特點。因此,在這個過程中,功能強大的數據信息處理技術可以提供格式統一的數據信息資料,便于氣候工作人員分析出階段性的天氣變化趨勢。大數據的核心是預測,大數據之所以能夠預測未來是對于相關關系的精準把握,在這個過程中,數據部門要根據相關的狀況或現象總結出規律。傳統的統計方法對樣本數據的正態性假設、變量的獨立性、變量個數、建設檢驗都有著較高的要求,而大數據則是對傳統統計學方法的拓展和延伸。大數據分析側重于高維建模、復雜網絡建模、非參數模型等技術從種類繁多、數量龐大的數據中快速獲取相關價值信息。氣象部門每天的數據增長量有非常大的數據級,其中包括每天2000多個地面站、120個高空探測站、6顆軌道衛星、444多個雷達站、300個雷達站、90多個酸雨監測站等等,這些數據全天各個時段每分鐘都在掃描著中國的各種天氣數據,這些數據的體量巨大,且增長速度大,數據類型多樣,因此氣候大數據在氣候預測以及氣象防災減災中有著極其重要的意義。
3.2氣候云端及應用
氣候云端是建立在大數據之上的,其大數據云計算是氣候云端建立的必然條件。氣象云端除了傳統的程序、系統、模型控制氣候信息意外,還有云端申請的技術服務。所謂云端申請就是指可以同時間滿足多種氣候服務需求,并可迅速通過組織計算,測定氣候資源的服務特性,得出結論。此外,云計算還有這數據存放在終端數據中,其后續數據管理,氣候資源不會干擾其他云端計算模型。氣候云端主要應用于災害性天氣氣候信息的預警,在這個過程中,氣候云端可以在第一時間發出預警信號,并利用衛星進行災害定位,從而為有過部門提供相應的建議和應對方案。
氣象條件與農業生產具有很大的關聯,在農業種植生產過程中,溫度、降水、日照、風力、蒸發量等氣象因子都會對農作物的產量和品質產生十分重要的影響。而事實上,農業相關產業鏈的其他環節也都依賴合適的天氣條件、如農產品的物流運輸和終端銷售都不同程度的受到天氣條件的影響。2015年,某單位建立起“氣象+農業”的大數據應用分析的合作協議,并且根據3個月的實踐研究,最終確定“氣象+農業”的應用場景,包括以下3個方面:
4.1農業生產方面
通過應用氣象數據,能夠指導農戶合理安排農業生產工作,盡量降低由于氣象因素所造成的農業生產損失。以某地西瓜種植為例,由于西瓜喜熱,該地2015年開春后出現倒春寒天氣,導致大量西瓜苗受到凍害影響。另外,在西瓜上市期,某地連續降雨十幾天,對西瓜政策銷售造成了嚴重影響,農管家的交易平臺上西瓜周均價一直處于下行。對此,可以通過氣象數據分析,將未來天氣預警信息推送給農業用戶,有效地指導農戶安排生產銷售計劃,盡量減少農戶因天氣原因帶來的經濟損失,促進農戶增收。
4.2物流運輸方面
在物流運輸方面,將氣象數據推送給物流公司,可以幫助物流公司確定最優運輸路線,確保交貨時間,提升運輸效率、降低運輸成本。比如,某單位采用“第四方物流”形式,即不建倉庫不建車隊,完全依靠社會運力來解決,該單位的作用即“信息平臺”,向能提供物流服務的社會運力開放,無論個人或者公司,都能夠在該單位平臺上發布使用車輛或者提供車輛服務的信息。比如,2015年,該地發生強降雨天氣,導致雞蛋積壓嚴重,在很大程度上影響了雞蛋的品質和效率。對此,該“信息平臺”可以將天氣趨勢和預警信息推送給物流公司,負責物流調度相關人員提前安排產品運輸,這樣就能夠有效保障交貨時間。
4.3銷售終端方面
通過合理運用氣象數據還能夠幫助消費者預估市場供需價格變化,合理采購,通過這一應用方式,不僅能夠提供精準營銷的參考,而且還能夠增加銷量。互聯網終端消費者不僅有公眾,而且還有大部分用戶是公司,即與公眾日常生活緊密相關的采購方,包括各種類型和層次的批發商、飯店、超市、深加工企業和出口貿易企業等用戶。該單位為了縮短中間流通環節,通過強大的線上線下服務能力,有效解決了由于信息不對稱而導致的農產品流通效率低下以及損耗嚴重的問題,便于采購。在此過程中,通過向消費端推送天氣信息,能夠為采購方評估采購原料,制定采購計劃,進而合理安排采購進度。
綜上所述,現如今,大數據已經滲透入社會經濟發展的各個方面,隨著數據處理技術的不斷創新,氣候云已經成為氣候數據信息處理的重要發展方向。本文以“氣象+行業”大數據分析為研究對象,根據實踐研究,將氣象大數據應用于農業商業發展中,有利于促進市場經濟發展。
[1]張 巍.大數據在氣象服務中的研究與應用[J].計算機光盤軟件與應用,2014(18):27~28.
[2]趙 蓓.大數據時代對氣象服務的推動[J].考試周刊,2014(33):195~196.
[3]李社宏.大數據時代氣象數據分析應用的新趨勢[J].陜西氣象,2014(2):41~44.
[4]李 文,馬勇杰.大數據時代的氣象服務應用研究[J].河南科技,2014(18):175.
TP311.13
A
2095-2066(2016)26-0121-02
2016-8-30
崔 巍(1981-),男,工程師,本科,主要從事氣象資料業務工作。