薛小征/中國氣象局公共氣象服務中心
大數據時代背景下的氣象服務
薛小征/中國氣象局公共氣象服務中心
隨著“互聯網+”概念的不斷深入,“大數據”已經逐漸成為一個流行詞語。“大數據”產生的前提是整個社會走向數字化,并伴隨著云計算技術和搜索引擎的不斷發展,從而使得對大數據的高效分析成為可能。大數據在社會行為分析、科學發現、公共安全和政府決策中的作用越來越大,而這其中,氣象是一個不可或缺的應用領域,不但與群眾生活息息相關,并且關系到國計民生。據統計,2011年全球的數據規模為1.8ZB, 而到2013 年,僅中國當年產生的數據總量就已超過0.8ZB,2倍于2012年,相當于2009年全球的數據總量。預計到2020年,中國產生的數據總量將是 2013年的10倍,超過8.5ZB。而屆時全球的數據總量預計將達到40ZB,數據量暴增的速度令人瞠目結舌。而對于氣象數據來言,“氣象部門需要永久保存的數據目前約有4PB~5PB,年增量約1PB”,相較于其他應用領域而言,氣象行業的公共服務職能越來越強,面向政府提供決策服務,面向公眾提供氣象預報預警服務,面向社會發展,應對氣候發展節能減排。這些決策信息的獲取依賴于我們對氣象數據的處理。由此可知,基于氣象海量數據之上的氣象業務、天氣預報、氣候預測以及氣象服務的應用“大數據時代”已經來臨。
大數據;時代背景;氣象服務
“數據就像一個神奇的鉆石礦,當它的首要價值被發掘后仍能不斷給予”,它目前展現在人們面前僅僅是其總價值的“冰山一角”。雖然一些數據所蘊含的其所屬領域的內部規律(即所謂“首要價值”)已被本領域專家充分發掘,但如果將這些數據與其它領域數據相鏈接,卻有可能發現出許多意想不到的相關關系,即所謂“豐富的未知價值在領域的外部” 。
因此,數據的價值由“內部自身”和“外部關聯”兩部分組成:內部自身價值是指該數據自身所包含的所有信息對其所屬企業和部門業務工作的支撐以及開拓業務領域的作用;而外部關聯價值則是指該數據與外部企業、領域和行業數據進行深度結合以及具有創意的分析思路和有效的處理方法,從而發掘出新的、超出所屬企業和部門原有業務范圍的、傳統思維所意想不到的、具有開創意義的信息,眾多企業和行業部門可由此了解并掌握用傳統思維和方法無法獲得的事實,并因此可創造出新的經濟和社會價值。無論是否處于“大數據時代”,數據的價值概莫能外。而所謂“大數據應用”是由于近二十余年來,各行業信息化程度逐漸提高,互聯網及其豐富的應用逐漸滲透到人類社會各個階層的方方面面,在使得人們的工作和生活更加舒適、方便、快捷和安全的同時,也將社會上各方面信息通過網絡(尤其是互聯網)采集并收集管理起來,從而導致社會上數據總量以令人瞠目結舌的速度暴增,而這些暴增起來的數據也逐漸呈現出與此前數據所不同的性質和特征。由于此時的數據具有多樣性的特性,所含信息種類較之此前大大增加,人們有可能通過分析這些信息,獲得以前不可能得到的新的知識、預測信息,激發出新的開拓性思維,乃至開創新的業務領域。
氣象行業是信息化建設較早的行業,氣象科學家分析研究氣象數據已有近百年的歷史。直到目前,氣象數據的核心內容并未發生根本性變化,近年來所增設的新的探測手段(如氣象衛星、天氣雷達等),其探測信息最終都將反演成溫、壓、濕、風以及云能天等有限的幾個氣象要素,以供業務及科研使用。而這些要素之間的物理關系,早已被動力氣象學解釋清楚。已有數十年歷史的傳統的統計氣候業務,正是采用復雜的統計方法,對氣象要素進行時間、空間分布方面的詳盡分析,發現其中的規律,進而完成氣候統計預測的。因此氣象數據中常規探測部分對于氣象行業而言,其常規的基本價值(對天氣預報、氣候預測以及其它專業氣象預報的貢獻)已被充分認識并挖掘。而其中可能潛藏的反映本領域內天氣或氣候規律的新的信號,正在由數以千計的氣象科學家們分析研究著。
氣象數據與其它專業領域數據的綜合分析將產生巨大的價值,目前氣象部門已經積極開展對外合作,并與農業信息部、旅游局、交通運輸部、環保局等部委開展戰略合作。同時加快了與百度、阿里巴巴、騰訊等知名互聯網企業的合作。通過聯合研發深度挖掘氣象數據與行業間數據的應用。
從所周知,大數據已經不簡簡單單是數據超級龐大的事實了,而最重要的事情是拿到大數據之后如何對其進行深度的分析,只有通過充分的分析挖掘,才能從海量的數據集群當中獲取更多智能的、深入的、有價值的信息。借助大數據,人們能夠更清楚地掌握天氣對于零售業的影響。相關統計表明,流通類銷售額的65%取決于天氣,因為天氣直接影響人的生理、心理,支配他們的消費行為。氣溫相差1攝氏度或降水量增減1毫米,反映到商場和客流及銷量都有明顯變化。這也就是經濟學界所謂的“一度效應”。
在美國,氣象服務市場已經開放多年,各家氣象服務公司的商業化模式也已經相對成熟,與氣象相關的服務每年就有上千億美元的盈收。氣象服務對農業、交通、旅游和一些戶外行業有著很大的影響。比如交通方面,在一次強降雪過程到來后,相關部門對鏟雪時間的把控就顯得尤為重要,又或者是存在大量戶外工作量的快遞業,不管是運輸車輛或者快遞員,都對氣象服務有著密切的需求。在農業上,每一場降雨對農作物的生長都會產生影響,美國的氣象服務公司通過精準的天氣預報結合新型硬件設備,可以幫助種植者更好地調控農作物的生長環境,從而提高產量。
氣象大數據的應用分析更為實際的案例發生在德國.氣溫超過22攝氏度,啤酒開始勁銷,氣溫再每上升1攝氏度,大瓶裝的啤酒每天會多銷 230萬瓶,德國氣象公司由此開發了相關的“啤酒指數”。此外,還有乘車指數、冰激凌指數、泳裝指數、食品霉變指數等,商家可據此提前制訂生產營銷計劃。精明的商家根據天氣預報的情況,就能提前確定庫存和商品品種,以利用氣溫、降雨等變化增加銷售量。
在國內,相關的氣象服務才剛剛起步,商業氣象服務市場更是一片空白,已有的氣象服務遠遠不能滿足農業、交通等行業的需求。而氣象的影響和相應的服務需求,從古至今都切實的存在著。據統計,中國每年因氣象災害造成的直接經濟損失占GDP的3% ~ 6%,全球每年氣象災害占自然災害的70%,平均損失超過300億美元。隨著互聯網技術的不斷升級,經濟全球化速度的加快,農業、交通、旅游、航空、零售業等等多個行業對氣象服務的依賴更是日漸緊密,這就給氣象工作者提出了更高的要求。
在諸多案例里面,氣象大數據也就是氣象數據加上行業數據等于事情能夠發生的變化規律和對未來的一些預測,氣象數據能做這樣的事情是因為客觀、穩定而且量非常大。而且氣象數據和各行各業的相關性非常高,過去說預測就是觀天象,一個是看天,還有就是氣象。在現代一些系統內的學者和社會上的學者研究,我們發現氣象通過大數據的應用有非常大的應用領域,比如說能源,可以觀測到電力負荷歷史,加上氣象條件 進行用電量估算,農業也是一樣,建筑行業也是,通過工期歷史加上歷史天氣就可以知道工期預測;還有交通,航班準點率歷史加上機場歷史天氣,就可以航班延誤 預測,準確性非常高;還有公共衛生,通過門診量和藥品銷量加上氣象歷史就可以知道發病率預測;在飲品方面,通過銷量和溫度就可以知道銷量預測;在生產方面,通過經濟數據加上氣象條件可以知道中國宏觀經濟判斷條件,這是技術性比較成熟;還有旅游,我們通過有客對旅游景區的評價和評價條件可以知道什么樣的景區適合什么天氣旅游。
曾經嘗試與保險公司推出“賞月險”的研究,保險公司因為沒有城市陰天或者影響賞月天氣的概率,不知道賠多少錢,所以只能是拍腦袋算。同時,他們通過天氣網站來進行判責,這個判責是不準確的。未來我們構想,保險服務很有可能是做保險理賠數據和天氣數據進行對比,能夠實時得出到底是什么樣的天氣造成了什么樣的理賠,這樣還是相對比較有價值的。
還有就是對藥品,西安楊森有一款息斯敏的藥,他們和我們合作,可以通過天氣歷史數據預測這個地區的過敏源以及發病率,得出的結果非常理想。比如說在北京三四月份的時候連續幾天溫度低溫,馬上就會造成非常嚴重的過敏問題。通過和氣象大數據的分析,可以幫助企業提前制定藥品的生產和銷售計劃。
“根據西方經濟學德爾菲氣象規律,企業在氣象信息上投資1元可得到98元的經濟回報。如果商家在生產、采購、銷售計劃中考慮氣象因素,不僅能避免損失,還可以變成在競爭中的優勢,幫助企業預測并確定生產營銷計劃。”
在我國,氣象大數據的應用也已經陸續開展起來。我國氣象服務目前的社會經濟效益投入與產出比達約為1:40—1:50。氣象大數據在各個行業中的潛能還有待充分的挖掘,專業氣象服務的發展空間還有待進一步開拓。
氣象數據對于全社會而言,是極其珍貴的數據和信息資源。我們期待著氣象數據在跨行業綜合應用這一“外部關聯價值”挖掘過程中煥發出新的耀眼光芒。而在此之前,氣象預報服務產品的廣泛社會應用,將是氣象部門履行職責,服務社會的工作重點;它與氣象數據的價值挖掘一道,成為氣象業務中不可或缺的組成部分。氣象大數據是氣象工作者未來做好氣象服務的重中之重。隨著氣象行業的公共服務職能越來越強大,諸如面向政府提供決策服務,面向公眾提供氣象預報預警服務,面向社會發展需要,應對氣候變化節能減排等等,這些服務信息如何才能突破現有的服務瓶頸,如何更好的體現海量氣象數據的市場價值,這些都取決于我們未來如何運用氣象大數據。
[1] 沈文海.氣象數據的“大數據應用”淺析[J].中國信息化,2014(6).
[2]Hand DJ.Principles of data mining.Drug Safety,2007,30(7);621 -622.
[3]王星.大數據分析;方法與應用[M].北京;清華出版社,2013.
薛小征(1984年12月22日)男,北京,畢業院校:北京聯合大學,從事專業:媒體,工作單位:中國氣象局公共氣象服務中心,職務:運營副總監。