劉巍巍 劉壽東 范秋丹
(1.南京信息工程大學,江蘇 南京 210044;2.中國氣象局公共氣象服務中心,北京 100081)
互聯網時代下的氣象數據應用分析
劉巍巍1,2劉壽東1范秋丹2
(1.南京信息工程大學,江蘇 南京 210044;2.中國氣象局公共氣象服務中心,北京 100081)
運用比較研究法和個案研究法,分析了氣象數據的特征及其在互聯網中的應用效果;總結歸納出氣象數據在互聯網中應用的3個創新;即思維創新、價值創新、數據創新;并提出讓氣象數據“發聲”和強化氣象和行業的相關性研究是氣象數據在互聯網中應用的關鍵點。
氣象數據; 氣象服務; 互聯網; 大數據
2008年《Nature》出版了“Big Data”專刊[1],從互聯網技術、網絡經濟學、超級計算、環境科學、生物醫學等多個方面介紹大數據所帶來的挑戰。《Science》也在2011年推出數據處理“Dealing with Data”專刊[2],討論大數據所帶來的挑戰和大數據科學研究的重要性。而隨著經濟利益驅動,BAT(百度、阿里巴巴、騰訊)是國內最早開展大數據應用的互聯網企業。
2014年5月27日,中國氣象局與互聯網巨頭阿里巴巴集團建立云平臺戰略合作,共同挖掘氣象數據的深層價值,正式開啟了大數據應用的大門。2014年11月,第六次全國氣象服務工作會議提出“發揮氣象事業單位和企業技術的創新主體作用,推動高時空分辨率氣象服務數值模式應用技術、基于影響的氣象預報預警技術等關鍵技術創新和基于大數據、物聯網、云計算、新媒體等新技術新手段的應用技術創新。”至此,“大數據、物聯網、云計算、新媒體”等具有時代意義的概念被提升到氣象數據服務應用層面,氣象服務不再僅僅停留在天氣預報等基礎數據應用,而是運用大數據思維,利用互聯網平臺,開展氣象大數據的深度挖掘和應用分析,實現氣象數據新的價值突破。
2010年,Apache Hadoop組織將大數據定義為:“普通的計算機軟件無法在可接受的時間范圍內捕捉、管理、處理的規模龐大的數據集”。全球知名咨詢公司麥肯錫給出的定義是: 大數據是指大小超出常規的數據庫工具獲取、存儲、管理和分析能力的數據集[3]。
隨著大數據應用的迅速發展,其特征也從原來的3v、4v發展到現在的5v:數據體量(Volume)巨大,處理速度(Velocity)快,數據種類(Variety)多,數據真實性(Veracity),商業價值(Value)大。大數據所蘊藏的信息隱藏在海量數據之中,想要從海量數據中尋找到所需信息,就要通過高效的計算方法完成數據價值提煉,這也是大數據時代最需解決的難題。
氣象數據是反映天氣的一組數據,分為氣候資料和天氣資料。氣候資料通常所指的是用常規氣象儀器所觀測到各種原始資料的集合以及加工、整理、整編所形成的各種資料。天氣資料是為天氣分析和預報服務的一種實時性很強的氣象資料。目前,由于數據安全性等因素限制,大部分開展大數據應用和研發的數據主要是氣象資料。
氣象資料主要包括地面觀測、氣象衛星遙感、天氣雷達和數值預報產品等資料,占氣象資料的90%以上。另外,高空探測、農業氣象觀測、沙塵和閃電觀測、風廓線雷達探測等資料也屬于氣象資料。但氣象數據的體量與互聯網、電信、金融、保險等行業的大數據相比至少低3個數量級,所以說氣象數據只是大數據的子集,具有大數據特征,但有其獨特性。
氣象數據作為大數據的“子集”,有其獨有特征:
1.數據體量(Volume)大,但數據量不會無限制擴大
占氣象資料90%以上的地面觀測資料、雷達和衛星資料、數值預報資料雖然具有體量大的“大數據”特點,但是仍有氣象數據自身的特性。地面觀測站數量和觀測頻次是根據氣象業務需求有計劃增加,而不是無限制,所以數據體量是可以控制的。目前,氣象雷達布網基本完成,已經實現全天候全國范圍內的不間斷觀測,可以滿足服務需求。雖然未來我國還會發射新的氣象衛星,但是氣象衛星資料在氣象部門有氣象衛星業務系統實時接收處理,并提供給專業氣象人員應用分析,其數據始終處于可以控制管理的狀態。數值預報模式產品資料是專門為預報員和科研人員做天氣預報和氣候預測使用的,不對外,因此也是可以控制的,未來也將始終如此[4]。
2.數據種類(Variety)多,但來源和含義單一
按照《氣象資料分類與編碼》行業標準,氣象資料分為14大類,數百種小類。雖然氣象資料種類多,但每種資料所表示的信息含義都是單一的,如天氣現象、溫度、相對濕度、能見度、降水量、風向風力等都只是記錄某一個地區在某個時間的天氣信息,并且這些數據都來自氣象部門內部的儀器觀測。這與網絡上的搜索詞條、網購數據、社交信息等這些來源繁多的互聯網大數據有很大差異。氣象數據是氣象部門內部對天氣信息的記錄,而大數據是人們在互聯網上的行為記錄。
3.很難產生直接經濟價值,但有巨大的相關性商業價值(Value)
正因為氣象數據的內容單純且來源單一,也決定了其自身很難直接產生經濟價值,而是主要應用于氣象業務,即:天氣預報、氣候預測以及氣象服務。但是,隨著互聯網的發展,在大數據時代背景下,農業、交通、旅游、醫療、購物、飲食等行業數據和氣象數據,可以通過數據挖掘,進一步厘清氣象條件對各行業的影響,并用于指導相關行業的發展。因此,氣象數據的商業價值主要體現在與其有相關性的事物上。
可見,氣象數據有其獨特性,氣象數據的價值體現和價值創新必須要與社會各行業龐大的大數據相結合,而不能獨立應用。
從1904年皮葉克尼斯提出天氣預報是一個物理初值問題至今,在短短不到一百年的時間里,氣象數據的應用實現了質的飛躍。特別是近20年來,氣象數據增長了近千倍,氣象信息量越大,所蘊藏的有效價值就越多,就越需要深入挖掘分析。而隨著大數據時代的來臨,氣象數據如何應用就更為關鍵。
2014-2015年,移動互聯網迅速崛起,“非常準”、“航旅縱橫”、“滴滴打車”、“一畝田”等互聯網公司均與氣象部門建立合作,開展氣象大數據應用。因此,本文以氣象數據在互聯網中的應用為個案,總結分析氣象大數據應用的效果、創新點及關鍵點。
天氣和農業生產聯系尤為緊密,從播種到收獲,溫度、降水、日照、風力、蒸發量等氣象因子對農作物的產量和品質都有重要影響。2015年,一畝田與氣象部門建立“氣象+農業”的大數據應用分析的合作協議。經過長達3個月的方案研究,最終確定“氣象+農業”的應用場景,包括以下3個方面:
農業生產方面:氣象數據可以幫助一畝田指導農戶安排農業生產,減輕因天氣原因造成的損失。以廣西崇左西瓜為例,由于西瓜喜熱,2015年開春后倒春寒天氣導致大量瓜苗凍死。常年的西瓜上市期,南方普降大雨持續十幾天,嚴重影響銷售,農管家的交易平臺上西瓜周均價一直處于下行。通過分析氣象數據,在連續降溫降雨前將天氣預警信息推送給產地用戶,有效地指導了農戶安排生產銷售計劃,減輕了農戶因天氣原因帶來的經濟損失,為農戶帶來增收。
物流運輸方面:氣象數據可以幫助物流公司選擇最優線路,確保交貨時間,提升運輸效率、降低運輸成本。以一畝田物流為例,與阿里巴巴一樣,一畝田采用“第四方物流”,即不建倉庫不建車隊,完全依靠社會運力來解決。一畝田在物流方面同樣扮演的是一個“信息平臺”,向能提供物流服務的社會運力開放,無論個人或者公司,都可以在一畝田的平臺上發布使用車輛或者提供車輛服務的信息。例如2015年上半年,南方地區強降雨天氣持續,導致北方地區雞蛋積壓,極大的影響了雞蛋的品質與銷量。一畝田“信息平臺”將天氣趨勢和預警信息推送給物流公司,負責物流調度相關人員提前安排產品運輸,確保了交貨時間。
銷售終端方面:氣象數據可以幫助消費者預估市場供需價格變化,以便合理采購,既提供了精準營銷的參考,也增加了銷量。因為互聯網終端消費者不僅有公眾,還有大部分用戶是公司,即與公眾日常生活緊密相關的采購方,包括各種類型和層次的批發商、飯店、超市、深加工企業和出口貿易企業等用戶。一畝田力圖縮短中間流通環節,通過強大的線上線下服務能力,解決了因為信息不對稱而導致的農產品流通效率低下和損耗嚴重的問題,讓采購更便捷,食材更新鮮。在這個過程中,向消費端推送天氣信息,有利于采購方評估采購原料,制定采購計劃,安排采購進度。
與傳統的氣象服務相比,氣象數據應用于互聯網領域有3點創新:
思維創新:互聯網為氣象數據的應用提供了新的契機和廣闊空間,數據應用不再僅僅是天氣預報等基礎氣象服務,而是基于互聯網行業的大數據應用服務和大數據間的相關性研究。
價值創新:數據價值不再僅僅局限于“今天多少攝氏度”,還包括對氣象相關行業進行大數據研究,挖掘所產生的商業經濟價值,揭開了“今天多少攝氏度”背后的“面紗”。
數據創新:數據應用不再僅僅是千篇一律,而是從市場需求出發,打造符合各行業特定需要的定制化氣象大數據應用和精細化氣象服務。
1.讓氣象數據發聲
公眾普遍認為,谷歌、亞馬遜及國內的BAT等網站是大數據的先驅者,但事實上,政府才是大規模信息的原始采集者。在大數據時代,知道“是什么”就已經足夠了,完全沒必要知道“為什么”。所以,重要的不是現象背后的原因,而是現象是什么,要讓數據“發聲”。而氣象數據作為大數據的“一員”,也需要通過創新性的應用分析來釋放潛在的數據價值。因此,讓氣象數據“發聲”是氣象數據應用的關鍵點。
但由于政府在獲取數據中所處的特殊地位,所以有些數據應該具有保密性。2015年,中國氣象局建立氣象數據公開網站,氣象數據開始對公眾開放,即允許私營部門和社會大眾訪問,得到了社會的一致好評,也促進了公眾進一步了解并接受氣象數據的價值。但是使用氣象數據的一個原則是,少數可能會危害到國家安全或秘密的數據不能公開。
2.強化氣象與行業的相關性研究
大數據的應用分析有兩個方向:一個是數據的處理與表示,主要強調數據采集、存取、加工和可視化方法;另一個是數據本質特征的提取和模式發現,即數據挖掘[5,6]。通過深度挖掘數據價值和強化相關性研究,可以比以前更容易、更快捷、更清楚地分析事務。
強化相關性研究應用最好的例子是世界上最大的零售商沃爾瑪。沃爾瑪對包括顧客的購物清單、消費額、購物籃中的物品、具體購買時間和購買當日的天氣等歷史交易記錄大數據進行分析。分析研究的結論是:每當季節性颶風來襲之前,不僅是手電筒銷售量增加,蛋撻的銷量也同時增加。因此,當季節性風暴來臨時,沃爾瑪會把庫存的蛋撻放在靠近颶風用品的位置,以方便顧客選購從而提升銷售量。
因此,對氣象數據來說,尋找與氣象相關性強的事物來應用、深度挖掘氣象數據的潛在價值是氣象數據應用的關鍵點。
運用比較研究法和個案研究法,分析了氣象數據特征及其在互聯網中的應用效果。結果表明,氣象數據有其獨有特征,主要體現在:數據體量大但不會無限制擴大、數據種類多但來源和含義單一、很難產生直接經濟價值但有巨大的相關性商業價值。
氣象數據在互聯網中應用的創新點主要體現在:思維創新即運用互聯網思維,開展氣象大數據應用服務和大數據間的相關性研究;價值創新即開展“氣象+行業”大數據分析挖掘,創造氣象數據應用于行業的商業經濟價值;數據創新即從市場需求出發,研發定制化的氣象大數據應用產品和精細化氣象數據。而在保證數據安全性的前提下,讓氣象數據“發聲”和強化氣象數據的相關性研究是氣象數據在互聯網中應用的關鍵點。
[1]Nature.BigData[EB/OL].[2014-08-23].http://www.nature.com/news/pecials/bigdata /index.Htm.
[2]Science.Special Online Collection: Dealing with Data[EB/OL].(2011-02-11).[2014-08-23].http: //www.Sciencemag.org /site /special /data /
[3]Manyika J, Chui M, Brown B, et al.Big Data:The Next Frontier for Innovation,Competition,and Productivity[EB/OL].[2014-09-02].http://www.mckinsey.com/insights/business-technology/bigdata_the_next_frontier_for_innovation.
[4]沈文海.氣象數據的“大數據應用”淺析[J].中國信息化,2014 (11).
[5]王銳,任慶忠,基于改進后數據包絡模型的省際環境效率評價[J].管理現代化,2015 (2).
[6]王星.大數據分析:方法與應用[M].北京:清華大學出版社,2013.
[7]梅宏,王千祥,張路,等.軟件分析技術進展[J].計算機學報,2009 (9).
X324;TP391
A
1003-1154(2016)01-0064-03
10.3969/j.issn.1003-1154.2016.01.021
國家自然科學基金面上項目(40975072);江蘇省高校優勢學科建設工程項目(PADA).