大數據技術簡介

■段鵬松

當前,大數據是個很熱的詞,各種大數據分析工具也時常出現,讓人感覺非常時髦。那么,大數據究竟是什么?目前的研究進展如何?對普通人的生活有何影響?本文將圍繞這些問題展開介紹。

一、什么是大數據

人類的一切語言文字、圖形圖畫、音像記錄等,所有感官可以察覺到的事物,只要能被記下來,能夠查詢到,都可以稱為數據(data)。大數據也是數據,但又不同于一般的數據。一般來說,大數據除了一般數據的特征,還具有體量巨大、處理速度快、數據類型多樣和潛在價值高這四個特征。

1.體量巨大。體量巨大指的是大數據包含的數據數量非常多,占用的存儲空間較大。以平時接觸較多的手機流量來說,常見統計單位為kB、MB和GB等。這些統計單位之間的關系為1GB=1024MB,1MB=1024kB。就目前的技術而言,要成為大數據,存儲至少達到TB級別以上,而1TB=1024GB。但要注意,如果只是體量巨大,而結構單一,也不能稱為大數據。

2.處理速度快。實際生活中,數據量可能會隨著時間的積累而不斷增長,也可能隨著空間的變化而不斷變化。數據都具有一定的時效性,如果采集到的數據不能得到及時處理,最終會過期作廢,失去應用的價值。對于海量的數據,如果能在有效時間內完成處理,則可以稱為大數據;反之,則不能稱之為大數據。

3.數據類型多樣。作為大數據,其包含的數據類型可能是多種多樣的,并不僅僅局限于一種數據類型。目前,文字、圖片、語音、圖像,一切在網絡上可以傳輸和顯示的信息,都可以屬于大數據的范疇。從結構上來說,當前的大數據主要指半結構化和非結構化的信息,如網站的各種日志文件、發布的音視頻文件等。

4.潛在價值高。大數據應用的最終目的是通過挖掘和分析,發現趨勢或規律,進而指導實際工作。如果數據本身是毫無規律的,不能對實際工作行程進行指導,則不能稱為大數據。盡管大數據的潛在價值高,但由于數據量巨大,所以價值密度低,要通過大量分析才能實現從數據到價值的轉變。

二、大數據典型案例

迄今為止,已經有不少的大數據應用經典案例,這些案例的出現,使人們真正認識了大數據的威力。

1.啤酒與尿布。20世紀90年代,全球零售業巨頭沃爾瑪在對消費者購物行為分析時發現,男性顧客在購買嬰兒尿片時,常常會順便搭配幾瓶啤酒來搞勞自己,于是嘗試推出了將啤酒和尿布擺在一起的促銷手段。沒想到這個舉措居然使尿布和啤酒的銷量都大幅增加了,取得了較好的經濟效益。如今,“啤酒+尿布”的例子早已成了大數據技術應用的經典案例,被人們津津樂道。

2.Google成功預測冬季流感。2009年,Google通過分析5000萬條美國人最頻繁檢索的詞匯,將之和美國疾病中心在2003年到2008年間季節性流感傳播時期的數據進行比較,并建立一個特定的數學模型。通過該模型,最終成功預測了2009年冬季流感的傳播,甚至可以具體到特定的地區和州。

3.大數據與喬布斯癌癥治療。喬布斯是蘋果手機的創始人,也是世界上第一個對自身所有DNA和腫瘤DNA進行排序的人。他支付了高達幾百萬美元的費用,得到包括整個基因的數據文檔。醫生根據分析結果按需下藥,最終這種方式幫助喬布斯延長了好幾年的生命。

除此之外,還有其他很多的大數據應用案例,如淘寶平臺對用戶的精準畫像、“互聯網+”思維下的平臺優勢,以及近年來頻頻爆出的演唱會上利用AI技術和人臉大數據抓捕逃犯等。隨著技術的不斷發展,未來會有更多的大數據應用出現。

三、目前發展情況

目前,IT界普遍認為當前大數據技術主要起源于谷歌。谷歌工程師在2003至2006年先后公開發表了關于MapReduce、GFS和BigTable等核心技術的學術論文,這一系列技術迅速引起巨大反響,吸引了雅虎、Facebook等互聯網公司的注意,直接導致了目前應用最為廣泛的開源大數據框架ApacheHadoop的誕生。

隨著人們對數據科學的深入認識,發達國家都意識到數據作為國家戰略資產的重要性,以美國為首的多個國家先后發布了大數據的國家發展戰略,聯合國也發布了《大數據促發展:挑戰與機遇》白皮書。報告中總結了各國政府如何利用大數據更好地服務和保護人民,指出了大數據的到來對于聯合國和各國政府是個歷史性機遇。

在國內,大數據技術也提上了國家的戰略發展日程。2013年,我國多位院士聯合上書國務院,建議設立國家專項開展大數據技術研究,將大數據上升為國家戰略。在2014年的兩會上包括金山和小米公司董事長雷軍在內的多位代表提出加快實施大數據國家戰略的建議。2016年,工業和信息化部正式印發了《大數據產業發展規劃(2016-2020年)》,全面部署“十三五”時期大數據產業發展工作,加快建設數據強國,為實現制造強國和網絡強國提供強大的產業支撐。

由上可見,大數據技術及應用已經成為一項新的戰略,受到政府部門的高度重視。未來,大數據技術作為一個成熟的技術,將應用到國計民生的各個領域,對各個領域帶來巨大的沖擊和變革,以及前所未有的發展機遇。

四、未來發展趨勢

未來,大大數據技術發展將呈現以下幾個趨勢。

1.可視化推動大數據發展平民化。大數據可視化技術從存儲空間中將這些關鍵信息進行提取,通過圖像、圖形的形式將這些信息更直觀地表達出來,并運用多種不同的分析手段來提取位置信息,將這些潛在信息通過圖形、圖像等直觀方式展示出來,從而幫助人們更好地理解、挖掘大數據下隱藏的信息。可視化技術將使得普通人群也可以直觀看出大數據的價值,推動大數據應用的平民化。

2.與云計算關系越來越密切。大數據的未來正朝著智能化的方向發展,涉及讓機器用人的思維去思考,理解人類的行為模式,并對未來進行預測,這些智能化的實現都離不開云計算。云計算是一種基于互聯網的計算方式,其計算效率高、速度快、成本低,不需要人們掌握專業的技術知識就可以使用,具有很強的靈活性。目前,很多大數據技術都已和云計算緊密結合。

3.與物聯網緊密結合。隨著智能交通、智能家居、智能物流、智慧景區等應用的興起,物聯網已成為未來經濟的新增長點。物聯網是指把所有物品通過信息傳感設備與互聯網連接起來,實現智能化識別和管理。物聯網應用中會有海量的數據需要處理,和大數據結合是必然的趨勢。

五、高校的大數據專業

如今,大數據產業發展如日中天,各大高校的大數據專業建設也是如火如荼。2016年初,教育部公布的《2015年度普通高等學校本科專業備案和審批結果》中共有3所高校(分別是北京大學、對外經濟貿易大學和中南大學)獲批開辦“數據科學與大數據技術”專業。2017年和2018年,教育部又進行了兩次該專業的申請批準,分別通過了32所高校和248所高校的大數據專業申請。

總體來說,各大高校的大數據技術專業學制均為四年,旨在培養具有大數據思維、運用大數據思維及分析應用技術的高層次大數據人才。在培養過程中,要求學生掌握計算機理論和大數據處理技術,從大數據應用的三個主要層面系統地培養學生掌握大數據應用中的各種典型問題的解決辦法,實際提升學生解決實際問題的能力。

大數據專業畢業生能夠從事大數據研究和開發應用的高層次人才。畢業生能在政府機構、企業、公司等從事大數據管理、研究、應用開發等方面的工作。同時,也可以考取軟件工程、計算機科學與技術、應用統計學等專業的研究生或出國深造。