淺議大數(shù)據(jù)的產(chǎn)生與發(fā)展現(xiàn)狀

康超

摘要：當(dāng)今社會(huì)，計(jì)算機(jī)和信息技術(shù)的發(fā)展越來越迅猛，各行應(yīng)用系統(tǒng)的規(guī)模在迅速擴(kuò)大，各行業(yè)應(yīng)用所產(chǎn)生的數(shù)據(jù)呈井噴式增長(zhǎng)。很多數(shù)據(jù)達(dá)到數(shù)百TB甚至數(shù)十至數(shù)百PB的規(guī)模，各行業(yè)所應(yīng)用的大數(shù)據(jù)已遠(yuǎn)遠(yuǎn)超出了傳統(tǒng)的計(jì)算和信息技術(shù)的處理能力，因此，現(xiàn)實(shí)世界迫切需要尋求有效的大數(shù)據(jù)處理技術(shù)、方法和手段。

關(guān)鍵詞：信息技術(shù)；大數(shù)據(jù)；處理技術(shù)

一、大數(shù)據(jù)產(chǎn)生的背景

計(jì)算機(jī)和網(wǎng)絡(luò)已經(jīng)成為當(dāng)今社會(huì)不可或缺的重要工具，人們?cè)诟鱾€(gè)領(lǐng)域中都需要計(jì)算機(jī)的幫助，人們利用計(jì)算機(jī)的高速度和大容量的特點(diǎn)完成了原來不能完成的任務(wù)，并且這種大容量的應(yīng)用越來越廣。例如淘寶網(wǎng)站累計(jì)的交易數(shù)據(jù)量高達(dá)100PB；百度網(wǎng)站目前的總數(shù)據(jù)量已超過1000PB，每天處理網(wǎng)頁的數(shù)據(jù)達(dá)到10PB～100PB；中國(guó)移動(dòng)公司在某一個(gè)省一個(gè)月的電話通話記錄數(shù)據(jù)高達(dá) 0.5PB～1PB；一個(gè)大型城市道路車輛監(jiān)控?cái)?shù)據(jù)三年達(dá)200億條、總量120TB。據(jù)世界權(quán)威信息咨詢分析公司研究報(bào)告預(yù)測(cè)：全世界的數(shù)據(jù)量將從2009年的0.8ZB增長(zhǎng)到2020年的35ZB，10年將增長(zhǎng)44倍。

人們?cè)谠缧┠炅?xí)慣把大規(guī)模數(shù)據(jù)稱為“海量數(shù)據(jù)”，但實(shí)際上，大數(shù)據(jù)（Big Data）這個(gè)概念在2008年就已經(jīng)被提出。2008年，在Google公司成立10周年之際，著名的《自然》雜志專門出版了一期專刊，討論大數(shù)據(jù)相關(guān)的一系列技術(shù)問題，其中就提出了大數(shù)據(jù)（Big Data）的概念。

隨著對(duì)大數(shù)據(jù)越來越多的了解，人們常常會(huì)問，究竟怎樣的數(shù)據(jù)才能稱作大數(shù)據(jù)？其實(shí)，關(guān)于大數(shù)據(jù)的定義，難以有一個(gè)非常準(zhǔn)確的說法。維基百科給出了一個(gè)關(guān)于大數(shù)據(jù)的描述：大數(shù)據(jù)是指無法使用傳統(tǒng)和常用的軟件技術(shù)和工具在一定時(shí)間內(nèi)完成獲取、管理和處理的數(shù)據(jù)集。其實(shí)，如今“大數(shù)據(jù)”一詞的重點(diǎn)已經(jīng)不僅在于數(shù)據(jù)規(guī)模的定義，它更多的是代表著計(jì)算機(jī)以及信息技術(shù)發(fā)展進(jìn)入了一個(gè)新的時(shí)代，代表著大數(shù)據(jù)處理所需要的新技術(shù)和新方法，也代表著大數(shù)據(jù)分析和應(yīng)用所帶來的新發(fā)明、新服務(wù)和新的發(fā)展機(jī)遇。

由于人們已經(jīng)認(rèn)識(shí)到大數(shù)據(jù)的迫切性和重要性，近年來大數(shù)據(jù)技術(shù)已經(jīng)在各國(guó)政府、學(xué)術(shù)界、以及工業(yè)界得到高度重視，全球掀起了一場(chǎng)可與20世紀(jì)90年代的信息高速公路相提并論的研究熱潮。

二、大數(shù)據(jù)的特征

計(jì)算機(jī)領(lǐng)域通常用4個(gè)V（即Volume、Variety、Value、Velocity）來概括大數(shù)據(jù)的特征。

大數(shù)據(jù)的特征一是數(shù)據(jù)量巨大（Volume）。據(jù)有關(guān)統(tǒng)計(jì)，截至目前，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量大約是200PB，而歷史上全人類說過的所有的話的數(shù)據(jù)量大約是5EB。然而目前很多個(gè)人計(jì)算機(jī)硬盤的容量為TB量級(jí)，而很多大企業(yè)的數(shù)據(jù)量已經(jīng)接近或達(dá)到EB量級(jí)。

大數(shù)據(jù)的特征二是數(shù)據(jù)類型繁多（Variety）。類型的多樣性讓數(shù)據(jù)被分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。相對(duì)于以往為了方便存儲(chǔ)以文本為主的結(jié)構(gòu)化數(shù)據(jù)，大數(shù)據(jù)主要采用非結(jié)構(gòu)化數(shù)據(jù)，主要包括網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等，這些多類型的數(shù)據(jù)對(duì)數(shù)據(jù)的處理技術(shù)提出了更高要求。

大數(shù)據(jù)的特征三是價(jià)值密度低（Value）。價(jià)值密度的高低與數(shù)據(jù)總量的大小成反比例關(guān)系。以監(jiān)控視頻為例，一段1小時(shí)的監(jiān)控視頻，有用數(shù)據(jù)可能僅有一二秒。如何通過精密的機(jī)器算法更迅速地完成對(duì)大量數(shù)據(jù)的價(jià)值“提純”成為目前大數(shù)據(jù)背景下亟待解決的難題。

大數(shù)據(jù)的特征四是處理速度快（Velocity）。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)最顯著特征之一。根據(jù)IDC的“數(shù)字宇宙”的報(bào)告，預(yù)計(jì)到2020年，全球數(shù)據(jù)使用量將達(dá)到35.2ZB。在如此海量的數(shù)據(jù)面前，如何快速準(zhǔn)確處理數(shù)據(jù)將是最關(guān)鍵的步驟。

三、大數(shù)據(jù)發(fā)展現(xiàn)狀

（一）政府積極介入推動(dòng)

2012年1月世界經(jīng)濟(jì)論壇年會(huì)上“大數(shù)據(jù)、大影響”作為重要議題來討論。美國(guó)從開展關(guān)鍵技術(shù)研究、開放政府?dāng)?shù)據(jù)和推動(dòng)大數(shù)據(jù)應(yīng)用三方面布局大數(shù)據(jù)產(chǎn)業(yè)。美國(guó)在開放政府?dāng)?shù)據(jù)上表現(xiàn)非常積極，通過data.gov開放37萬個(gè)數(shù)據(jù)集，并將開放網(wǎng)站的API和源代碼，提供了上千個(gè)數(shù)據(jù)應(yīng)用。同時(shí)美國(guó)提倡發(fā)起全球開放政府?dāng)?shù)據(jù)運(yùn)動(dòng)，目前已有四十多個(gè)國(guó)家和政府響應(yīng)。

（二）資本市場(chǎng)也對(duì)大數(shù)據(jù)鐘愛有加

大數(shù)據(jù)的迅速發(fā)展，使它成為IT領(lǐng)域的又一大新興產(chǎn)業(yè)。據(jù)中央財(cái)經(jīng)大學(xué)中國(guó)經(jīng)濟(jì)管理研究院博士張永力估算，現(xiàn)在國(guó)外大數(shù)據(jù)行業(yè)約有1000億美元的市場(chǎng)，而且每年都以10%的速度在增長(zhǎng)，增速是軟件行業(yè)的兩倍。

2012年4月，大數(shù)據(jù)分析公司Splunk高調(diào)宣傳大數(shù)據(jù)，引發(fā)投資者關(guān)注。2012年12月初，為企業(yè)市場(chǎng)提供Hadoop解決方案的創(chuàng)業(yè)公司Cloudera獲得6500萬美元融資，估值約為7億美元。近期，高盛聯(lián)席主席斯科特斯坦福說：“投資大數(shù)據(jù)及其運(yùn)用回報(bào)率最高”。大數(shù)據(jù)領(lǐng)域的企業(yè)并購(gòu)熱度也在上升，單筆平均并購(gòu)金額方面，大數(shù)據(jù)超過云計(jì)算位居IT領(lǐng)域榜首，在總并購(gòu)額上也位居第二。

（三）人才需求巨大

據(jù)國(guó)際咨詢公司蓋特納咨詢公司預(yù)測(cè)大數(shù)據(jù)將為全球帶來440萬個(gè)IT新崗位和上千萬個(gè)非IT崗位。麥肯錫公司預(yù)測(cè)美國(guó)到2018年需要深度數(shù)據(jù)分析人才44萬～49萬，缺口14萬～19萬人；需要既熟悉本單位需求又了解大數(shù)據(jù)技術(shù)與應(yīng)用的管理者150萬，這方面的人才缺口更大。中國(guó)是人才大國(guó)，但能理解與應(yīng)用大數(shù)據(jù)的創(chuàng)新人才卻是稀缺資源，未來的中國(guó)更需要大數(shù)據(jù)的人才。

（四）國(guó)內(nèi)情況

大數(shù)據(jù)的迅速發(fā)展，也帶動(dòng)了國(guó)內(nèi)政府、學(xué)術(shù)界和產(chǎn)業(yè)界和對(duì)大數(shù)據(jù)的熱情。2011年以來，中國(guó)許多計(jì)算機(jī)方面的協(xié)會(huì)成立了大數(shù)據(jù)委員會(huì)，研究大數(shù)據(jù)中的科學(xué)與工程問題。政府也積極相應(yīng)新技術(shù)的應(yīng)用，科技部的《中國(guó)云科技發(fā)展“十二五”專項(xiàng)規(guī)劃》和工信部的《物聯(lián)網(wǎng)“十二五”發(fā)展規(guī)劃》等都把大數(shù)據(jù)技術(shù)作為一項(xiàng)重點(diǎn)予以支持。其中工信部發(fā)布的物聯(lián)網(wǎng)“十二五”規(guī)劃，把信息處理技術(shù)作為4項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程之一被提出來，其中包括了海量數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘、圖像視頻智能分析，這都是大數(shù)據(jù)的重要組成部分。

市場(chǎng)應(yīng)用方面，中國(guó)移動(dòng)、聯(lián)通、電信三大通信運(yùn)營(yíng)商都在結(jié)合自身業(yè)務(wù)情況，積極推進(jìn)大數(shù)據(jù)的應(yīng)用工作，并取得了較大的進(jìn)展。阿里巴巴集團(tuán)提出要做中國(guó)數(shù)據(jù)分析第一平臺(tái)，通過掌握的企業(yè)交易數(shù)據(jù)，借助大數(shù)據(jù)技術(shù)自動(dòng)分析判定是否給予企業(yè)貸款，全程不會(huì)出現(xiàn)人工干預(yù)。

四、未來展望

（一）與云計(jì)算的深度結(jié)合

大數(shù)據(jù)的發(fā)展離不開云計(jì)算，云計(jì)算為大數(shù)據(jù)提供強(qiáng)大的基礎(chǔ)設(shè)備。自2013年開始，大數(shù)據(jù)技術(shù)已開始和云計(jì)算技術(shù)緊密結(jié)合，預(yù)計(jì)未來兩者關(guān)系將會(huì)更加密切。除此之外，物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)等新興計(jì)算形態(tài)，也將成為大數(shù)據(jù)革命不可或缺的技術(shù)支持。

（二）科學(xué)理論的突破

就像計(jì)算機(jī)和互聯(lián)網(wǎng)的快速發(fā)展一樣，大數(shù)據(jù)很有可能成為新一輪的技術(shù)革命。隨之興起的機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘技術(shù)和人工智能等相關(guān)技術(shù)，可能會(huì)改變數(shù)據(jù)世界里的基礎(chǔ)理論和很多算法，在科學(xué)技術(shù)上實(shí)現(xiàn)新的突破。

（三）數(shù)據(jù)科學(xué)和數(shù)據(jù)聯(lián)盟的成立

未來，數(shù)據(jù)科學(xué)將成為一門專門的學(xué)科。各大高校也會(huì)設(shè)立專門的數(shù)據(jù)科學(xué)類專業(yè)，催生一批與之相關(guān)新興產(chǎn)業(yè)。與此同時(shí)，基于數(shù)據(jù)這個(gè)基礎(chǔ)平臺(tái)，也將建立起跨領(lǐng)域的數(shù)據(jù)共享平臺(tái)。

大數(shù)據(jù)作為一種重要的戰(zhàn)略資產(chǎn)，已經(jīng)滲透到許多行業(yè)領(lǐng)域和部門，其深度應(yīng)用不僅有助于企業(yè)經(jīng)營(yíng)活動(dòng)，更利于推動(dòng)整個(gè)國(guó)民經(jīng)濟(jì)發(fā)展。