淺議大數據的產生與發展現狀

康超

摘要：當今社會，計算機和信息技術的發展越來越迅猛，各行應用系統的規模在迅速擴大，各行業應用所產生的數據呈井噴式增長。很多數據達到數百TB甚至數十至數百PB的規模，各行業所應用的大數據已遠遠超出了傳統的計算和信息技術的處理能力，因此，現實世界迫切需要尋求有效的大數據處理技術、方法和手段。

關鍵詞：信息技術；大數據；處理技術

一、大數據產生的背景

計算機和網絡已經成為當今社會不可或缺的重要工具，人們在各個領域中都需要計算機的幫助，人們利用計算機的高速度和大容量的特點完成了原來不能完成的任務，并且這種大容量的應用越來越廣。例如淘寶網站累計的交易數據量高達100PB；百度網站目前的總數據量已超過1000PB，每天處理網頁的數據達到10PB～100PB；中國移動公司在某一個省一個月的電話通話記錄數據高達 0.5PB～1PB；一個大型城市道路車輛監控數據三年達200億條、總量120TB。據世界權威信息咨詢分析公司研究報告預測：全世界的數據量將從2009年的0.8ZB增長到2020年的35ZB，10年將增長44倍。

人們在早些年習慣把大規模數據稱為“海量數據”，但實際上，大數據（Big Data）這個概念在2008年就已經被提出。2008年，在Google公司成立10周年之際，著名的《自然》雜志專門出版了一期專刊，討論大數據相關的一系列技術問題，其中就提出了大數據（Big Data）的概念。

隨著對大數據越來越多的了解，人們常常會問，究竟怎樣的數據才能稱作大數據？其實，關于大數據的定義，難以有一個非常準確的說法。維基百科給出了一個關于大數據的描述：大數據是指無法使用傳統和常用的軟件技術和工具在一定時間內完成獲取、管理和處理的數據集。其實，如今“大數據”一詞的重點已經不僅在于數據規模的定義，它更多的是代表著計算機以及信息技術發展進入了一個新的時代，代表著大數據處理所需要的新技術和新方法，也代表著大數據分析和應用所帶來的新發明、新服務和新的發展機遇。

由于人們已經認識到大數據的迫切性和重要性，近年來大數據技術已經在各國政府、學術界、以及工業界得到高度重視，全球掀起了一場可與20世紀90年代的信息高速公路相提并論的研究熱潮。

二、大數據的特征

計算機領域通常用4個V（即Volume、Variety、Value、Velocity）來概括大數據的特征。

大數據的特征一是數據量巨大（Volume）。據有關統計，截至目前，人類生產的所有印刷材料的數據量大約是200PB，而歷史上全人類說過的所有的話的數據量大約是5EB。然而目前很多個人計算機硬盤的容量為TB量級，而很多大企業的數據量已經接近或達到EB量級。

大數據的特征二是數據類型繁多（Variety）。類型的多樣性讓數據被分為結構化數據和非結構化數據。相對于以往為了方便存儲以文本為主的結構化數據，大數據主要采用非結構化數據，主要包括網絡日志、音頻、視頻、圖片、地理位置信息等，這些多類型的數據對數據的處理技術提出了更高要求。

大數據的特征三是價值密度低（Value）。價值密度的高低與數據總量的大小成反比例關系。以監控視頻為例，一段1小時的監控視頻，有用數據可能僅有一二秒。如何通過精密的機器算法更迅速地完成對大量數據的價值“提純”成為目前大數據背景下亟待解決的難題。

大數據的特征四是處理速度快（Velocity）。這是大數據區分于傳統數據最顯著特征之一。根據IDC的“數字宇宙”的報告，預計到2020年，全球數據使用量將達到35.2ZB。在如此海量的數據面前，如何快速準確處理數據將是最關鍵的步驟。

三、大數據發展現狀

（一）政府積極介入推動

2012年1月世界經濟論壇年會上“大數據、大影響”作為重要議題來討論。美國從開展關鍵技術研究、開放政府數據和推動大數據應用三方面布局大數據產業。美國在開放政府數據上表現非常積極，通過data.gov開放37萬個數據集，并將開放網站的API和源代碼，提供了上千個數據應用。同時美國提倡發起全球開放政府數據運動，目前已有四十多個國家和政府響應。

（二）資本市場也對大數據鐘愛有加

大數據的迅速發展，使它成為IT領域的又一大新興產業。據中央財經大學中國經濟管理研究院博士張永力估算，現在國外大數據行業約有1000億美元的市場，而且每年都以10%的速度在增長，增速是軟件行業的兩倍。

2012年4月，大數據分析公司Splunk高調宣傳大數據，引發投資者關注。2012年12月初，為企業市場提供Hadoop解決方案的創業公司Cloudera獲得6500萬美元融資，估值約為7億美元。近期，高盛聯席主席斯科特斯坦福說：“投資大數據及其運用回報率最高”。大數據領域的企業并購熱度也在上升，單筆平均并購金額方面，大數據超過云計算位居IT領域榜首，在總并購額上也位居第二。

（三）人才需求巨大

據國際咨詢公司蓋特納咨詢公司預測大數據將為全球帶來440萬個IT新崗位和上千萬個非IT崗位。麥肯錫公司預測美國到2018年需要深度數據分析人才44萬～49萬，缺口14萬～19萬人；需要既熟悉本單位需求又了解大數據技術與應用的管理者150萬，這方面的人才缺口更大。中國是人才大國，但能理解與應用大數據的創新人才卻是稀缺資源，未來的中國更需要大數據的人才。

（四）國內情況

大數據的迅速發展，也帶動了國內政府、學術界和產業界和對大數據的熱情。2011年以來，中國許多計算機方面的協會成立了大數據委員會，研究大數據中的科學與工程問題。政府也積極相應新技術的應用，科技部的《中國云科技發展“十二五”專項規劃》和工信部的《物聯網“十二五”發展規劃》等都把大數據技術作為一項重點予以支持。其中工信部發布的物聯網“十二五”規劃，把信息處理技術作為4項關鍵技術創新工程之一被提出來，其中包括了海量數據存儲、數據挖掘、圖像視頻智能分析，這都是大數據的重要組成部分。

市場應用方面，中國移動、聯通、電信三大通信運營商都在結合自身業務情況，積極推進大數據的應用工作，并取得了較大的進展。阿里巴巴集團提出要做中國數據分析第一平臺，通過掌握的企業交易數據，借助大數據技術自動分析判定是否給予企業貸款，全程不會出現人工干預。

四、未來展望

（一）與云計算的深度結合

大數據的發展離不開云計算，云計算為大數據提供強大的基礎設備。自2013年開始，大數據技術已開始和云計算技術緊密結合，預計未來兩者關系將會更加密切。除此之外，物聯網、移動互聯網等新興計算形態，也將成為大數據革命不可或缺的技術支持。

（二）科學理論的突破

就像計算機和互聯網的快速發展一樣，大數據很有可能成為新一輪的技術革命。隨之興起的機器學習、數據挖掘技術和人工智能等相關技術，可能會改變數據世界里的基礎理論和很多算法，在科學技術上實現新的突破。

（三）數據科學和數據聯盟的成立

未來，數據科學將成為一門專門的學科。各大高校也會設立專門的數據科學類專業，催生一批與之相關新興產業。與此同時，基于數據這個基礎平臺，也將建立起跨領域的數據共享平臺。

大數據作為一種重要的戰略資產，已經滲透到許多行業領域和部門，其深度應用不僅有助于企業經營活動，更利于推動整個國民經濟發展。