大數據的本質及其可能的影響

如何促進數據共享和開放是中國大數據發展的重要議題。在數據隱私保護、知識產權框架及關鍵領域研發等方面，都需要政府發揮恰當的作用

關于大數據的議題，雖然早在1980年托夫勒的《第三次浪潮》中就有所提及，但在2011年前，關于大數據的討論基本局限于計算機技術領域內部，影響范圍相對較小。2011年5月，在EMC與IDC合作進行“數字宇宙”研究5年之后，正式發布提出了“大數據”的概念。同年6月，IBM、麥肯錫等眾多國外機構發布相關研究報告，積極跟進大數據概念的推廣。2012年3月美國奧巴馬政府發布“大數據研究和發展倡議”，希望增強收集海量數據、分析萃取信息的能力，把大數據上升到了國家戰略的層面。大數據逐漸引起廣泛關注。

IT領域從來不缺乏新概念，近幾年關于“物聯網”、“云計算”、“智慧地球”等概念都曾引起了廣泛關注，并在實體經濟中引發了投資熱潮。這一次“大數據”概念的提出，有何重要意義？與前幾次相關概念的提出有何聯系和區別？

大數據概念的內涵

1.大數據的來源。以更快的速度、更強的處理能力進行數據計算一直是IT領域技術創新的重要目標。從1946年第一臺數字計算機發明以來，數據的體量和復雜性在絕大部分時間內一直是超越計算機處理能力的。一方面，技術的發展使人類能夠逐漸地數字化各種事物，從數據、文字、圖片、到聲頻、視頻。數據采集、存儲、擴散等的技術不斷發展，使全面記錄人與自然界各種現象的“泛在存儲”成為可能。另一方面，計算機和網絡的發展為人類開辟了一種前所未有的生活方式，拓展了人們的活動空間和范圍，產生了大量新的數據。尤其是近年來移動通訊和物聯網的迅猛發展，遍布于物理世界的移動設備、RFID、無線傳感器等無時無刻不在產生數據，數以億計的互聯網用戶也隨時產生巨量的數據交互，構成了大數據的重要來源。另外，科學研究項目也在產生海量數據，例如歐洲大型強子對撞機每秒產生約700兆數據流，每年的試驗數據達到1.5TB；全球醫院每年僅醫學成像數據可達20TB。

從數據類型來看，全世界結構化數據增長率大概是32%，而非結構化數據增長率則是63%。估計在2012年全球非結構化數據約占有互聯網數據量的75%以上。目前階段，對關系數據庫中的結構化數據我們有相對較強的分析能力，結構化數據多年來也一直主導著IT應用，但在分層數據、文檔、電子郵件、圖像、音頻、視頻、商業及金融交易等非結構化數據所占比例越來越大的趨勢下，數據的增長速度和數據類型的變化速度與計算機處理能力的差距愈發明顯，如何挖掘傳統技術難以發現的知識，成為重要的技術挑戰。

2.大數據概念的相對性。從數據體量的絕對性觀察，用計算機數據存儲和運算的單位字節（Byte）來衡量，以1024為乘數，衡量單位依次躍升為：KB，MB，GB，TB，PB，EB，ZB，YB。2010年，全球數據量達到ZB級別，為1.2ZB，未來全球數據增速將會維持，預計到2020年全球數據量將達到35ZB。在當前階段，麥肯錫認為處理量在TB級別的數據可稱為大數據，IDC認為多個數據的集合有可能達到PB級的數據儲量為大數據。按照IDC預測的全球數據量大約每兩年翻一番的速度標準，我們不妨把眼光放在更遠的未來，當人類在20余年后產生的數據總量越過ZB級，以其可猜想的數據處理能力，當前TB、PB級別的數據就難以稱之為“大”數據了。所以大數據的“大”字帶有階段主觀性。

大部分大數據的定義，其描述的重點都是數據規模的相對性。麥肯錫把大數據描述為“無法在一定時間內用傳統數據庫軟件工具對其內容進行抓取、管理和處理的數據集合”，強調的是獲取大數據價值的技術可行性；Gartner將大數據定義為“大數據是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產”；強調發掘大數據價值的創新性；IDC定義大數據為“為了更為經濟的從高頻率獲取的、大容量的、不同結構和類型的數據中獲取價值，而設計的新一代架構和技術。人們并用它來描述和定義信息爆炸時代產生的海量數據，并命名與之相關的技術發展與創新”，強調大數據作為一項系統工程所覆蓋的范圍。從相對概念上講，大數據的“大”是指在信息化發展的當前階段，傳統文件系統、關系數據庫、并行處理等技術無法有效處理的極大規模數據或極限計算。我們需要新的能力來通過海量數據的交換、整合和分析，發現新的知識和創造新的價值。

3.大數據概念出現的必然性。理解當前階段出現的大數據概念，需要結合互聯網及物聯網發展的歷程進行分析。自上世紀90年代網絡向公眾開放，互聯網從初期的簡單聯系平臺，過渡到瀏覽平臺，目前成為交互平臺和工作平臺，并正向著智慧平臺邁進。在向智慧平臺邁進的過程中，“物聯網”、“云計算”、“智慧地球”三個概念的提出對“大數據”概念的出現有著重要意義。

物聯網是通過射頻識別、全球定位系統、激光掃描器等信息傳感設備，把任何物品與互聯網連接，進行信息交換和處理，達到對物理世界實時控制、精確管理和科學決策的目的，實現人與人、人與物、物與物之間的信息交互和無縫鏈接。如果說在物聯網提出之前互聯網著重解決的是人與人的信息溝通問題，物聯網則是通過人與人、人與物、物與物的相聯，解決的是人與世界的信息溝通問題，是互聯網的延伸和拓展。

云計算是一種基于互聯網的分布式計算技術，通過這種方式，共享的軟硬件資源和信息按需提供給聯網的計算機和其他設備來達到分散處理量的目的，可以在短時間內完成海量信息的處理。人類一方面通過高性能計算機的發展來達到更高的處理速度，另一方面通過計算方式的優化，形成更高的處理能力，以應對物聯網等產生的海量數據。

“智慧地球”是IBM提出的概念。雖然在技術層面和安全層面可能還有所爭論，但在戰略層面已經得到國際間廣泛的認可?！爸腔鄣厍颉钡闹饕苿恿碜匀齻€方面：一是“更透徹的感知”，即通過物聯網實現物質世界的數據化；二是“更全面的互聯互通”，即實現“物聯網”與“互聯網”的融合，實現人類社會與物質世界的整合；三是“更深入的智能化”，即通過云計算和超級計算機等先進技術，對感知的海量數據進行分析處理，以便做出正確的行動決策，使個人、企業、組織、政府、自然系統和人造系統的交互方式更具智慧。智慧地球的本質是建立在物聯網上基礎上的更加智能的數字化世界，云計算是這個數字化世界運行的重要方式。物聯網產生大數據，云計算處理大數據，智慧地球是大數據處理要達成的目標，從這個意義上說，大數據概念的出現是物聯網、云計算及智慧地球等概念發展的必然結果。

大數據可能的影響

1.行業發展層面。正在生成的海量異構數據中可能蘊含著目前尚未被認識到的全新知識。企業如果能在這些非結構化數據中挖掘出新的知識并與業務融合，不但其決策的依據將會更加全面和準確，而且有可能形成新的核心競爭力，進而在生產模式、商業模式、管理模式等方面發生深刻變革。

目前階段，可能從大數據發展直接受益的行業主要是一些數據集中應用型企業。例如，金融行業的信息化程度高，數據量大且管理集中，為大數據的分析與利用提供了良好的基礎。通過對客戶行為的大數據分析，可以實現營銷活動的快速反應，并為金融機構實現服務創新提供支撐；在電信行業，由于無線上網和智能手機的推廣，數據量呈現爆炸性增長，同時電信業市場飽和度高、產品服務同質化明顯，運營商有可能從大數據中獲取新的知識以突破競爭現狀。在醫療行業，通過數據支持的療效比較、臨床決策支持系統、醫療數據的透明化、患者遠程監測及患者數據支持的高級病癥分析工具，可以極大地提高醫療體系效率和輔助產生更有效的醫療模式及管理政策。在零售業，市場占有率的提高依賴于高水平的客戶服務和良好的購物體驗，以及有效的商品物流體系。對大數據的分析可以使零售商實時掌握市場動態并快速做出反應，生產廠商也可以通過對市場動態的快速反應改變產品策略。能源、交通等行業也是目前階段可能直接受益于大數據趨勢的行業。

2.思維方式層面。大數據的產業鏈主要有三個層面，第一層是數據層，主要是數據的采集、存儲、傳輸、擴散；第二層是信息層，把數據背景融入數據，形成價值密度更高的信息；第三層是知識層，在信息基礎上進行提煉，形成有價值的知識?！案叩亩床炝蜎Q策力”是大數據應用的核心目標，但僅有知識，是達不成這一目標的。相同的數據可以產生相同的知識，但相同的知識被不同的人認知和使用，可以形成不同的智慧。在目前大數據的發展階段，人仍舊是形成智慧的決定性因素。

但大數據也在改變著產生智慧的基礎。舍恩伯格 和 庫克耶 （2012）提出了大數據時代三個重要的思維方式轉變，代表了當前對大數據思維的基本認識：一是從滿足于樣本數據到使用全體數據；二是從追求精確性到容忍混雜性；三是從關注因果關系到關注相關關系。使用樣本數據，注重精確性，探尋事物、現象間的因果關系是現代科學研究的基本思維，所以舍恩伯格 和 庫克耶提出的這些思維方式轉變，引起了一定程度上的爭論。大數據的影響，與其說是要改變這些思維方式，不如說是拓展了我們探求知識的思維方式，在大數據時代背景下，我們可以用更寬泛的思維方式，來挖掘數據中隱含的知識?！盎ヂ摼W重塑了人類交流的方式，大數據則不同：它標志著社會處理信息方式的變化。隨著時間的推移，大數據可能會改變我們思考世界的方式”（邱基爾和舍恩伯格，2013）。

3.智慧和戰略層面。在數據的產生和擴散歷程中，人類已經多次經歷過類似于數據大爆發的歷程。第一次是人類語言出現。語言的出現使數據具有了載體，并逐步形成了處理數據的邏輯框架。以語言對自然和人類社會的記錄開始得以記憶和流傳；第二次是文字的出現。文字克服了語言在時間和空間上的局限性，對自然和人類社會現象的記錄由此可以長時間留存和長距離轉移；第三次是印刷術的發明。印刷術大幅降低了人類知識的存儲成本和空間傳播和交流成本；第四次則是信息化。信息化在更大程度上消減了數據保存和擴散的成本，替代了知識的面對面交流和互動。鑒于信息技術消減知識傳播成本的巨大潛力，很多學者認為，世界將最終“變平”，距離不再是數據、信息及知識交流的障礙。以上四次數據的大爆發，都帶來了人類社會的巨大變革，究其根本原因，在于知識的存儲與傳播最終改變了人類的智慧。

自上世紀80年代“信息大爆炸”以來，數據一直在呈幾何級增長。面對急劇膨脹的數字化信息規模和種類，人們抱怨信息太多以至于無法發現有用的或真實的信息。一方面，數字化信息作為一種資源在總量上并不稀缺，并很容易復制和傳播；另一方面，對于個體來說，收集、處理、使用有價值信息的能力都是有限的。由此，數字化信息爆炸從一開始就對經濟社會發展模式提出了新的挑戰。信息膨脹從未停止并加速擴展，終于累積到了一個可能引發變革的程度： 數據的膨脹在“量”上引發混沌的同時，在“質”上可能開始顯現出秩序。這可能對社會發展和管理模式提出了新的挑戰，如何應對這種挑戰，需要新的智慧和戰略。

大數據產業發展中面臨的主要挑戰

1.技術層面。大數據在技術層面，要解決的是由于數據量、數據類型的快速增長，導致傳統技術不能滿足要求的問題。大數據產業的技術門檻較高，目前在該領域展開競爭的大都是在數據存儲、分析等領域有著傳統優勢的國際廠商。從2007年左右開始，IBM、SAP、微軟等國際巨頭開始系統收購數據處理公司，布局大數據產業，其投資態勢一直持續到目前。當前階段，大數據計算的發展主要有三個趨勢：分布式數據集群、高性能計算和大數據分析機。在計算機集群應對大數據計算中，以Google的MapReduce并行計算框架和分布式數據容錯存儲BigTable為核心的分布式計算機集群是應用最為普遍的。在雅虎等大公司的支持下，開源項目Hadooop已日趨成熟，衍生出應用于不同領域的分布式計算和存儲平臺，得到了廣泛應用。

中國在Hadoop分布式數據處理與計算機集群方面進行了一些有效的研究，初步建立了大規模運算平臺研發和實驗環境，但總體在數據處理方面仍舊缺乏核心技術。在高性能計算機研發的某些方面具有一定的領先地位，但整體與國際先進水平仍有差距。技術創新具有偶然事件的特點，并不總是沿著確定的軌道發展，未來還會涌現大量能夠處理大數據的工具和平臺。除了Hadoop的批量化處理方式之外，基于流數據處理的方式也有可能在實時數據分析應用中發揮作用，數據可視化技術也有可能迎來大發展。這些工具的發展又依賴于人工智能技術，比如語言處理、模式識別和機器學習等技術的發展，大數據計算技術的發展仍舊是一個系統工程。

2.政策層面。在構建數字化智慧平臺的過程中，近幾年“物聯網”、“云計算”、“智慧城市”等引發了我國各地的投資潮，出現了過熱的隱憂。例如自2010年云計算被列入國家戰略性新興產業后，國內許多地方政府在國家扶持資金支持下大批量購買服務器，之后則出現大量閑置，缺乏應用的云計算實際上變成了房地產。智慧城市的概念被提出后，全國數百個城市一哄而上，紛紛以自身的理解來建設“智慧城市”，有可能造成低水平重復建設和不能互通互聯的信息孤島。如果忽略思考這些概念的本質含義，和其技術進步方向究竟隱含著怎樣的市場和社會變革，而僅僅關注某一概念的建設能夠啟動多大的投資規模，迎來多大的市場機遇，最終把各種概念轉化為基建設施投資，在技術和戰略上只能跟隨概念的提出者而無法超越。要防止把大數據變成又一輪盲目投資的由頭。

目前制約大數據在中國發揮其更大作用的因素主要是以下幾點：一是數據標準和共享問題?；诓块T或區域利益，中國在數據領域的條塊分割還很嚴重，不同部門的數據標準不一致，難以整合使用；不同部門在數據共享上設置障礙，社會難以共享數據成果。如何促進數據共享和開放是中國大數據發展的重要議題；二是數據隱私問題。大數據將個人生活的方方面面逐步納入數字化，使個人隱私信息的泄漏和被濫用成為隱憂，企業如何利用基于公眾的大數據需要法律法規的制定。三是知識產權框架和保護創新。在大數據發展趨勢下會有更多的創新沿著數據價值鏈興起，而數據和知識本身具有和其他實物商品完全不同的屬性，中國知識產權體系還不健全，激勵創新也許會面臨問題。四是技術標準和關鍵領域的研發。政府在大數據技術及分析工具的標準制定上應發揮比鼓勵投資更為積極的作用。涉及大數據的基礎性研究、部分商業性機構不愿從事的投資和回報不對稱的研究、以及大數據發展的重要關鍵領域，都需要政府發揮恰當的作用。

（作者為國務院發展研究中心信息中心副研究員）