大數據發展現狀與未來趨勢（上）

中國特色社會主義進入新時代，實現中華民族偉大復興的中國夢開啟新征程。黨中央決定實施國家大數據戰略，吹響了加快發展數字經濟、建設數字中國的號角。習近平總書記在十九屆中共中央政治局第二次集體學習時的重要講話中指出：“大數據是信息化發展的新階段”，并做出了“推動大數據技術產業創新發展、構建以數據為關鍵要素的數字經濟、運用大數據提升國家治理現代化水平、運用大數據促進保障和改善民生、切實保障國家數據安全”的戰略部署，為我國構筑大數據時代國家綜合競爭新優勢指明了方向！

今天，我擬回顧大數據的發端、發展和現狀，研判大數據的未來趨勢，簡述我國大數據發展的態勢，并匯報我對信息化新階段和數字經濟的認識，以及對我國發展大數據的若干思考和建議。

一、大數據的發端與發展

從文明之初的“結繩記事”，到文字發明后的“文以載道”，再到近現代科學的“數據建?！?，數據一直伴隨著人類社會的發展變遷，承載了人類基于數據和信息認識世界的努力和取得的巨大進步。然而，直到以電子計算機為代表的現代信息技術出現后，為數據處理提供了自動的方法和手段，人類掌握數據、處理數據的能力才實現了質的躍升。信息技術及其在經濟社會發展方方面面的應用（即信息化），推動數據（信息）成為繼物質、能源之后的又一種重要戰略資源。

“大數據”作為一種概念和思潮由計算領域發端，之后逐漸延伸到科學和商業領域。大多數學者認為，“大數據”這一概念最早公開出現于1998年，美國高性能計算公司SGI的首席科學家約翰·馬西（John？Mashey）在一個國際會議報告中指出：隨著數據量的快速增長，必將出現數據難理解、難獲取、難處理和難組織等四個難題，并用“Big？Data（大數據）”來描述這一挑戰，在計算領域引發思考。2007年，數據庫領域的先驅人物吉姆·格雷（Jim？Gray）指出大數據將成為人類觸摸、理解和逼近現實復雜系統的有效途徑，并認為在實驗觀測、理論推導和計算仿真等三種科學研究范式后，將迎來第四范式——“數據探索”，后來同行學者將其總結為“數據密集型科學發現”，開啟了從科研視角審視大數據的熱潮。2012年，牛津大學教授維克托·邁爾-舍恩伯格（Viktor？MayerSchnberger）在其暢銷著作《大數據時代》中指出，數據分析將從“隨機采樣”“精確求解”和“強調因果”的傳統模式演變為大數據時代的“全體數據”“近似求解”和“只看關聯不問因果”的新模式，從而引發商業應用領域對大數據方法的廣泛思考與探討。

大數據于2012、2013年達到其宣傳高潮，2014年后概念體系逐漸成形，對其認知亦趨于理性。大數據相關技術、產品、應用和標準不斷發展，逐漸形成了包括數據資源與API、開源平臺與工具、數據基礎設施、數據分析、數據應用等板塊構成的大數據生態系統，并持續發展和不斷完善，其發展熱點呈現了從技術向應用、再向治理的逐漸遷移。經過多年來的發展和沉淀，人們對大數據已經形成基本共識：大數據現象源于互聯網及其延伸所帶來的無處不在的信息技術應用以及信息技術的不斷低成本化。大數據泛指無法在可容忍的時間內用傳統信息技術和軟硬件工具對其進行獲取、管理和處理的巨量數據集合，具有海量性、多樣性、時效性及可變性等特征，需要可伸縮的計算體系結構以支持其存儲、處理和分析。

大數據的價值本質上體現為：提供了一種人類認識復雜系統的新思維和新手段。就理論上而言，在足夠小的時間和空間尺度上，對現實世界數字化，可以構造一個現實世界的數字虛擬映像，這個映像承載了現實世界的運行規律。在擁有充足的計算能力和高效的數據分析方法的前提下，對這個數字虛擬映像的深度分析，將有可能理解和發現現實復雜系統的運行行為、狀態和規律。應該說大數據為人類提供了全新的思維方式和探知客觀規律、改造自然和社會的新手段，這也是大數據引發經濟社會變革最根本性的原因。

二、大數據的現狀與趨勢

全球范圍內，研究發展大數據技術、運用大數據推動經濟發展、完善社會治理、提升政府服務和監管能力正成為趨勢。下面將從應用、治理和技術三個方面對當前大數據的現狀與趨勢進行梳理。

一是已有眾多成功的大數據應用，但就其效果和深度而言，當前大數據應用尚處于初級階段，根據大數據分析預測未來、指導實踐的深層次應用將成為發展重點。

按照數據開發應用深入程度的不同，可將眾多的大數據應用分為三個層次。第一層，描述性分析應用，是指從大數據中總結、抽取相關的信息和知識，幫助人們分析發生了什么，并呈現事物的發展歷程。如美國的DOMO公司從其企業客戶的各個信息系統中抽取、整合數據，再以統計圖表等可視化形式，將數據蘊含的信息推送給不同崗位的業務人員和管理者，幫助其更好地了解企業現狀，進而做出判斷和決策。第二層，預測性分析應用，是指從大數據中分析事物之間的關聯關系、發展模式等，并據此對事物發展的趨勢進行預測。如微軟公司紐約研究院研究員David？Rothschild通過收集和分析賭博市場、好萊塢證券交易所、社交媒體用戶發布的帖子等大量公開數據，建立預測模型，對多屆奧斯卡獎項的歸屬進行預測。2014和2015年，均準確預測了奧斯卡共24個獎項中的21個，準確率達87.5%。第三層，指導性分析應用，是指在前兩個層次的基礎上，分析不同決策將導致的后果，并對決策進行指導和優化。如無人駕駛汽車分析高精度地圖數據和海量的激光雷達、攝像頭等傳感器的實時感知數據，對車輛不同駕駛行為的后果進行預判，并據此指導車輛的自動駕駛。

當前，在大數據應用的實踐中，描述性、預測性分析應用多，決策指導性等更深層次分析應用偏少。一般而言，人們做出決策的流程通常包括：認知現狀、預測未來和選擇策略這三個基本步驟。這些步驟也對應了上述大數據分析應用的三個不同類型。不同類型的應用意味著人類和計算機在決策流程中不同的分工和協作。例如：第一層次的描述性分析中，計算機僅負責將與現狀相關的信息和知識展現給人類專家，而對未來態勢的判斷及對最優策略的選擇仍然由人類專家完成。應用層次越深，計算機承擔的任務越多、越復雜，效率提升也越大，價值也越大。然而，隨著研究應用的不斷深入，人們逐漸意識到前期在大數據分析應用中大放異彩的深度神經網絡尚存在基礎理論不完善、模型不具可解釋性、魯棒性較差等問題。因此，雖然應用層次最深的決策指導性應用，當前已在人機博弈等非關鍵性領域取得較好應用效果，但是，在自動駕駛、政府決策、軍事指揮、醫療健康等應用價值更高，且與人類生命、財產、發展和安全緊密關聯的領域，要真正獲得有效應用，仍面臨一系列待解決的重大基礎理論和核心技術挑戰。在此之前，人們還不敢、也不能放手將更多的任務交由計算機大數據分析系統來完成。這也意味著，雖然已有很多成功的大數據應用案例，但還遠未達到我們的預期，大數據應用仍處于初級階段。未來，隨著應用領域的拓展、技術的提升、數據共享開放機制的完善，以及產業生態的成熟，具有更大潛在價值的預測性和指導性應用將是發展的重點。

二是大數據治理體系遠未形成，特別是隱私保護、數據安全與數據共享利用效率之間尚存在明顯矛盾，成為制約大數據發展的重要短板，各界已經意識到構建大數據治理體系的重要意義，相關的研究與實踐將持續加強。

隨著大數據作為戰略資源的地位日益凸顯，人們越來越強烈地意識到制約大數據發展最大的短板之一就是：數據治理體系遠未形成，如數據資產地位的確立尚未達成共識，數據的確權、流通和管控面臨多重挑戰；數據壁壘廣泛存在，阻礙了數據的共享和開放；法律法規發展滯后，導致大數據應用存在安全與隱私風險；等等。如此種種因素，制約了數據資源中所蘊含價值的挖掘與轉化。

其中，隱私、安全與共享利用之間的矛盾問題尤為凸顯。一方面，數據共享開放的需求十分迫切。近年來人工智能應用取得的重要進展，主要源于對海量、高質量數據資源的分析和挖掘。而對于單一組織機構而言，往往靠自身的積累難以聚集足夠的高質量數據。另外，大數據應用的威力，在很多情況下源于對多源數據的綜合融合和深度分析，從而獲得從不同角度觀察、認知事物的全方位視圖。而單個系統、組織的數據往往僅包含事物某個片面、局部的信息，因此，只有通過共享開放和數據跨域流通才能建立信息完整的數據集。

然而，另一方面，數據的無序流通與共享，又可能導致隱私保護和數據安全方面的重大風險，必須對其加以規范和限制。例如，鑒于互聯網公司頻發的、由于對個人數據的不正當使用而導致的隱私安全問題，歐盟制定了“史上最嚴格的”數據安全管理法規《通用數據保護條例》，并于2018年5月25日正式生效?！稐l例》生效后，Facebook和谷歌等互聯網企業即被指控強迫用戶同意共享個人數據而面臨巨額罰款，并被推上輿論的風口浪尖。2020年1月1日，被稱為美國“最嚴厲、最全面的個人隱私保護法案”——《加利福利亞消費者隱私法案》（CCPA）將正式生效。CCPA規定了新的消費者權利，旨在加強消費者隱私權和數據安全保護，涉及企業收集的個人信息的訪問、刪除和共享，企業負有保護個人信息的責任，消費者控制并擁有其個人信息，這是美國目前最具典型意義的州隱私立法，提高了美國保護隱私的標準。在這種情況下，過去利用互聯網平臺中心化搜集用戶數據，實現平臺化的精準營銷的這一典型互聯網商業模式將面臨重大挑戰。

我國在個人信息保護方面也開展了較長時間的工作，針對互聯網環境下的個人信息保護，制定了《全國人民代表大會常務委員會關于加強網絡信息保護的決定》《電信和互聯網用戶個人信息保護規定》《全國人民代表大會常務委員會關于維護互聯網安全的決定》和《消費者權益保護法》等相關法律文件。特別是2016年11月7日，全國人大常委會通過的《中華人民共和國網絡安全法》中明確了對個人信息收集、使用及保護的要求，并規定了個人對其個人信息進行更正或刪除的權利。2019年，中央網信辦發布了《數據安全管理辦法（征求意見稿）》，向社會公開征求意見，明確了個人信息和重要數據的收集、處理、使用和安全監督管理的相關標準和規范。相信這些法律法規將在促進數據的合規使用、保障個人隱私和數據安全等方面發揮不可或缺的重要作用。然而，從體系化、確保一致性、避免碎片化考慮，制訂專門的數據安全法、個人信息保護法是必要的。

另一方面，我們也應看到，這些法律法規也將在客觀上不可避免地增加數據流通的成本、降低數據綜合利用的效率。如何兼顧發展和安全，平衡效率和風險，在保障安全的前提下，不因噎廢食，不對大數據價值的挖掘利用造成過分的負面影響，是當前全世界在數據治理中面臨的共同課題。

近年來，圍繞大數據治理這一主題及其相關問題，國際上已有不少成功的實踐和研究探索工作，諸如在國家層面推出的促進數據共享開放、保障數據安全和保護公民隱私的相關政策和法規，針對企業機構的數據管理能力評估和改善，面向數據質量保證的方法與技術，促進數據互操作的技術規范和標準等。然而，考察當前的研究和實踐，仍存在三個方面的主要問題。

一是大數據治理概念的使用相對“狹義”，研究和實踐大都以企業組織為對象，僅從個體組織的角度考慮大數據治理的相關問題，這與大數據跨界流動的迫切需求存在矛盾，限制了大數據價值的發揮。二是現有研究實踐對大數據治理內涵的理解尚未形成共識，不同研究者從流程設計、信息治理和數據管理應用等不同視角，給出了大數據治理的不同定義，共識的形成尚有待時日！三是大數據治理相關的研究實踐多條線索并行，關聯性、完整性和一致性不足。諸如，國家層面的政策法規和法律制定等較少被納入大數據治理的視角；數據作為一種資產的地位仍未通過法律法規予以確立，難以進行有效的管理和應用；大數據管理已有不少可用技術與產品，但還缺乏完善的多層級管理體制和高效管理機制；如何有機結合技術與標準，建立良好的大數據共享與開放環境仍需要進一步探索。缺少系統化設計，僅僅在已有的相關體系上進行擴展和延伸，可能會導致數據治理的“碎片化”和一致性缺失等等。

當前，各界已經普遍認識到了大數據治理的重要意義，大數據治理體系建設已經成為大數據發展重點，但仍處在發展的雛形階段，推進大數據治理體系建設將是未來較長一段時間內需要持續努力的方向。

三是數據規模高速增長，現有技術體系難以滿足大數據應用的需求，大數據理論與技術遠未成熟，未來信息技術體系將需要顛覆式創新和變革。

近年來，數據規模呈幾何級數高速成長。據國際信息技術咨詢企業國際數據公司（IDC）的報告，2020年全球數據存儲量將達到44ZB（1021），到2030年將達到2500ZB。當前，需要處理的數據量已經大大超過處理能力的上限，從而導致大量數據因無法或來不及處理，而處于未被利用、價值不明的狀態，這些數據被稱為“暗數據”。據國際商業機器公司（IBM）的研究報告估計，大多數企業僅對其所有數據的1%進行了分析應用。

近年來，大數據獲取、存儲、管理、處理、分析等相關的技術已有顯著進展，但是大數據技術體系尚不完善，大數據基礎理論的研究仍處于萌芽期。首先，大數據定義雖已達成初步共識，但許多本質問題仍存在爭議，例如：數據驅動與規則驅動的對立統一、“關聯”與“因果”的辯證關系、“全數據”的時空相對性、分析模型的可解釋性與魯棒性等；其次，針對特定數據集和特定問題域已有不少專用解決方案，是否有可能形成“通用”或“領域通用”的統一技術體系，仍有待未來的技術發展給出答案；其三，應用超前于理論和技術發展，數據分析的結論往往缺乏堅實的理論基礎，對這些結論的使用仍需保持謹慎態度。

推演信息技術的未來發展趨勢，較長時期內仍將保持漸進式發展態勢，隨技術發展帶來的數據處理能力的提升將遠遠落后于按指數增長模式快速遞增的數據體量，數據處理能力與數據資源規模之間的“剪刀差”將隨時間持續擴大，大數據現象將長期存在。在此背景下，大數據現象倒逼技術變革，將使得信息技術體系進行一次重構，這也帶來了顛覆式發展的機遇。例如，計算機體系結構以數據為中心的宏觀走向和存算一體的微觀走向，軟件定義方法論的廣泛采用，云邊端融合的新型計算模式等；網絡通信向寬帶、移動、泛在發展，海量數據的快速傳輸和匯聚帶來的網絡的Pb/s級帶寬需求，千億級設備聯網帶來的Gb/s級高密度泛在移動接入需求；大數據的時空復雜度亟需在表示、組織、處理和分析等方面的基礎性原理性突破，高性能、高時效、高吞吐等極端化需求呼喚基礎器件的創新和變革；軟硬件開源開放趨勢導致產業發展生態的重構；等等。

三、大數據與數字經濟

大數據是信息技術發展的必然產物，更是信息化進程的新階段，其發展推動了數字經濟的形成與繁榮。信息化已經歷了兩次高速發展的浪潮，始于上世紀80年代，隨個人計算機大規模普及應用所帶來的以單機應用為主要特征的數字化（信息化1.0），及始于上世紀90年代中期，隨互聯網大規模商用進程所推動的以聯網應用為主要特征的網絡化（信息化2.0）。當前，我們正在進入以數據的深度挖掘和融合應用為主要特征的智能化階段（信息化3.0）。在“人機物”三元融合的大背景下，以“萬物均需互聯、一切皆可編程”為目標，數字化、網絡化和智能化呈融合發展新態勢。

在信息化發展歷程中，數字化、網絡化和智能化是三條并行不悖的主線。數字化奠定基礎，實現數據資源的獲取和積累；網絡化構建平臺，促進數據資源的流通和匯聚；智能化展現能力，通過多源數據的融合分析呈現信息應用的類人智能，幫助人類更好地認知復雜事物和解決問題。

信息化新階段開啟的另一個重要表征是信息技術開始從助力經濟發展的輔助工具向引領經濟發展的核心引擎轉變，進而催生一種新的經濟范式—“數字經濟”。數字經濟是指以數字化知識和信息為關鍵生產要素、以現代信息網絡為重要載體、以信息通信技術的有效使用為效率提升和經濟結構優化的重要推動力的一系列經濟活動，是以新一代信息技術和產業為依托，繼農業經濟、工業經濟之后的新經濟形態。從構成上看，農業經濟屬單層結構，以農業為主，配合以其他行業，以人力、畜力和自然力為動力，使用手工工具，以家庭為單位自給自足，社會分工不明顯，行業間相對獨立；工業經濟是兩層結構，即提供能源動力和行業制造設備的裝備制造產業，以及工業化后的各行各業，并形成分工合作的工業體系。數字經濟則可分為三個層次：提供核心動能的信息技術及其裝備產業、深度信息化的各行各業以及跨行業數據融合應用的數據增值產業。當前，數字經濟正處于成型展開期，將進入信息技術引領經濟發展的爆發期、黃金期！

從另一個視角來看，如果說過去20多年，互聯網高速發展引發了一場社會經濟的“革命”，深刻地改變了人類社會，現在可以看到，互聯網革命的上半場已經結束。上半場的主要特征是“2C”（面向最終用戶），主戰場是面向個人提供社交、購物、教育、娛樂等服務，可稱為“消費互聯網”。而互聯網革命的下半場正在開啟，其主要特征將是“2B”（面向組織機構），重點在于促進供給側的深刻變革，互聯網應用將面向各行業，特別是制造業，以優化資源配置、提質增效為目標，構建以工業物聯為基礎和工業大數據為要素的工業互聯網。作為互聯網發展的新領域，工業互聯網是新一代信息技術與生產技術深度融合的產物，它通過人、機、物的深度互聯，全要素、全產業鏈、全價值鏈的全面鏈接，推動形成新的工業生產制造和服務體系。當前，新一輪工業革命正在拉開帷幕，在全球范圍內不斷顛覆傳統制造模式、生產組織方式和產業形態，而我國正處于由數量和規模擴張向質量和效益提升轉變的關鍵期，需要抓住歷史機遇期，促進新舊動能轉換，形成競爭新優勢。我國是制造大國和互聯網大國，推動工業互聯網創新發展具備豐富的應用場景、廣闊的市場空間和巨大的推進動力。

數字經濟未來發展呈現如下趨勢：一是以互聯網為核心的新一代信息技術正逐步演化為人類社會經濟活動的基礎設施，并將對原有的物理基礎設施完成深度信息化改造和軟件定義，在其支撐下，人類極大地突破了溝通和協作的時空約束，推動平臺經濟、共享經濟等新經濟模式快速發展。以平臺經濟中的零售平臺為例，百貨大樓在前互聯網時代對促進零售業發展起到了重要作用。而從上世紀九十年代中后期開始，伴隨互聯網的普及，電子商務平臺逐漸興起。與要求供需方必須在同一時空達成交易的百貨大樓不同，電子商務平臺依托互聯網，將遍布全球各個角落的消費者、供貨方連接在一起，并聚合物流、支付、信用管理等配套服務，突破了時空約束，大幅減少了中間環節，降低了交易成本，提高了交易效率。按阿里研究院的報告，過去十年間，中國電子商務規模增長了10倍，并呈加速發展趨勢。二是各行業工業互聯網的構建將促進各種業態圍繞信息化主線深度協作、融合，在完成自身提升變革的同時，不斷催生新的業態，并使一些傳統業態走向消亡。如隨著無人駕駛汽車技術的成熟和應用，傳統出租車業態將可能面臨消亡。其他很多重復性的、對創新創意要求不高的傳統行業也將退出歷史舞臺。2017年10月，《紐約客》雜志報道了劍橋大學兩名研究者對未來365種職業被信息技術淘汰的可能性分析，其中電話推銷員、打字員、會計等職業高居榜首。三是在信息化理念和政務大數據的支撐下，政府的綜合管理服務能力和政務服務的便捷性持續提升，公眾積極參與社會治理，形成共策共商共治的良好生態。四是信息技術體系將完成蛻變升華式的重構，釋放出遠超當前的技術能力，從而使蘊含在大數據中的巨大價值得以充分釋放，帶來數字經濟的爆發式增長。

（本文作者系中國人民解放軍軍事科學院副院長梅宏院士。）