大數據的挑戰

劉卓軍

認識和看待世界的一個重要維度或視角就是信息。信息來自于數據，所以千百年來，人們一直沒有間斷過直接或間接地對數據的依賴和利用。而大數據概念的形成則僅僅是近幾年的事。從各種媒體上，人們可以檢索到太多關于大數據的信息，應接不暇。

講大數據，首先是規模巨大。但到底多大算大？這當然是一個相對的、可變化的衡量標準。很多機構共識性地接受了這樣一種分析判斷，全球現在每天產生的數據規模在2.5艾字節（Exabytes）左右。這里艾（Exa）是繼兆（Mega）、吉（Giga）、太（Tera）、派（Peta）之后的又一個數據規模單位。上述的每一個規模單位是前一個規模單位的1000倍，準確地說是1024倍。因此，一個艾字節相當于100億億個字節。差不多需要把4000個美國國會圖書館的藏書全部數字化才能寫滿一個艾字節。而目前全球每天產生的數字化數據大致相當增添了1萬個美國國會圖書館。不妨回顧一下30年前的1986年，那時全球全年的數據存儲能力只有2.6個艾字節。可以說，現在的一天就相當于過去的一年，發展變化之巨大是顯然的。2011年，美國南加州大學馬丁·希爾伯特（Martin Hilbert）等人在科學雜志（Science）上發表論文，全面分析和討論了全球信息存儲、通信及計算能力的演變情況。文章特別指出，很長一段時間，全球信息存儲能力呈現的局面都是非數字化的形式多于數字化的形式，直到2002年這個局面才得以改觀。根據國際數據公司（IDC）的分析，如今全球的數字化數據規模已接近10個澤字節（Zettabytes），既接近1萬個艾字節，預計到2020年這個規模將達到44澤字節。需要意識到的是，到明年 - 2017年，在全球整體的數字化數據的總量中，包括中國、印度、俄羅斯、巴西、墨西哥在內的新興市場國家將和美國、加拿大、歐洲、日本、澳大利亞等成熟的市場國家各占半壁江山。在數字化數據總量呈指數增長的趨勢下，新興市場國家占據更大數據總量比重的迅猛勢頭勢不可擋，增長速度更快的形態將持續下去。毫無疑問，這個趨勢會給中國的企業、行業及市場發展帶來更大的機遇。

與此同時，伴隨大數據的快速發展也產生了一些問題，其中最突出的恐怕就是數據的安全性。數據的安全問題可能損害國家利益、個人隱私、企業和機構的機密等。惡意攻擊、蓄謀犯罪、系統故障、人為錯誤是造成數據安全問題的幾類主要原因。斯諾登事件、黑客襲擊、病毒侵擾、DDoS攻擊等不斷地對網絡及數據安全造成威脅。不久前名牌大學教師被騙上千萬元以及若干大學生因借貸被騙損失慘重甚至走上絕路的事件，一再向社會提醒數據安全的重要性。在大數據條件下，信息盜用、信息篡改、數據欺詐、數據泄露、數據不真實、數據非法交易等將更為嚴重地影響到國家安全、個人安全以及企業和機構的安全。特別是網絡的普及使用，使得數據安全變得異常嚴峻和更富挑戰。一定程度上，網絡安全得到了提升，數據安全就會得到關鍵性的改善。

最近，IBM聯手波尼蒙研究所（Ponemon Institute）開展了一項關于企業和機構數據泄露成本的研究。研究項目選取了380多個機構和企業作為樣本和深入調查分析的對象，范圍遍布12個國家，包括美國、英國、印度、巴西、德國、法國、日本、澳大利亞、阿拉伯地區、加拿大、意大利和南非。研究結果表明，2014年、2015年、2016年這三年，樣本企業由于數據泄露增加的總的平均成本分別是350萬、380萬和400萬美元。其中美國企業的成本最高，達到700萬美元，最低的印度也有160萬美元。按行業分，被泄露的數據平均每條記錄的成本是醫療355美元、教育246美元、金融221美元、服務208美元、生命科學195美元、零售172美元、通信164美元等。這些足以說明，數據安全已經是全世界必須一致面對的挑戰問題，任何想要邁入和躋身現代化行列的國家都不可能獨善其身。

事實上，2015年以來，以美國為代表的西方各國相繼發布各自的網絡安全發展戰略。美國繼2010年發布《網絡安全綜合計劃（CNCI）》計劃之后，又推出了《國防部網絡戰略》、《網絡空間安全信息共享法》（CISA）、《網絡安全國家行動計劃》（CNAP）和《網絡威懾戰略》等文件。俄羅斯2000年發布的《俄聯邦信息安全學說》也在最近得以完善和改版。各國均進一步把網絡安全作為國家安全的重要組成部分給予明確細化。

網絡條件下，數據和信息的安全性問題大致可以辨識出如下一些特征：真實性、隱私性、完整性、保密性、可認性、可證性、可靠性、可信性。數據安全問題的發生可以主要地分類成傳輸型、存儲型和使用型。系統地解決（大）數據安全問題，必須綜合考慮、聯合而為、分步實施。需要做好頂層設計，包括法規體系、標準體系和教育規劃的設計；需要開展普及教育，包括道德的、責任的、常識的；需要法制護航，做到維護好社會秩序和市場秩序，尤其做到有罪必懲、有惡必罰；需要技術支撐，包括用好人才、提升技術、加強研發。

數據安全是國之大事是社會之大事。即需要不同層面的國際合作也需要促進廣泛的社會參與。應通過政策扶持、資金引導等方式鼓勵企業和機構積極進行產品創新和服務創新并逐步做到行業開放、市場開放。

人類社會已經發展到更加離不開數據的階段，數據安全現在是，今后也必將呈現魔高一尺道高一丈反復較量的局面，矛與盾的輪番升級將預示著數據安全永遠都是躲不開的挑戰。除了安全問題的挑戰之外，大數據的發展需要解決和重視的問題還有許多，一些過去“小數據”時代不成為問題的，如今也必須給予更多的重視。我們愿意用6句話作一個概括，既大數據的健康發展應做到：采得真；存得精；取得快；分得準；說得清；用得好。

采得真，就是在數據的采集和錄入階段就應注重數據的質量，特別要減少和杜絕數據的造假行為。存得精，就是在數據的儲存時要盡力降低冗余程度，除了必要的災備，要利用各種技術手段減少重復，切不可以認為存儲能力在快速提升就可以隨意存放、浪費存儲。取得快，就是能快速地檢索或生成出需要的數據，影響取得快的因素很多，做到存得少、存得精顯然是重要的條件之一。分得準，對檢出的數據通常要進行分析，就是要做到分析結果準確，這當然是重要的需求。說得清，就是要清楚地說明和解釋分析的結果，有時可視化等是必要的手段。用得好，這是大數據的根本目的，一個技術不好用、一個工具沒效果當然不行。這與技術服務和支撐社會發展的目的完全脫節。把上述六個環節做到位，特別需要各種技術的進步和各種產品及服務的涌現。而這正是產學研的機遇，正是企業和行業發展的契機。

大數據已經改變了社會改變了生活，在面對各種挑戰及促進大數據更加健康發展的過程中，每個感興趣和有準備的人及機構都會發現新的機遇——大數據的事業太大了。