文/李菲
浩瀚的數據是新的生產要素,已成為一種繼自然資源和人力資源之后的重要戰略資源。我們必須擁有一種新型能力:通過對海量數據的分析,獲得有巨大價值的產品和服務
“大數據”無疑是當下的最熱門話題之一,掘金大數據的“尋寶游戲”正在全球上演。由英國維克托·邁爾-舍恩伯格和肯尼思·庫克耶所著、浙江人民出版社出版發行的《大數據時代》中譯本,于2013年1月和英文原版同步面世,再次引爆了國內業界對“大數據”的廣泛討論。維克托被譽為“大數據時代的預言家”,他在該書中高屋建瓴地提出:大數據開啟了一次重大的時代轉型。那么,什么是大數據,它具有哪些特征?在大數據時代,我們的思維模式將經歷哪些變革?挖掘和利用大數據將對我們的生活、工作方式產生怎樣的影響?應對大數據的洶涌來襲,我們應該怎樣建立規范自身的新準則?《大數據時代》一書以宏大的視野、擲地有聲的觀點和豐富翔實的例子,回答了這些問題。
聯合國于2009年正式啟動了“全球脈動”倡議項目,拉開了大數據促發展的序幕。與此同時,世界各國政府都逐漸意識到大數據的作用,著手研究大數據發展戰略,并開始有益的嘗試。最引人注目的是美國政府于2012年3月提出《大數據研究和發展計劃》,這標志著美國把大數據的研究與應用上升為國家戰略。
“大數據”這一概念最初起源于美國。維基百科對“大數據”的定義是:沒有辦法在允許的時間里用常規的軟件工具對內容進行抓取、管理和處理的數據集合。簡言之,“大數據”就是傳統IT技術和數據庫軟件無法處理的海量數據。通常認為,“大數據”具有明顯的3V特征,即Volume(大量化)、Variety(多樣化)、Velocity(快速化)。隨著大數據分析與挖掘的深入,其第4個V的特性日益突顯,即Value(價值)。
——大數據體量浩大。大量的數據從各種源頭通過不同渠道定期產生,數據量級已從GB、TB、PB發展至EB,甚至是ZB(澤字節,等于270字節)?!洞髷祿r代》書中預言:到2013年,全球數據約達1.2 ZB。如果把這些數據全部記錄在書,這些書可覆蓋整個美國52次;如果將之儲存在光盤,就能堆成五堆,每一堆都可以伸到月球。
——大數據類型繁多。其類型包括結構化數據、半結構化數據和非結構化數據(如文檔、網頁、音頻、圖像和視頻等)。隨著社交網絡、電子商務、移動互聯網的快速發展,非結構化數據呈現爆發式增長,至2012 年末其占整個數據量的75%以上。
——大數據生成快速。數據的生產、獲取、處理、分析的速度在持續加快,形成高速的數據流。維克托在書中提到,數據的增長速度比世界經濟的增長速度快4倍,計算機數據處理能力的增長速度則比世界經濟的增長速度快9倍。
——大數據創造價值。大數據隱含著巨大的經濟、社會和科研價值,有效地挖掘和使用大數據,促進各個領域的持續創新,將對經濟社會發展和科學研究產生巨大的推動作用,其運用前景十分廣闊。
在大數據時代,浩瀚的數據是新的生產要素,成為一種繼自然資源和人力資源之后的重要戰略資源。大數據是人們獲得新的知識、創造新的價值的源泉,大數據將成為理解和解決當今許多緊迫的全球問題所不可或缺的重要工具。
大數據是促進產業升級與結構轉換的重要推力。在大數據的時代,對數據海量存儲、快速處理和實時分析的需求,一方面,將對芯片、存儲以及軟件等產業產生重要影響,推動產品的升級換代;另一方面,將催生數據挖掘、數據分析等服務業,創建新的產業群。采用大數據處理方法,生物制藥、新材料研制的生產流程會發生革命性的變化,還可能形成數據制藥、數據材料等一系列戰略性新興產業。
大數據是提高企業創新能力與競爭力的重要因素。擁有大數據的企業通過挖掘“數據財富”,將獲得不菲的收益,甚至能改變整個行業結構。維克托提到:能置身于信息流中央并能收集數據的公司通常會繁榮興旺,大放異彩;大數據會加劇優勝劣汰,企業一旦掌握了大數據,不但有可能超過它的對手,還有可能遙遙領先。
大數據是改善政府決策能力與國家治理的重要工具。一國擁有大數據的規模及其對數據的分析運用能力,將直接關系數字空間安全和社會穩定。建立在大數據基礎上的社會管理,可有效實現對重大安全問題、危機、風險的防范和預警,更好地服務民生,促進服務型政府的構建和國家的長治久安。
維克托在《大數據時代》一書中,用了近1/3的篇幅詳盡地論述了大數據時代的三大思維變革——從依賴隨機樣本向包容所有數據轉變、從精確性向混雜性轉變、從因果關系向相關關系轉變,這些轉變將改變人們理解和組建社會的方法,調整在管理與決策等方面的傳統理念。維克托強調:只有5%的數據是結構化且能適用于傳統數據庫的,如果不接受混亂,剩下95%的非結構化數據都無法被利用;而建立在相關關系分析基礎上的預測是大數據的核心。
維克托強調,當今社會必須擁有一種新型能力:通過對海量數據的分析,獲得有巨大價值的產品和服務。在《大數據時代》一書中,作者通過上百個通俗易懂的實例,生動闡述了大數據所引發的變革,及其帶來的全新創業方向、商業模式和投資機會。以下擇其經典案例按制造業、服務業和社會管理三大類作一介紹:
——大數據與制造業:以汽車制造業為例。大數據一旦得以有效利用,就能為改進產品質量、拓展創新性應用和發現商機提供有力的支撐。如今的汽車裝滿了芯片、傳感器和各種軟件,一經啟動,它們就會及時把汽車狀況信息發送到制造商的電腦上。這些數據在整合之后會進一步改進汽車零件質量,掌握這些數據的整車制造商就擁有了較大的競爭優勢。
——大數據與服務業:以商業、交通與物流為例。如大數據促成了亞馬遜的個性化推薦系統,亞馬遜在記錄顧客購買書籍的同時還關注了顧客瀏覽過的頁面,利用這些數據梳理相關關系,為客戶提供個性化的建議。據說,亞馬遜銷售額的1/3來自它的個性化推薦系統。又如當位置信息被數據化,新的用途、新價值也會隨之不斷催生。UPS作為世界上最大的快遞承運商與包裹遞送公司,在貨車上裝了傳感器、無線適配器和全球定位系統,通過快速多效地利用地理定位數據,優化行車線路,2011年UPS的駕駛員們少跑了4828萬公里路程、節省了300萬加侖的燃料、減少了3萬公噸的二氧化碳排放量。
——大數據與社會管理:以公共衛生、社交網絡為例。最經典的例子是谷歌流感趨勢預測。2009年,在甲型H1N1流感爆發的幾周前,谷歌就預測到了冬季流感在全美范圍的傳播,而且具體到特定的地區和州,這一預測與官方數據的相關性高達97%。谷歌是通過觀察網上的搜索記錄來完成這個預測的,其關注的是特定檢索詞條的使用頻率與流感在時間、空間上的傳播之間的聯系。而當溝通變成數據,社交網絡(Facebook,Twitter)坐擁了大型數據寶藏,輕易獲得各行各業以及三教九流的幾乎所有的動態信息。
數據資產取之不盡,用之不竭。但是,一個亟需正視的現實是,大數據在改變世界的同時,也使得個人信息安全、企業信息安全甚至是國家信息安全面臨著前所未有的挑戰。此外,過分依賴數據、濫用數據會導致“數據獨裁”,以及大數據預測、運算法則等引發的黑盒子風險。這需要進行多方面的管理變革,建立全新的制度規范。
制定大數據戰略。要深刻認識大數據價值,盡快開展大數據領域的研究,制定符合國情的大數據戰略,為打造“數據中國”盡早布局。要把大數據作為現代社會基礎設施的重要組成部分,把握核心環節和關鍵技術,完善相關機制體制,加快推進重點領域的應用。
打造大數據產業。一方面,鼓勵擁有大數據資源和大數據技術的互聯網公司開展數據挖掘與應用。阿里巴巴、百度、騰訊等國內知名互聯網公司在挖掘大數據方面,有著強烈的利益驅動力和與生俱來的技術優勢,應順理成章地成為大數據價值鏈上的創業公司和領銜先行者。另一方面,推動各領域、各行業大數據的開發應用,從數據資產中掘金,最大程度地實現大數據的真正價值。
推進大數據技術創新。大數據真正價值就像漂浮在海洋中的冰山,第一眼只能看見冰山的一角,而絕大部分都隱藏在表面之下,需要通過持續地創新,不斷挖掘更多的潛在價值。要解鎖數據的價值,必須借助新一代的方法和技術。積極探索數據再利用、重組數據、擴展數據等數據創新,不斷挖掘數據的“潛在價值”。深入研究大數據計算模型和算法,提升數字內容加工處理軟件效用,努力推動云計算等創新突破和跨越式發展。
確保信息安全。要在充分評估大數據風險的基礎上,認真研究從數據生成、數據收集到數據分析和應用各個環節敏感數據的保密問題。同時,通過制定相關法律法規來規范大數據開發利用行為,建立大數據使用規范和安全標準,促使數據使用者以負責任的態度使用數據,規避或減輕對用戶的潛在傷害,加大對信息竊取及篡改的懲罰力度,優化大數據發展環境。