華南
“數據,已經滲透到當今每一個行業和業務職能領域,成為重要的生產因素。人們對于海量數據的挖掘和運用,預示著新一波生產率增長和消費者盈余浪潮的到來。”這是全球知名咨詢公司麥肯錫對大數據時代的描述和預測
不論是以4比1戰勝韓國著名圍棋手李世石的圍棋人工智能程序“阿爾法狗”AlphaGo,還是在大街上恣意奔行的谷歌無人駕駛汽車,這個時代,都因為數據的爆棚而變得不同。
“數據,已經滲透到當今每一個行業和業務職能領域,成為重要的生產因素。人們對于海量數據的挖掘和運用,預示著新一波生產率增長和消費者盈余浪潮的到來。”這是最早提出“大數據”時代到來的全球知名咨詢公司麥肯錫對大數據時代的描述和預測。
不論你是否愿意,大數據時代已經到來,潮水拍打激起的浪花,深深浸潤進每一處罅隙。
由來已久的“大數據”
大數據(big data),指無法在可承受的時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產。
美國統計學家赫爾曼·霍爾瑞斯為了統計1890年的人口普查數據發明了一臺電動器來讀取卡片上的洞數,該設備讓美國用一年時間就完成了原本耗時8年的人口普查活動,由此在全球范圍內引發了數據處理的新紀元。
2011年5月,全球知名咨詢公司麥肯錫(McKinsey&Company)肯錫全球研究院(MGI)發布了一份報告——《大數據:創新、競爭和生產力的下一個新領域》,大數據開始備受關注,這也是專業機構第一次全方面介紹和展望大數據。報告指出,大數據已經滲透到當今每一個行業和業務職能領域,成為重要的生產因素。人們對于海量數據的挖掘和運用,預示著新一波生產率增長和消費者盈余浪潮的到來。報告還提到,“大數據”源于數據生產和收集的能力和速度的大幅提升——由于越來越多的人、設備和傳感器通過數字網絡連接起來,產生、傳送、分享和訪問數據的能力也得到徹底變革。
2012年3月22日,奧巴馬政府宣布2億美元投資大數據領域,是大數據技術從商業行為上升到國家科技戰略的分水嶺,在次日的電話會議中,政府對數據的定義“未來的新石油”,大數據技術領域的競爭,事關國家安全和未來。數字主權將是繼邊防、海防、空防之后,另一個大國博弈的空間。
庫克爾在報告中提到:“世界上有著無法想象的巨量數字信息,并以極快的速度增長。從經濟界到科學界,從政府部門到藝術領域,很多方面都已經感受到了這種巨量信息的影響。”
大數據在中國
阿里巴巴董事局主席馬云說:“互聯網還沒搞清楚的時候,移動互聯就來了,移動互聯還沒搞清楚的時候,大數據就來了。”
進入2012年,大數據(big data)一詞越來越多地被提及,人們用它來描述和定義信息爆炸時代產生的海量數據,并命名與之相關的技術發展與創新。它已經上過《紐約時報》《華爾街日報》的專欄封面,進入美國白宮官網的新聞,現身在國內一些互聯網主題的講座沙龍中,甚至被嗅覺靈敏的證券公司寫進投資推薦報告。
數據正在迅速膨脹并變大,它決定著企業的未來發展,雖然很多企業可能并沒有意識到數據爆炸性增長帶來問題的隱患,但是隨著時間的推移,人們將越來越多的意識到數據對企業的重要性。
2014年全國兩會期間,全國人大代表雷軍提交《關于加快實施大數據國家戰略的建議》,里面有不少亮點,但有一個格外引人注意,即政府分享數據。對中國而言,發展大數據還缺什么?缺人、缺錢、缺技術還是缺設施?是的,這些基礎條件都缺,這也是要發展大數據的難點所在。但更重要的是,缺數據。有人要問,怎么會缺數據呢?中國互聯網、中國各部委及各大小公司企業,數據明明不少,但這些機構都是數據孤島,彼此不流通不鏈接不共享。數據共享,是建設大數據的一個很重要的因素。
著名信息管理專家涂子沛則在所著《大數據》一書中提出更嚴峻的“大數據挑戰”:“收集數據、使用數據、開放數據,都是大數據時代我們中國人需要一一面對的挑戰。這三大挑戰,沒有一個不是任重道遠。但這些挑戰,也是我們在大數據時代徹底摘掉‘差不多先生文化標簽的重大歷史機遇。如果在這個數據意義凸顯的時代,我們還抓不住這些歷史機遇,繼續漠視數據、拒絕精準、故步自封,等待我們的,還將是一個落后的100年。”
吞噬與重構
2010年10月23日《衛報》利用維基解密的數據做了一篇“數據新聞”。將伊拉克戰爭中所有的人員傷亡情況均標注于地圖之上。地圖上一個紅點便代表一次死傷事件,鼠標點擊紅點后彈出的窗口則有詳細的說明:傷亡人數、時間,造成傷亡的具體原因。密布的紅點多達39萬,顯得格外觸目驚心。一經刊出立即引起朝野震動,推動英國最終做出撤出駐伊拉克軍隊的決定。
“蘋果”創始人喬布斯是世界上第一個對自身所有DNA和腫瘤DNA進行排序的人。為此,他支付了高達幾十萬美元的費用。他得到的不是樣本,而是包括整個基因的數據文檔。醫生按照所有基因按需下藥,最終這種方式幫助喬布斯延續了數年生命。
……
在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》中大數據指不用隨機分析法(抽樣調查)這樣的捷徑,而采用所有數據進行分析處理。IBM公司為大數據總結“5V”特點,即Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)Veracity(真實性)。
大數據技術的戰略意義不在于掌握龐大的數據信息,而在于對這些含有意義的數據進行專業化處理。換而言之,如果把大數據比作一種產業,那么這種產業實現盈利的關鍵,在于提高對數據的“加工能力”,通過“加工”實現數據的“增值”。哈佛大學社會學教授加里·金說:“這是一場革命,龐大的數據資源使得各個領域開始了量化進程,無論學術界、商界還是政府,所有領域都將開始這種進程。”這個在物理學、生物學、環境生態學等領域以及軍事、金融、通訊等行業存在已有時日的專業名詞,卻因互聯網和信息行業的發展而引起人們關注。
“大數據”并不能生產出新的物質產品,也不能創造出新的市場需求,但能夠讓生產力大幅提升。正如,《大數據時代:生活、工作與思維的大變革》作者肯尼思·庫克耶和維克托·邁爾-舍恩伯格指出:數據的方式出現了3個變化:第一,人們處理的數據從樣本數據變成全部數據;第二,由于是全樣本數據,人們不得不接受數據的混雜性,而放棄對精確性的追求;第三,人類通過對大數據的處理,放棄對因果關系的渴求,轉而關注相互聯系。這一切代表著人類告別總是試圖了解世界運轉方式背后深層原因的態度,而走向僅僅需要弄清現象之間的聯系以及利用這些信息來解決問題。
大數據代名詞Hadoop,這個由Apa che基金會所在2006年開發的分布式系統基礎架構,短短10年間已經從一項邊緣技術成為大數據事實上的標準。然而同樣值得令人關注的是,在喜新厭舊的技術初創企業界,已有幾年歷史“大數據”聽起來似乎已經過氣。
2016年,Hadoop也被指將處于十字路口,有人繼續看好其發展,也有人說它不知未來何去何從。但不論怎樣,置身于波瀾壯闊的大數據時代的人類社會再回不到過去。在看得見的明天,融入地理信息、社會經濟等多維度數據,能夠讓人們知道下一刻哪里可能會發生什么,比如這陣風是否會吹翻門口的廣告牌,前面一個高速路口是不是在下雨堵車。而在看不見的未來,大數據時代的生存規則也將被每一個生產數據的你和我來書寫。
責任編輯 王海珍