大數據理論與應用

陳宇

摘要：搜索2013年全球熱議詞匯，大數據必然名列其中，不論是作為當今世界最發達國家的美國，還是最大發展中國家的中國都將“大數據”上升到國家發展的戰略，并視之為決戰未來國家競爭力的不二選擇利器，數據作為最有價值的資產，掌握了數據便可站在信息不對稱的高點贏得先機。當今時代正處在一個數據爆炸式增長的“大數據”時代，各行各業都離不開數據，所以大數據也必將在社會經濟、政治、文化，人們生活等各個方面對整個社會產生了深遠影響，同時我們對數據的駕馭能力也迎來了新的挑戰和機遇。

一、大數據時代產生的背景

隨著互聯網信息化時代的發展深化，電子數據存儲量呈現爆炸式的增長，全球每秒鐘發送2.9百萬封電子郵件，每天會有2.88萬個小時的視頻上傳到Youtube，亞馬遜每天產生6.3百萬筆訂單，Google每天需要處理24PB的數據，IDC數據顯示在2011年這個數字已經到180萬PB，2015年將會達到800萬PB，并且還將呈數量級增長，正是這種天文級別的數據的出現，以及如何在如此海量，且結構復雜的數據中發現數據價值，宣告著大數據時代的到來。

大數據一般指所涉及到的資料量規模巨大到無法通過目前主流軟件工具，在合理時間內提取、管理、處理并形成價值信息的咨詢。這類數據一般有4V特征，一是體量性，就是數據量巨大，傳統數據只考慮結構化數據，大數據時代非結構化數據這種比結構化數據大的多的數據帶來了存儲量大，計算量大的新問題。二是多樣性，數據的來源不僅僅局限于數字數據，文本數據，圖片，語音，視頻等都是數據。三是快速性，數據量增長數據快，處理速度要求快。四是價值稀缺性，數據量如此復雜海量，真正有價值的數據卻如浪里陶沙般稀少卻又尼足珍貴。

二、大數據時代的商業變革

大數據如此誘人的原因在于，利用大數據技術可以通過對影響實體的全部數據的實時采集、處理、分析及時把控實體的運行，從而以最快的市場反應改善實體自身經營水平、提升自身經營效率，優化自身結構。這將根本改變企業因未能“更加了解他的客戶”以及“市場反應過慢”而引起的衰落。索尼公司的創始人出井伸之解釋索尼衰落的根本原因時，說了一段發人深省的話：“新一代基于互聯網DNA企業的核心能力在于利用新模式和新技術更加貼近消費者、深刻理解需求、高效分析信息并做出預判，所有傳統的產品公司都只能淪為這種新型用戶平臺級公司的附庸，其衰落不是管理能扭轉的?！庇纱丝磥?，大數據欣起之火熱不難理解。也因此可以看到，第一，對大數據不關心，不了解，必步索尼的后塵；第二，擁有大量的數據，并善加運用的公司，必將贏得未來。

除了對傳統企業的顛覆外，大數據對我們的生活也會有長足影響，如政務信息化、智能交通、智慧醫療等。

2 . 1大數據促進政務信息化

經過十多年的政府信息化建設，各個部門的信息化平臺都是獨成體系，各部門的數據既沒有統一的收集標準，也沒有互通互用。比如交通局的和氣象局的、統計局的和社保局的等等互不通用，更談不上數據資源整合。很顯然，“數據出多門”導致了一個個“數據孤島”。這種狀況嚴重違背了政府信息化的初衷。

如果用數據資源體系的理念輔助信息中心，在領導和業務部門之間構造一個數據資源體系，那么由信息中心采集所有業務體系所報送的數據，通過同方的數據資源體系進行加工梳理，把今天的數據和歷史數據對接，把現在的數據和領導關心的指標關聯起來，這樣就形成了非常適合管理和決策使用的數據資源體系。

很顯然，大數據體系應該從各個部門的信息中心或者數據中心入手，通過數據資源體系支撐過去在不同行業中對管理和決策支持的空白。并且大數據技術把面向業務的數據轉換成了面向管理的數據的同時，信息中心的職能也進行了很大的提升，大數據成為一種有靈性的智能戰略資源。

2 . 2大數據讓交通更智能

社會經濟的快速發展促使城市機動車輛的數量大幅增加。城鎮化的加速打破了城市道路系統的均衡狀態，傳統的交通系統難以滿足當前復雜的交通需求，交通堵塞成為棘手問題。用大數據技術可促進交通管理模式的變革。大數據技術的主要特點及其對傳統交通的改變集中在以下方面：

第一，大數據的智能性能較好的配置交通資源。傳統的交通管理主要依靠人工的方式進行規劃和管理，難以實現交通的動態化管理。通過對大數據的分析處理，可以輔助交通管理制定出較好的統籌與協調解決方案。

第二，大數據的快速性和可預測性能提升交通預測的水平，提高交通運行效率。利用大數據來減少交通擁堵時間，提高運轉效率。當車輛即將進入擁堵地段，傳感器可告知駕駛員最佳解決方案，這大大減少了行車的經濟成本。大數據的實時性，使處于靜態閑置的數據被處理和需要利用時，即可被智能化利用，使交通運行的更加合理。

2 . 3大數據讓醫療更科學

在中國，2010年，國家公布的“十二五”規劃中指出要重點建設國家級、省級和地市級三級衛生信息平臺，建設電子檔案和電子病歷兩個基礎數據庫等諸項目標，也就是推進醫療信息化的“3521”工程，通過開放新的具有醫療價值的信息源，提高診斷準確性和速度，預測疾病和健康形態，以及取得生命科學創新的不同見解。美國管理咨詢公司麥肯錫全球研究院（MGI）預測，如果美國的醫療行業能夠有效利用不斷增長的大數據來提高效率和質量，那么每年可創造超過 3000億美元的額外價值。而且，在歐洲的發達國家中，僅在提高運行效率一項上，政府行政管理部門就可以利用大數據節省1000億歐元以上的費用。

對于大多數成功的醫療機構來說，利用大數據已經成為提高生產力、改進護理水平、增強競爭力、加快增長和創新的關鍵策略。通過對結構性數據和非結構性數據在內的所有醫療大數據進行集成，實現集中管理和更好的資源配置。為了整合醫院不同部門或不同生命科學系統的大數據，實現最充分的信息搜索和共享。

在當前大數據時代，數據充斥所帶來的影響遠遠超出了企業領域，其不僅能帶來商業價值，亦能產生社會價值。但是，大數據技術在智能交通應用領域同樣面臨著巨大挑戰，包括隱私，數據處理硬件設施、數據不完備性、模型有效性等領域，這些都是未來繼續需要探討和解決的問題。