智慧的大數據洞察新價值

◎ 本刊記者 汪莉莉

隨著云時代的來臨，大數據也吸引了越來越多的關注。大數據正在成為改變人們生活的重要因素，從生活用水到出行，從購物習慣到流感監測，其中都有大數據的蹤影。而對于許多企業而言，數據也逐漸成為企業在商戰中取勝的決定性要素，美國互聯網數據中心指出，互聯網上的數據每年將增長50%，每兩年便將翻一番，而目前世界上90%以上的數據是最近幾年才產生的。

實際上，大數據的戰略意義不在于掌握龐大的數據信息，而在于對這些含有意義的數據進行專業化處理。換言之，如果把大數據比作一種產業，那么這種產業實現盈利的關鍵，就在于如何提高對數據的“加工能力”，同時，通過“加工”實現數據的“增值”。大數據意味著非常多的事情，但是被援引的次數太多了，幾乎失去了其本來的定義。大數據的定義通常和速率(數據移動得快)，體積(數據規模龐大)，和種類(非結構化和結構化的信息)三點有關。

智慧的大數據

《著云臺》的分析師團隊認為，大數據通常用來形容一個公司創造的大量非結構化和半結構化數據，這些數據在下載到關系型數據庫用于分析時會花費過多時間和金錢。著名研究機構Gartner對大數據給出了這樣的定義。大數據是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

從某種程度上說，大數據是數據分析的前沿技術，就是從各種各樣類型的數據中，快速獲得有價值信息的能力，這就是大數據技術。大數據可分成大數據技術、大數據工程、大數據科學和大數據應用等領域，目前人們談論最多的是大數據技術和大數據應用。大數據技術是指從各種各樣類型的海量數據中，快速獲得有價值信息的技術，解決大數據問題的核心是大數據技術。目前所說的“大數據”不僅指數據本身的規模，也包括采集數據的工具、平臺和數據分析系統。

進入2012年，大數據被越來越多地提及，人們用它來描述和定義信息爆炸時代產生的海量數據，并命名與之相關的技術發展與創新。最早提出“大數據”時代到來的全球知名咨詢公司麥肯錫認為，數據，已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素。人們對于海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈余浪潮的到來。

大數據到底有多大？一組名為“互聯網上一天”的數據顯示，一天之中，互聯網產生的全部內容可以刻滿1.68億張DVD；發出的郵件有2940億封之多（相當于美國兩年的紙質信件數量）；發出的社區帖子達200萬個（相當于《時代》雜志770年的文字量）；賣出的手機為37.8萬臺，高于全球每天出生的嬰兒數量37.1萬。

同時，資料顯示截止到2012年，數據量已經從TB（1024GB=1TB）級別躍升到 PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB(1024EB=1ZB)級別。國際數據公司（IDC）的研究結果表明，2008年全球產生的數據量為0.49ZB，2009年的數據量為0.8ZB，2010年增長為1.2ZB，2011年的數量更是高達1.82ZB，相當于全球每人產生200GB以上的數據。IBM的研究調查也顯示，整個人類文明所獲得的全部數據中，有90%是過去兩年內產生的。

此外，IDC 預計大量新數據將不斷涌現，它們將以每年 50% 的速度在增長，或者說每兩年就要翻一番多。并不僅僅是數據的洪流越來越大，而且全新的支流也會越來越多。比方說，現在全球就有無數的數字傳感器依附在工業設備、汽車、電表和板條箱上。它們能夠測定方位、運動、振動、溫度、濕度、甚至大氣中的化學變化，并可以通信。

數據正在迅速膨脹并變大，它決定著企業的未來發展，雖然現在企業可能并沒有意識到數據爆炸性增長帶來問題的隱患，但是隨著時間的推移，人們將越來越多的意識到數據對企業的重要性。大數據研發就是發展大數據技術并將其應用到相關領域，通過解決巨量數據處理問題促進其突破性發展。大數據時代對人類的數據駕馭能力提出了新的挑戰，也為人們獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。

大數據藍海

IDC最近的報告預測稱，到2020年，全球數據量將擴大50倍。目前，大數據的規模尚是一個不斷變化的指標，單一數據集的規模范圍從幾十TB到數PB不等。簡而言之，存儲1PB數據將需要兩萬臺配備50GB硬盤的個人電腦。此外，各種意想不到的來源都能產生數據。

在高速網絡時代，通過基于實現軟件性能優化的高速電腦處理器和服務器，創建實時數據流已成為流行趨勢。普遍觀點認為，人們使用互聯網搜索是形成數據多樣性的主要原因。然而，數據多樣性的增加主要是由于新型多結構數據，以及包括網絡日志、社交媒體、互聯網搜索、手機通話記錄及傳感器網絡等數據類型造成。其中，部分傳感器安裝在火車、汽車和飛機上，每個傳感器都增加了數據的多樣性。數據被創建和移動的速度是高速的，因此，企業不僅需要了解如何快速創建數據，還必須知道如何快速處理、分析并返回給用戶，以滿足他們的實時需求。

大數據具有多層結構，這意味著大數據會呈現出多變的形式和類型。相較傳統的業務數據，大數據存在不規則和模糊不清的特性，造成很難甚至無法使用傳統的應用軟件進行分析。傳統業務數據隨時間演變已擁有標準的格式，能夠被標準的商務智能軟件識別。目前，企業面臨的挑戰是處理并從各種形式呈現的復雜數據中挖掘價值。

對于大數據的特點，業界通常用 Volume、Variety、Value、Velocity這4個V來概括。大數據的特點包括：首先，數據體量巨大。從TB級別躍升到PB乃至EB級別。要知道目前的數據量有多大，可以通過一組公式表示：1024GB=1TB；1024TB=1PB；1024PB=1EB；1024 EB=1ZB；1024ZB=YB。到目前為止，人類生產的所有印刷材料的數據量是200PB，而歷史上全人類說過的所有的話的數據量大約是5EB。

其次，數據類型繁多。這種類型的多樣性也讓數據被分為結構化數據和非結構化數據。相對于以往便于存儲的以文本為主的結構化數據，越來越多的非結構化數據的產生給所有廠商都提出了挑戰。拜互聯網和通信技術近年來迅猛發展所賜，如今的數據類型早已不是單一的文本形式，除了網絡日志、音頻、視頻、圖片、地理位置信息等等多類型的數據對數據的處理能力提出了更高的要求。

此外，價值密度低。價值密度的高低與數據總量的大小成反比。以視頻為例，一部一小時的視頻，在連續不間斷監控過程中，可能有用的數據僅僅只有一兩秒。如何通過強大的機器算法更迅速地完成數據的價值“提純”是目前大數據洶涌背景下亟待解決的難題。

大數據的處理速度快。這是大數據區分于傳統數據挖掘最顯著的特征。根據IDC的一份名為“數字宇宙”的報告，預計到2020年全球數據使用量將會達到35.2ZB。在如此海量的數據面前，處理數據的效率就是企業的生命。

掘金大數據需戰略支持

在剛剛結束不久的兩會上，來自全國各地的政府領導、企業高層、專家學者等紛紛對IT產業建言獻策，以云計算、大數據為驅動的技術變革成為兩會IT業關注的熱點。其中，全國人大代表、安徽移動總經理鄭杰在提案中建議：“大數據應該上升為國家戰略。”這個提案不僅代表了通信業，同樣也代表了整個IT產業的呼聲。鄭杰指出，大數據將從經濟發展、教育、科研、民生等方面給整個社會帶來深刻的影響，他建議，大數據應該上升為國家戰略，用數據來決策、管理和創新，實現數據治國，將會對政務、商業、交通、旅游、醫療、食品衛生、農業、生產制造各領域發揮重大的效用。除此之外，全國政協委員、中國工程院常務副院長潘云鶴在接受媒體采訪時也表示，“大數據時代已經到來，建議國家要及時把握大數據科技變革的重大機遇?！?/p>

就在不久前，中國電機工程學會電力信息化專委會擬編制發布《中國電力大數據發展白皮書（2013）》，這將是我國首次就電力大數據問題發布白皮書。電力工業積極應用大數據技術，推動中國電力大數據事業發展，對實現中國電力工業科學發展具有極大的現實意義。白皮書第一次提出了電力大數據的定義，并同時指出重塑電力核心價值和轉變電力發展方式是中國電力大數據的兩條核心主線。白皮書還第一次提出了電力大數據的特征即3V、3E，“3V”是指體量大（Volume）、類型多（Variety）和速度快（Velocity），“3E”指數據即能量（Energy）、數據即交互（Exchange）、數據即共情（Empathy）。由此可見，大數據不僅是一種技術變革更是一場商業變革乃至社會變革。

更加值得關注的是，奧巴馬政府已經把“大數據”上升到了國家戰略的層面。根據美國白宮2012年3月29日新聞，奧巴馬政府宣布投資2億美元啟動“大數據研究和發展計劃”。希望增強收集海量數據、分析萃取信息的能力。

在大數據時代，企業就如同飄浮在數據海洋上的巨輪，作為商業世界中的個體，企業要想做到游刃有余就必須如熟悉水性一般熟悉和用好海量的數據。這些能夠被企業隨時獲取的數據，可以幫助和指導企業全業務流程的任何一個環節進行有效運營和優化，并幫助企業做出最明智的決策。大數據在重新定義企業智商的同時，對企業核心資產也進行了重塑。在過去，衡量企業最重要的資產無外乎土地、流動資金和人才等幾個要素，如今，數據作為企業一項更加重要的資產將直接關系到企業的發展潛力。然而，現階段國內企業的大數據時代正處于探索階段。

因此，我國大數據研發建設已從四個方面著力。一是建立一套運行機制。大數據建設是一項有序的、動態的、可持續發展的系統工程，必須建立良好的運行機制，以促進建設過程中各個環節的正規有序，實現統一，搞好頂層設計。二是規范一套建設標準。沒有標準就沒有系統，應建立面向不同主題、覆蓋各個領域、不斷動態更新的大數據建設標準，為實現各級各類信息系統的網絡互連、信息互通、資源共享奠定基礎。三是搭建一個共享平臺。數據只有不斷流動和充分共享，才有生命力。應在各專用數據庫建設的基礎上，通過數據集成，實現各級各類指揮信息系統的數據交換和數據共享。四是培養一支專業隊伍。大數據建設的每個環節都需要依靠專業人員完成，因此，必須培養和造就一支懂指揮、懂技術、懂管理的大數據建設專業隊伍。