淺談大數據時代的IT建設

說起2013年媒體最關注的科技前沿話題，一定非“大數據”莫屬。國慶節(jié)前夕，中央政治局集體走進中關村調研學習，百度創(chuàng)始人兼CEO李彥宏給大家講解的主題便是大數據。李彥宏談到，現在已經進入大數據時代，大數據既能促進信息消費，又能帶動社會管理創(chuàng)新。當然，大多數企業(yè)早已認識到大數據對產業(yè)的影響，只是面臨著大數據落地的難題。在商業(yè)應用層面，維克托·邁爾·舍恩伯格在其所著的《大數據時代》一書中通過大量的實例進行闡釋；而在技術層面，互聯網巨頭有著得天獨厚的優(yōu)勢。比如這次的講解人李彥宏所代表的百度，其搜索技術應用于大數據就是順理成章的事情。

在互聯網和IT行業(yè)之外的傳統行業(yè)也在關注大數據，傳統企業(yè)希望通過大數據技術指導企業(yè)戰(zhàn)略，了解產業(yè)發(fā)展、商業(yè)模式、市場競爭中成功的關鍵要素，進而提高企業(yè)核心能力。然而，傳統企業(yè)不具備互聯網企業(yè)對數據信息的敏感度，它們產生海量的數據卻不能有效利用數據，或者說數據產生、收集、存儲都可能是數據鏈條的末端，有關數據的進程便完全停止。所以，傳統企業(yè)需要在大數據背景下實現轉型。在今天，新技術不斷地顛覆傳統產業(yè)，企業(yè)深知“慢一拍”會是什么后果——柯達被數碼時代拋棄，諾基亞被智能機時代拋棄，蘇寧在電商時代匆忙追趕，電信在互聯網時代尋求突破各行各業(yè)的企業(yè)都可能在大數據時代掉隊，反過來也有機會得以煥發(fā)青春。

大數據時代，所有的企業(yè)都將由數據驅動，數據將成為企業(yè)和公共組織越來越重要的資產。同時，企業(yè)更需要高效的大數據工具，讓數據資產產生真正的價值。在這個時候，人們首先會朝著互聯網企業(yè)看過去。互聯網產業(yè)是信息產業(yè)，是數據產業(yè)，它們生產、交換、再次加工以及最終呈現到用戶面前的“產品”都是數據。因此，在大數據時代，有學者提出“泛互聯網化”的思路，以實踐收集數據資產、發(fā)揮大數據商業(yè)價值。這正是廣義上的物聯網的概念，數據產生、收集、傳輸、存儲、處理都實現互聯網化，各行各業(yè)都互聯網化。

在這個大背景下，企業(yè)實現大數據的步驟變得明朗起來。在企業(yè)明確自己的大數據項目計劃之后，下一步便是實施滿足大數據要求的IT建設。

面向云計算的企業(yè)IT建設

大數據離不開云計算的支持，云計算是大數據誕生的前提和必要條件。

目前，已經發(fā)展成熟的云計算擁有強大的計算、存儲能力，可以作為大數據集中采集和存儲數據的基礎。云計算和大數據的關系可以理解為：云計算為大數據提供了計算能力、存儲空間和訪問通道，而大數據則是云計算的終極應用。

大數據時代的第一定律是“樣本即全體”。隨著數據獲取、整理、挖掘的成本伴隨著摩爾定律不斷降低，借助于IT公司提供的數據分析工具，企業(yè)將有可能獲得產業(yè)鏈上下游的全部數據，從而將企業(yè)的市場決策、供應鏈管控、內部管理的效率提高到前所未有的程度。在IT系統的建設過程中，企業(yè)首先面臨的最大困難是在內部解決數據的產生、收集以及存儲問題。當然，此時的數據也可能不夠大，但面臨的問題沒有本質區(qū)別。很明顯，能夠建設完整大數據IT系統的企業(yè)鳳毛麟角，大多數企業(yè)（特別是傳統企業(yè)）也沒有這個必要，因為大數據對于它們來說是輔助而非核心業(yè)務。企業(yè)可以選擇將部分業(yè)務外包出去，再將生成的數據傳輸回來，但這時又要面臨數據的傳輸問題。總之，大數據IT建設之前，要考慮哪一部分是本地建設，哪一部分置之云端。

模式一旦確定，平臺的選擇便成為關鍵，選擇哪一種數據分析工具，哪一種數據庫，哪一類云服務等等。不同的行業(yè)、不同的企業(yè)建設大數據IT系統的方案不盡相同，這里不作展開討論。不過，對大數據IT系統在軟硬件方面的一些發(fā)展趨勢，企業(yè)需要重點關注。因為IT技術的發(fā)展日新月異，選擇一個具有競爭力和強大生命力的平臺，企業(yè)才能少走彎路，才能真正從投資中獲益。

分布式計算 x86當道

大數據領域，在處理海量數據以及非結構化數據方面，Hadoop的作用無可估量。Hadoop是一個能夠讓用戶輕松架構和使用的分布式計算平臺，具備高可靠性、高擴展性、高效性和高容錯性等特點。Hadoop的誕生源于x86平臺，得益于這種先天優(yōu)勢，IT核心廠商英特爾也提供了性能更高，更加穩(wěn)定和易用的獨立發(fā)行版Hadoop運行環(huán)境以及相關的解決方案，其發(fā)行版Hadoop環(huán)境以44.02%的占有率成為企業(yè)最關注的Hadoop版本。

在實際應用中，x86平臺在安全和性能方面有著不俗的表現。例如在金融領域的應用中，英特爾通過將處理器內置的安全機制與外部豐富安全軟硬件相結合，使其x86平臺在安全特性上能夠達到不輸于小型機的整體表現。而在業(yè)務連續(xù)性上，高端x86平臺表現同樣搶眼，讓核心業(yè)務在運轉如飛的同時保證其安全穩(wěn)定。同時，x86已經成為數據庫應用負載的主流平臺。在企業(yè)大數據應用中，x86無疑已經具備了足夠的基礎和潛力。出于對基礎架構一致性、擴展性和兼容性等方面的考慮，x86將成為構建新型數據分析、商業(yè)智能應用方面的最佳選擇。

高性能數據庫向HANA看齊

大數據的4個“V”中包括了數量（Volume）、多樣性（Variety）、速度（Velocity），這也是區(qū)別于過去數據處理的一大特點。大數據工具應當具備高性能的數據處理能力，SAP推出的數據分析平臺HANA無疑是最受關注的一個產品。目前軟硬件集成一體化的架構是一種趨勢，SAP HANA的內存分析和軟硬件集成化架構保障快速高效，使得用戶在應對大數據帶來的挑戰(zhàn)時又多了一個“利器”。

根據IDC調查報告顯示，未來接受并部署一體機的企業(yè)將超過半數（成本允許情況下），軟硬件集成的一體化解決方案也有望成為未來數據中心架構的新標準。而內存取代磁盤作為主要數據存儲和處理介質也是未來的一大發(fā)展趨勢，內存技術對IT系統性能的提升作用是十分顯著的，高性能甚至實時的數據分析將成為企業(yè)業(yè)務創(chuàng)新的一個重要前提。很多公司利用SAP HANA平臺，將原本需要幾個小時才能做出來的業(yè)務數據分析，縮短到僅幾秒鐘就能通過相關工具完成，比原先的分析速度要快上一萬倍——大數據所需的高性能便體現在這里。

數據倉庫特殊性尤為重要

對于大多數企業(yè)而言，大數據意味著為長年維護且塵封已久的數據倉庫配備一道可訪問的大門。

數據倉庫過去一直是、未來也將仍然是企業(yè)級機構所不可或缺的關鍵性組成部分。這類系統的作用是將企業(yè)方方面面產生的數據匯聚起來，然后分門別類加以劃分，最終讓這些紛繁復雜的信息成為業(yè)務分析師深入了解企業(yè)運營狀況的寶貴資料。一套針對可擴展性而精心設計出的基礎設施正是大數據能否真正發(fā)揮作用的關鍵所在。