企業大數據分析生態系統的構建

李艷玲

（東北財經大學 管理科學與工程學院，遼寧大連 116025；大連東軟信息學院 信息技術與商務管理系，遼寧 大連 116023）

一、大數據相關概念

隨著社會化媒體的逐漸成熟，寬帶技術的迅速提升，移動互聯網的日益普及，云計算、物聯網的應用也更加豐富，各種傳感器如手機、臺式電腦、筆記本、平板電腦、智能電視、導航定位等終端遍及各個角落，每個人都是數據的創造者、傳播者和分享者，如瀏覽網頁、發布微博、搜索關鍵詞、上傳文件、發送郵件、交友、購物的每一個行為都被實時記錄下來，正是由于這些數據的大量瞬間積累，數據量和信息量激增，發展態勢迅猛，數據單位由G、T到P、E、Z、Y演變，據IDC在《數字宇宙膨脹：到2020年全球信息增長預測》所做的數據統計，2006年全球制造復制出的數字信息量共計16.1萬，大約是歷史上圖書信息總量的3 000倍；2010年達到98.8萬PB，過去三年間產生的數據量超過以往總和。2011年，全球創建和復制的數據總量達1.8ZB，照此速度的話,到2020年，數字宇宙將超出預期達到40 ZB。

在這樣一個數字爆炸的時代，每時每刻都即時產生大量數據，這些數據與傳統數據相比，呈現新的特征，美國麥肯錫全球研究院（MGI）發表一篇名為“Big data:The next frontier for innovation,competition and productivity”(大數據：未來創新、競爭、生產力的指向標)的研究報告，“Big Data”（大數據）這個關鍵詞便開始流行起來。

據IDC描述，大數據(Big Data)是指無法用現有的軟件工具提取、存儲、搜索、共享、分析和處理的海量的、復雜的數據集合。包括所建立的數據庫等結構化信息，也包括文本、圖片、視頻等非結構化信息，難以用一般技術來管理的大量數據的集合，業界通常用4個V(即Volume、Variety、Value、Velocity)來概括大數據的特征。

一是數據體量巨大(Volume)。數據量之大，是前所未有的，數據量呈幾何級數增加，用現有的技術，無法有效管理和分析。

二是數據類型繁多(Variety)。數據類型花樣繁多，除了傳統的業務數據、文本等結構化數據以外，多種類型的非結構化數據與日俱增，如網絡日志、音頻、視頻、圖片、地理位置信息等，這些類型的數據需要更科學高效的技術來進行處理。

三是價值密度低(Value)。價值密度低是指數據總量比較大，比如一部1小時的視頻，真正有用的數據或者是有價值的數據可能只有一二秒，價值密度的高低與數據量大小成相反比例，那么如何對大數據量通過機器算法迅速地完成價值數據“提純”，是目前大數據技術處理的一個難題。

四是處理速度快(Velocity)。這是大數據與傳統數據的最顯著特征，數據產生和更新的速度非常快，每時每秒都在即時增加，對大數據的處理效率的要求，是大數據處理技術的重大挑戰。

二、大數據分析技術

（一）大數據分析技術的機遇與挑戰

1.快速捕獲即時數據，創造高速價值

大數據最大的特點是數據的產生速度非常快，每時每秒可以產生很多的數據。例如，每分鐘facebook上的視頻就可以多產生390萬部，大數據的產生速度是不可想象的。據調查，53%的高管表示大部分關鍵信息無法及時獲得，獲取信息的速度越快，采取行動的速度也就越快，快速行動創造的價值越高，數據的使用和分析效率真高，企業為實現卓越的運營，需要快速捕獲高速運行中的大數據，更加迅速地計算分析數據，將數據轉為信息，信息轉為洞察，實時推進業務措施，立即采取行動，從而提升企業競爭力。在這里還有一點，當企業捕獲的數據越來越多，需要分析的數據量越多，需要對數據進行評判，這個數據的重要性是怎樣的，有的時候需要評判這個數據的價值是多少。通過更智能的方法，對數據加以篩選，對數據進行實時的判斷，提煉出有價值的數據，最終將高速數據轉化為高速價值，體驗即時數據以及數據處理給我們帶來的便捷，進而實現實時大數據的美好前景，如圖1所示：

圖1 大數據業務價值與響應時間關系

2.如何對異構數據的處理

當今企業在發展中積累的新信息來源越來越廣泛，企業應用不再是唯一的信息來源，數據來源還可以來自傳感器，有的是來自網絡線上交易，有的是來自消費者行為，有的是來自智能手機或者是移動設備，這些設備變得日益智能化和互聯，智能設備將從2013年的13億部增長至2020年的125億部，非結構化數據將超出傳統數據多個數量級。總體來說數據來源可以分為人為生成、互聯網/云生成、機器生成這幾種類型，這些不同源頭的數據的格式也不一樣，我們必須用有效的方式高速捕獲、組織和分析。

對于那些已經規模較大，系統環境高度異構的企業而言，數據越來越發揮其重要資產的作用，如何在架構整合方面有所舉措，從全局的角度促進數據整合，將不同來源、不同類型的數據整合到一起同，對數據搜集、管理、分析與挖掘等領域都對技術與系統提出了更高的要求，使得數據能夠為企業所用。以前，數據都是分散在各個業務系統，在大數據時代，企業需要考慮如何打破系統的邊界，把不同來源的數據整合在一起，企業不僅關注外部數據源對企業的價值，也需要關注消費者的情緒如何、對企業的評價如何，互聯網、微博等就是很好的信息獲取渠道，怎樣把結構化、半結構化、非結構化數據整合，怎樣把微信、微博等非結構化數據植入商務分析，將虛擬數據和業務數據結合起來，這些外部數據源對企業也具有十分重要的意義。如何整合架構，將異構數據整合到一個系統，并在此基礎上，實現業務系統和分析系統的一體化，加速并分析大數據，滿足企業的實時業務需求和分析需求，是目前亟待解決的技術難題。

（二）大數據分析和處理技術的發展

正因為大數據所呈現的新的特點（4V），大數據的意義并不僅僅在于“容量之大”，其更大的意義在于通過對海量數據進行整合和分析，發現新知識，創造新價值。傳統的數據分析方法和工具已不適應大數據的管理，大數據不同于普通的數據倉庫、數據挖掘和商業智能分析，如沒有恰當的大數據分析工具，大數據將無法發揮其價值。大數據多樣、高速、海量的特點從各個領域推動著行業的技術創新，給數據的抓取、存儲和分析帶來了新的挑戰，工具、開源以及框架設施對于大數據行業來說非常重要，開源包括軟件和硬件的開源。

當前，較為成熟的技術是通過采用分布式計算模式實現，如當前IT業的巨頭(如谷歌等)MapReduce的云計算模型以及Hadoop的開源方案。Hadoop已經成為新的主流范式，而十幾年前用的軟件開發范式已經不適用了。之前幾年的軟件開發范式只適合處理結構化的數據，面對非結構化的數據，Hadoop是主流。Hadoop有一個有效的框架，可以處理非結構的數據，尤其是處理分布式數據。

其中，Hadoop是一種分布式系統的平臺，通過它可以很輕松地搭建一個高效、高質量的分布系統，有著高容錯性的特點，并且設計用來部署在低廉的硬件上。Hadoop在可伸縮性、健壯性、計算性能和成本上具有無可替代的優勢，事實上已成為當前互聯網企業主流的大數據分析平臺。MapReduce是Hadoop的核心組件之一，可以通過MapReduce很容易在Hadoop平臺上進行分布式的計算編程。

三、大數據處理生態系統構建

隨著大數據和分析在企業應用的深入，面臨的問題和挑戰也越來越多，主要有如下方面：第一，對大數據和分析平臺的企業級應用的可靠性、穩定性、安全性要求會越來越高；第二，大多數企業級用戶都面對著極為復雜的行業應用場景，不同類型和來源的數據需要統一地被利用，在系統較多的企業中，如何對數據進行集成管理是很大的問題，特別是新的大數據方案如何與傳統的數據倉庫無縫集成；第三，大多數企業級客戶還處于對大數據和分析的探索初期，對于新問題的初判和解決經驗不足。

對于企業來說，隨著系統的復雜性上升，最為迫切也是最為重要的問題是，如何將不同來源、不同結構的數據通過系統整合到一個平臺。在這個平臺上，全面涵蓋大數據和分析的各個應用，采用統一架構，集成到一個系統。在這個系統上，建立全面覆蓋各種復雜行業應用場景的企業級大數據和分析應用解決方案，如靜態批量大數據處理、實時大數據業務處理、數據倉庫整合和數據集市構建等，對于這些大量異構數據系統，整合的標準是一個非常關鍵的問題。同時企業又在不斷發展，未來要部署包括電商、移動商務、社交網絡等新的應用，都需要在這個統一的平臺上展開。以上所有的應用，構成了一個大數據的生態系統。這個生態系統應具備以下特點，如圖2所示：

圖2 大數據生態系統特點

（一）高度整合的實時數據平臺

對于現代企業來說，隨著業務應用范圍的廣泛深入、企業積累的數據類型越來越多，包括結構化和非結構化數據，交易數據與非交易數據，數據量呈幾何級次激增，甚至達到Z、Y級，如何高效地捕獲和分析這些大數據，是企業廣泛關注的事情，企業亟需一個平臺，可以捕獲和管理大數據的所有維度，整合數據孤島，將不同來源、不同類型的數據庫，通過整合的開發環境，在技術架構基礎上，通過單一系統實現大數據并行計算列式平臺管理把ERP的業務數據、半結構化、非結構化的數據整合到一個系統，直接在整個數據平臺建模、計算、分析、預測，再借助BI進行圖形化展示。所有可使用數據的人，實時獲得分析結果，如財務數據，你只需用自然語言輸入查詢條件，系統提供實時解決方案，像花瓣一樣呈現。

在這樣的平臺，能夠快速、高效地捕獲并整合海量多元化的任意數據，實現快速分析處理海量信息，實時進行商業決策，實現業務系統和分析系統的一體化，能夠同時滿足企業的實時業務需求和分析需求，不但降低了企業對服務器等硬件的需求，還減少了數據從業務系統到分析系統過程中所需的數據抽取、清洗等操作，大大提高了效率。

（二）基于云的生態系統構建

2012年是中國的大數據元年，云計算概念的爭論漸漸平息，而大數據的熱潮隨之到來。隨著大數據的到來，大家對云計算的“中國夢”開始有了更清晰的認識，云計算如何落地為雨，成為2013年中國云計算的主旋律。

對于大部分企業而言，“云計算之旅”都將是一場速度與耐力的較量，關鍵是部署的靈活性。如何在整個價值鏈中獲得出色競爭優勢，快速分析數據，發現并響應業務網絡中的各種變化，借助廣泛的托管功能選擇，從高度安全的環境和云技術的經濟優勢中獲益，是每個企業所要達到的理想效果。

大數據時代，云計算所發揮的主要作用是為大數據提供按需服務，主要體現在云存儲、云計算、私用云、公有云的服務方面，將云共享的思想應用于企業，主要有有幾種主要方式，其中一種就是嵌入式企業原有平臺的OEM方式，包括移動平臺、商務分析平臺和數據庫平臺等。另一種方式是托管私有云服務的方式，那就是構建一個充滿活力的生態系統，為企業提供選擇上的自由，既可以選擇在企業本地來搭建這個平臺，也可以享受在云端來實現這個服務，實現從本地向云端的遷移。充分利用與企業原有的ERP核心系統的無縫集成，又能夠與企業其他來源、其他類型的數據、其他系統如BI、ETL和備份工具的集成，實現更廣泛的用戶支持、數據尋源以及對現有投資的再利用，以達到協同、共同參與、分享的目的，有效實現數據分析處理中“溫數據”到“熱數據”的瞬間響應，從而幫助其客戶獲取實時、精準的數據分析，把握瞬息萬變的市場動態，獲取商機。

所構建的生態系統不僅僅是數據庫，而是創新的基于云框架的計算平臺，具有出色的云靈活性，支持自動配置計算資源，簡化日常管理，將突破傳統的游戲規則，它從數據到決策覆蓋了整個企業的業務流程。這樣一個生態系統，應基于開放式標準，提供安全可靠、易于使用的開發和運行環境。它所具備的能力主要有：加速在線交易處理，同時可以作為數據倉庫進行海量數據分析；既能夠加速傳統的關系型數據，又能連接外部的Hadoop做非結構化數據處理，它將是一個“全能”平臺，將企業日常的數據需求全部集中在一個生態系統中，企業可以根據自己的需求，個性化地選擇，比如，可以任意選擇各種類型的業務應用和數據處理，做交易用傳統的關系型數據庫，運行報表應用企業的數據倉庫（EDW），處理大數據用NoSQL或者Hadoop，在這樣一個大而全的生態平臺，可以實現簡化的IT架構，即想即得，企業將高效地應用諸多大數據技術手段，諸如分布式計算、并行處理、實時計算、高級分析與決策、數據可視化，進而實時獲取答案，幫助企業快速獲取洞察力，助力企業轉型與發展，重塑無限可能。如圖3所示：

圖3 大數據生態系統

四、結語

面對與日俱增的大量復雜的數據，企業面臨前所未有的挑戰和機遇，如何利用這些數據流的巨大潛力，發現大數據所蘊涵的巨大價值，是每個企業迫切解決的關鍵問題。在大數據時代，分析和處理技術不斷地發展變化，如果哪家企業能夠在這新的技術更新浪潮中，掌握有效地分析和利用大數據的利器，真正駕馭數字宇宙，將直接轉化為企業的競爭優勢，促進企業變革和升級。

[1]城田真琴.大數據的沖擊[M].朱四明，譯.北京：人民郵電出版社，2013：45-50.

[2]涂子沛.The Big Data Revolution[M].桂林：廣西師范大學出版社，2012：22-30.

[3]維克托·爾耶·舍恩伯格.大數據時代[M].杭州：浙江人民出版社，2013：30-34.

[4]王珊.架構大數據：挑戰、現狀與展望[J].計算機學報，2011，10(2)：51-54.

[5]鄧國清.大數據時代的精益財務分析[J].中國會計報，2013，4(5)：23-25.

[6]鄒大斌.大數據分析驅動制造業轉型[J].計算機世界，2011，10(6)：45-50.

[7]黃性清，柳清.ERP商務智能系統的設計方案[J].中國管理信息化，2011，11(5)：54-60.

[8]湯銘.挖掘制造業大數據價值[J].計算機世界，2012，5(7)：23-30.

[9]覃雄派，王會舉，杜小勇，等.大數據分析——RDBMS與MapReduce的競爭與共生[J].軟件學報，2012，23(1):32-45.

[10]周傲英.數據密集型計算—數據管理技術面臨的挑戰[J].中國計算機學會通訊，2009，5(7)：50-53.

[11]馮芷艷,郭迅華,曾大軍，等.大數據背景下商務管理研究若干前沿課題[J].管理科學學報，2013，1(2)：36-40.

[12]王樹良，丁剛毅，鐘鳴.大數據下的空間數據挖掘思考[J].中國電子科學研究院學報，2013，2(1)：40-44.

[13]羅恩韜，胡志剛，林華.一種大數據時代海量數據抽取的開發模型研究[J].計算機應用研究，2013，6(2):30-34.

[14]張桂剛，李超，張勇，等.一種基于海量信息處理的云存儲模型研究[J].計算機研究與發展，2012，49(S1):32－36.

【責任編輯 詹 麗】