淺析大數據架構解決方案

阮洋 李璐

摘 要：企業大數據建設的關注點開始從基礎設施轉向以應用牽引的運營、使能、平臺化方向轉移應用。本文主要從IT基礎架構、智能分析軟件等方面全方位進行考量，分析總結了大數據總體技術架構設計原則，并提出了大數據基礎平臺解決方案，最后對大數據基礎機構技術發展進行了總結。

關鍵詞： 大數據；IT基礎架構

0引言

隨著互聯網、物聯網、云計算、三網融合等通信新技術的迅速發展，數據規模大、類型多樣、生成快速，越來越多企業將大數據作為新的發展機遇。然而，大數據也為企業IT帶來新的挑戰，基礎架構是其中最為關鍵的一環，大數據在帶來機會的同時，也帶來挑戰。

1大數據總體技術架構設計

目前，國內企業的大數據應用大部分仍處于規?；渴疬\營初期，基礎平臺的建設運營包括硬件架構設計、軟件平臺規劃、資源的共享與各類接口的規范制定。構建適合大數據整合基礎架構需遵循以下原則進行規劃設計。

1.1可用性

數據中心最終目的是要滿足上層業務的高效可靠運行，因此在構建數據中心過程中需要保障業務的可用性。為滿足這一要求，在設計過程中可以考慮如下幾點：

基礎設施的高可用：基礎設施層的可用性體現在計算資源、存儲資源和網絡資源的高可用?；A設施層通過交換機的堆疊技術，存儲RAID等多種方案保障高可用。

應用的高可用：在業務技術方案中要考慮高可用性，不出現單點失效問題。

容災備份能力：通過數據備份保障主數據丟失時可以快速恢復數據；通過建設關鍵應用的容災系統，保障在災難發生時實現業務的可用性，快速恢復關鍵應用的運行。

1.2安全性

主要包括網絡安全、數據安全、接入安全、主機安全、身份安全和安全管理。安全體系的建設是通過技術手段和管理手的。

1.3開放性

建設中也需要特別注意采用開放的平臺和方案，主要體現在如下幾點：

異構原則：總體方案的各層應支持異構平臺和不同的供應商。

利舊原則：在基礎設施層應支持設備利舊，利用原有的設備來構建警務云數據中心，在資源池中支持不同供應商的服務器，存儲，網絡設備。

開放的接口：基礎設施層、虛擬化層、平臺服務、運維系統等各層都應該提供開放的接口，便于和第三方系統對接或者基于這些接口來進一步構建新的業務。

1.4擴展性

隨著業務的不斷增長，數據中心的計算、存儲能力必然會出現無法滿足業務需求的情況。當數據中心計算能力不足時，能夠采用增加計算資源的方式擴容，無需對運行的應用停機就能夠增加應用的處理能力，實現計算能力擴展。

2大數據基礎平臺解決方案

基礎平臺目的在于提供集約管理和池化運營的基礎能力，實現軟硬件資源的共享和快速提供，為大數據應用提供高效和靈活的基礎平臺。根據當前主流的大數據技術架構，基礎平臺可劃分如下7個功能層面，為各類大數據應用提供共享的基礎服務。

大數據采集和整合，解決傳統煙囪式IT系統間重復采集、存儲分散、建設成本高等問題。提供能力：提供數據集成與治理服務，能有效的對原來信息架構，多種數據源進行整合與治理，對數據的統一采集、存儲和統一管理，最終實現數據拉通共享，從而降低成本。

大數據基礎設施，解決傳統企業級數據庫只能支持結構化數據，無法支撐非結構化和半結構化數據的存儲問題。提供能力：提供數據融合、企業級信息架構治理、基礎設施集成交付服務，提供工具如內存分析DB、DWH、MPP DB、Hadoop、數據管理等，有效支撐各類混合數據，最終為實現行業的穿越、數據的關聯和技術的混搭奠定了基礎。

企業知識引擎，客戶知識庫（標簽、分群等）、產品知識庫、商業知識庫和渠道知識庫建設，同時包含互聯網分析、位置分析，彌補現有業務系統（如Campaign）大數據洞察能力的不足。提供能力：提供數據分析和業務建模服務，構建主要的知識庫體系如客戶知識庫（CKM）、產品知識庫（PKM）、商業知識庫（BKM）。

實時決策支持中心，提升企業的響應能力，解決企業實時決策閉環能力不足。由于涉及到復雜的周邊系統集成，只有在應用集成架構和信息集成架構比較成熟的運營商才有可能實施。用于固化各種可自動化執行的策略和決策。提供能力：提供了數據分析建模和實時規則建模等服務，通過利用離線的大數據知識分析與洞察和實時事件信息進行綜合的決策。

增強BI，為整體信息架構和IT架構相關成熟的企業，解決處理能力不足的問題，以有效地支持業務發展。提供能力：提供數據探索、數據集成定制服務，在原有BI基礎上，提升數據處理能力，降低數據處理單位成本，更好地支撐運營商的戰略發展和運營。

客戶智能，為滿足運營商在MBB和數字業務轉型的需要，提升ARPU從而提升總收入。提供能力：提供業務分析和業務建模，通過精準化的市場營銷、實時運維洞察、提升客戶體驗、客戶維系等手段，擴大用戶的生命周期和減少離網率，最終實現收入的穩步提升。

數據變現，運營商尋找業務突破點，探索新的商業模式和數據隱私、安全方面的實踐。提供能力：提供如智慧交通、店面選址、店面經營等服務，并可提供輔助運營服務。通過數據變現，幫助運營商從傳統Scale-Up模型向Scale-Out轉變的一種產品形態。

3結束語

大數據建設成功的重要開端就是打造一個適合大數據整合的基礎架構，聚焦大數據采集與整合和大數據基礎設施的解決方案，同時，站在大數據行業的未來發展趨勢的判斷，企業知識引擎和客戶智能將實現客戶精確營銷。未來在對大數據的不斷探索研究下，大數據必將帶來更多價值。