企業數據中心的研究與設計

林烈青

（廣東工業大學，廣州 511495）

0 引言

企業集團的營銷、管理、財務和其他業務數據存儲在各類管理信息系統和業務應用系統中，各自的數據庫分散獨立，數據格式和存儲方式也不盡相同，難以實現系統間的信息交換和共享，不利于業務數據的集中管理和分析評估。如何實現數據的集中管理和交流共享，提高現代化管理水平，從而輔助企業決策是一項緊迫任務。因此建立企業數據中心，實現數據大集中，綜合利用各種數據及時對企業發展作深層分析，是實現企業科學決策的必然選擇。

1 數據中心的概念與系統架構

1.1 數據中心的概念

企業數據中心（Data Center）的概念是逐步發展而清晰的。狹義的企業數據中心是指企業一系列電子化數據的集合，其基本表現形式是結構化和非結構化數據的文本或數據庫，包括各應用系統數據庫、企業全局數據字典以及數據倉庫。而廣義的企業數據中心是指企業所有經過處理的電子化數據的集合以及存儲和應用這些數據的計算機和網絡環境，其表現形式除了信息網絡、服務器、存儲設備以及相關的機房環境外，還包括企業專用或通用數據庫以及對數據實施收集、加工分析處理、管理、存儲保護和查詢檢索服務的企業信息應用系統。

1.2 數據中心的系統架構

企業數據中心一般可由軟件系統和硬件系統組成。軟件系統由數據庫、數據倉庫、數據交換系統、數據中心門戶、數據備份中心等組成。硬件系統包括服務器群、網絡系統、電源系統以及相關的機房設施組成。數據中心的應用功能架構如圖1所示。

圖1 企業數據中心功能架構圖

數據中心的數據源由企業現有的營銷系統、財務系統、人事管理系統、計劃統計系統、資產管理系統、OA系統等業務數據組成。數據交換系統是所有共享數據的集中池，向下從源數據庫集成數據并保持同步更新，成為各個應用系統之間的共享數據通道；向上作為統計分析服務的數據源，向統計分析服務提供從各個應用系統集成過來的共享數據。數據交換系統統一了企業的主題數據庫標準、數據代碼標準、數據指標解釋，從而達到數據的一致性，實現各種資源的整合。

數據中心的數據庫由各項業務的主題數據庫、數據倉庫、擴展數據庫組成，它們是不同應用層次的數據資源體系。主題數據庫包含所有業務系統的核心基礎數據，統一企業的全局數據字典和管理業務數據的編碼等規范。擴展數據庫是在相應業務主題數據庫的基礎上擴展各業務系統專用的其他數據而成。數據倉庫是通過抽取方式，對數據中心的主題數據庫信息進一步鉆取、清洗、轉換、存儲及管理，可以建立多維的數據分析和挖掘主題，或根據業務需要建立數據分析模型及算法，支持企業決策。

數據中心的門戶平臺提供統一的數據展現界面，實現統一的用戶管理和系統資源管理，在數據交換渠道上通過E T L 應用與應用系統連接；在數據表現上將數據中心門戶集成到企業信息門戶；在運行管理上將關鍵管理數據以接口方式匯集到企業全局數據字典進行集中監管。

2 數據中心的核心交換系統

圖2 數據交換系統邏輯體系圖

數據中心的核心組件是數據交換系統。數據交換系統的設計遵循分層次原則，在統一規劃的前提下，不同業務系統的數據保持相對獨立性，重點解決跨部門、跨系統數據一致性和數據共享交換問題。數據結構設計具有擴充性，同時要保證業務系統的穩定性，建立共同遵守的統一標準和規范，解決系統間信息的互連互通，支持業務開展、橫向的信息交換和宏觀管理的要求。數據交換系統的邏輯體系如圖2所示。

數據交換系統從縱向看是一個多層結構，主要分為數據獲取層、數據轉換與存儲層、數據訪問層三大層次。數據獲取層將各業務系統傳送來的數據文件進行預處理和格式檢查，然后分類存放在臨時存儲區中；數據轉換與存儲層包括第一次ETL、ODS、第二次ETL、DW和數據倉庫接口。數據訪問層通過數據倉庫接口使用DW中的數據，向外提供統計報表、OLAP分析、即席查詢、數據挖掘等應用。從系統外部來看，應用邏輯層負責提供所有應用，其分布式結構可以由應用服務器（OLAP服務器、統計型報表服務器等）和WEB服務器構成，通過圖形用戶界面（GUI）、Web瀏覽器等多種方式為用戶提供友好的界面訪問。

數據交換系統從橫向看還包括了元數據管理和系統管理。元數據管理主要對各種元數據進行添加、刪除、查詢和修改操作，包括數據源元數據管理、ETL規則管理、ODS元數據管理、數據倉庫元數據管理、應用邏輯元數據管理。系統管理則負責整個系統的管理工作，主要有用戶權限管理、系統監視、接口管理。其中，用戶權限管理負責用戶基本信息管理、權限管理、用戶權限分配；系統監測負責日志管理、系統管理任務提示、系統服務進程監測和數據存儲空間的監視；接口管理負責對數據倉庫接口、數據文件接口進行管理。

2.1 數據獲取層

數據獲取的數據源主要是各業務管理系統。數據獲取的方法可以多樣化，部門預算編制系統、預算執行系統等可通過授權訪問的方式來實現聯機讀取，OA系統可通過系統專用接口抽取數據，其他業務系統的數據如電子表格等可采取FTP方式進行上傳。此外，數據獲取還支持用戶手工錄入數據，包括界面錄入和文件載入。

數據獲取層的模型如圖3所示。數據獲取模塊監控源數據的到來，并記錄源數據的采集日志。采集數據時，激活數據接口協議檢查模塊對源數據文件進行預處理和格式檢查，將源數據接口文件裝載入接口數據緩沖區。當發現源數據文件有錯誤的時候，形成錯誤文件的接口狀態報告，并將信息反饋給數據源端。

整個采集和數據接口檢查都由數據獲取調度管理模塊進行統一調度。如源數據已經超過保存期限時，將其轉換為歷史接口數據文件并脫機保存。

圖3 數據獲取層

2.2 數據轉換及存儲層

數據轉換及存儲層負責數據清洗、生成數據倉庫和存儲應用數據。在本層中，數據倉庫包括操作型數據庫和分析型數據庫，應用數據包括數據集市和數據挖掘樣本數據。

圖4 數據轉換及存儲層

數據轉換及存儲層的模型如圖4所示。本層次包括了三次ETL過程：從數據緩沖區到操作型數據庫的第一次ETL過程，將經過清潔、集成后的數據裝載到ODS數據存儲區中，形成明細的單位信息、科目信息、項目信息、業務信息、文檔信息等。從操作型數據庫到分析型數據庫的第二次ETL過程，通過ODS數據存儲區抽取數據，以面向主題方式將數據重新組織、轉換、綜合后裝載到DW數據存儲區中。從倉庫數據到應用數據的第三次ETL過程，是從倉庫數據到數據集市以及從倉庫數據到數據挖掘樣本數據的ETL過程，從DW抽取數據后，以面向應用方式為管理業務提供數據支持。

2.3 數據訪問層

數據訪問層是用戶與系統交互的界面，通過數據訪問層來獲取數據中心的信息。本層是一個典型的層次體系結構，由數據層(DB)、業務層和展現層組成，如圖5所示。

LISP協議網絡結構除了將LISP主機間的互通進行考慮外，還對LISP和非LISP主機間的通信進行了考慮。如圖3給出了LISP和非LISP之間互通的整體網絡架構。

1）數據層（DB）：包括數據集市、數據挖掘樣本數據等；

2）業務層：包括統計分析應用，如統計報表、OLAP、數據挖掘、即席查詢，再往上抽象就是KPI、EIS、專題分析等應用邏輯組織；

3）展現層：主要是Web Portal和知識管理，Web Portal將用戶接入到系統中，由知識管理負責為客戶生成定制化的訪問界面，同時輔助用戶進行決策分析。

圖5 數據訪問層

數據訪問層是用戶獲取分析數據，提取知識的窗口，提供了多維分析、即席查詢、預定義報表、數據挖掘和Web查詢等多種數據訪問方式。

3 數據交換與共享機制

數據中心的數據交換與共享機制定義所有參與數據交換與共享的分布式應用系統為交換節點，數據中心為中心節點,如圖6所示。

圖6 數據交換與共享機制

首先，交換節點必須在中心節點進行注冊來取得節點標識。節點與中心進行數據交換時，中心通過節點標識信息確認消息的發送方和接收方。數據中心的數據來源于各節點，數據采集由節點通過數據上傳的方式來實現，每個節點負責維護業務上歸屬本節點的信息數據。數據采集后必須經過數據校驗，保證數據中心采集的數據與該數據業務歸屬方數據的一致性，中心作為數據校驗的發起方，將校驗數據發送到該數據業務歸屬節點進行數據校驗，校驗結果由節點返回。節點可以在中心訂閱所需數據，當訂閱數據發生更改后，中心將更新數據并發送到訂閱節點，實現數據的同步；當節點的本地數據發生更新后，實時將更新數據上傳到數據中心。數據中心向各節點提供數據查詢和信息發布服務，實現信息共享，并通過廣播方式向各節點發送管理類信息。

4 數據中心的標準體系建設

數據中心的標準體系是企業信息化標準體系的重要組成部分，首先要進行數據中心標準化的總體設計，確定標準體系框架，制定統一的標準，另外還要開發相應的標準體系管理工具，建立標準符合性的檢驗機制等。具體來講，應優先在數據指標體系、基礎數據指標定義、數據分類、數據編碼、數據交換格式與共享規范，以及數據文件命名規則和質量控制標準、系統轉換接口、主題數據庫的定義、主題數據庫數據的使用維護機制等方面進行標準化。此外，企業信息網絡、系統平臺、軟件架構、機房環境等方面也應進行規范，優先采用國際標準和國家標準，共同推進企業的整體信息化建設。

5 數據中心的安全保障

企業數據的大集中，極大的方便了數據的使用，同時也增大了安全風險。因此必須高度重視數據中心的安全防范措施，確保數據中心系統及數據的安全。數據中心的安全措施必須統一規劃，建立安全訪問認證體系、運行環境的安全保障系統以及完善的備份數據中心等。在數據中心各層次的安全技術實施過程中，必須建立嚴格的安全管理和運行制度，確保數據中心的環境安全、系統安全、網絡安全和數據安全。建議采取如下安全技術：

1）建立網絡安全技術體系，如配置防火墻、防病毒軟件及入侵檢測系統；

2）實施PKI/PMI認證和權限管理，保證數據的使用安全；

3）建立高可靠的冗余數據庫系統和存儲系統，保證數據的存儲安全；

4）建立異地災難備份數據庫，保證基礎數據的安全；

5）建立數據中心安全評估系統，及早發現安全隱患并及時解決。

6 結論

企業數據中心的建設是企業信息化深層發展的必然趨勢，是實現企業現代化管理的重要措施。數據中心儲存了企業的基礎數據和各部門的業務數據，包括了企業的核心業務數據庫和用于數據挖掘分析的數據倉庫，實現了數據的一致性、完整性、有效性和準確性，形成了統一的信息資源體系。數據中心有效地實現了應用系統的整合，極大地加強了基礎數據綜合利用和數據共享水平，為企業提供數據綜合分析和決策支持，有利于提高企業市場競爭優勢，提升現代化管理水平。

[1] 王繼業,辜體仁.電力企業數據中心建設探討[J].電力信息化,2006,2:16-19.

[2] 胡金明,李健.基于B/S的企業數據采集系統設計與實現[J].自動化與儀表,2010,5:43-46.

[3] 姚家奕.數據倉庫與數據挖掘技術原理及應用[M].北京:電子工業出版社,2009.

[4] 劉明德,陳湘.數據挖掘與OLAP理論與實務[M].北京:清華大學出版社,2003.