架構設計成就EDW

數據倉庫的概念是Bill Inmon 于1991年提出的，Inmon被人們尊稱為“數據倉庫之父”，他給出了數據倉庫的一個簡短而全面的定義：數據倉庫是一個面向主題、集成、時變、非易失、明細的數據集合，可有效支持管理部門的決策。

數據倉庫的理念雖好，但就其多年的建設歷程來看，如何搭建復雜的數據倉庫應用還需深思。

行業數據倉庫

差強人意

國內數據倉庫應用開始于1996 年前后。最早是從銀行領域開始，四大國有商業銀行開始嘗試在一些分行或開發中心建立基于儲蓄、對公或信貸方面的數據倉庫系統，這些系統雖采用了一些數據倉庫和商務智能的思想，但是尚不能稱之為數據倉庫應用。直到2001年，大型國有銀行的數據倉庫系統也沒有形成規模。

在證券行業，上交所和深交所均在2001年實施了各自的數據倉庫系統。而眾多的券商中有部分采用了小型的數據集市以及基于PC 平臺的分析應用，很少有成規模的商務智能應用。

在電信領域，運營商的數據倉庫系統發展較快，從1999 年開始，已經有不少省份實施了面向客戶和市場分析的數據倉庫應用系統。到2001年底，中國移動總公司規范其系統，實行全國性的規范制定和選型招標，全面的工作也在2002年 下半年展開；中國聯通的數據倉庫系統雖然起步較晚，但一開始就實行全國統一規劃，其選型招標也在2002 年夏展開；中國電信由于應用繁雜、系統歷史較長，商務智能應用起步較晚，規模也不大。

其它行業如政府部門、公安、醫療、保險、電力、鐵路、制造業由于需求非常分散，也很少有成規模的數據倉庫應用，國內專注于該領域的集成商也很少，數據倉庫領域應用設計的實力相對較弱。

在國內各個行業，如銀行、電信、煙草、電子政務、零售、保險等，都在已有專業信息系統的基礎上，開展了以數據集成和決策支持為主要內容的各類決策支持系統的建設。

國內數據倉庫應用發展的特點主要有幾個方面。

首先不同行業或同行業不同地區發展極不平衡，少數企業和機構幾乎需要建立世界上最大、最復雜的數據倉庫應用，而多數企業幾乎難以提出數據倉庫應用的需求。

其次系統發展與企業的特點聯系密切，對數據倉庫的需求取決于企業屬于市場經濟模式還是計劃經濟模式、是上市公司還是非上市公司、在沿海開放地區還是內陸省份。市場競爭的壓力往往是商務智能發展的原動力。

第三系統建設反復較多，沒有形成可持續發展。商務智能系統的成功關鍵在于應用以及持續的信息補充。國內許多商務智能系統往往由于機構調整、人事變更或其它非技術的原因，反復廢棄、重建。此外，模型和功能的單一也影響了系統的應用效果，宣傳與實效之間有很大差距、系統建設也進入到各種誤區中去，這與技術和專業咨詢服務的落后有關。

最后在一些企業，經過數據倉庫的早期嘗試后，雖然數據倉庫的理念非常符合經營管理需要，但是數據倉庫應用不是簡單的一個項目，且不論原有數據倉庫系統設計得是否好，單看當時建設數據倉庫依賴的數據基礎，即已建信息系統的數據質量和應用情況，就可以看到存在很多不盡如人意的地方。一些企業早期雖積累了一些歷史數據，由于沒有制定統一的標準，數據不可比；一些企業即使制定了統一的標準，由于缺少管控和考核機制，統一標準在不同系統中執行情況并不理想，加上不同系統建設目標不同，系統中經營管理數據的口徑和類別都存在較大差異。

EDW呼之欲出

曾經有企業在ERP的全面推廣建設即將完成時，啟動了數據倉庫應用建設，根據銷售統計分析、物資供應監控、財務報表分析三項需求進行建設，在經過兩年的嘗試后，發現各部門的分析口徑存在較大差異。比如同樣是銷售額，有的是分析稅前銷售額，有的部門卻是全額銷售，直接利用數據倉庫技術建設分析模型，數據的加載項和轉換規則都是按各部門分析需求制定，從總部層面會出現不同口徑的分析數據，利用這些信息仍無法有效指導企業的經營管理。

這家企業只好重新收集各部門對于數據的需求，對數據倉庫系統架構進行了重新優化和部署，并啟動了企業級數據倉庫（EDW）系統的建設規劃。這家企業EDW規劃沿用了CIF的概念，抽取來自于ERP等經營管理系統的數據，通過統一的數據抽取、加工、清洗、存儲，為集團公司總部的管理部門、分子公司應用提供統一、標準的數據服務。

實際應用表明，EDW系統首先專注于數據的抽取和集成，所有的數據抽取和集成工作在EDW平臺完成；其次，它專注于為各類數據倉庫應用提供規范、標準、一致的數據源，本身并不提供任何的查詢分析。

EDW系統在數據的架構上采用了層次化架構設計，包含三個數據層：數據抽取層、數據合并層、數據輸出層。其中數據抽取層和數據合并層獨立于應用，不從屬于任何數據倉庫應用；但是數據輸出層則是依賴于每個應用存在的。數據輸出層單純是技術上為了解決不同的應用從EDW系統提取自己的數據增量而設置，通過數據輸出層隔離了不同應用在數據抽取時的相互影響。

層次設計的重要原則是每個層次有其明確的服務目的，數據抽取層解決滿足“未知”的應用需求，數據合并層保證數據的一致性，數據輸出層則是保證提供每個應用一致的增量數據。

數據抽取層

抽取層的輸入數據源來自于源系統。抽取層保存和源系統一致的信息，不進行編碼轉換、數據清洗、語義邏輯加工。

抽取層需要考慮一些附加處理信息，如增加數據來源標識——源系統、標識在源系統中已經刪除的數據、為重要的主數據保存歷史信息、為某些特定的數據總是提供數據上載時間戳等。

針對EDW數據源，需按主題、數據擁有者、數據項編號、數據項技術名稱、數據項中文名稱、數據項業務定義、數據類型、處理類型、處理邏輯、源系統基礎表名稱、數據源字段名稱等進行梳理，并進行記錄，數據源的變更需遵循變更管控流程。

數據合并層

合并層的輸入數據源來自抽取層的數據，從抽取層到合并層需要根據業務模型定義完成大量的編碼統一、業務邏輯統一工作。

合并層的數據主要供后續的業務轉換層，或者應用分析層使用；合并層中的數據也可以通過數據倉庫的數據分發接口提供給其它應用使用。合并層采用DSO來進行數據存儲。

數據輸出層

數據輸出層的輸入數據源來自合并層的數據，數據輸出層的數據主要供后續的業務轉換層，或者應用分析層使用；數據輸出層是依賴于應用項目設置的，它的數據結構是由應用項目決定的。數據輸出層采用優化DSO來進行數據存儲。

增加數據輸出層的目的是為了隔離不同應用之間調整的相互影響。

數據分區存儲設計

EDW系統中的數據存儲可采用分區設計，其基本原則是按照分子公司進行數據的分區存儲。比如，集團下不同企業的數據分散在不同的DSO中保存。

采用分區設計的主要目的是適應不同企業數據抽取、數據處理的相互干擾，充分利用服務器的并行處理能力，將單據級表數據控制在較小的規模，避免數據加載瓶頸。

分區存儲應用于數據抽取層和數據合并層，對于數據輸出層沒有分區存儲數據的要求。相反，大部分的應用在數據輸出層將不同的合并層數據合并在一起，再統一輸出層到后續的應用。

建立管控體系

將風險降至最低

在EDW建設中應堅持以下五項原則。

一是以業務需求為驅動：對現有分析應用的業務需求進行再確認，以指導和約束EDW數據設計，根據分析應用建立或遷移實施的步驟，確定源系統加載到EDW的優先級和策略等。

二是需求部門充分參與：EDW的建設需要業務部門的充分參與，提出業務需求和審核確定數據轉換加載的業務規則，提出數據質量和數據安全管理的要求。

三是漸進式的建設過程：EDW的建設應堅持漸進式的演變過程，逐步進行數據內容的完善；堅持先試點后推廣穩步實施的策略。

四是以數據管控機制保障：EDW的建設應同時建立數據管控機制，對數據質量、數據安全、數據標準等進行管理和控制。

五是逐步完善數據標準：隨著EDW的建設，逐步建立和完善EDW的數據標準，以支持企業級數據標準的不斷完善。

EDW設計的技術含量看似不高，但要把至少數十、上百TB的數據進行加載、轉換和存儲，無論產品功能還是技術架構都有一定的難度。建設EDW前需要解決好兩個關鍵問題。

首先是，數據源梳理是數據倉庫實施前的重要前提，企業級數據集成，必須建立在對數據源的全面、準確的了解和分析上。通過對業務源系統的深入了解，重點對業務系統應用狀況、業務系統變革、業務系統可用性、業務系統數據質量對業務需求的滿足度、業務系統加載優先級等進行詳細分析。

其次是，數據架構設計是EDW設計的關鍵內容，在總體設計中，一方面應考慮技術架構設計的合理性和規范性，保證其高性能、靈活、可擴展；另一方面應考慮數據架構設計，即如何進行數據的存放、組織、傳輸、分發，如何形成統一集成的數據數據來源。如果忽略數據的規劃與設計，則很難真正發揮EDW的作用，使得EDW只是變成一個數據中間落地點，只是增加數據延遲，耗費了數據存儲空間，導致EDW建設失敗。通過對數據架構的設計，要明確EDW數據分布策略、EDW數據分類、EDW數據模型、EDW數據標準、EDW數據集成方案、EDW數據管理方案等內

容。

EDW系統為海量數據的運行系統，數據模型在EDW系統上雖進行了統一設計和實現，同一個數據模型為不同的應用提供數據服務，存在不同應用由不同項目組同時進行的情況，也存在建成的應用需要擴展應用或進行變更，因此EDW系統的管控工作非常重要。