中小銀行建設數據倉庫平臺的探討

邱成良　鮑佳兒

伴隨信息技術發展，中小銀行（含農村信用社及其改制的銀行）信息化水平不斷提高，經過近年業務品類和規模的迅速擴展，積累了大量經營歷史數據。隨著銀行市場競爭日趨激烈和利率市場化的預期來臨，規模擴張的粗放式管理模式已經不適應其當前發展，中小銀行亟須利用信息科技挖掘內在規律，變粗放式管理向精細化、信息化管理模式轉變。因此，中小管理信息化的需求變得極為迫切。數據倉庫及商業智能技術給銀行管理信息化提供了成熟的技術支撐平臺，目前，國內規模實力較大銀行都已建設了各自的數據倉庫，體現出其優越性，極大提升市場競爭能力和經營管理效率。

參照規模較大銀行經驗，結合中小銀行的特點，建立輕量級的數據倉庫，借助數據倉庫與商業智能技術從這些業務數據中提取有效的、潛在的數據信息，對中小銀行來說已是迫在眉睫。在該數據倉庫平臺基礎之上，采用多維分析技術，構建存款分析、貸款分析、中間業務、會計分析、客戶分析等業務分析主題域，陸續實施客戶關系管理系統、經濟資本管理、績效考核等管理型應用，對中小銀行經營決策和管理提供強大的數據支撐以及提高其市場競爭力和風險防范能力都有重要意義。

一、數據倉庫平臺設計原則

一是良好的業務適應性及可擴展性：在各業務系統源數據模型不出現重大變化的前提下，系統從設計上采用模塊化和組件化，松耦合實現，要求具有良好的業務適應性及可擴展性，業務模型采用參數化定制，方便用戶在未來業務新增或變更的時候進行維護。適應中小銀行發展的思路和科技規劃，至少應滿足未來5年的業務及技術需求；

二是跨平臺性和開放性：平臺宜采用JAVA開發與實現，通過采用統一的標準化規范，可擴展的系統架構，開源框架（例如SPRING MVC），保證系統可在異構的平臺系統及數據庫之間方便移植；

三是穩定性和魯棒性：整體平臺應運行穩定，有很強的防錯、抗錯能力，具備故障恢復能力和魯棒性，保證日常事務連續穩定運行。實時的決策支持能力，保證使用人員的日常事務處理不需要技術人員頻繁支持。

四是先進性和成熟性：平臺宜采用先進的技術，符合當前的技術發展方向；成熟的產品可盡量減少平臺的實施和運行風險，保障平臺高效穩定運行。

五是安全性和保密性：平臺宜采用統一化界面設計，通過統一的界面和內部的權限控制，防止越權操作，保障操作的合法性；充分考慮在網絡、操作系統、數據庫、應用等方面的安全性。

二、數據倉庫平臺設計

中小銀行數據倉庫不宜過分復雜，層次不宜過多，設計上課程分為數據源層、ETL服務層、支撐組件層和功能實現層。

一是數據源層：該層次包含中小銀行營業中產生的各類元數據，主要包含會計核心數據、信貸業務數據、國際業務數據、卡中心數據、支付平臺數據、資金業務數據、網上銀行數據、手機銀行數據、中間業務數據以及各類管理系統的數據。

二是ETL服務層：提供數據獲取、清洗、轉換及加載過程。在ETL過程中，進行數據源模板格式校驗、數據完整性校驗、數據合法性校驗、數據正確性校驗以及數據清洗與加載。

三是支撐組件層：支撐組件主要指數據倉庫DW以及數據集市DM過程中用到的工具和組件，主要包含數據抽、取加、清洗工具IBM DATASTAGE，報表開發工具BUSINESS OBJECTS、COGNOS組件以及前臺界面快速開發平臺等。

四是功能實現層：該層主要實現系統功能模塊，應至少包含：工作臺、系統運行參數、用戶管理、元數據管理、目錄管理、用戶組管理、機構管理、數據維護、角色管理、應用平臺業務功能、數據分析實現授權、數據挖掘與展現、商業智能報表設計與管理等。其中，元數據管理是指對數據標準字典、數據說明等信息進行維護與管理；系統運行參數是指對對業務人員權限、功能模塊定義、機構管理、報表管理、信息主題維護等與系統總控參數的定義與維護；報表設計與管理指定義報表、生成報表、發布報表的過程。

三、數據倉庫存儲設計

一是元數據（META DATA）。元數據是存儲和處理接口文件的區域，接口文件區在操作系統（如UNIX、AIX）下按照特定的目錄結構組織起來。用操作系統的指令集和工具來管理。對每個目錄按照其特定的用途設置不同用戶的訪問權限。元數據的處理主要是SHELL調用DB2的LOAD文件命令，附加一些自己開發的特定程序來實現。

二是數據初始入庫ODS層。該層數據具有面向主題、集成的、可變的數據集，是當前的或是接近當前的數據，它介于元始數據文件和數據倉庫之間的一種數據存儲技術，與原來面向應用的分散的、雜亂無章元數據相比，ODS層增加了ETL時間戳等標記，存放當日或當月的數據，且數據結構接近數據源業務系統。該層可以在業務系統和數據倉庫之間形成一個隔離緩沖層，轉移一部分業務細節數據的查詢功能。

三是數據倉庫DW層。該層主要目的是支持把元數據文件裝載到數據庫，并對其進行驗證和處理，然后把數據按照統一規則命名。驗證的方法主要是將新轉載的數據與ODS內已有的數據進行查找和比較。該層數據是最完整的，并且保存期限最長，中小銀行管理系統應用數據時，可以在這一層直接卸載成標準文件落地供給管理系統使用。

四是匯總數據層。匯總數據區是為了方便查詢及防病后續多維數據的更新，創建的常用的匯總表，以提高性能和降低后續檢索工作的復雜性。匯總應最少包含貸款余額累積數和日均計算、存款余額累積數和日均計算、資金業務余額累積數和日均計算、中間業務余額累積數和日均計算等。匯總數據層應盡量在多個數據集市的計算中共享，這樣方可大幅度的提高整個數據倉庫查詢的性能。

四、數據倉庫平臺建設目標

一是統一客戶信息。目前中小銀行系統眾多，彼此間缺少關聯，造成客戶信息紊亂，針對客戶信息的查詢問題、困難很多。數據倉庫通過設定一定規則，統一客戶信息，便于以后開展客戶管理系統以及精準營銷管理系統的開發建設。

二是提高數據質量。系統建設會促進各個業務系統的發展，特別是數據質量的提升。通過統一數據清洗，為中小銀行相關應用系統提供干凈、一致、全面的數據。

三是多維度智能分析。通過數據倉庫挖掘技術可以按照客戶存款、貸款、中間業務進行多維度分析，更加全面、系統和綜合的分析數據。

四是為專題應用供數。平臺搭建后，可以方便為管理建立數據集市，進而可以開發引入經濟資本管理、產品定價、資產負債管理、盈利性分析、成本分攤、內部資金轉移定價、風險管理等，提升中小銀行的管理水平。