一種基于統一管控體系的數據倉庫的建設方法

王小紅 周炳

摘? 要： 數據倉庫建設作為信息社會中人們提取信息的關鍵技術，已經相當成熟。但是傳統數據倉庫單獨建設ETL調度子系統、數據質量管理子系統和元數據管理子系統的數據倉庫體系，容易導致配套子系統描述的不一致。文章闡述了一種基于統一管控體系的數據倉庫建設思路及其架構，通過構建新的管控體系改變傳統的數據處理和管理方式，實現數據“統一采集、統一存儲、統一管理、統一運營、統一服務”，解決了傳統數據倉庫各子功能系統之間無法良好協同、描述不一致的問題。該系統在實際應用中取得了較好的效果，具有較高的應用價值。

關鍵詞： 數據倉庫; ETL; 元數據; 統一管控體系; 數據生產線

中圖分類號：TP311.52? ? ? ? ? 文獻標志碼：A? ? ?文章編號：1006-8228（2019）08-40-04

Abstract： The construction of data warehouse， as a key technology for people to extract information in the information society， has been quite matured. However， traditional data warehouse can lead to the inconsistency of supporting subsystems， because subsystem of ETL scheduling， subsystem of data quality management and subsystem of metadata management are built separately. So a method of establishing data warehouse based on uniform data management and control system is introduced in this paper. The aim of "unified collection， unified storage， unified management， unified operation and unified service" can be achieved by the new management and control system， which substitutes the traditional data processing and management methods， and solves the problem that the sub-function systems of traditional data warehouse can not cooperate well and describe inconsistently. This system has achieved good effects， and has good practicability and high application value.

Key words： data warehouse; ETL; metadata; uniform data management and control system; data assembly line

0 引言

隨著社會的發展和技術的進步，數據已成為人類社會重要的資源，而社會信息化的發展也使數據量急劇增長，人們為了從大量數據中提取出能對預測、輔助決策有用的信息，使用各種技術手段，如可視化、BI、人工智能、大數據等，這些技術的實現均需良好的數據架構作為支撐基礎，數據庫已無法滿足這種需求，主要體現在以下三個方面：一是歷史數據量大，盡管軟硬件的性能持續得到大幅度提升，但是仍然無法滿足快速增長的數據量所需要的環境;二是輔助決策信息涉及多個部門、多個系統、多種格式的數據，而這些多樣化的數據在數據庫中是難以集成的;三是數據庫主要用于OLTP，對于處理數據查詢等OLAP操作的能力不足，對大量數據的訪問性能明顯下降。為了解決上述問題，人們提出了數據倉庫的概念，并研究出數據倉庫的建設方法。

然而，傳統的數據倉庫單獨建設ETL調度子系統、數據質量管理子系統和元數據管理子系統等，這樣容易導致各子系統之間無法良好協同，對同一數據的描述往往不一致，基于此我們提出建立包括ETL調度、元數據管理和數據質量等功能在內的統一的數據管控體系，改變傳統的數據處理和管理方式。

1 數據倉庫的基本內容

1.1 數據倉庫

數據倉庫是向業務主題的、集成的、基于歷史的、信息本身相對穩定的數據及應用集合[1，2，3＼，4]，它通過建立面向數據分析服務的統一的數據存儲平臺，實現不同業務系統原始數據的清洗、整合和標準化，其主要內容包括三個方面。

⑴ 制定統一的數據標準[5]

數據標準是一套符合系統自身實際，涵蓋定義、操作、應用多層次數據的標準化體系，是數據倉庫建設的一項重要工作。

數據標準包括數據定義規范的標準化、數據編碼的標準化、元數據標準化和數據質量的標準化等。

⑵ 實現內部數據的歸口管理

歸口管理指所有下游應用分析所需數據支持均平臺統一提供，避免數據源的多頭出口，從而提高各系統之間數據標準化和安全性。

⑶ 實現“一次采集、多次使用”

“一次采集、多次使用”是指下游應用系統由對生產系統的直接依賴變為依賴于各種粒度的匯總數據，這些不同粒度的數據由數據倉庫統一加工且統一存儲，從而減輕其對生產系統壓力， 降低數據冗余和資源浪費，提高數據處理和數據分析的效率。

1.2 數據倉庫的配套體系

數據倉庫的建設和實施除了基礎存儲的建設外還包括周邊的配套體系，包括ETL調度、元數據管理和數據質量管理等。

ETL[6-8] 是對操作數據庫中的業務數據進行抽取、清洗、轉換并將其載入數據倉庫存儲庫的數據集成工具，其主要作用在于對各類業務數據進行清理、標準化和匯總，為基于數據倉庫的決策分析應用提供高質量的數據。ETL負責按照統一的規則清洗并整合不同來源的數據，完成數據源向數據倉庫轉化的過程，是數據倉庫的核心和關鍵環節。

元數據是關于數據的數據。在數據倉庫系統中，元數據是描述數據倉庫內數據的結構和建立方法的數據，它實現了對數據全生命周期的管控，包括數據的描述、數據與數據之間的依賴關系以及數據流轉情況等信息，幫助數據管理員、開發人員和分析人員方便地找到他們所關心的數據[9，10，11，14]。

數據質量管理是對支持業務需求的數據進行全面質量管理，通過相關辦法、流程、軟件等，及時發現并解決數據質量問題，提升數據的完整性、及時性、準確性及一致性，提升業務價值[12-13]。

1.3 數據倉庫的體系架構

數據倉庫的體系架構是以基礎數據存儲平臺為數據集合，在此基礎上建設ETL調度子系統、數據質量管理子系統和元數據管理子系統等功能，如圖1所示。

1.4 傳統數據倉庫體系存在的問題

由于傳統的數據倉庫體系單獨建設ETL調度子系統、數據質量管理子系統和元數據管理子系統，因此存在以下幾個問題：一是數據處理邏輯優化及ETL改造而相關描述文檔未及時更新可能導致元數據與實際數據處理不一致;二是元數據不可信導致多角色的不能有效溝通;三是ETL與數據質量管理體系獨立導致數據質量的可靠性無法隨時掌控，且與數據處理過程無法互動。這些問題導致各子系統之間無法良好協同。

2 基于統一管控體系的數據倉庫的架構體系

為了有效地解決傳統數據倉庫體系存在的描述不一致問題，我們提出了建立包括ETL調度、元數據管理和數據質量等功能在內的基于統一管控體系的數據倉庫。

2.1 統一數據管控體系

統一數據管控體系是依托于數據倉庫作為基礎的數據存儲平臺，通過整合包括ETL調度管理、元數據管理和數據質量等功能建立全新的數據管控體系，改變傳統的數據處理和管理方式。

2.2 基于統一管控體系的數據倉庫的架構體系

基于統一管控體系的數據倉庫的架構體系是以前端各業務系統的原始數據為數據源，通過ETL調度服務，定期將源數據抽取、加工并統一存儲，由數據管控模塊在此基礎上開展一系列數據管控工作。

首先，數據管控模塊提供數據對象之間依賴影響關系的管理，形成基于元數據的數據對象流，作為調度的惟一管理載體將多個數據源定期遷移至平臺內部，并加工成長期的、變化的基礎數據以及能夠滿足下游應用系統特定結構的結果數據，同時根據不同的數據結構及用途存儲在相應的數據層或存儲區域。

其次，ETL過程會根據所制訂的數據標準及相關規范，對進入平臺的數據進行清洗、標準化處理以及數據整合，最終形成清洗完成的、標準化的數據，供后續使用。

再次，數據管控模塊根據預設的數據質量檢查規則定期對數據對象進行監控，并將結果以發送報告、報表和告警等形式反饋給相應環節。這為保證系統數據質量提供數據校驗手段和管理控制手段，具體系統架構見圖2。

與圖1所示的傳統數據倉庫的體系架構相比，圖2所示的基于統一管控體系數據倉庫系統采用的統一數據管控平臺集中提供ETL調度、元數據管理、數據質量管理等功能。

3 基于統一管控體系數據倉庫的內容與建設

3.1 基于統一管控體系數據倉庫的主要內容

基于統一管控體系數據倉庫通過改變傳統的數據處理和管理方式，實現數據“統一采集、統一存儲、統一管理、統一運營、統一服務”，具體包括以下幾點。

⑴ 構建面向數據處理的統一管控框架

構建面向數據處理的統一管控框架是通過標準化數據處理模式，基于可視化、規范化的數據處理手段，實現系統后臺數據處理合理的業務透明度，徹底杜絕技術實現的黑盒化，實現數據資產業務化的“可視、可管、可控”。

⑵ 實現模型和數據處理的標準化、規范化

實現模型和數據處理的標準化、規范化是指標準化數據處理流程和代碼編寫規范，對命名規則、分層模型進行統一管理，能夠對數據處理過程輸出的元數據進行規范性、完整性、時效性檢查控制，從而保證數據處理質量。

⑶ 實現數據處理過程中元數據、數據質量的統一管控

實現數據處理過程中元數據、數據質量的統一管控是指對元數據強制前向獲取、規范性的數據處理、數據質量控制方法和技術管理手段，實現數據處理鏈路的追根溯源和全程審計。建立保證業務元數據、技術元數據和代碼的強一致性保障機制并通過數據管控平臺承載，有效降低數據處理過程中的監管成本，實現管理流程和技術手段的良好融合和相互促進。

⑷ 建設系統知識庫

建設系統知識庫是通過技術手段保證數據處理經驗的有效傳承，降低開發人員個性和流失帶來影響;通過知識管理手段，降低對文檔系統的依賴。

3.2 基于統一管控體系數據倉庫的建設方法

基于統一管控體系數據倉庫借鑒了制造業的生產方法，提出以數據為中心采用工具化、流程化、自動化的手段開展一切數據生產和管理活動。

首先，對數據加工處理過程進行抽象，把數據加工處理分為數據輸入、加工處理、數據輸出三個步驟，對應這三個步驟，數據從原材料轉變為半成品，最終成為成品（如決策分析報表）（見圖3）。

最后，通過將不同數據對象的組合，實現數據工廠的核心——數據生產線。數據生產線以數據對象關系圖（即元數據血緣圖）作為核心調度，描述了數據以時間為軸的加工順序，形成數據對象流調度。每個數據對象需要管理好自己的元數據，并完成對自己的所有加工和質量控制的操作。

因此，之前的ETL調度和監控、元數據管理以及數據質量管理，不再是獨立的實體，而是數據生產線的視圖（見圖5）。

模型的定義和開發、模型的管理和調度、模型的運行和監控、元數據管理、數據質量管理等均基于同一套數據對象流并在不同視圖中展示，提升對系統、數據的管控能力：

⑴ 通過數據對象實現知識的集中化管理，數據對象融合了庫內外加工、元數據、數據質量管理、調度管理等功能，解決了不同功能之間互動和一致性保證的難題。

⑵ 系統調度的邏輯就是元數據的血緣分析圖，由多組單向的數據對象的流動構成的一張由數據對象構成的單向無環圖（Directed Acyclic Graph），內嵌在數據對象里的質量控制，可以低成本高效地解決傳統調度面臨的問題定位和修復問題最小代價等難題。

⑶ 業務元數據驅動的數據對象流，可以實現數據全程的可控，最小化了業務和技術溝通的成本。

4 結束語

基于統一管控體系的數據倉庫，改變了容易導致各系統之間無法良好協同傳統分散的數據處理和管理方式，解決了傳統的數據倉庫各子功能系統之間無法良好協同的問題，降低了數據倉庫系統的復雜度和開發維護成本，保障系統的基于統一數據對象管理下的可視、可管、可控，促進系統持續、穩定、健康的發展，滿足多樣化的業務應用分析需求。

參考文獻（References）：

[1] W H Inmon.王志海等譯. 數據倉庫（第3版）[M].機械工業出版社，2003.

[2] 余丹.銀行企業級數據倉庫建設研究[D].吉林大學碩士學位論文，2009.

[3] 高翔，劉峰，張殿東.商業銀行數據倉庫建模研究與設計[J].計算機與數字工程，2010.38 （8）：81-82

[4] 王威. 個人征信數據倉庫系統的設計[D]. 對外經濟貿易大學，2006.

[5] 劉晨，蘇穎.一種面向數據倉庫項目數據接入的基于數據元素的數據質量管理方法[C]//科技信息資源共享促進國際會議，2011.

[6] 張暉. 基于工作流和元數據的ETL工具研究與實現[D].河北工業大學， 2006.

[7] 孫偉，張忠能.ETL架構研究[J].微型電腦應用，2005.21（3）：34-37

[8] 王克龍等.數據倉庫中 ETL 技術的探討與實踐[J].計算機應用與軟件，2005.22（11）：30-3

[9] 羅兵.基于元數據控制的ETL系統應用研究[D]. 西南大學，2006.

[10] 陳德莉. 元數據實施方法的研究[C]//中國煙草學會學術年會.2011.

[11] 孫力君，仇道霞，方峻峰，宋楠. 淺析數據倉庫中的元數據管理技術[J].齊魯工業大學學報（自然科學版），2009.23 （2）：58-62

[12] 孫中東.企業級數據治理框架下的數據質量管理[J].金融電子化，2011.6：57-60

[13] 程大慶，鄭承滿. 數據倉庫數據質量的治理及體系構建[J].中國金融電腦，2011.6：28-34

[14] 欒曉宇.基于元數據驅動的企業級數據倉庫系統[J].計算機系統應用，2015.24（2）：99-107