基于元數(shù)據(jù)管理的可擴展數(shù)據(jù)倉庫系統(tǒng)設計

周麗平+++周芳+++薛曉亞+++劉園園

摘 要：數(shù)據(jù)倉庫系統(tǒng)在創(chuàng)建、維護過程中，隨著數(shù)據(jù)的飛速膨脹與用戶需求的不斷變化，應根據(jù)應用的實際情況增減新的組件以提高數(shù)據(jù)倉庫的綜合性能。結合新形勢下的多應用組件需求，文章提出了基于元數(shù)據(jù)管理的設計方案實現(xiàn)可擴展的數(shù)據(jù)倉庫系統(tǒng)，通過元數(shù)據(jù)管理與接口設計對數(shù)據(jù)倉庫進行規(guī)范和組織，解決了數(shù)據(jù)倉庫系統(tǒng)各層數(shù)據(jù)的交互問題，同時增強了數(shù)據(jù)倉庫系統(tǒng)的擴展性，提高其應用的多樣性和適應性。

關鍵詞：數(shù)據(jù)倉庫；元數(shù)據(jù)；體系結構；接口

1 概述

數(shù)據(jù)倉庫所要管理的數(shù)據(jù)量要遠遠多于傳統(tǒng)系統(tǒng)所管理的數(shù)據(jù)量，隨著時間的推移數(shù)據(jù)倉庫平臺必須支持更多的數(shù)據(jù)和用戶、更多的和復雜的查詢處理，隨著系統(tǒng)功能的增加，在應用接入的同時需要保持原有能力，并能夠加載新應用，結合各類需求使得數(shù)據(jù)倉庫系統(tǒng)需要支持可擴展。

在傳統(tǒng)數(shù)據(jù)倉庫設計的體系結構下，系統(tǒng)內部結構耦合程度高，OLAP與數(shù)據(jù)挖掘功能組件結合緊密。當前，增加數(shù)據(jù)倉庫系統(tǒng)體系結構的可擴展性主要有兩種模式：一種主要研究系統(tǒng)部件模塊化和分層策略提高數(shù)據(jù)倉庫的可擴展性。如基于Web的數(shù)據(jù)挖掘算法與數(shù)據(jù)倉庫的接口設計[1]，將算法庫模塊化并解決了算法與數(shù)據(jù)倉庫的接口問題；基于Agent的三層數(shù)據(jù)倉庫系統(tǒng)體系結構的研究，將軟件Agent引入數(shù)據(jù)倉庫系統(tǒng)，增強了系統(tǒng)的伸縮性，拓廣了數(shù)據(jù)倉庫的應用領域[2]。另一種是采用高性能軟硬件、并行計算機系統(tǒng)結構，用可擴展的軟件并行和硬件并行相結合的方法進行數(shù)據(jù)倉庫的性能擴展。如采用高速緩存相關的非一致性內存訪同結構，并且較好地利用I/O并行性，解決大量異構數(shù)據(jù)涌入可擴展數(shù)據(jù)倉庫中時系統(tǒng)性能問題；采用并行技術實現(xiàn)基于可擴展的數(shù)據(jù)集市的數(shù)據(jù)倉庫系統(tǒng)結構[3]等。

在數(shù)據(jù)倉庫系統(tǒng)的設計過程中，如果采用多層擴展或分層內部模塊化方式實現(xiàn)擴展，系統(tǒng)中單一層模塊不斷增加，層內部件耦合度不斷提高，降低了系統(tǒng)的可維護性。而采用高性能軟硬件、并行解決方案，除考慮費用問題外，還需建立高性能平臺。如果其中某個組件性能較弱，將會影響整個數(shù)據(jù)倉庫系統(tǒng)，增加了數(shù)據(jù)倉庫系統(tǒng)開發(fā)與維護的難度。

為更有效地適應數(shù)據(jù)的飛速膨脹與用戶需求的不斷變化，管理分布的、異構的集成環(huán)境，保持數(shù)據(jù)倉庫系統(tǒng)層次的獨立性和自主性，減輕開發(fā)與維護的負擔，作者提出了基于元數(shù)據(jù)管理的可擴展數(shù)據(jù)倉庫系統(tǒng)體系結構與接口設計方案，通過層次與模塊自定義擴展提高數(shù)據(jù)倉庫的可擴展性，增強系統(tǒng)的可擴展性和可維護性。

2 基于元數(shù)據(jù)管理的數(shù)據(jù)倉庫系統(tǒng)

體系結構：基于元數(shù)據(jù)管理的可擴展數(shù)據(jù)倉庫系統(tǒng)模型體系結構如圖1所示，包括元數(shù)據(jù)管理層、數(shù)據(jù)存儲層、數(shù)據(jù)處理層、前端應用層。隨工作負載的增加，數(shù)據(jù)倉庫系統(tǒng)需要進行功能擴展時，元數(shù)據(jù)層通過對接口文件的管理，將完成層次的增刪。完成數(shù)據(jù)倉庫邏輯層次與物理層次的實際擴展，保證了數(shù)據(jù)倉庫系統(tǒng)體系結構的清晰性與可擴展性。

（1）元數(shù)據(jù)管理層

元數(shù)據(jù)管理層包括元數(shù)據(jù)獲取、元數(shù)據(jù)存儲、元數(shù)據(jù)服務接口、元數(shù)據(jù)管理和元數(shù)據(jù)應用等組件，在系統(tǒng)執(zhí)行過程中完成任務接受、任務分解、系統(tǒng)管理、請求判斷、日志記錄等功能。存儲的元數(shù)據(jù)包括技術元數(shù)據(jù)（Technical Metadata）和業(yè)務元數(shù)據(jù)（Business Metadata）。為實現(xiàn)可擴展的數(shù)據(jù)倉庫系統(tǒng)，將元數(shù)據(jù)分為基礎元數(shù)據(jù)、運行元數(shù)據(jù)和映射元數(shù)據(jù)三類，系統(tǒng)應用以組件形式加載，通過接口實現(xiàn)各層關聯(lián)。

（2）數(shù)據(jù)存儲層

數(shù)據(jù)存儲層主要由原始數(shù)據(jù)和結果數(shù)據(jù)構成。原始數(shù)據(jù)為數(shù)據(jù)倉庫中所存儲的各類應用多源數(shù)據(jù)；結果數(shù)據(jù)由各類數(shù)據(jù)分析和挖掘服務計算產生。

（3）數(shù)據(jù)處理層

數(shù)據(jù)處理層中集成各類數(shù)據(jù)集成工具、多維分析工具、數(shù)據(jù)挖掘工具等，完成原始數(shù)據(jù)處理形成結果數(shù)據(jù)，為用戶提供決策支持。

（4）前端應用層

前端應用層完成對用戶輸入?yún)?shù)的獲取，以數(shù)據(jù)流的形式提供給諸如元數(shù)據(jù)層進行分析。本模塊通過使用系統(tǒng)web頁面獲取所需數(shù)據(jù)，參數(shù)獲取的方式是調用可視化系統(tǒng)中關于應用請求的API接口。

3 接口設計

為實現(xiàn)各功能組件能夠訪問數(shù)據(jù)倉庫與增強數(shù)據(jù)倉庫系統(tǒng)的可擴展性，需要對數(shù)據(jù)倉庫各層之間的接口進行設計（圖2所示）。通過接口設計對各層進行必要的規(guī)范和組織，數(shù)據(jù)倉庫中每層都按照該規(guī)范和定義建立相應的模型構造，各層獨立并通過接口進行交互，各層內部實現(xiàn)封裝。系統(tǒng)數(shù)據(jù)傳輸過程從接口文件開始，需要對接口進行規(guī)范化描述，以保證接口文件的質量和數(shù)據(jù)抽取流程的正確。

（1）元數(shù)據(jù)層服務控制中心

系統(tǒng)以元數(shù)據(jù)層組件構成服務控制中心，實現(xiàn)數(shù)據(jù)倉庫的可擴展性；建立模型管理庫，為上層協(xié)同服務集成提供各種應用接口；構建可擴展的數(shù)據(jù)挖掘平臺示范應用。元數(shù)據(jù)層的對外接口模塊有數(shù)據(jù)存儲層模塊、數(shù)據(jù)處理處理模塊和前端應用層接收模塊，完成接口文件處理、權限驗證、完整性判斷、接口文件管理、異常處理、消息傳遞等功能。

（2）數(shù)據(jù)獲取接口

數(shù)據(jù)獲取接口模塊通過各數(shù)據(jù)層組件實現(xiàn)對數(shù)據(jù)的抽取，為上層服務提供數(shù)據(jù)基礎。完成對數(shù)據(jù)源組件、數(shù)據(jù)映射組件、模型組件、關系組件等的操作與控制，提供數(shù)據(jù)結果。對外接口為元數(shù)據(jù)處理模塊和數(shù)據(jù)處理層接收模塊兩部分，傳遞與元數(shù)據(jù)處理的交互參數(shù)和對數(shù)據(jù)處理層傳輸?shù)臄?shù)據(jù)信息相關的參數(shù)。

（3）數(shù)據(jù)處理庫接口

數(shù)據(jù)處理庫接口完成對數(shù)據(jù)處理層各算法和工具組件的調用與控制，其對外接口模塊包含元數(shù)據(jù)處理模塊、應用層模塊和數(shù)據(jù)層模塊。與元數(shù)據(jù)為交互參數(shù)的傳遞；與應用層模塊傳遞的為復合類型；與數(shù)據(jù)層交互規(guī)范為接收數(shù)據(jù)層傳輸?shù)膹秃项愋蛿?shù)據(jù)。

（4）應用庫接口

應用庫接口完成對前端應用層功能模塊的操作，提供各類前端BI展示方式。其對外接口模塊包含元數(shù)據(jù)模塊和數(shù)據(jù)處理模塊兩部分，完成與元數(shù)據(jù)模塊進行查詢、反饋參數(shù)的交互；與數(shù)據(jù)處理層數(shù)據(jù)的交互。

4 應用實例

基于前面介紹的技術和方法，作者以赤潮為例設計并實現(xiàn)了數(shù)據(jù)倉庫系統(tǒng)各層以及接口的實現(xiàn)。完成了各層間接口及各層內的算法、工具組件輸入輸出數(shù)據(jù)參數(shù)的定義和預處理功能。（圖3所示）

從用戶提交輸入?yún)?shù)中獲取請求數(shù)據(jù)，調用獲取模塊得到用戶的輸入信息，并按照要求進行格式轉換。從客戶端獲取符合規(guī)范的請求傳輸至服務端，對接收的請求進行請求判斷，如系統(tǒng)資源是否支持、請求是否超出權限等。多線程執(zhí)行請求任務，完成多維分析與數(shù)據(jù)挖掘，實現(xiàn)對已有數(shù)據(jù)直接操作、對原始數(shù)據(jù)進行查詢操作、原始數(shù)據(jù)查詢結果與已有數(shù)據(jù)進行集成操作等功能。元數(shù)據(jù)管理綜合各種數(shù)據(jù)和信息，對數(shù)據(jù)倉庫系統(tǒng)的執(zhí)行過程進行控制。完成記錄操作信息、對比分析用戶操作等。通過展示工具集將目標數(shù)據(jù)反饋給用戶，實現(xiàn)交互式的旋轉、鉆取和切片等分析操作。

5 結束語

上述基于元數(shù)據(jù)管理的數(shù)據(jù)倉庫系統(tǒng)體系結構與接口方案，主要采用對接口文件管理的策略，實現(xiàn)系統(tǒng)各層間及部件內部的交互規(guī)范，層次與模塊自定義擴展。本文提出了一種新的切實可行的數(shù)據(jù)倉庫體系結構，有效避免了系統(tǒng)部件的耦合，實現(xiàn)了對功能的分割和保護，增加了數(shù)據(jù)倉庫系統(tǒng)部件的獨立性，解決了系統(tǒng)數(shù)據(jù)交互的規(guī)范問題。通過應用這種數(shù)據(jù)倉庫體系結構與接口方案，提高了數(shù)據(jù)倉庫系統(tǒng)的開發(fā)效率，可以降低系統(tǒng)維護的復雜性，增強系統(tǒng)的可擴展性和可維護性。通過接口技術完成數(shù)據(jù)倉庫的多維分析與數(shù)據(jù)挖掘發(fā)現(xiàn)有用知識，提高了決策的智能性，同時保證了系統(tǒng)的擴展性。

參考文獻

[1]劉新穎，王麗亞.基于Web的數(shù)據(jù)挖掘算法與數(shù)據(jù)倉庫的接口設計[J].上海：計算機工程，2006，32（21）：88-90.

[2]徐忠健，袁捷，楊倩.基于Agent的三層數(shù)據(jù)倉庫系統(tǒng)體系結構的研究[J].上海：計算機工程，29（3）：58-60.

[3]程平，黃仁，陳艷.高性能數(shù)據(jù)倉庫平臺構建的研究[J].北京：計算機工程與設計，2006，27（12）：2189-2191.