基于CWM的數據倉庫元數據管理策略研究

[摘 要] 提出一種基于CWM的數據倉庫元數據管理模式。在分析CWM元模型的基礎上，通過映射，把對象型的CWM元模型映射到關系型數據表，構建數據倉庫元數據庫;把數據倉庫各層次的異構元數據，通過CWM元模型及其規范，轉換為統一標準的CWM元模型實例，存儲在元數據庫中。實現了用關系型數據庫理論對數據倉庫元數據的統一管理。為超市應用數據倉庫進行科學決策管理進行了有益的探索。

[關鍵詞] CWM元模型 關系型數據庫 映射 數據倉庫 元數據庫 基本表 元數據轉換

一、引 言

在我國，關系型數據庫理論已廣泛應用于零售超市營銷數據管理。但是，與沃爾瑪、家樂福、麥德龍等國際零售巨頭的先進的管理模式相比，關系型數據庫管理模式明顯表現出對市場的預測和決策能力的欠缺。

企業管理決策的迫切需要，使數據倉庫理論應運而生。數據倉庫技術是當前用于企業決策支持的、先進的有效方法。在國外大型超市的決策管理中，已取得不菲的經濟效益。

將“數據倉庫”理論運用于我國大型連鎖超市的決策管理，是學習運用國內外先進的管理模式提高行業競爭能力的必然選擇。

元數據是數據倉庫的靈魂。元數據支撐了數據倉庫開發應用的全過程，成為連接數據倉庫各部分的紐帶。元數據管理是數據倉庫項目成敗的關鍵。

隨著數據倉庫技術的迅速發展，對元數據的研究也步步深入。本文提出利用關系型數據庫建立一個以CWM標準為基礎的集中式的元數據庫管理模式。使所建元數據庫既保持CWM面向對象的基礎，又能充分利用SQL的成熟技術對數據倉庫元數據進行有效管理。

二、CWM元模型

CWM公共倉庫元模型是國際對象管理集團OMG推出的數據倉庫元數據管理規范。CWM 提出了一種共享公共元模型的思想交換元數據。它采用UML作為模型描述標準，使用MOF作為元建模和元數據存儲標準，使用XMI作為元數據交換標準。CWM的主要目的是在分布異構環境下，使數據倉庫工具、工作平臺和元數據存儲庫之間易于進行數據倉庫元數據的交換。

基于CWM模型的三個標準，CWM為數據倉庫工具之間共享元數據，制定了一整套關于模式、語法和語義的規范。

CWM使用包機制來組織元模型，每個包代表CWM的一個元模型。圖1描述了CWM元模型的構成。所有的包按功能和抽象層次組織成5層，每層都涉及一個獨立的領域，有自己獨立的功能，然而彼此之間又緊密聯系。

1.對象模型層:定義了基本元模型的概念、關系和約束。

2.基礎層:包含了所有包共享的概念、結構和通用服務。

3.資源層:資源層上的數據包描述了基于CWM的元數據交換中的各種數據資源的元模型。用來創建那些定義關系數據庫、面向記錄數據庫、多維服務器和基于XML文檔的數據資源的元數據。

4.分析層:業務分析概念，是數據倉庫和信息供應鏈的核心和目標。

5.管理層:主要描述了支持數據倉庫日常操作和管理的通用服務。

UML、MOF、XMI、CWM等一系列標準提供了一個能夠全面描述數據倉庫元數據的框架。CWM已成為了業界統一開放的元數據集成標準。為數據倉庫元數據的規范管理平了道路。

三、建立基于關系型數據庫的元數據庫

CWM元模型是一系列面向對象的UML類圖;關系數據庫管理系統是當前成熟的主流數據庫。建立基于關系型數據庫的CWM元數據庫，關鍵問題是實現CWM對象元模型到關系模型的映射。

CWM中共有204個類，154個關聯，三種數據類型屬性。只要能將CWM元模型中所有的類、關聯和數據類型屬性的邏輯結構完全映射轉化成關系型數據庫可用的存儲結構，就可以利用關系數據庫的一切方法和技巧對元數據進行管理。

首先，用T-SQL 語言建立一個關系型數據庫。用以存儲經過映射轉換的CWM元模型。

1.CWM類的映射

CWM類的映射是構建元數據庫的核心。實現CWM類的映射的基本方法是:

為CWM元模型的204個類分別在關系型數據庫中建立一個映射關系表，這個表稱為每個類的固定表。為便于對固定表的識別和調用，需要統一各個固定表的各組成部分的命名規則。每個固定表的表名由被映射的類所屬的包名-類名構成。每個固定表中都有一個整數型的字段，字段名為“IDn”，作為固定表的主鍵，標識不同的對象。“ID”后加的“n”是一個任意的不重復的整數，其作用是在建立兩個固定表的關聯時，便于區別不同固定表的ID。類的每一個屬性映射到該類所對應的固定表的一個列。其屬性名作為固定表的列名。列的數據類型同類的屬性的數據類型保持一致。表中的每一行存放對應于映射到固定表上的該類的一個實例，即該類的一個元數據。行中的列值記錄的是實例的單值屬性的當前值，如圖2所示。

至此，對于單值屬性的類得到了完全映射。以此為基礎，可以實現非單值屬性類的映射。

CWM非單值屬性類包括多值屬性、枚舉屬性和基于類的繼承屬性，如果將這些信息全部映射到一個表中，會帶來大量的存儲冗余，也不方便管理。針對這些情況，可通過增加另外的獨立表——附加表，將每個多值屬性映射到一個附加表中，這些表使用外鍵的標識值連接到類的固定表上。同固定表一起組成表集來表示CWM類。

在 CWM 中大量使用了 UML 的繼承特性，為保證類的繼承結構映射到元數據庫不變，將層次結構中的每個類映射到獨立的表上，通過一個共享標識值“IDn”與它的超類和子類相互鏈接。從而靜態地反映類之間的繼承關系。

2.CWM關聯映射

CWM元模型中共有154個關聯，其中包括5個“一對一”關聯，101個“一對多”關聯，48個“多對多”關聯。通過映射已經建立了CWM元模型204個類的固定表，CWM元模型中類的關聯就體現在元數據庫中已建立的固定表的關聯。關系數據庫中表的關聯依賴于表中匹配的主鍵和外鍵。

一對一的關聯映射:可通過直接向關聯的類的固定表中增加一個列，該列存放關聯表的主鍵，且列名和數據類型不變，并設為關聯表的侯選主鍵，同一實例在相互關聯的基本表中 的ID值相同。如圖3所示。

一對多關聯是關系數據庫中最普遍的關系。建立一對多關聯映射，需要在“多”方固定表中增加一個字段，把“一”方固定表的主鍵添加到“多”方的固定表中，作為“多”方固定表的外鍵，并建立普通索引。“一”方對應的“多”方重復的記錄，具有同一外鍵值。通過對外鍵的普通索引，實現兩表一對多關聯。如圖4所示。如果關聯的多端有序，則在多端的固定表中增加一列用于存儲多端實例次序的順序值。

對于多對多關聯，解決辦法是:在多對多關系表之間創建第三個表，稱為“中間表”。將兩個相關聯的固定表的主鍵都添加到中間表中。其作用效果是把一個“多對多”關系分解成為兩個“一對多”關系。通過中間表實現“多對多”關聯。如圖5所示。而對于有序的關聯則增加一列用來存儲實例的順序值。

3.CWM數據類型映射

CWM共有三種數據類型:簡單數據類型、枚舉類型和對象類型。這三種數據類型需要用不同的方法映射到關系數據庫中。在處理好了CWM類的映射和關聯映射的基礎上，CWM數據類型映射就容易實現了。

簡單數據類型映射:CWM 中的8個 CWM 簡單數據類型， 可直接與關系數據庫的對應的數據類型建立映射。

枚舉數據類型映射:為每種枚舉類型建立一張附表，該表僅有一列，用來記錄該枚舉類型所有可能的取值。

對象數據類型:使用外鍵約束，將基礎列與基于類的類型實例相關聯。

固定表、中間表、附表和關聯表共同組成元數據庫的主體部分。為管理方便，可再建一個匯總表。

匯總表列出CWM元模型全部類所映射生成的固定表的清單。該表的主要字段有:ID、固定表表名、關聯、屬性及實例等。通過簡單查詢就可以得到每個固定表所對應的CWM元模型的包、類、關聯、屬性及實例等相關信息。

四、建立基于CWM 的數據倉庫元數據轉換模式

存儲在元數據庫中的元數據，應當是符合CWM規范的元數據。因此，入庫前，所在元數據都需要通過規范的轉換。

根據CWM 提供的數據倉庫元數據管理規范和工作機制，建立基于CWM 的數據倉庫元數據轉換模式，如圖6所示。在建立該模式之前，我們已經通過映射，建立了關系型的元數據庫。從圖中可以看出該模式的工作原理:

通過支持CWM規范的元數據采集工具，在數據倉庫開發應用的全過程中，實時地掃描采集各類元數據。這些元數據包括:從數據倉庫的數據模型獲取的元數據;從數據倉庫的結構獲取的元數據;從多種數據源中獲取的元數據;通過數據倉庫 ETL 過程獲取的元數據;從多種業務指標中獲取的元數據;通過數據倉庫中的數據流及其處理過程獲取的元數據;從數據倉庫的端展現工具、CASE 工具和數據挖掘工具等工具中獲取的元數據，以及為用戶的訪問權限設計產生的元數據。把獲取的各個層次的異構的元數據，經過CWM元模型的分類、映射和轉換，通過CWM XML、CWM DTD、CWM IDL 三個規范，轉化為XML 文檔，成為CWM元模型中類的實例。

這里特別要強調的是，CWM元模型分析層中的轉換包在本模式中的重要作用。

轉換包是CWM分析層中最重要的元模型。是整個CWM元模型的中心。從各個方面獲取的元數據，經過轉換包的處理，它定義的建模元素指定了源和目標元數據的映射及轉換。這個轉換通過資源層和管理層共同實現。

資源層定義了描述各種不同類型的數據資源元數據的模型，這些元模型的實例描述了轉換源數據存儲格式和目標數據存儲格式的元數據;管理層定義了數據轉換的調度和執行方面的元數據模型。包括用來描述數據轉換工具的元數據的類和關聯。

從各個方面獲取的元數據，作為CWM元模型類的實例，存儲在該類所映射的固定表中，完成了元數據庫的基本建設。至此，我們就能利用SQL的一切功能來對元數據庫進行有效管理。在本模式中，利用了SQL Server 中的一個重要組件DTS(Data Transformation Services)作為元數據庫接口。DTS是SQL Server中導入導出數據的核心，它除有具有SQL和命令行工具bcp相應的功能外，SQL Server為DTS提供了圖形用戶接口。使DTS成為用戶使用多種方式訪問和利用元數據庫的通道。

五、結論

數據倉庫元數據管理，是一項重要而復雜的工作。本文以業界認同的CWM元模型為基礎，通過映射，把對象型的數據模型轉換為關系型數據模型來處理。以便利用關系型數據庫的方法和工具對數據倉庫元數據進行管理、調用、交換和訪問。這種模式，實用性強，作為數據倉庫元數據管理的一種方法，具有進一步研究、完善的價值。

參考文獻:

[1]劉中蔚 陳 紅:用基于元數據庫的工作流調度數據倉庫的更新[J].計算機應用研究，2006，23(3):178-180

[2]雷啟明 周利平:連鎖超市數據集市的數據模型設計研究[J].商場現代化，2008.7.30-31

[3]平 靜 林平瑞:元數據管理及其在數據倉庫中的應用[J].平原大學學報，2006(8):130-132