數據倉庫技術與多維數據集實現

程 磊

（黃淮學院 電子科學與工程系，河南 駐馬店 463000）

數據倉庫技術與多維數據集實現

程 磊

（黃淮學院 電子科學與工程系，河南 駐馬店 463000）

隨著數據庫技術的發展和數據庫管理系統的廣泛應用，人們積累的數據越來越多，出現了“數據擁擠”現象．數據倉庫可以對數據進行有效集成，是數據分析與決策支持的基礎，是把數據轉換成信息知識的關鍵技術．

數據倉庫；商業智能；多維數據集

隨著數據庫技術的迅速發展以及數據庫管理系統的廣泛應用，人們積累的數據越來越多，出現了“數據擁擠”現象．激增的數據背后隱藏著許多重要的信息，人們希望能夠對其進行更高層次的分析，以便更好地利用這些數據．目前的數據庫系統可以高效地實現數據的錄入、查詢、統計等功能，但由于缺乏挖掘數據背后隱藏的知識的手段，從而導致了“數據爆炸但知識貧乏”的現象．因此，解決數據擁擠問題同時使數據充分得到利用，是目前的研究熱點之一．

1 數據庫與數據倉庫

傳統的數據庫技術是以單一的數據資源（數據庫）為中心進行事務處理，主要包括操作型處理和分析型處理．操作型處理也叫事務處理，是指對數據庫的聯機日常操作，通常是對一個或一組紀錄的查詢和修改，注重響應時間，注重數據的安全性和完整性；分析型處理主要用于管理人員的決策分析，經常要訪問大量的歷史數據．

目前，傳統數據庫系統已經無法滿足數據處理多樣化的要求，操作型處理和分析型處理的分離已成為必然．20年前，在數據庫中查詢不到數據是因為數據太少，而今天查詢不到數據是因為數據太多了．針對這一問題，人們設想專門為業務的統計分析建立一個數據中心，這個數據中心就叫做數據倉庫，它的數據來自于聯機的事務處理系統、異構的外部數據源和脫機的歷史業務數據．

20世紀80年代中期，數據倉庫之父William H. Inmon將數據倉庫定義為：“一個面向主題的、集成的、非易失的、隨時間而不斷變化的數據集合，用來支持管理人員做出決策．”數據倉庫具有以下特性：(1) 面向主題，即數據倉庫中的數據是按照一定的主題進行組織的．(2) 集成性．數據倉庫中的數據是在對原有分散的數據庫數據抽取、清理的基礎上，經過系統加工、匯總和整理得到的，必須消除源數據中的不一致性，以保證數據倉庫內的信息是關于整個企業的一致的全局信息；(3) 相對穩定性．數據倉庫主要供企業決策分析之用，數據操作主要是數據查詢，一旦某個數據進入數據倉庫，一般情況下將被長期保留，也就是數據倉庫中一般有大量的查詢操作，但修改和刪除操作很少，通常只需要定期進行加載和刷新．(4) 反映歷史變化．數據倉庫中的數據通常包含歷史信息，系統記錄了企業從過去某時（如開始應用數據倉庫的時間）到目前各個階段的信息，利用這些信息可以對企業的發展歷程和未來趨勢做出定量分析和預測．

2 數據倉庫技術

2.1 數據倉庫的相關概念

假設一個銷售系統的數據庫包含時間表（時間編號、年份、月份、日期）、地區表（地區編號、地區、省份、城市）、產品表（產品編號、產品種類、產品名稱）和銷售表（銷售編號、時間編號、地區編號、產品編號、單位成本、銷售量、銷售額），每個產品項的每次銷售在銷售表中有一條記錄．銷售記錄的信息可能包括銷售發生的地點，售出的日期，以及售出產品的單位成本、銷售量和銷售額，這些信息中的每一類都可組織為自己的維度表．地點信息放在地區維度表中，時間信息放在時間維度表中，產品信息放在產品維度表中，而銷售表就是銷售事實表．

與數據倉庫相關的概念主要有：(1) 事實表，用于保存度量值的詳細值或事實，表中的每列要么是鍵值列（銷售量或銷售額），要么是度量值列（時間編號、地區編號或產品編號）．(2) 維度表，用于保存一類屬性的集合，其鍵屬性必須能夠唯一地標識每一個成員，每個維度表中的主鍵列都與相關的事實表的鍵值列對應（如時間表中的時間編號與銷售表中的時間編號對應）．(3) 事實數據，即用于描述度量值的數據．如果給某一個維度一個確定的值，事實數據的值也就確定下來了；如果某一個維度值未知，事實數據則是對其他維度的匯總信息．(4) 維度數據，是指描述屬性的數據，具有層次性結構．維度表中的每個屬性都可以作為維度數據，如年份和月份都可以作為一個時間維度，若將年份與月份的組合作為一個時間維度，時間維度就是一個層次結構，年份的下一個層次是月份．(5) 元數據，是對數據的描述，如對數據庫、表、列、列屬性（類型、格式、約束等）及主鍵/外鍵關聯的描述，定義數據源的位置及數據源的屬性，等等．元數據是數據倉庫的核心，一般由數據倉庫自動生成．(6) 數據集市，是面向特定應用的決策數據集合，它與數據倉庫的關系類似于視圖與表的關系．

2.2 構建數據倉庫的基本流程

構建數據倉庫的流程如圖1所示，其中：數據源即數據倉庫的數據來源，一個數據倉庫可以有多個異構的數據源，可以是關系數據庫如SQL、DB2等，也可以是Excel、Word、HTML、XML和文本文件；數據抽取是指抽取數據源中與分析主題相關的數據；數據清洗是指清除數據中存在的錯誤，糾正不一致的數據，刪除重復的數據；數據轉換是指通過規范化統一數據格式，如不同的數據源中可能分別用上海、申城等表示上海市出生的客戶，應將它們統一為其中的某個值；數據加載是指把抽取、清洗、轉換后的數據導入數據倉庫；基于數據倉庫的應用主要是指數據分析和決策支持，如數據挖掘等．

圖1 構建數據倉庫的流程圖

3 數據倉庫構建過程中應注意的問題

3.1 數據分析主題的確定

要明確數據分析的目的，即從哪方面的數據著手，找出哪些因素影響著商業活動，如何協調這些因素從而達到商業利潤最大化．在一個銷售系統中，有關于銷售信息的數據，也有關于庫存信息的數據，如果分析的主題是時間、區域和產品對銷售情況的影響，就可以忽略庫存信息．

3.2 數據的清洗與轉換

在各個異構的數據源集成到目標數據庫之前，要進行數據清洗和數據轉換，如刪除重復的記錄、統一數據格式、條件拆分一張表、合并兩張表、排序、查找兩表關聯字段實現派生列等．若給定的數據源是“干凈的”（正確的，統一的），則數據清洗與轉換的過程基本可以忽略．

3.3 維度表和事實表的確定

首先要確定時間維度表，若目標數據庫中沒有，則必須手工在目標數據庫中創建一張時間表作為時間維度表．可以根據分析的主題，從目標數據庫中選擇描述商業分析的表作為維度表，度量商業分析結果的表作為事實表．

3.4 數據的加載和數據多維集的構建

此過程需要確定維度表與事實表的關聯關系（又稱引用關系），最后加載到數據立方體（cube，又稱多維數據集）中．例如，若從購買地區、購買時間和產品名稱3個視角建立一個銷售數據立方，那么數據立方體上的1個點包含3個值，即特定的地區、產品和日期．由于商務視角的多樣性，大多數情況下數據立方是以三維以上的方式組成的．

數據倉庫的興起實際是由數據存儲到數據分析的一種轉變．數據庫面向事務處理，而數據倉庫針對聯機分析．數據倉庫依賴數據庫和其他格式的數據，在大量歷史數據的基礎上按分析主題構建多維數據集，以便從各個維度解析數據，增加數據分析的靈活性．

[1] Wu Shuning，Cui Deguang，Cheng Peng．The four-stage standardized modeling method in data warehouse system development[C]//IEEE ICMA2005：799―803．

[2] 顧小波．SQL Server 2005分析服務從入門到精通[M]．北京：清華大學出版社，2007．

[3] 梅偉恒，康曉東，江玉彬．基于數據倉庫的OLAP技術的研究綜述[J]．中國科技信息，2006(14)：134―135．

Data Warehouse and Multidimensional Cube

CHENG Lei

(Huanghuai University, Zhumadian Henan 463000, China)

With data warehouse technology growing rapidly and database management system being widely used, people have gathered more and more history data, as a result of “data jailhouse”. Data warehouse facilitates integrating data can be utilized as the basis of analyzing data and decision support. It is also a crucial technique to convert data to information knowledge.

data warehouse; business intelligence; multidimensional cube

TP311.13

A

1006-5261(2011)02-0014-02

2010-11-12

程磊（1981―），女，湖北黃梅人，助教，碩士．

〔責任編輯 張繼金〕