論數據倉庫和數據挖掘

梁柳瑩

摘要：數據倉庫和數據挖掘是兩個比較大的概念，在國外已經非常成熟，在國內隨著前幾年企業數據的累計、ERP的成熟，數據倉庫和數據挖掘開始起步。如何建立數據倉庫和數據挖掘是個值得不斷探討和優化的問題。

關鍵詞：數據倉庫；數據挖掘；數據集合

中圖分類號：P208 文獻標識碼：A

文章編號：1674-1145（2009）03-0093-02

數據倉庫和數據挖掘是兩個比較大的概念，在國外已經非常成熟，在國內隨著前幾年企業數據的累計、ERP的成熟，數據倉庫和數據挖掘開始起步。如何建立數據倉庫和數據挖掘是個不斷值得探討和優化的問題，不僅僅在技術上，在商業應用上也是如此。

一、數據倉庫

1．數據倉庫的概念。數據倉庫（Data Warehouse）是一個面向主題的（Subject Oriented）、集成的（Integrate）、相對穩定的（Non-Volatile）、反映歷史變化（Time Variant）的數據集合，用于支持管理決策。對于數據倉庫的概念我們可以從兩個層次予以理解，首先，數據倉庫用于支持決策，面向分析型數據處理，它不同于企業現有的操作型數據庫；其次，數據倉庫是對多個異構的數據源有效集成，集成后按照主題進行了重組，并包含歷史數據，而且存放在數據倉庫中的數據一般不再修改。

2．數據倉庫的特點

根據數據倉庫概念的含義，數據倉庫擁有以下四個特點：

（1）面向主題。操作型數據庫的數據組織面向事務處理任務，各個業務系統之間各自分離，而數據倉庫中的數據是按照一定的主題域進行組織。主題是一個抽象的概念，是指用戶使用數據倉庫進行決策時所關心的重點方面，一個主題通常與多個操作型信息系統相關。

（2）集成的。面向事務處理的操作型數據庫通常與某些特定的應用相關，數據庫之間相互獨立，并且往往是異構的。而數據倉庫中的數據是在對原有分散的數據庫數據抽取、清理的基礎上經過系統加工、匯總和整理得到的，必須消除源數據中的不一致性，以保證數據倉庫內的信息是關于整個企業的一致的全局信息。

（3）相對穩定的。操作型數據庫中的數據通常實時更新，數據根據需要及時發生變化。數據倉庫的數據主要供企業決策分析之用，所涉及的數據操作主要是數據查詢，一旦某個數據進入數據倉庫以后，一般情況下將被長期保留，也就是數據倉庫中一般有大量的查詢操作，但修改和刪除操作很少，通常只需要定期的加載、刷新。

（4）反映歷史變化。操作型數據庫主要關心當前某一個時間段內的數據，而數據倉庫中的數據通常包含歷史信息，系統記錄了企業從過去某一時點（如開始應用數據倉庫的時點）到目前的各個階段的信息，通過這些信息，可以對企業的發展歷程和未來趨勢做出定量分析和預測。

企業數據倉庫的建設，是以現有企業業務系統和大量業務數據的積累為基礎的。數據倉庫不是靜態的概念，只有把信息及時交給需要這些信息的使用者，供他們做出改善其業務經營的決策，信息才能發揮作用，信息才有意義。而把信息加以整理歸納和重組，并及時提供給相應的管理決策人員，是數據倉庫的根本任務。因此，從產業界的角度看，數據倉庫建設是一個工程，是一個過程。

3．數據倉庫的結構。整個數據倉庫系統是一個包含四個層次的體系結構，具體由下圖表示：

數據源：是數據倉庫系統的基礎，是整個系統的數據源泉。通常包括企業內部信息和外部信息。內部信息包括存放于RDBMS中的各種業務處理數據和各類文檔數據。外部信息包括各類法律法規、市場信息和競爭對手的信息等等。

數據的存儲與管理：是整個數據倉庫系統的核心。數據倉庫的真正關鍵是數據的存儲和管理。數據倉庫的組織管理方式決定了它有別于傳統數據庫，同時也決定了其對外部數據的表現形式。要決定采用什么產品和技術來建立數據倉庫的核心，則需要從數據倉庫的技術特點著手分析。針對現有各業務系統的數據，進行抽取、清理，并有效集成，按照主題進行組織。數據倉庫按照數據的覆蓋范圍可以分為企業級數據倉庫和部門級數據倉庫（通常稱為數據集市）。

OLAP服務器：對分析需要的數據進行有效集成，按多維模型予以組織，以便進行多角度、多層次的分析，并發現趨勢。其具體實現可以分為：ROLAP、MOLAP和HOLAP。ROLAP基本數據和聚合數據均存放在RDBMS之中；MOLAP基本數據和聚合數據均存放于多維數據庫中；HOLAP基本數據存放于RDBMS之中，聚合數據存放于多維數據庫中。

前端工具：主要包括各種報表工具、查詢工具、數據分析工具、數據挖掘工具以及各種基于數據倉庫或數據集市的應用開發工具。其中數據分析工具主要針對OLAP服務器，報表工具、數據挖掘工具主要針對數據倉庫。

二、數據挖掘

1．數據挖掘的概念。數據挖掘，也可以稱為數據庫中的知識發現（Knowledge Discovery in Database，KDD），是從大量數據中提取出可信、新穎、有效并能被人理解的信息的高級處理過程。數據挖掘的廣義觀點：數據挖掘就是從存放在數據庫，數據倉庫或其他信息庫中的大量的數據中“挖掘”有趣知識的過程。數據挖掘，又稱為數據庫中知識發現（Knowledge Discovery in Database, KDD），也有人把數據挖掘視為數據庫中知識發現過程的一個基本步驟。知識發現過程以下步驟組成：（1）數據清理；（2）數據集成；（3）數據選擇；（4）數據變換；（5）數據挖掘；（6）模式評估；（7）知識表示。數據挖掘可以與用戶或知識庫交互。

2．數據挖掘的作用。在今天的市場上，信息的利用至關重要，各行各業面臨激烈的競爭及經濟壓力，產品的生命周期縮短，需要為顧客提供更好的服務。在市場經濟比較發達的國家和地區，許多公司都開始在原有信息系統的基礎上通過數據挖掘對業務信息進行深加工，以構筑自己的競爭優勢，擴大自己的營業額。在過去幾年中，各公司為了取得必要的市場戰略信息及對付市場方面的各種壓力，已經開始采用數據倉庫技術。各公司為了確定所要開發的產品模式及了解市場走勢，需要提取數據倉庫數據，包括聯機事務處理（OLTP）數據，并與外部的人口統計數據及心理數據結合，從中“挖掘出”最終結果。利用這種數據倉庫信息源，知識工作者在他們的辦公室內可根據所取得的數據進行決策。可以說，數據倉庫直接影響事關公司命運的決策。

三、數據挖掘和數據倉庫的關系

上述過程其實就是數據挖掘，實施這一過程的基本設施是數據倉庫。這是一種關鍵性、涉及范圍很廣的技術手段。利用數據挖掘技術可使潛在的效益得到最大的發揮。數據倉庫是一種數據集成戰略，目的是促進最終用戶利用企業數據，同時保護公司的數據財富——關鍵任務的可操作數據——安全性和完整性。

只要安排妥當，數據倉庫就能發揮它的重要作用，即人們可以很快地作出決策。因此，數據倉庫是實施公司戰略的一種技術手段。

一般來說，構筑數據倉庫是一個頻繁的查閱過程，它可分為若干階段，其中包括需求分析、數據倉庫的設計、操作數據的提取、不相容數據的集成、數據倉庫的裝填、最終交付用戶使用。在后續期內，還應該對數據倉庫作定期更新。

數據挖掘對發揮數據倉庫的作用有很大影響，因為通過它可以識別出商務中的模式與趨勢，而僅通過分析數據倉庫數據是無法得出的。當知識工作者運用結構化查詢語言（SQL）對數據倉庫查詢所需的信息時，查詢中的歧義性常常涉及到與答案集有關的一系列知識。相反地，數據挖掘可以揭示出非常有價值的信息，這些信息在實施分析之前，知識工作者是無法得知的。這種新技術，有助于使公司取得較大的市場份額，建立更好的形象并推動公司向前發展。