[摘 要]數據倉庫技術是在充分地開發(fā)信息資源的迫切要求下產生并迅速發(fā)展起來的一個國際前沿研究新領域。本文提出了在數據倉庫基礎上建立決策支持系統(tǒng)的體系框架,論述了基于數據倉庫決策支持系統(tǒng)的優(yōu)點, 最后結合實例介紹了該系統(tǒng)的具體應用,為知識的智能獲取提供了新的手段。
[關鍵詞]數據倉庫 數據挖掘 知識庫 知識發(fā)現 決策支持系統(tǒng)
決策支持系統(tǒng)(DecisionSupportSystem,DSS)的概念于20世紀70年代初由美國MichaelS.scottMorton在《管理決策系統(tǒng)》一文首次提出,20世紀80年代中期引入我國。20多年來,決策分析系統(tǒng)已在理論研究、系統(tǒng)開發(fā)和實際應用諸方面取得了令人矚目的進步,并呈現出積極的多元化的發(fā)展態(tài)勢。
隨著社會經濟的發(fā)展和多樣化,決策者為了能夠盡快調整策略,需要一個決策系統(tǒng)以輔助解決各方面的問題,也就是說需要一個能夠自動進行調整來滿足決策者需求的系統(tǒng)。本文提出在數據倉庫基礎上建立一個決策支持系統(tǒng)。
一、數據倉庫技術
數據倉庫(DataWarehouse,DW)技術是在傳統(tǒng)數據庫技術的基礎上發(fā)展起來的,是現代計算機系統(tǒng)信息處理技術的熱點之一,它的出現給決策支持系統(tǒng)的發(fā)展注人了新的活力。與傳統(tǒng)數據庫面向OLTP進行數據組織的特點相比,數據倉庫的數據具有面向主題的、集成的、隨時間不斷變化的、不可更新的四個基本特征。數據倉庫的主要功能是把決策所需的信息從原始業(yè)務操作數據中分離出來,把分散的、難以利用的原始業(yè)務操作數據轉化為集中統(tǒng)一、隨時可用的信息,同時提高訪問和處理數據的速度和效率。
數據倉庫系統(tǒng)不是一個簡單的由各種數據合并而成的超大型數據庫,其建立也不是要取代傳統(tǒng)數據庫,它應建立在一個較全面和完善的信息應用的基礎上,為高層決策分析提供支持。數據倉庫是一種專為聯(lián)機分析應用和決策支持系統(tǒng)提供數據源和決策工具的結構化數據環(huán)境,通過運用其中的數據與信息,企業(yè)能獲取更多經營效益。比如,企業(yè)可以從數據倉庫中進行利潤增長分析,了解產品和服務間的關系、利潤、產品線等,有利于指導決策,提高效益。
二、決策支持系統(tǒng)
決策支持系統(tǒng)是在信息管理系統(tǒng)的基礎上建立起來的,彌補了管理信息系統(tǒng)的不足,適應了人們對于信息管理向智能化方面的發(fā)展。決策支持系統(tǒng)可以為決策者提供及時、準確、科學的決策信息。決策支持系統(tǒng)的體系結構最初包括三個部分:數據庫、模型庫和用戶接口。該系統(tǒng)結構反映了人們對于當時決策支持的要求,但是還有很大的局限性,只強調數據、模型和兩者的集成,而且進行的主要是數學運算,對于有些知識和經驗卻不能很好處理。隨著人們需求的提高,要求決策支持系統(tǒng)不再僅僅在模型的基礎上利用數據庫中的數據進行計算,而要求能夠進行一些必要的推理,進一步降低人的參與,提高決策支持系統(tǒng)的智能性。與決策支持系統(tǒng)同步發(fā)展的專家系統(tǒng)為決策支持系統(tǒng)的智能化發(fā)展提供了有限的支持,決策支持系統(tǒng)吸收了專家系統(tǒng)在知識學習和推理方面的特點,增加了知識庫部分,可在某些方面進行推理和知識的學習。
三、基于數據倉庫決策支持系統(tǒng)
目前新興的數據倉庫和數據挖掘技術為決策支持系統(tǒng)的智能化發(fā)展提供了新的方法,開創(chuàng)了決策支持系統(tǒng)發(fā)展的新階段。作者在開發(fā)決策支持系統(tǒng)的實踐中提出了一種基于數據倉庫的決策支持系統(tǒng)體系結構,能夠較好地解決決策支持系統(tǒng)智能化的自適應功能。圖1所示為基于數據倉庫的決策支持系統(tǒng)體系結構框圖。它主要由兩部分組成,一個是比較傳統(tǒng)的決策支持系統(tǒng),另一部分是數據倉庫和數據挖掘,這兩部分只是形式上放在了一起,實際上并不完全獨立,而是緊密結合起來的。傳統(tǒng)的決策支持系統(tǒng)部分主要負責決策支持,通過對模型庫、方法庫、知識庫和數據倉庫的模型、方法、知識、數據處理提供相應的輔助決策支持,這也是決策支持系統(tǒng)的功能所在;而數據倉庫和數據挖掘部分則是該系統(tǒng)的智能化的核心,數據挖掘處理單元通過對數據庫中數據采用有關的方法,結合相關的知識和規(guī)則進行數據挖掘,獲取有用的知識、規(guī)則和模型。在這里數據倉庫和決策支持系統(tǒng)得到了比較完美的結合。
1.系統(tǒng)基本結構
數據倉庫技術和數據挖掘技術相結合建立的輔助決策系統(tǒng)是決策支持系統(tǒng)(決策支持系統(tǒng))的新型式,使決策支持系統(tǒng)的發(fā)展躍上了一個新的層次其系統(tǒng)結構如圖1所示 其中 數據倉庫用于數據的存儲和組織 OLAP 側重于數據的分析。數據挖掘則致力于知識的自動發(fā)現 將這三種技術有效地結合起來發(fā)揮它們各自的特長和互補作用 就能設計出企業(yè)決策支持系統(tǒng)的可行方案。
采用這種模型后,決策支持系統(tǒng)通過上述三種技術后結構變的更加緊湊,而且更重要的是將數據倉庫和 OLAP 結合后能將普通的大量信息轉換成有價值的輔助決策信息,OLAP 是一種對多維數據庫分析和處理更加有效的數據分析技術,它具有強大的分析功能,可以提供給用戶強大的統(tǒng)計、分析和報表處理功能及進行趨勢預測的能力,從宏觀到微觀對數據進行深入分析 行不同維間的比較等等。
數據挖掘工具運行于高性能的并行處理系統(tǒng)上,可以使分析數據更加準確和深入,在深度上進行延伸,深入的分析能夠發(fā)現一些潛在的信息在廣度上進行擴展,擴大的樣本降低了錯誤發(fā)生率利用數據挖掘技術可以自動地找出數據倉庫中的模式及關系,數據挖掘就是知識的提取 知識的提取過程即為決策支持過程。
2.系統(tǒng)設計關鍵技術
(1)數據倉庫設計
政府數據倉庫結構的設計要從決策目標出發(fā)合理安排各元素,保證數據倉庫的規(guī)范化和完整體系。數據倉庫設計的各個數據定義均保存在元數據庫中。數據倉庫的數據結構一般采用星型模型和數據模型。首先是要定義各主題及其所需數據源;數據源分內部、外部數據源,其涉及屬性有計算機平臺、數據擁有者、數據結構、使用該數據源的處理過程、倉庫更新計劃等。其次是要定義數據抽取、提煉和裝載原則。最后是細化主題,形成主題表,根據主題表定義數據集市。
(2)數據預處理
數據預處理的主要任務是對來自不同平臺的數據進行分析、處理,找出不一致的數據,進行清洗、轉換、再加工等,再裝載到數據倉庫。具體步驟分為兩步:首先是對DB1, DB2,……,DBn的數據進行提取、清洗、標準化、集成等,將不一致的數據轉化成一致的數據;在這一過程中,可以建立一個名字映射表。其次,在組織不同來源的數據過程中,先將數據轉換成一種中間模式,再把它移至臨時工作區(qū)。最后是將不一致的數據轉化成標準的、一致化的數據后,將其存人數據倉庫的數據區(qū)。
(3)數據管理
數據倉庫規(guī)模一般都很大,從建立之初就要保證它的可管理性,一個政府機構可能建立幾個數據倉庫或數據集市,但他們可共用一個元數據庫對其進行管理。首先從元數據庫查詢所需元數據,然后進行數據倉庫更新作業(yè),更新結束后,將更新情況記錄于元數據庫中。當數據源的運行環(huán)境、結構及目標數據的維護計劃發(fā)生變化時,需要修改元數據。元數據是數據倉庫的重要組成部分,元數據的質量決定整個數據倉庫的質量。
四、決策支持系統(tǒng)在稅務上的應用
稅務部門是一個數據密集型部門,數據管理任務繁重,需要高效的數據管理工具。一方面,稅務部門幾乎每天都要產生大量的原始數據,需要及時對這些數據進行處理和保存,并且,從稅務登記到稅務申報再到 稅務核定等一系列過程中,對數據需要反復使用;另一方面,稅務各部門領導需要分析稅務,了解稅收情況,以便作出有效工作安排。因此,數據的有效管理是一個非常重要的任務,有必要建立以數據倉庫和OLAP系統(tǒng)技術為基礎的決策支持系統(tǒng)。
稅務系統(tǒng)整體規(guī)劃的功能及系統(tǒng)體系結構可以概括為以下幾方面:
1.系統(tǒng)可實現的功能
(1)建立面向整個稅務系統(tǒng)的數據倉庫,包括從操作數據庫存到數據倉庫的抽取轉換模塊、面向主題的數據倉庫、特定需要的數據商場、元數據庫、元數據瀏覽程序等;
(2)建立基于數據倉庫的應用系統(tǒng),包括報表查詢系統(tǒng)、通用查詢系統(tǒng)、區(qū)域經濟分析系統(tǒng)、網上在線分析系統(tǒng)、基于地理信息系統(tǒng)的稅務分析系統(tǒng)等OLAP工具。
2.數據分析
該系統(tǒng)可完成稅務征收數據的采集和加工,構成可供本單位及其它政府部門共享的時間系列數據庫。數據主要來自終端征收系統(tǒng)。指標主要包括稅收額、稅基和納稅戶,稅收額按性質又分為應交稅金、實交稅金、退稅額、補稅額和未交稅額,每個指標又可按要求分時段指標,如年指標、月指標、累計指標。數據倉庫中的數據以月為基本粒度從操作數據庫抽取數據。因此,系統(tǒng)中的指標數據主要是經過計算后所得的數據。
3.系統(tǒng)結構
稅務信息系統(tǒng)主要由一個終端應用系統(tǒng)和操作數據庫系統(tǒng)、一個數據倉庫系統(tǒng)及基于數據倉庫的 0LAP系統(tǒng)組成,處理各種稅務征收業(yè)務,并提供較強的稅收查詢、分析功能。它利用TCPI/P協(xié)議、X.25公共數據網建立全市稅務系統(tǒng)計算機網絡,連接市局和各分局。
4.系統(tǒng)的物理結構
系統(tǒng)利用C/S結構實現。數據從各分局計算中心的業(yè)務數據庫傳到同一地點或上級部門的數據倉庫里。0LAPSERVER和WEBSERVE:從數據倉庫里抽取數據,提供給客戶端使用,部門各單位相關人員利用PC機上的分析軟件,通過部門局域網訪問數據倉庫上的數據。
5.系統(tǒng)實現方案
該系統(tǒng)利用 ORACLE數據庫系統(tǒng)建立數據倉庫,用局域網,并以WindowsNT作為OLAPSERVER的工作平臺。采用TCP/IP和X.25進行分局與市財政局聯(lián)網。利用ODBC和OLEDB進行數據連接,并利用OLAPSERVER所提供的功能,盡可能使數據訪間本地化,以提高響應速度。
五、結束語
數據倉庫技術為決策分析系統(tǒng)的研制與開發(fā)提供了一種有效的、可行的體系化解決方案。本文對數據倉庫技術在該系統(tǒng)建立中的應用作了較深入的探討,提出了建立該系統(tǒng)的理論框架。據統(tǒng)計,美國500強中98%的企飯已經建立了基于數據倉庫的應用,而我國在這方面還存在很大的空白。但隨著我國綜合國力的增強,以及信息技術的飛速發(fā)展,越來越多成功的決策支持系統(tǒng)應用將會出現。一個完整的決策分析系統(tǒng)數據倉庫解決方案集成了數據倉庫、聯(lián)機分析、數據挖掘等多種信息處理技術,如果這一解決方案得到廣泛的采用,必將把決策分析系統(tǒng)的研究與開發(fā)工作推向一個更高的層次。
參考文獻:
[1]馮海霞:基于數據倉庫的HR決策支持系統(tǒng)初探,當代經理人(中旬刊),2006/19
[2]李睿:基于數據倉庫的壽險決策支持系統(tǒng)設計與實現,現代電子技術,2006/19
[3]李捷:基于數據倉庫和數據挖掘的企業(yè)決策支持系統(tǒng)研究,科技經濟市場,2006/07
[4]錢開余:數據倉庫聚集優(yōu)化在電力決策支持系統(tǒng)中的應用構想,江蘇電機工程,2006/04
[5]何可立:構建南方電網數據倉庫與決策支持系統(tǒng)的探討,廣東電力,2006/07
[6]李祎:基于數據倉庫的決策支持系統(tǒng)的分析與研究,電腦知識與技術,2006/26