數(shù)據(jù)倉庫及OLAP技術在煙草行業(yè)中的應用

梁堅東曾文

（1.廣東省肇慶市南岸鎮(zhèn)肇慶市實驗中學 526100）

（2.廣東技術師范學院計算機學院 510665)

數(shù)據(jù)倉庫及OLAP技術在煙草行業(yè)中的應用

梁堅東1曾文2

（1.廣東省肇慶市南岸鎮(zhèn)肇慶市實驗中學 526100）

（2.廣東技術師范學院計算機學院 510665)

介紹了數(shù)據(jù)倉庫和OLAP技術在商務智能中的應用，同時結合如何解決煙草行業(yè)信息化建設中遇到的信息孤島問題，給出了決策支持系統(tǒng)的構建原則和方法。從數(shù)據(jù)加工流程和倉庫模型、集市模型的設計兩個角度對倉庫系統(tǒng)的構建進行了說明。建成的決策支持系統(tǒng)以煙草企業(yè)進銷存、財務、客戶信息數(shù)據(jù)為基礎，實現(xiàn)了以進銷存分析、品牌分析、客戶分析、財務分析為核心的在線分析功能，為公司管理層和決策層提供輔助決策信息。

數(shù)據(jù)倉庫；OLAP；商務智能；決策支持系統(tǒng)

1.煙草行業(yè)商務智能現(xiàn)狀分析

商業(yè)競爭日趨激烈的今天，商務智能在各行業(yè)中發(fā)揮著越來越重要的作用。隨著煙草企業(yè)的經(jīng)營模式從以產品為中心、以銷售為中心轉變?yōu)橐钥蛻魹橹行?，商務智能已?jīng)成為煙草企業(yè)核心競爭力的一部分。

在煙草行業(yè)逐步信息化的過程中，一方面，由于企業(yè)內部各子系統(tǒng)的開發(fā)廠商、開發(fā)平臺不同，使得各子系統(tǒng)相互孤立，出現(xiàn)了所謂的“信息孤島”現(xiàn)象，這種現(xiàn)象的存在使得企業(yè)內部信息的共享難以實現(xiàn)，必然影響到企業(yè)進行市場控制、品牌培育、資源優(yōu)化等方面工作的開展；另一方面，企業(yè)擁有的數(shù)據(jù)隨著時間的積累也在不斷膨脹，在這個“數(shù)據(jù)就意味著財富”的信息時代，如何利用如此海量的數(shù)據(jù)成為我們必須面對的問題。出于對以上兩方面的考慮，整合現(xiàn)有的系統(tǒng)、搭建統(tǒng)一數(shù)據(jù)信息平臺成為目前煙草行業(yè)信息化建設的主要工作。商務智能的各種應用正是基于這樣一種統(tǒng)一的數(shù)據(jù)信息平臺之上，通過對海量信息進行分析，從而獲得對商務活動有價值的整體性的指導和建議。

2.數(shù)據(jù)倉庫及OLAP技術在商務智能中的應用

從20世紀90年代初數(shù)據(jù)倉庫的概念提出到現(xiàn)在，數(shù)據(jù)倉庫技術已經(jīng)從實驗性開發(fā)走向應用，并逐步普及。驅動數(shù)據(jù)倉庫技術發(fā)展的動力源自于各行業(yè)信息化的發(fā)展以及由此帶來的海量數(shù)據(jù)存儲和利用問題。數(shù)據(jù)倉庫是一個面向主題的、集成的、永久的且隨時間不斷變化的數(shù)據(jù)集合。其功能在于整合企業(yè)內部各種業(yè)務數(shù)據(jù)，對這些數(shù)據(jù)進行轉換、格式化、重新排列、匯總等操作，從而形成格式單一、內容完備的集成的倉庫數(shù)據(jù)源。倉庫數(shù)據(jù)源為進行商務智能的各項應用提供了統(tǒng)一完備的數(shù)據(jù)信息，在這種基礎上對數(shù)據(jù)所進行分析得到的結論具有大局觀和較高的準確性。

聯(lián)機分析處理（O L A P）是建立數(shù)據(jù)倉庫基礎之上的一種多維數(shù)據(jù)分析手段。它使分析人員能夠快速、一致、交互地從各個方面觀察信息，以達到深入理解數(shù)據(jù)的目的。OLAP應用的實現(xiàn)一般有如下幾個步驟:通過利用OLAP工具與數(shù)據(jù)倉庫建立連接；OLAP工具將數(shù)據(jù)倉庫中關系型數(shù)據(jù)轉換成多維數(shù)據(jù)，生成多維數(shù)據(jù)立方體；通過切片、旋轉、鉆取等分析操作對多維數(shù)據(jù)立方體進行觀察和分析，從而實現(xiàn)分析型應用。

商務智能在各行業(yè)中已經(jīng)得到了廣泛的推廣，其功能在于將存儲于各種商業(yè)信息系統(tǒng)中的數(shù)據(jù)轉換成有用信息。商務智能包括的范疇廣泛，涉及的技術領域較多。商務智能幫助企業(yè)決策者和管理人員收集、管理和分析商務數(shù)據(jù)和信息，創(chuàng)造和累計商務知識和見解，從而幫助決策者和管理人員改善商務決策水平，采取有效的商務行動，完善各種商務流程，提升各方面商務績效，達到增強企業(yè)綜合競爭力的目的。隨著產業(yè)信息化的發(fā)展，各種用于實現(xiàn)商務智能的產品系統(tǒng)不斷涌現(xiàn)出來，在這些系統(tǒng)中，決策支持系統(tǒng)（D S S）成為成功應用的典型。決策支持系統(tǒng)（D S S）是在管理信息系統(tǒng)（M I S）的基礎上發(fā)展起來的。在數(shù)據(jù)倉庫、OLAP技術出現(xiàn)以前，決策支持系統(tǒng)(DSS)在實際應用開發(fā)過程中暴露出所需信息不足、模型庫分析能力有限、人機接口復雜等缺點，一度阻礙了決策支持系統(tǒng)的發(fā)展。數(shù)據(jù)倉庫的超大存貯量和數(shù)據(jù)集成功能以及OLAP技術的強大分析功能克服了上述缺點，使得決策支持系統(tǒng)得到發(fā)展和推廣。

3.決策支持系統(tǒng)的構建

3.1 系統(tǒng)的整合

系統(tǒng)的整合是煙草行業(yè)近年來信息化建設進一步發(fā)展的要求，也是數(shù)據(jù)倉庫系統(tǒng)最大的優(yōu)勢和特色。系統(tǒng)的整合包括數(shù)據(jù)的整合和軟件平臺的統(tǒng)一（如圖1）。

數(shù)據(jù)的整合是系統(tǒng)整合的核心。針對煙草行業(yè)的特殊性，中國煙草行業(yè)實行統(tǒng)一領導，垂直管理和專賣專營的專賣管理體制。各級煙草公司下屬煙草專賣局、銷售公司和物流中心，這種管理體制目的在于規(guī)范煙草市場，加強煙草市場監(jiān)管力度。然而這種管理模式將物流、資金流和對客戶的管理分開處理，使得企業(yè)領導很難整體性的分析三者之間的關系，給煙草企業(yè)的管理帶來了不便。煙草企業(yè)開展信息化建設幾十年來，企業(yè)內部各個子系統(tǒng)運行產生了大量的歷史業(yè)務數(shù)據(jù)，現(xiàn)運行的系統(tǒng)每天還不斷產生新鮮的業(yè)務數(shù)據(jù)。這些數(shù)據(jù)信息主要被分割為煙草進銷存數(shù)據(jù)、財務數(shù)據(jù)和客戶信息數(shù)據(jù)三大部分。在煙草企業(yè)內部沒有對這些數(shù)據(jù)建立聯(lián)系，在企業(yè)內部各部門共享信息很難實現(xiàn)。數(shù)據(jù)整合指將這三部分數(shù)據(jù)裝載進統(tǒng)一的倉庫環(huán)境，形成統(tǒng)一的集成的數(shù)據(jù)源。

軟件平臺的統(tǒng)一是指在煙草企業(yè)內部各個子系統(tǒng)軟件環(huán)境間建立起關聯(lián)，使得企業(yè)內部各個系統(tǒng)之間保持關聯(lián)，從而高效協(xié)同運作。軟件平臺的整合完成后，企業(yè)的所有子系統(tǒng)將成為整個信息化體系的一部分，各個系統(tǒng)分工明確，相互配合。軟件平臺的統(tǒng)一是手段，實現(xiàn)數(shù)據(jù)的整合是目的。

3.2 數(shù)據(jù)加工流程

決策支持系統(tǒng)的價值在于引導用戶對企業(yè)數(shù)據(jù)進行整體性綜合性的分析，而對原始的數(shù)據(jù)進行加工則是進行數(shù)據(jù)分析的基礎。DSS系統(tǒng)對數(shù)據(jù)的加工分為倉庫環(huán)境中的加工和OLAP環(huán)境中的加工（如圖2）。數(shù)據(jù)加工流程始于數(shù)據(jù)的集中，就是將各個子系統(tǒng)中的數(shù)據(jù)導入到同一個環(huán)境中，這個環(huán)境可以被看作是進行數(shù)據(jù)加工的工廠。在“工廠”中，對數(shù)據(jù)的處理是流水線方式的。粗糙數(shù)據(jù)必須經(jīng)過清洗和篩選，獲得進行下一步處理的原材料。這些經(jīng)過清洗和篩選的“原材料”，要經(jīng)過分類、匯總、計算等處理，從而形成更加精確和翔實的數(shù)據(jù)。分類指將數(shù)據(jù)按照用途的不同分別存放在不同的地方，匯總指通過累加或平均等手段按照數(shù)據(jù)粒度不同將細節(jié)數(shù)據(jù)轉換為非細節(jié)數(shù)據(jù)（如將30天的數(shù)據(jù)匯總為月度數(shù)據(jù)），計算指通過現(xiàn)在已經(jīng)存在的指標計算一些新的指標。

隨著市場營銷學的發(fā)展和營銷技巧的逐步積累，數(shù)據(jù)匯總和新指標的計算成為數(shù)據(jù)加工流程中的重要步驟，與提升各方面商務績效，提高企業(yè)競爭力有著直接的聯(lián)系。行業(yè)中出現(xiàn)了大量的新指標和新名詞，如“存銷比”、“動銷率”。這些新指標將對企業(yè)運作產生重要的指導作用。存銷比用以衡量庫存控制情況，存銷比越大，一般庫存積壓越大；動銷率用以表征商品流通狀況，動銷率最理想的值為100%。這兩種指標的計算公式如下:

存銷比=平均庫存/銷量

動銷率=銷售數(shù)量/平均庫存

像這樣需要進行多次計算才能獲得的指標在分析系統(tǒng)中占了全部指標的很大部分，這些指標對于分析提供了更加豐富和科學的手段。在倉庫環(huán)境中進行數(shù)據(jù)處理的最后一步是將數(shù)據(jù)處理成為星型模型數(shù)據(jù)，星型模型數(shù)據(jù)為OLAP工具提供數(shù)據(jù)源，是OLAP工具將關系型數(shù)據(jù)轉換為多維數(shù)據(jù)的關鍵。

OLAP工具在數(shù)據(jù)倉庫數(shù)據(jù)的基礎上對數(shù)據(jù)做更加精細的加工，同時展現(xiàn)給用戶。OLAP數(shù)據(jù)的最大特點是多維性，從關系型數(shù)據(jù)到多維數(shù)據(jù)的轉變是通過數(shù)據(jù)倉庫和OLAP工具的銜接配合完成的。數(shù)據(jù)倉庫將數(shù)據(jù)組織成為維度表和事實表，OLAP工具從這兩種表中提取數(shù)據(jù)，對其重新組織，從而獲得多維數(shù)據(jù)。OLAP工具具有計算功能，生成新指標、匯總或求均值，出于提高加載速度的考慮，在開發(fā)過程中這些計算盡量放在數(shù)據(jù)倉庫內部完成。OLAP工具用戶界面友好，可以對多維數(shù)據(jù)進行切片、旋轉、鉆取等操作，從而啟發(fā)用戶對數(shù)據(jù)進行各種形式的轉換、觀察和分析。

3.3 倉庫的星型模型設計

該數(shù)據(jù)倉庫系統(tǒng)采用星型模型的數(shù)據(jù)組織結構。庫表分為事實表和維表。事實表中的每一元組包含一些指針，每個指針指向一張維表，這就構成了數(shù)據(jù)倉庫的多維關系。在每張維表中除包含每一維的主鍵外，還有說明該維的一些其他屬性字段。維表記錄了維的層次關系，使數(shù)據(jù)倉庫的復雜查詢可以直接通過維的層次比較、上鉆、下鉆等操作完成。

數(shù)據(jù)倉庫是面向主題的分析型系統(tǒng)，主題的劃分在星型模型的設計中體現(xiàn)出來。星型模型中，事實表是模型的中心，維表信息對事實表中的指標數(shù)據(jù)進行解釋說明。每個主題至少需要一個星型模型提供數(shù)據(jù)源，分析操作的對象是模型中的事實表數(shù)據(jù)和維表數(shù)據(jù)。該煙草D S S系統(tǒng)中，并列存在進銷存分析、品牌分析、客戶分析、計劃和合同分析、財務分析6個主題。大的主題下面有子分析主題，如進銷存分析可以分為月進銷存分析和日進銷存分析兩個子分析主題，不同的主題劃分方式還可以將進銷存分析主題劃分為購進分析、銷售分析、庫存分析三個子分析主題。第一種劃分是從數(shù)據(jù)粒度的角度進行劃分的，月進銷存采用的是對日進銷存進行匯總過的數(shù)據(jù)。第二種劃分是從業(yè)務的角度出發(fā)，分別關注不同業(yè)務數(shù)據(jù)，進行大主題的分割。進銷存主題的劃分方式還可以是交叉的，如劃分為月購進分析、日銷售分析等，交叉的劃分方法使得分析主題更加細致。同一個大分析主題下的子分析主題可以共用一個星型模型數(shù)據(jù)源，這種共用可以減少開發(fā)量，提高開發(fā)效率。另一種不同的處理方式則將星型模型對應到每個小的子分析主題，多個星型模型支持一個大的主題分析。這樣的設計增加了開發(fā)人員的工作量，同時也對系統(tǒng)的空間提出了更高的要求，但這種將星型模型設計的更加細化的方式提升了系統(tǒng)數(shù)據(jù)加載速度。兩種不同的星型模型設計方式如圖3。

3.4 系統(tǒng)實現(xiàn)

隨著商務智能在商務活動中重要性的提高和商務智能在各行業(yè)中的推廣，商務智能開發(fā)工具也呈現(xiàn)出品牌多樣化的、產品系統(tǒng)化趨勢。該煙草DSS系統(tǒng)開發(fā)選用O R A C L E作為數(shù)據(jù)倉庫環(huán)境，COGNOS作為OLAP工具。

ORACLE數(shù)據(jù)庫產品具有支持超大數(shù)據(jù)量存儲、安全性高、性能優(yōu)越等特點，適合作為數(shù)據(jù)倉庫環(huán)境的載體。數(shù)據(jù)倉庫和一般的數(shù)據(jù)庫系統(tǒng)一樣，數(shù)據(jù)需要更新。新數(shù)據(jù)的不斷加入必然使倉庫系統(tǒng)不斷膨脹，考慮到系統(tǒng)效率，那些舊的、無效的數(shù)據(jù)必須被淘汰。淘汰就是將舊的、無效的數(shù)據(jù)轉移到廉價的外部存儲設備（如磁帶）上。數(shù)據(jù)淘汰是定期的和有計劃的，在系統(tǒng)設計初，需要估算倉庫系統(tǒng)容量和有效的總數(shù)據(jù)量。ORACLE環(huán)境中表空間的分配應考慮到數(shù)據(jù)倉庫數(shù)據(jù)量的累積效應，制定合理的數(shù)據(jù)安全備份和數(shù)據(jù)淘汰方案。該系統(tǒng)新數(shù)據(jù)的抽取通過ORACLE作業(yè)（進銷存數(shù)據(jù)）、SQL SERVER自帶的DTS工具（客戶信息數(shù)據(jù)）和報表系統(tǒng)（財務數(shù)據(jù)）自動調度完成，調度的自動完成給系統(tǒng)維護帶來了方便。

OLAP模塊選用COGNOS產品作為工具。COGNOS以倉庫中的星型模型數(shù)據(jù)作為源，加載形成多維數(shù)據(jù)立方體，用戶可以對多維數(shù)據(jù)立方體進行切片、旋轉等操作，實現(xiàn)分析功能。加載生成的多維數(shù)據(jù)文件與倉庫內的庫表是隔斷的，倉庫數(shù)據(jù)的更新無法傳遞到多維數(shù)據(jù)文件。多維數(shù)據(jù)文件的更新需要通過再次加載數(shù)據(jù)生成新的多維數(shù)據(jù)文件來完成。這種隔斷倉庫數(shù)據(jù)和多維數(shù)據(jù)文件的做法提高了對多維數(shù)據(jù)進行分析和查詢操作的速度。定時加載多維數(shù)據(jù)文件是保證多維數(shù)據(jù)文件和數(shù)據(jù)倉庫數(shù)據(jù)的同步的常用做法，對于時效要求不是很高的系統(tǒng)，可以在倉庫數(shù)據(jù)變化多次后加載多維數(shù)據(jù)文件。COGNOS產品具有調度多維數(shù)據(jù)文件加載的功能，保證了多維數(shù)據(jù)文件的及時更新。

結束語

本文介紹了數(shù)據(jù)倉庫和OLAP技術在商務智能中的應用，同時結合如何解決煙草行業(yè)信息化建設中遇到的信息孤島問題，給出了決策支持系統(tǒng)的構建原則和方法。文章從數(shù)據(jù)加工流程和倉庫模型、集市模型的設計兩個角度對倉庫系統(tǒng)的構建進行了說明。建成的決策支持系統(tǒng)以煙草企業(yè)進銷存、財務、客戶信息數(shù)據(jù)為基礎，實現(xiàn)了以進銷存分析、品牌分析、客戶分析、財務分析為核心的在線分析功能，為公司管理層和決策層提供輔助決策信息。該系統(tǒng)的成功建立對解決其他行業(yè)信息化建設中遇到的問題，具有一定的借鑒意義。

[1] W.H.Immon.Building the Data Warehouse.北京:機械工業(yè)出版社.2003.

[2] J.Kohler, M.Lange, R.Hofestadt, S.Schulze-Kremer.Logical and semantic database integration.Proceedings IEEE International Symposium on Bio-Informatics and Biomedical Engineering, 8-10 Nov.2000, Arlington, VA, USA, IEEE Comput.Soc, 77– 80.

[3] W.C.Hou.A framework for statistical data mining with summary tables.Proceedings of Eleventh International Conference on Scientific and Statistical Database Management'99, 28-30 July 1999, Cleveland, OH, USA, IEEE Comput.Soc, 1423.

[4] 繆嘉嘉, 鄧蘇, 劉青寶.ETL綜述.計算機工程.2004 ,30 (3)∶4～5,21.

[5] B.R.Moole.A probabilistic multidimensional data model and algebra for OLAP in decision support systems.Proceedings IEEE SoutheastCon 2003 "Bridging the Digital Divide", 4 – 6 April 2003, Ocho Rios, St.Ann, Jamaica, Institute of Electrical and Electronics Engineers Inc, 18～30.

10.3969/j.issn.1001-8972.2010.11.039

梁堅東，男，廣東省肇慶市南岸鎮(zhèn)肇慶市實驗中學教師；

曾 文，女，廣東技術師范學院計算機學院軟件工程系講師。