商業智能——發掘數據金礦的工具

[摘要] 本論文先簡單地說明企業經營管理活動對商業智能的需求，從而明確實施商業智能（BI）的原因，解決Why的問題；再闡明商業智能的技術構成，如數據倉庫（DW）、數據挖掘（DM）、聯機在線分析工具（OLAP）等進行概要的分析，大概了解如何實現商業智能，解決What和How的問題；最后列舉一些實際部署的商業智能項目結果，解決What Effect的問題，明確商業智能在企業經營決策過程中的具有很高的實用價值。

[關鍵詞] 商業智能 數據挖掘 ETL OLAP

一、商業智能概念提出的背景和定義

商業智能（Business Intelligence ，簡稱BI）的概念最早是 Gartner Group 于 1996 年提出來的。當時將商業智能定義為一類由數據倉庫（或數據集市）、查詢報表、數據分析、數據挖掘、數據備份和恢復等部分組成的、以幫助企業決策為目的技術及其應用。目前，商業智能通常被理解為將企業中現有的數據轉化為知識，幫助企業做出明智的業務經營決策的工具。這里所談的數據包括來自企業業務系統的訂單、庫存、交易賬目、客戶和供應商資料來自企業所處行業和競爭對手的數據，以及來自企業所處的其他外部環境中的各種數據。而商業智能能夠輔助的業務經營決策，既可以是操作層的，也可以是戰術層和戰略層的決策。為了將數據轉化為知識，需要利用數據倉庫、聯機分析處理（OLAP)工具和數據挖掘等技術。因此，從技術層面上講，商業智能不是什么新技術，它只是數據倉庫、OLAP和數據挖掘等技術的綜合運用。

為此，把商業智能看成是一種解決方案應該比較恰當。BI的關鍵是從許多來自不同的企業運作系統的數據中，提取出有用的數據，進行清理以保證數據的正確性，然后經過抽取（Extraction）、轉換（Transformation）和裝載（Load），即 ETL 過程，合并到一個企業級的數據倉庫里，從而得到企業數據的一個全局視圖，在此基礎上利用合適的查詢和分析工具、數據挖掘工具、OLAP工具等對其進行分析和處理（這時信息變為輔助決策的知識），最后將知識呈現給管理者，為管理者的決策過程提供支持。因此，BI是涉及一個很寬領域的，集收集、合并、分析和提供信息存取功能為一身的解決方案，包括 ETL 軟件、數據倉庫、數據集市、數據查詢和報告、多維/聯機數據分析、數據挖掘和可視化工具。 圖1是一個典型的商業智能系統。

圖1 商業智能系統構圖

二、商業智能的技術構成

商業智能所要解決的問題不同，其應用到的技術也不盡相同，一般地講包括以下的部分（不同的體系，劃分的方法可能有些差別，但本質相同）。

1.ETL：即數據的抽取/轉換/加載。也就是將原來不同形式、分布在不同地方的數據，轉換到一個整理好、統一的存放數據的地方(數據倉庫)。ETL可以通過專門的工具來實現，也可以通過任何編程或類似的技術來實現。

2.數據倉庫：一個標準的定義是：數據倉庫是一個面向主題、集成、時變、非易失的數據集合，是支持管理部門的決策過程。簡單地說，數據倉庫就是儲存數據的地方。它既可能是原始的業務數據庫，也可能是另外生成的。既可能是標準的關系型數據庫，也可能是包括了一些特定面向分析特性的專門產品。

3.查詢：找出所需要的數據。由于需求的多樣性和復雜程度的差異，查詢可能是最簡單的從一張表中找出“所有姓張的人”，到基于非常復雜的條件、對關系非常復雜的數據進行查找和生成復雜的結果。

4.報表分析：以預先定義好的或隨時定義的形式查看結果和分析數據。將人工或自動查詢出來的數據，以所需要的形式(包括進行各種計算、比較，生成各種展現格式，生成各種圖表等)展現給用戶，甚至讓用戶可以進一步逐層深入鉆取這些數據，乃至靈活地按照各種需求進行新的分析并查看其結果。在這個領域，報表已經由原來狹義的做好固定報表發展為靈活地按業務要求隨時制作各種報表、進行各種分析和數據研究處理。

5.OLAP分析：多維數據分析，從多個不同的角度立體地同時對數據進行分析。理解OLAP分析，最簡單的例子是Excel中的數據透視表。需要指出的是，OLAP有廣義與狹義之分，廣義的OLAP是相對OLTP而言，可以說包括了查詢、報表分析、OLAP分析和數據挖掘，但真正大家所講的實際是狹義的OLAP，即多維數據分析。OLAP分析一般講應該是通過建模和建立立方體(CUBE)來實現，但現在也有一些簡單的OLAP工具可以不建模即進行小數據量、低復雜度的分析(EXCEL的數據透視表即是一例)。

6.數據挖掘：一種在大型數據庫中尋找你感興趣或是有價值信息的過程。相比于上面幾個部分，數據挖掘是最不確定的。如果理解它與查詢的區別，似乎是數據如果容易查出來，就是查詢。如果費很大勁才能找出來，就是挖掘。

上面這若干部分，并不是每一部分都必不可少，而是要根據應用的實際情況，具體問題具體分析。一般地講，數據倉庫(這里是廣義的，其中相當一部分情況就是指標準的關系型數據庫)和查詢、報表分析是必不可少的，而其他一些功能則視應用的需要可能有不同程度的應用。

除了上面所講的這些實質性、技術性的組成部分外，與商業智能相關的還有很多應用層面的概念，如EPM(企業績效管理)、DashBoard(儀表盤)、預警、決策支持等等。這些概念在應用上有很大意義，也有一些相關的輔助技術，但本質上還是基于上述的幾個組成部分。

三、實施商業智能的步驟

實施商業智能系統是一項復雜的系統工程，整個項目涉及企業管理、運作管理、信息系統、數據倉庫、數據挖掘、統計分析等眾多門類的知識。因此用戶除了要選擇合適的商業智能軟件工具外還必須按照正確的實施方法才能保證項目得以成功。商業智能項目的實施步驟可分為：

1.商業需求分析/整理→商業需求確認/修正： 需求分析是商業智能實施的第一步，在其他活動開展之前必須明確的定義企業對商業智能的期望和需求，包括需要分析的主題，各主題可能查看的角度(維度)；需要發現企業那些方面的規律，用戶的需求必須明確。對比規劃的商業需求滿足現有業務需求的程度，通過對比，修正并確認用戶對BI的需求。包括報表的需求、分析模式的需求。

2.數據倉庫建模：通過對企業需求的分析， 建立企業數據倉庫的邏輯模型和物理模型，并規劃好系統的應用架構，將企業各類數據按照分析主題進行組織和歸類。

(1)制定數據ETL（抽取、轉換、上載）的規則;(2)制定有利于布置、分析效率的DW存儲模式;(3)物理實現。

3.數據抽取:數據倉庫建立后必須將數據從業務系統中抽取到數據倉庫中，在抽取的過程中還必須將數據進行轉換，清洗，以適應分析的需要。

4.建立商業智能分析報表:商業智能分析報表需要專業人員按照用戶制訂的格式進行開發，用戶也可自行開發(開發方式簡單，快捷)。

5.用戶培訓和數據模擬測試:對于開發－使用分離型的商業智能系統，最終用戶的使用是相當簡單的，只需要點擊操作就可針對特定的商業問題進行分析。

6.系統改進和完善:任何系統的實施都必須是不斷完善的，商業智能系統更是如此，在用戶使用一段時間后可能會提出更多的，更具體的要求，這時需要再按照上述步驟對系統進行重構或完善。

四、商業智能的發展趨勢

商業職能與DSS、EIS系統相比，具有更美好的發展前景。近些年來，商業智能市場持續增長。IDC預測，到2005年，BI市場將達到118億美元，平均年增長率為27%（Information Access Tools Market Forecast and Analysis：2001-2005，IDC#24779， June 2001）。隨著企業CRM、ERP、SCM等應用系統的引入，企業不停留在事務處理過程而注重有效利用企業的數據為準確和更快的決策提供支持的需求越來越強烈，由此帶動的對商業智能的需求將是巨大的。

商業智能的發展趨勢可以歸納為以下幾點：

1.功能上具有可配置性、靈活性、可變化性。BI系統的范圍從為部門的特定用戶服務擴展到為整個企業所有用戶服務。同時，由于企業用戶在職權、需求上的差異，BI系統提供廣泛的、具有針對性的功能。從簡單的數據獲取，到利用WEB和局域網、廣域網進行豐富的交互、決策信息和知識的分析和使用。

解決方案更開放、可擴展、可按用戶定制，在保證核心技術的同時，提供客戶化的界面針對不同企業的獨特的需求，BI系統在提供核心技術的同時，使系統又具個性化，即在原有方案基礎上加入自己的代碼和解決方案，增強客戶化的接口和擴展特性；可為企業提供基于商業智能平臺的定制的工具，使系統具有更大的靈活性和使用范圍。

2.從單獨的商業智能向嵌入式商業智能發展。這是目前商業智能應用的一大趨勢，即在企業現有的應用系統中，如財務、人力、銷售等系統中嵌入商業智能組件，使普遍意義上的事務處理系統具有商業智能的特性。考慮BI系統的某個組件而不是整個BI系統并非一件簡單的事，比如將OLAP技術應用到某一個應用系統，一個相對完整的商業智能開發過程，如企業問題分析、方案設計、原型系統開發、系統應用等過程是不可缺少的。

3.從傳統功能向增強型功能轉變。增強型的商業智能功能是相對于早期的用SQL工具實現查詢的商業智能功能。目前應用中的BI系統除實現傳統的BI系統功能之外，大多數已實現了數據分析層的功能。而數據挖掘、企業建模是BI系統應該加強的應用，以更好地提高系統性能。

4.應用領域更加寬廣。2006年，商業智能在中國的應用主要集中在金融、電信、保險、能源、制造、零售、政府等行業，應用比例見下圖2：

圖2 2006年中國BI市場各行業所占比例

隨著商業智能在13個行業成功的應用案例，商業智能的應用領域越來越廣闊。這13個行業是：衛生行業（廣州藥業）、空調行業（上海雙菱）、電子行業（西門子AD集團）、鋼鐵行業（寶鋼）、制藥行業（廣藥）、保險行業（泰康人壽）、電信行業（天津聯通）、啤酒行業（珠江啤酒）、證券行業（上海證交所）、金融行業（光大銀行）、煙草行業（重慶煙草）、政府部門（國稅總局）、汽車行業（上海汽車銷售總公司）。

參考文獻：

[1]（美）Michael J.A.BerryGordon S.Linoff著，別榮芳尹靜鄧六愛譯：數據挖掘技術：市場營銷、銷售與客戶關系管理領域應用[M].北京：機械工業出版社，2006年7月第1版第1次印刷

[2]朱德利:數據挖掘與商業智能完全解決方案[M].北京：電子工業出版社，2007年10月第1次印刷

[3]張蓉:數據倉庫與數據挖掘技術在銀行客戶關系管理(CRM)系統中的應用，來源于http://www.ahcit.com/lanmuyd.asp?id=1920

[4]李丹丹:數據挖掘技術及其發展趨勢[J].電腦應用技術，2007年總第六十九期

[5]邵蜂晶等:數據挖掘原理與算法[M].中國水利出版社，2003