商業智能在企業信息化建設中的研究與應用

李 斌,續 鵬,趙一詩

(1.中國電子科技集團公司第五十四研究所,河北石家莊050081;2.哈爾濱工業大學電子與信息工程學院,黑龍江哈爾濱150001

0 引言

隨著企業信息化管理水平的不斷提高,以及越來越多的信息系統投入運營,企業積累了大量的業務數據,而各信息系統對數據僅停留在存儲、查詢和顯示等簡單的聯機事務處理階段,卻忽略了數據分析的重要性,潛藏在數據背后的商業價值沒有被信息系統充分挖掘和利用[1]。同時市場經濟的不斷發展必然加劇市場競爭,企業所處的環境和組織結構也會日益復雜,如何保障企業高效運行、正確決策和快速響應市場變化成為企業又快又好發展的關鍵突破口。

基于以上2點需求,商業智能(BI)技術應運而生。商業智能的數據整合能力能夠幫助決策人員快速、準確地捕獲并解讀所關心的數據,決策者通過把握多維度多層次數據獲得知識和洞察力,提高決策的效率。借助商業智能收集、整理、分析和評估企業業務數據,將海量數據轉化為穩定、可靠、多維度和直觀的信息以挖掘潛在的商機,進而指導企業業務行為并進行輔助決策,已經成為企業下一步信息化建設的必然選擇。

1 商業智能及其核心技術

商業智能是一個包含信息管理基礎架構的平臺,通過分析應用為企業的商業策略和績效管理提供支持,并可以對人員和流程進行一定的管控[2]。從系統的角度來看,商業智能的過程起始于不同數據源的數據收集,提取有用的數據進行加工、處理以保證數據的正確性,加工后的數據經過轉換、重構存入數據倉庫成為實體信息,對這些實體信息進行查詢、挖掘、分析和評估等操作,使其成為輔助決策的知識并呈現在最終用戶面前,轉變為用戶決策。可以看出,企業信息化是商業智能應用的基礎,商業智能最大程度地利用了企業信息化中各應用系統的數據,將企業日常業務數據整理為信息,逐步升華為知識,從而為決策者提供最大力度的支持。

從企業商業智能系統建立的層面上來看,構建一個完整的商業智能系統涉及到以下幾種核心技術[3]:

①數據倉庫(DW)。數據倉庫是面向主題的、集成的、相對穩定的、連續的數據集合,用以支持經營管理中的決策制定過程,是商業智能的基礎。數據倉庫能夠從容量龐大的業務處理型數據庫中抽取數據,處理、轉換為新的存儲格式;

②聯機分析處理(OLAP)。聯機分析處理技術使分析人員、管理人員或執行人員從多種角度對從原始數據中轉化出來、能夠真正為用戶所理解的、并真實反映企業維度特性的信息進行快速、一致、交互地存取,從而獲得對數據更深入了解的一類軟件技術;

③數據挖掘(DM)。數據挖掘即數據庫中的知識發現,是一個在數據中提取出有效的、新穎的、有潛在實用價值和易于理解知識模式的高級過程。數據挖掘技術以企業擁有的大量數據為對象,通過抽取、轉換、裝載等數據處理方法,發現數據的關聯與趨勢,探尋出其中的業務規律和模式。

其中聯機分析處理側重于與用戶的交互、快速的響應速度及提供數據的多維視圖,而數據挖掘則注重自動發現隱藏在數據中的模式和有用信息[4]。

2 系統體系結構

企業的決策層管理具有全局性、長遠性、關鍵性和權變性等特征,從技術角度要求商業智能系統要具有良好的集成性和伸縮性,能夠從企業宏觀角度反映總體指標,而不是拘泥于某一具體的業務應用系統;能夠剖析歷史數據,并結合即時數據預測企業運營趨勢;能夠把握企業運營狀態,有選擇地關注業務關鍵節點;能夠根據企業發展需要及時調整監控側重點,突出重點數據。結合上述要求和商業智能的技術組成,將企業商業智能系統劃分為4個層面,每個層面由不同的數據處理和應用過程環節進行連接,對應4個層面,數據的傳遞和操作也有4個環節,4個層面和4個環節共同組成了商業智能系統的體系結構,如圖1所示。

圖1 商業智能系統體系結構

商業智能系統的4個層面分別為數據源、數據倉庫、數據分析處理和前端應用。數據源由所內各業務信息應用系統中的基礎數據或文檔資料中的業務數據組成,是商業智能系統的數據基礎;數據倉庫包含數據監控導入和數據存儲2個部分內容,前者根據定制的規則和流程對數據源中的業務數據進行加工處理,后者對加工后的數據進行分門別類或者重新組織,將其存儲在不同的數據集合中供后續處理,二者協同完成商業智能系統核心數據的存儲和管理工作;數據分析處理依據數據模型進行數據的再次重組,以支持用戶多維度、多層次的分析,發現數據趨勢;前端應用由信息訪問和決策管理2個部分組成,二者以上層的數據分析處理結果為基礎,信息訪問負責將數據以人性化的圖形、表格等方式呈現在用戶的面前,決策管理則構建知識庫,形成推理機,為管理者在信息門戶中決策時提供參考依據。

商業智能系統中的4個環節是對數據的動態處理過程,體現了數據在系統中流轉的生命周期。期初的業務數據經過良好的設計和建模存儲在各信息系統數據庫中,然后對業務數據進行整合和組織形成數據倉庫,接下來進入多維數據分析與挖掘階段,最后表述、解釋、轉化數據分析結果為視圖、報表和知識等形式。下面對商業智能系統體系結構中的4個層面和4個環節進行詳細說明。

2.1 數據源

企業內部的組織機構信息、日常經營活動生成和積累下的業務信息、財務統計等信息經過數據建模、概念設計、邏輯設計和物理設計等步驟存儲在對應的業務信息應用系統的關系型數據庫中,如物資管理系統(MMS)、項目管理系統(PMIS)、生產管理系統(PMS)和合同管理系統(CMS)等等,這些系統的數據構成了商業智能系統的基礎數據主體。業務信息系統之外產生的文檔資料經過轉化和處理,形成標準形式的文本或者XML作為商業智能系統數據源的補充。

2.2 數據倉庫

2.2.1 數據監控導入

此模塊負責監控業務信息系統中的數據,根據規則將目標數據導入到對應的數據倉庫中。對于像物資管理系統中的庫存變化信息這種實時性要求較高的業務數據通過 CTF(即 Capture、Transform和Flow)技術實現,當監控的源數據發生變化時立即觸發處理流程(Capture),啟動事先編好的程序或者數據庫中的觸發器進行數據更新(Transform),完成數據倉庫的導入(Flow)過程。對于其他業務數據利用ETL(即Extract、Transform和Load)技術進行周期性處理,針對不同的關系型數據庫、不同形式的源數據采取不同的數據抽取方式(Extract),而后經過映射、字段運算、數據整合等一系列的處理過程(Transform),將轉換好的數據按照定義好的模型增量裝載到數據倉庫中。數據的ETL處理流程如圖2所示。

圖2 數據的ETL處理流程

2.2.2 數據存儲

源數據經過CTF和ETL處理后按照主題進行加工、匯總、整理和組織,改變成一種結構化或者規劃良好的數據集合進行存儲形成數據倉庫。CTF加工的即時數據存儲在操作數據存儲(ODS)中,ODS只保存當前的和近期的數據,超過期限的數據作為歷史數據定期導入到DW。數據倉庫以特定的規則進行模型轉化和數據組織形成數據集市(Data Market),提供諸如生產進度和入所檢驗等局部應用范圍級別的信息需求服務。數據立方對數據進行多維度、多層面的整合和組織,形成不同的主題表、維度表和事實表,以滿足不同角度的信息需求,例如將供方評價分為供貨量、按時到貨和采購品合格率等幾個維度以便橫向對比。

2.3 數據分析處理

各信息系統的業務數據經過加工轉化存儲在數據倉庫中后進入多維分析和挖掘階段,綜合采用OLAP、數據挖掘和分析規則處理技術對數據倉中的數據進行二次加工。OLAP建立不同粒度的數據模型,輔之多維化或預綜合處理,使數據滿足快速查詢、統計和維度轉化的要求;同時OLAP工具采用直觀靈活的數據查詢和輸出方式,方便管理者進行逐層細化等操作。數據挖掘采用數學、統計和人工智能等領域的科學方法,從數據倉庫中挖掘隱含的、有潛在價值的關系、模型和趨勢,并用這些知識和規則建立服務于上層用戶進行決策支持的模型。分析規則處理模塊由事件監視器、事件隊列及管理器、分析引擎組成,當數據倉庫有事件發生時,觸發分析規則的執行,進行主動推理,產生決策信息。

2.4 前端應用

2.4.1 信息訪問

前端應用作為商業智能系統的人機交互界面,將經過挖掘、分析和處理過后的數據進行集成管理,分類、編目、摘要、審核和發布數據信息,為用戶提供一個統一的信息訪問平臺,囊括自定義查詢、組合報表和多維統計等功能。

2.4.2 決策支持

建立管理駕駛艙分系統,利用關聯規則、分類、聚類和人工神經網路等方法挖掘蘊含在數據中的商業價值,轉化數據為知識信息,形成知識庫和推理機,生成預測模型和決策樹等作為輔助管理者決策的參考依據。同時提供基于報表的分發和預警機制,調度作業從而觸發事件,向相關業務人員傳達管理者的決策信息,如項目拖期處理意見、重大科研產品質量跟蹤反饋等。圖3給出了管理駕駛艙分系統中借助Flex技術以可視化界面直觀顯示銷售收入及商機分析信息的例子。

圖3 BI前端應用可視化管理駕駛艙示例

3 結束語

商業智能系統利用數據倉庫、聯機分析處理和數據挖掘技術實現了企業級的數據共享和知識積累,為企業日常經營管理向更加規范、科學的深層次方向發展提供了科學的決策依據,創造了更大的經濟效益。商業智能的興起為企業信息化發展注入了新的活力,構建商業智能系統必將加快企業信息化建設的步伐,促進企業信息化管理水平的提高。

[1]黃 威,邵偉民,劉學仁.基于Web Services的商業智能系統研究與設計[J].計算機工程與設計,2009,30(11):2702-2706.

[2]陳 磊,董碧丹,張 峰.操作性商業智能綜述[J].計算機工程與設計,2010,31(7):1639-1641.

[3]Wu Jui-yu.Computational Intelligence-based Intelligent Business Intelligence System:Concept and Framework[J].IEEE Computer Society,2010(23):334-338.

[4]蓋 鷗.企業商業智能應用模式的研究[D].陜西:西安電子科技大學,2009:28-30.