基于數(shù)據(jù)抽取的決策支持系統(tǒng)研究與實現(xiàn)

楊明亮

(中國空空導彈研究院,河南洛陽 471009)

1 引言

信息化經(jīng)過多年的發(fā)展,已經(jīng)形成了由AEPCS、MES、OA、PDM等為核心的業(yè)務支撐系統(tǒng),這些業(yè)務系統(tǒng)在企業(yè)管理、生產(chǎn)經(jīng)營等方面發(fā)揮了重要的作用,為企業(yè)工作效率帶來了很大的提高,但同時也帶來以下問題:(1)業(yè)務系統(tǒng)彼此孤立;(2)大量業(yè)務數(shù)據(jù)信息,信息之間缺乏共享;(3)決策實施依賴經(jīng)驗方法。

隨著信息化發(fā)展和要求的提高,技術(shù)復雜度和管理復雜度進一步提升,各部門、各業(yè)務的協(xié)同、共享信息的進一步加強,設(shè)計信息、生產(chǎn)信息、管理信息轉(zhuǎn)化和聯(lián)系的通道打通,科研、生產(chǎn)、管理業(yè)務全過程的集成實現(xiàn),大量的結(jié)構(gòu)化信息、非結(jié)構(gòu)化信息存儲和交換,從而造成人員間協(xié)作、部門間協(xié)作的困難,也無法為管理層提供綜合、完整、精準的決策信息數(shù)據(jù),從而對總體業(yè)務效率的提升,以及知識的共享、提煉、升華形成了不小的障礙。

在這種情況下,確定好數(shù)據(jù)倉庫模型后并對數(shù)據(jù)源進行分析后,按照分析結(jié)果,從應用系統(tǒng)中抽取出與主題相關(guān)的原始業(yè)務數(shù)據(jù),轉(zhuǎn)換為數(shù)據(jù)倉庫一致的格式,并裝載到數(shù)據(jù)倉庫中的過程。數(shù)據(jù)中心主題數(shù)據(jù)庫建設(shè)和數(shù)據(jù)倉庫建設(shè),結(jié)合ETL數(shù)據(jù)抽據(jù)轉(zhuǎn)換、數(shù)據(jù)裝載等技術(shù),并充分考慮數(shù)據(jù)抽取范圍、數(shù)據(jù)抽取方式、數(shù)據(jù)獲取頻率、數(shù)據(jù)篩選、數(shù)據(jù)清洗、數(shù)據(jù)審計等ETL設(shè)計策略[1]。

基于此,通過業(yè)務決策支持項目實施,建立統(tǒng)一的企業(yè)級數(shù)據(jù)架構(gòu),規(guī)劃數(shù)據(jù)中心并建設(shè)主題數(shù)據(jù)庫和數(shù)據(jù)集市,同時,基于數(shù)據(jù)抽取實現(xiàn)實時業(yè)務分析和決策支持,提供研發(fā)、生產(chǎn)、管理等核心業(yè)務的信息直觀展示,實現(xiàn)決策方式從經(jīng)驗驅(qū)動決策向以數(shù)據(jù)量化驅(qū)動決策轉(zhuǎn)型,增強了決策的科學性和可靠性[2]。

圖1 決策支持系統(tǒng)架構(gòu)圖

圖2 數(shù)據(jù)中心總體架構(gòu)

2 主要研究內(nèi)容

2.1 總體框架

數(shù)據(jù)中心的相關(guān)主題數(shù)據(jù)庫建設(shè)和數(shù)據(jù)倉庫建設(shè),并在此集成之上完成數(shù)據(jù)的獲取與整合,其中數(shù)據(jù)中心設(shè)計了兩級ETL抽取:ETL1(主題數(shù)據(jù)庫數(shù)據(jù)的抽取),ETL2(數(shù)據(jù)倉庫數(shù)據(jù)的抽取),之后完成了相關(guān)決策支持的BI展示。主要包括:主題數(shù)據(jù)庫設(shè)計基于信息資源規(guī)劃階段完成的數(shù)據(jù)模型進行設(shè)計, 數(shù)據(jù)倉庫的設(shè)計和實施建立在主題數(shù)據(jù)庫的基礎(chǔ)之上,是面向主題的、單一的、完整的和一致的數(shù)據(jù)存儲,是深加工的信息,完成數(shù)據(jù)的獲取與整合,決策支持建立在數(shù)據(jù)中心實施的數(shù)據(jù)倉庫的基礎(chǔ)上,實現(xiàn)決策支持的BI展示。決策支持系統(tǒng)架構(gòu)設(shè)計如圖1所示。

在數(shù)據(jù)中心實施的基礎(chǔ)之上,通過兩級ETL數(shù)據(jù)抽取,由業(yè)務數(shù)據(jù)庫到主題數(shù)據(jù)庫的ETL1,由主題數(shù)據(jù)庫到數(shù)據(jù)倉庫的ETL2,完成數(shù)據(jù)的獲取和整合,統(tǒng)一門戶作為一個統(tǒng)一訪問入口,用來整合、展示現(xiàn)有的資源。

2.2 數(shù)據(jù)中心整體架構(gòu)

數(shù)據(jù)中心建設(shè)是基于信息總體規(guī)劃的數(shù)據(jù)庫工程設(shè)計和應用軟件工程設(shè)計,進行數(shù)據(jù)中心平臺實施、主題數(shù)據(jù)庫建設(shè)和數(shù)據(jù)倉庫建設(shè)。數(shù)據(jù)中心總體架構(gòu)如圖2所示。

在對某一個或幾個具體的主題進行數(shù)據(jù)倉庫構(gòu)建的過程中,通過需求分析,邏輯分析,主題數(shù)據(jù)庫建模,數(shù)據(jù)倉庫建模,數(shù)據(jù)源分析,數(shù)據(jù)的獲取與整合,應用設(shè)計等幾個大的步驟不斷完善,反復迭代的構(gòu)建過程。

2.3 主題數(shù)據(jù)庫

基于信息資源規(guī)劃階段的規(guī)劃成果,通過進一步優(yōu)化并建立其數(shù)據(jù)庫邏輯模型和物理模型,結(jié)合各類應用數(shù)據(jù)的綜合管理需求,設(shè)計出良好的數(shù)據(jù)庫,其數(shù)據(jù)結(jié)構(gòu)和存儲方式應完全獨立于各職能區(qū)域和業(yè)務過程使用數(shù)據(jù)的應用,整個組織中的數(shù)據(jù)都是集約化的和共享的。

2.4 數(shù)據(jù)倉庫

主題數(shù)據(jù)庫中的業(yè)務主題數(shù)據(jù)模型和數(shù)據(jù)倉庫中的業(yè)務主題數(shù)據(jù)模型是不同的,但由于存在數(shù)據(jù)重疊的可能性,所以主題數(shù)據(jù)庫中的主題數(shù)據(jù)可以作為數(shù)據(jù)倉庫數(shù)據(jù)來源,可以采用數(shù)據(jù)加載工具,也可以采用API編程進行數(shù)據(jù)加載,數(shù)據(jù)加載策略包括加載周期和數(shù)據(jù)追加策略,這里采用對ETL工具進行功能封裝,向上提供監(jiān)控與調(diào)度接口的方式,數(shù)據(jù)加載周期綜合考慮經(jīng)營分析需求和系統(tǒng)加載的代價,對不同業(yè)務系統(tǒng)的數(shù)據(jù)采用不同的加載周期,但必須保持同一時間業(yè)務數(shù)據(jù)的完整性和一致性。

2.5 數(shù)據(jù)的獲取和整合

確定好數(shù)據(jù)倉庫模型并對數(shù)據(jù)源進行分析后,按照分析結(jié)果,從應用系統(tǒng)中抽取出與主題相關(guān)的原始業(yè)務數(shù)據(jù),轉(zhuǎn)換為與數(shù)據(jù)倉庫或與數(shù)據(jù)倉庫一致的格式,并裝載到數(shù)據(jù)倉庫或數(shù)據(jù)倉庫中的過程。

采取兩級ETL抽取過程,由業(yè)務數(shù)據(jù)庫到主題數(shù)據(jù)庫的ETL抽取流程如圖3所示。

由主題數(shù)據(jù)庫到數(shù)據(jù)倉庫的ETL抽取流程如圖4所示。

2.6 決策支持BI展示

基于fusioncharts工具進行展示,結(jié)合科研、生產(chǎn)、管理等相關(guān)業(yè)務提供柱狀圖、餅圖、環(huán)形圖、條形圖、帶狀圖等多種2D和3D圖形展示,使得通過ETL之后的相關(guān)數(shù)據(jù)以這種更直觀,更明確的方式進行展示。

圖3 抽取流程1

圖4 抽取流程2

3 實施效果

通過本項目,建立統(tǒng)一的企業(yè)級數(shù)據(jù)架構(gòu),包括主題數(shù)據(jù)庫、數(shù)據(jù)倉庫及數(shù)據(jù)間的集成與共享;實現(xiàn)了對科研、生產(chǎn)、經(jīng)營管理等各業(yè)務領(lǐng)域的數(shù)據(jù)信息進行集中查詢和統(tǒng)計分析,并進行直觀化展示,支持管理與輔助決策,提升了管理和決策能力;為決策層提供科研、生產(chǎn)、經(jīng)營管理等統(tǒng)計分析信息,在支撐企業(yè)業(yè)務工作中發(fā)揮著重要作用。

在數(shù)據(jù)中心實施的數(shù)據(jù)倉庫的基礎(chǔ)上,通過對科研、生產(chǎn)、經(jīng)營管理等各業(yè)務領(lǐng)域的信息集成、信息查詢和統(tǒng)計分析,實現(xiàn)決策支持BI展示;為企業(yè)各級領(lǐng)導提供數(shù)據(jù)參考,實現(xiàn)了信息的集中展示,收集整理企業(yè)關(guān)鍵績效指標,形成了關(guān)鍵績效指標體系;系統(tǒng)使用單位和指標范圍等增加不影響現(xiàn)有系統(tǒng)功能和結(jié)構(gòu),能夠方便后續(xù)其他系統(tǒng)模塊的擴展;提供基于對比分析、多維分析、指標體系分析等多種數(shù)據(jù)分析方法和多維度的分析方法,使得決策支持BI展示更具參考價值。

隨著應用的深入,下一步將把研發(fā)、生產(chǎn)等更多業(yè)務系統(tǒng)更多的信息通過此系統(tǒng)進行分析展示,為企業(yè)的科學管理提供更全面、更直觀的參考信息。

4 結(jié)語

目前企業(yè)業(yè)務支持決策系統(tǒng)最為關(guān)心的問題是如何整合企業(yè)信息,建立企業(yè)信息倉庫,在模糊的、隨機的信息中通過數(shù)據(jù)抽取發(fā)現(xiàn)有用知識,給決策者提供支持,但國內(nèi)多數(shù)企業(yè)各個部門基本上具備各自的數(shù)據(jù)信息和獨立信息處理系統(tǒng),即使各個部門有業(yè)務交叉,信息不兼容也大量存在,國外企業(yè)在數(shù)據(jù)整合方面一直領(lǐng)先于國內(nèi)大多數(shù)企業(yè),收集整理關(guān)鍵績效指標,形成關(guān)鍵績效指標體系,為后續(xù)開發(fā)經(jīng)營管控信息化系統(tǒng)提供引導模型,以此推進信息化建設(shè)和關(guān)鍵業(yè)務指標(KPI)的提升。

[1]王德勝,李弘,田佳燁.數(shù)據(jù)抽取及交換工具的設(shè)計與實現(xiàn)[J].軟件,2015,36(8):36-40.

[2]李崇東.基于大數(shù)據(jù)支持的軍事決策系統(tǒng)構(gòu)建研究[J].軟件工程,2016,19(3):21-24.