數(shù)據(jù)治理和商業(yè)智能

江飛

摘 要：隨著互聯(lián)網(wǎng)+、物聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、區(qū)塊鏈等信息技術(shù)的迅猛發(fā)展，催生了超越以往任何年代的巨量數(shù)據(jù)，需要配套的數(shù)據(jù)治理與管理機(jī)制，結(jié)合商業(yè)智能可視化分析，將數(shù)據(jù)作為組織的寶貴資產(chǎn)應(yīng)用于業(yè)務(wù)、管理、戰(zhàn)略決策中，發(fā)揮數(shù)據(jù)資產(chǎn)的商業(yè)價值，為企業(yè)帶來不可替代的競爭優(yōu)勢。隨著移動通訊4G網(wǎng)絡(luò)的快速發(fā)展，以及手持式設(shè)備的普及，BI的展示就可以擴(kuò)展到移動手持設(shè)備。

關(guān)鍵詞：數(shù)據(jù)治理；商業(yè)智能；元數(shù)據(jù)管理

中圖分類號：F272 文獻(xiàn)標(biāo)識碼：A 文章編號：1671-2064（2018）14-0054-02

1 數(shù)據(jù)治理概覽

從范圍來講，數(shù)據(jù)治理涵蓋了從前端事務(wù)處理系統(tǒng)、后端業(yè)務(wù)數(shù)據(jù)庫到終端的數(shù)據(jù)分析。從目的來講，數(shù)據(jù)治理就是要對數(shù)據(jù)的獲取、處理、使用進(jìn)行監(jiān)管，保證數(shù)據(jù)的有效性、可訪問性、高質(zhì)量、一致性、可審計和安全性。從分類來講，數(shù)據(jù)治理分為應(yīng)對性數(shù)據(jù)治理和主動型數(shù)據(jù)治理。

（1）應(yīng)對性數(shù)據(jù)治理。應(yīng)對型數(shù)據(jù)治理是指將前端應(yīng)用產(chǎn)生的數(shù)據(jù)，通過數(shù)據(jù)移動工具批量移動到主數(shù)據(jù)管理（MDM）系統(tǒng)中。數(shù)據(jù)經(jīng)過整理、匹配和合并，然后同步回原系統(tǒng)、企業(yè)的其它應(yīng)用程序以及數(shù)據(jù)倉庫或商業(yè)智能/分析系統(tǒng)。由于主要是通過批量方式進(jìn)行主數(shù)據(jù)的移動，批量操作帶來的時間延遲，可能導(dǎo)致業(yè)務(wù)部門繼續(xù)操作“過時的”主數(shù)據(jù)。（2）主動型數(shù)據(jù)治理。直接在MDM系統(tǒng)中錄入數(shù)據(jù)，通過預(yù)設(shè)的業(yè)務(wù)規(guī)則，以整理、匹配和合并數(shù)據(jù)。這樣的優(yōu)勢在于：數(shù)據(jù)經(jīng)過預(yù)設(shè)的規(guī)則進(jìn)行選擇性填寫，可在源頭獲得高質(zhì)量的主數(shù)據(jù)。保證了數(shù)據(jù)的初始質(zhì)量，并且不會再有數(shù)據(jù)從其它源系統(tǒng)中傳入，就實現(xiàn)了主數(shù)據(jù)管理的主要目標(biāo)——保證和保持主數(shù)據(jù)的“干凈”；通過使MDM成為錄入系統(tǒng)及記錄系統(tǒng)，能從本質(zhì)上將數(shù)據(jù)維持在“零延遲”狀態(tài)，新記錄實時或準(zhǔn)實時的方式發(fā)布到其它應(yīng)用系統(tǒng)。

2 數(shù)據(jù)治理要點(diǎn)

數(shù)據(jù)治理包含數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)架構(gòu)管理、數(shù)據(jù)開發(fā)、數(shù)據(jù)操作管理、數(shù)據(jù)安全管理、參考數(shù)據(jù)和主數(shù)據(jù)管理、數(shù)據(jù)倉庫和商務(wù)智能管理、文檔和內(nèi)容管理、元數(shù)據(jù)管理。數(shù)據(jù)治理邏輯架構(gòu)如圖1所示。

2.1 元數(shù)據(jù)管理

元數(shù)據(jù)管理，是指通過建立元數(shù)據(jù)工作配套的組織、制度和平臺，對元數(shù)據(jù)的采集、檢驗、發(fā)布、應(yīng)用進(jìn)行一系列的管理活動。

元數(shù)據(jù)指對數(shù)據(jù)內(nèi)容、質(zhì)量、所處語境等特征的基礎(chǔ)性定義或結(jié)構(gòu)化描述，也被稱為關(guān)于數(shù)據(jù)的數(shù)據(jù)，是信息交換和數(shù)據(jù)共享的基礎(chǔ)和前提。元數(shù)據(jù)按照存放內(nèi)容可分為技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)和操作元數(shù)據(jù)。

技術(shù)元數(shù)據(jù)，指用于系統(tǒng)設(shè)計及日常管理相關(guān)數(shù)據(jù)信息，主要包括數(shù)據(jù)模型、應(yīng)用系統(tǒng)以及數(shù)據(jù)遷移與轉(zhuǎn)換規(guī)則等。

業(yè)務(wù)元數(shù)據(jù)，指和業(yè)務(wù)相關(guān)的數(shù)據(jù)信息，用于輔助定位、理解及訪問業(yè)務(wù)信息，主要包括業(yè)務(wù)術(shù)語、業(yè)務(wù)規(guī)則、業(yè)務(wù)指標(biāo)、業(yè)務(wù)報表、概念模型、數(shù)據(jù)標(biāo)準(zhǔn)以及數(shù)據(jù)質(zhì)量規(guī)則等內(nèi)容。

操作元數(shù)據(jù)，指系統(tǒng)日常運(yùn)行產(chǎn)生的操作信息，主要包括應(yīng)用作業(yè)程序配置信息以及應(yīng)用作業(yè)運(yùn)行次數(shù)、運(yùn)行開始時間、運(yùn)行結(jié)束時間、運(yùn)行結(jié)果、處理數(shù)據(jù)量、異常數(shù)據(jù)量等內(nèi)容。

2.2 數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)質(zhì)量管理（Data Quality Management），是指對數(shù)據(jù)的生命周期（計劃、獲取、存儲、共享、維護(hù)、應(yīng)用、消亡）的每個階段里可能引發(fā)的各類數(shù)據(jù)質(zhì)量問題，進(jìn)行識別、度量、監(jiān)控、預(yù)警等一系列管理活動，并通過改善和提高組織的管理水平使得數(shù)據(jù)質(zhì)量獲得進(jìn)一步提高。

數(shù)據(jù)質(zhì)量問題主要有如下幾類：

數(shù)據(jù)完備性。或稱為數(shù)完整性，主要體現(xiàn)在數(shù)據(jù)缺失未填，丟失關(guān)鍵數(shù)值。或數(shù)據(jù)值為NULL。

數(shù)據(jù)有效性。主要體現(xiàn)在數(shù)據(jù)無意義，或數(shù)據(jù)有意義但不符合業(yè)務(wù)定義，或代碼取值越界，或關(guān)聯(lián)字段不匹配。

數(shù)據(jù)唯一性。主要體現(xiàn)在業(yè)務(wù)關(guān)鍵屬性組合不唯一。

數(shù)據(jù)一致性。主要體現(xiàn)為數(shù)據(jù)的維度與度量值之間的引用關(guān)系斷開，或引用關(guān)系正常但同一數(shù)據(jù)不同表格內(nèi)取值不同，或匯總數(shù)據(jù)不一致。

數(shù)據(jù)精確性。主要體現(xiàn)為數(shù)據(jù)精度不夠，不符合業(yè)務(wù)需求。

數(shù)據(jù)時效性。主要體現(xiàn)在數(shù)據(jù)時效太低，不滿足統(tǒng)計及需求。或使用了“過期”的數(shù)據(jù)版本。

數(shù)據(jù)真實性。主要體現(xiàn)為數(shù)據(jù)不是真實的業(yè)務(wù)數(shù)據(jù)。

3 數(shù)據(jù)倉庫

數(shù)據(jù)倉庫是一個面向主題的、集成的、隨時間變化的、但信息本身相對穩(wěn)定的數(shù)據(jù)集合，用于對管理決策過程的支持。

數(shù)據(jù)倉庫主要有如下特點(diǎn)：

主題導(dǎo)向。不同于數(shù)據(jù)庫面向事務(wù)的特性，數(shù)據(jù)倉庫按主題進(jìn)行組織，即按數(shù)據(jù)的意義將其歸類至相同的主題區(qū)。主題是指用戶使用數(shù)據(jù)倉庫進(jìn)行決策時所關(guān)心的重點(diǎn)方面，如銷售記錄等。

集成性。數(shù)據(jù)來自企業(yè)內(nèi)的各個數(shù)據(jù)庫，經(jīng)過數(shù)據(jù)抽取、清理、轉(zhuǎn)換、系統(tǒng)加工、匯總和整理，消除源數(shù)據(jù)中的不一致性，以保證數(shù)據(jù)倉庫內(nèi)的信息是關(guān)于整個企業(yè)的一致的全局信息。

數(shù)據(jù)隨時間變化。數(shù)據(jù)倉庫是隨時間而變化的，數(shù)據(jù)的變動，在數(shù)據(jù)倉庫中會被紀(jì)錄以及追蹤變化的，有助于反映出數(shù)據(jù)隨著時間變化的軌跡。

數(shù)據(jù)不可更新。數(shù)據(jù)一旦確認(rèn)寫入數(shù)據(jù)倉庫后是不會被取代或刪除的，即便數(shù)據(jù)是錯誤的也是如此。

圖2描述了一個典型的企業(yè)信息工廠模型，數(shù)據(jù)倉庫匯總數(shù)據(jù)，并為后續(xù)分析提供數(shù)據(jù)支持。

4 商務(wù)智能

商務(wù)智能（Business Intelligence，簡稱BI），是一套用來將企業(yè)中現(xiàn)有的數(shù)據(jù)進(jìn)行有效的整合，快速準(zhǔn)確的提供報表并提出決策依據(jù)，幫助企業(yè)做出明智的業(yè)務(wù)經(jīng)營決策的完整的解決方案。

從技術(shù)層面來看，BI由數(shù)據(jù)倉庫（或數(shù)據(jù)集市）、查詢報表、數(shù)據(jù)分析、數(shù)據(jù)挖掘等部分組成。

從技術(shù)成熟度來看，報表系統(tǒng)是BI的初級階段，數(shù)據(jù)分析是BI的中級階段，數(shù)據(jù)挖掘是BI的高級階段。

4.1 商務(wù)智能的實施步驟

需求分析。商務(wù)智能本身也是一個項目，所以從項目管理的角度來講，必須全面地理解用戶的各項要求，做好需求分析。包括需要分析的主題，實現(xiàn)這些主題需要查看的維度等等。

數(shù)據(jù)倉庫建模。通過前期的需求分析，建立企業(yè)數(shù)倉庫的邏輯模型和物理模型，按照規(guī)劃好的架構(gòu)，將各類數(shù)據(jù)按照分析主題進(jìn)行組織和歸類。

數(shù)據(jù)抽取。依據(jù)分析模型將數(shù)據(jù)倉庫建立起來之后，就需要將數(shù)據(jù)從源端（各個業(yè)務(wù)系統(tǒng)）抽取到數(shù)據(jù)倉庫。抽取規(guī)程中，還需要將數(shù)據(jù)按照既定的業(yè)務(wù)規(guī)則，進(jìn)行轉(zhuǎn)換和清洗，加載到各個分析主題中。

建立可視化分析報表。可借助主流BI工具FineBI，通過拖拉的方式，進(jìn)行可視化分析報表的制作。

4.2 商務(wù)智能的發(fā)展趨勢

傳統(tǒng)的商務(wù)智能，如SAP BO、Oracle BIEE、IBM Cognos，產(chǎn)品采購成本以及后續(xù)的硬件、軟件維護(hù)、咨詢、培訓(xùn)成本均很高，不具有普適性。其次，傳統(tǒng)的商務(wù)智能實施，考慮到后期的性能和可擴(kuò)展性，對于數(shù)據(jù)倉庫的設(shè)計規(guī)范要求很高，實施周期較長。再者，傳統(tǒng)商務(wù)智能是純粹的IT驅(qū)動，對于業(yè)務(wù)部門的服務(wù)響應(yīng)周期很長，不適應(yīng)業(yè)務(wù)快速發(fā)展的需要。

新一代商業(yè)分析平臺，gartner稱之為modern BI platform，以允許業(yè)務(wù)人員“自服務(wù)”為標(biāo)志。由IT驅(qū)動轉(zhuǎn)變?yōu)闃I(yè)務(wù)驅(qū)動，IT負(fù)責(zé)基礎(chǔ)數(shù)據(jù)架構(gòu)的整理和接口開發(fā)維護(hù)，業(yè)務(wù)人員作為分析主體和需求主體，使用基于人機(jī)交互和符合人的認(rèn)知規(guī)律的分析方法，把人所具備的、機(jī)器并不擅長的認(rèn)知能力融入分析過程中，進(jìn)行快速的可視化分析和報表分析維護(hù)。這樣的改變的好處是顯而易見的，整個BI流程就變得更加敏捷。而且拖拽式這種簡單而友好的使用方式，使得上至高層管理人員，下至基層服務(wù)人員，都可以快速獲得所需的報表。高層可以快速準(zhǔn)確決策，基層可以精準(zhǔn)有效服務(wù)，整個企業(yè)的效能將會大幅提升。

同時，隨著移動通訊4G網(wǎng)絡(luò)的快速發(fā)展，以及手持式設(shè)備的普及，BI的展示就可以擴(kuò)展到移動手持設(shè)備。管理高層可以更加便捷，隨時隨地的查看報表、做決策，大大提高辦公效率。基層人員也可以更加貼近用戶，提供高質(zhì)量的服務(wù)。

參考文獻(xiàn)

[1]DAMA International著.馬歡，劉晨，等譯.DAMA數(shù)據(jù)管理知識體系指南.2012年7月第1版.清華大學(xué)出版社，2012：148-149.

[2]William H.Inmon著.王志海等譯.數(shù)據(jù)倉庫.機(jī)械工業(yè)出版社，2006.