一種企業(yè)主數(shù)據(jù)管理解決方案

張慶榮 顧薇

摘要：該文通過對施工類企業(yè)信息化應(yīng)用及架構(gòu)的分析，得出這類企業(yè)管理的幾種主數(shù)據(jù)管理類型，然后結(jié)合企業(yè)的信息化整體架構(gòu)方案，得出實現(xiàn)主數(shù)據(jù)管理的一種折中方案，輔助實現(xiàn)企業(yè)范圍內(nèi)的主數(shù)據(jù)統(tǒng)一管理。

關(guān)鍵字：主數(shù)據(jù);管理方案;企業(yè)信息化;

1簡介

企業(yè)主數(shù)據(jù)是用來描述企業(yè)核心業(yè)務(wù)實體的數(shù)據(jù)，它是具有高業(yè)務(wù)價值的、在企業(yè)范圍的各個應(yīng)用系統(tǒng)間跨業(yè)務(wù)系統(tǒng)、跨業(yè)務(wù)部門被重復(fù)使用的數(shù)據(jù)，并且存在于多個應(yīng)用系統(tǒng)中。施工類企業(yè)的主數(shù)據(jù)類別包括很多方面，例如：公司的組織架構(gòu)數(shù)據(jù)、人員數(shù)據(jù)產(chǎn)生于人力資源系統(tǒng);財務(wù)科目體系數(shù)據(jù)存在于財務(wù)系統(tǒng);供應(yīng)商信息存在于供應(yīng)鏈系統(tǒng);客戶信息會存在于客戶管理系統(tǒng);物料信息會存在與企業(yè)ERP系統(tǒng)。對于某一個具體的業(yè)務(wù)部門，其既可能產(chǎn)生主數(shù)據(jù)，也要利用到很多不同方面的主數(shù)據(jù)。這樣就必須對主數(shù)據(jù)進行適當(dāng)?shù)墓芾恚员Ｕ细鱾€口徑的數(shù)據(jù)一致。

主數(shù)據(jù)管理要通過一組規(guī)程、技術(shù)和解決方案，來實現(xiàn)創(chuàng)建并維護業(yè)務(wù)數(shù)據(jù)的一致性、完整性、相關(guān)性和精確性。主數(shù)據(jù)管理平臺系統(tǒng)提供了一種相對集中的解決方法，使企業(yè)的各個系統(tǒng)產(chǎn)生的主數(shù)據(jù)能夠有效地管理，并保證各個需要利用主數(shù)據(jù)的系統(tǒng)中主數(shù)據(jù)的完整、準(zhǔn)確性、唯一性。

主數(shù)據(jù)管理平臺要利用企業(yè)當(dāng)前存在的業(yè)務(wù)系統(tǒng)中的主數(shù)據(jù)，并跟蹤其產(chǎn)生、變更過程，準(zhǔn)確傳遞到需要使用這些主數(shù)據(jù)的其他業(yè)務(wù)系統(tǒng)。

2施工類企業(yè)的數(shù)據(jù)架構(gòu)方案

數(shù)據(jù)架構(gòu)是企業(yè)IT架構(gòu)的核心，信息系統(tǒng)存在的核心價值也是反映在系統(tǒng)的數(shù)據(jù)和流程中，而本質(zhì)上，流程也是一種數(shù)據(jù)。只有數(shù)據(jù)架構(gòu)對企業(yè)業(yè)務(wù)的支持正常運作，上層的應(yīng)用架構(gòu)才能部署實施方便快捷。根據(jù)我們在某施工企業(yè)的數(shù)據(jù)集成平臺項目實施中數(shù)據(jù)架構(gòu)方案的規(guī)劃，通過完善，得出可以通用的企業(yè)數(shù)據(jù)架構(gòu)方案。

該數(shù)據(jù)架構(gòu)邏輯體現(xiàn)出了數(shù)據(jù)驅(qū)動業(yè)務(wù)流程的管理過程，即首先根據(jù)企業(yè)的業(yè)務(wù)板塊構(gòu)建業(yè)務(wù)架構(gòu)，之后分析定義數(shù)據(jù)架構(gòu)，其次根據(jù)數(shù)據(jù)架構(gòu)結(jié)合業(yè)務(wù)功能定義應(yīng)用架構(gòu)，再次根據(jù)數(shù)據(jù)架構(gòu)與應(yīng)用架構(gòu)的定義，來設(shè)計技術(shù)架構(gòu)。

3主數(shù)據(jù)管理方案

主數(shù)據(jù)管理要解決3個問題，才能真正做好企業(yè)的核心關(guān)鍵數(shù)據(jù)的準(zhǔn)確維護管理：一是在企業(yè)整體層面上規(guī)劃分析哪些核心實體數(shù)據(jù)列入主數(shù)據(jù)管理范圍，整合該主數(shù)據(jù)中可能分布在不同業(yè)務(wù)上的主數(shù)據(jù)信息進行豐富完善;二是可以通過主數(shù)據(jù)管理平臺將主數(shù)據(jù)實現(xiàn)共享，所有需要利用該數(shù)據(jù)的系統(tǒng)，使之構(gòu)建一系列以主數(shù)據(jù)管理平臺為中心的業(yè)務(wù)流程和服務(wù);三是實現(xiàn)主數(shù)據(jù)的源端和使用端有一致的、通用的主數(shù)據(jù)形式，加速數(shù)據(jù)輸入、利用、檢索和分析。

主數(shù)據(jù)從產(chǎn)生到利用的管理方案

由于主數(shù)據(jù)關(guān)聯(lián)的應(yīng)用系統(tǒng)需要使用這些數(shù)據(jù)，這樣在源系統(tǒng)、主數(shù)據(jù)平臺和目的系統(tǒng)之間就存在一種數(shù)據(jù)的產(chǎn)生和使用的流程，這關(guān)系到主數(shù)據(jù)的使用效率。我們通過自身的應(yīng)用系統(tǒng)，總結(jié)了3種主數(shù)據(jù)的從產(chǎn)生到應(yīng)用的流程，如圖 1、圖 2、圖 3的方案1到3。

方案1中企業(yè)范圍內(nèi)的所有主數(shù)據(jù)都從主數(shù)據(jù)平臺產(chǎn)生，保證了主數(shù)據(jù)在所有應(yīng)用系統(tǒng)間的唯一和準(zhǔn)確性，一次產(chǎn)生，永久利用;但是這個方案帶來的問題就是系統(tǒng)的效率降低，工作量集中到了主數(shù)據(jù)平臺的數(shù)據(jù)管理員身上，造成單點的系統(tǒng)瓶頸，同時系統(tǒng)的改造成本增加，特別是已有系統(tǒng)存在多年的情況下比較難實施。

方案2中企業(yè)的主數(shù)據(jù)仍然在源應(yīng)用系統(tǒng)產(chǎn)生，之后進入主數(shù)據(jù)管理平臺進行主數(shù)據(jù)的規(guī)范性審核，完成審核后再分發(fā)回源應(yīng)用系統(tǒng)和其他需要使用這個數(shù)據(jù)的應(yīng)用系統(tǒng)。其特點是主數(shù)據(jù)平臺只負責(zé)主數(shù)據(jù)的規(guī)范性審核，不參與主數(shù)據(jù)的產(chǎn)生，減少了主數(shù)據(jù)管理員的工作，同時系統(tǒng)效率較高;但是源系統(tǒng)必須等這個主數(shù)據(jù)經(jīng)過主數(shù)據(jù)平臺審核完成后才能進行本系統(tǒng)后續(xù)的利用，造成了事務(wù)處理的不連續(xù)性，好處仍然是各系統(tǒng)間主數(shù)據(jù)的唯一性和同步性。

方案3中主數(shù)據(jù)由源應(yīng)用系統(tǒng)產(chǎn)生，之后進入主數(shù)據(jù)平臺進行審核，同時該主數(shù)據(jù)也在本應(yīng)用系統(tǒng)中進行后續(xù)的使用工作;在主數(shù)據(jù)平臺審核完成后分發(fā)到各個其他需要利用此主數(shù)據(jù)的應(yīng)用系統(tǒng)。該方案的特點是，在源應(yīng)用系統(tǒng)中，不需要等待主數(shù)據(jù)經(jīng)過主數(shù)據(jù)平臺的審核完畢就可以進行后續(xù)的操作工作，但是帶來的問題就是某些個別的審核未通過的主數(shù)據(jù)在源系統(tǒng)已經(jīng)使用，需要源系統(tǒng)的數(shù)據(jù)錄入者重新修改與此主數(shù)據(jù)相關(guān)的記錄;由于其他使用此主數(shù)據(jù)的系統(tǒng)使用的是經(jīng)過正式審核過的源系統(tǒng)的主數(shù)據(jù)，不存在此問題。這樣在提高源系統(tǒng)端系統(tǒng)流程效率的同時，將較少發(fā)生的主數(shù)據(jù)不規(guī)范性問題封閉在源系統(tǒng)內(nèi)部，不造成關(guān)聯(lián)的影響，提高了源系統(tǒng)端的工作人員處理事務(wù)的連續(xù)性。

主數(shù)據(jù)管理存儲方案

主數(shù)據(jù)的存儲管理分為四個階段，如圖 4。

外部數(shù)據(jù)區(qū)：主數(shù)據(jù)來源系統(tǒng)的主數(shù)據(jù)存放在此區(qū)，是來自于多源數(shù)據(jù)庫。

接口數(shù)據(jù)區(qū)：接口數(shù)據(jù)區(qū)的存在目的是為了備份外部數(shù)據(jù)區(qū)采集過來的貼源數(shù)據(jù)，方便與源系統(tǒng)數(shù)據(jù)的核查與后續(xù)流程的重復(fù)處理。

中間數(shù)據(jù)區(qū)：外部數(shù)據(jù)被獲取后，需要進行清洗、匹配及這些過程的歷史管理，這些數(shù)據(jù)處理過程都在中間數(shù)據(jù)區(qū)中完成;這個階段保證數(shù)據(jù)能夠以原有的格式進行清洗與匹配，減少與外部數(shù)據(jù)的格式差異帶來的核查困難。

基礎(chǔ)數(shù)據(jù)區(qū)：基礎(chǔ)數(shù)據(jù)區(qū)用以存儲最終的準(zhǔn)確版本的主數(shù)據(jù)。基礎(chǔ)數(shù)據(jù)區(qū)中的數(shù)據(jù)是經(jīng)過數(shù)據(jù)質(zhì)量管理過程而獲取到的，并從中間數(shù)據(jù)區(qū)裝載到基礎(chǔ)數(shù)據(jù)區(qū)的。對外部需要使用主數(shù)據(jù)的應(yīng)用系統(tǒng)提供的最終版本的主數(shù)據(jù)，就是由基礎(chǔ)數(shù)據(jù)區(qū)通過數(shù)據(jù)集成工具來實現(xiàn)的。

在實際實施時，我們通過在源應(yīng)用系統(tǒng)的數(shù)據(jù)庫服務(wù)器上部署Oracle的Goldengate，實現(xiàn)數(shù)據(jù)庫的實時同步，將這些同步過來的數(shù)據(jù)放入運行數(shù)據(jù)存儲庫，如果是主數(shù)據(jù)則進入主數(shù)據(jù)平臺進行相關(guān)的處理;完成清洗、匹配等過程后，以主數(shù)據(jù)服務(wù)的方式，將其推送到數(shù)據(jù)總線上;需要使用主數(shù)據(jù)的應(yīng)用系統(tǒng)通過訂閱主數(shù)據(jù)服務(wù)，在總線上檢測到該事件，則獲取這個服務(wù)數(shù)據(jù)。比如，人力資源系統(tǒng)的組織架構(gòu)信息主數(shù)據(jù)的產(chǎn)生到利用的過程在整個主數(shù)據(jù)管理平臺上的信息流如圖 5中的黑色粗線條所示。

另外，主數(shù)據(jù)管理平臺上還要實現(xiàn)主數(shù)據(jù)的檢索、更新和分發(fā)數(shù)據(jù)服務(wù)，通過使用經(jīng)過授權(quán)的流程來創(chuàng)建、定義和同步主數(shù)據(jù)來支持協(xié)作用途。

通過以上介紹的主數(shù)據(jù)管理的解決方案，在滿足當(dāng)前企業(yè)信息化架構(gòu)普遍采用SOA架構(gòu)體系的同時，保證了各個主數(shù)據(jù)從產(chǎn)生到利用的流程效率和連續(xù)性，同時提高了數(shù)據(jù)分發(fā)和利用的及時性，可以用較少的成本實現(xiàn)方便的主數(shù)據(jù)管理。