工業企業主數據管理平臺設計與實現

馮賢鳳，陳威

(貴州黎陽航空動力有限公司， 貴州 貴陽 550014)

0 引言

缺乏統一的數據標準則增加了數據對照和映射關系的復雜程度，降低了企業數據分析工作的實時性和準確性，不利于數據資產價值的實現，難以為企業做出未來的經營發展決策提供有效數據支撐。作為企業信息數據的重要構成，統一管理主數據可使企業的效益得以顯著提升，企業缺少統一的主數據標準是制約企業發展的因素之一。建設并完善企業主數據管理平臺是目前的研究熱點之一。

1 需求分析

快速發展的網絡信息技術促使企業的信息化水平不斷提高，以信息化支撐業務工作成為企業提高經營管理能力的重要手段，信息系統成為企業必備工具。而企業不同階段的信息化建設通常是為滿足不同的業務需求，不斷增加的信息系統數量易導致部分業務數據的重復輸入及管理，各業務系統通常獨立運行，增加了數據抽取、 匯總分析過程的難度，需通過建立點對點的共享方式實現數據同步；企業整體層面的數據交互共享程序均為以實際需要為依據定制開發，增加了維護的難度； 缺乏統一的數據標準則降低了數據應用的實時性和準確性，不同系統中同一事務的定義通常不同，不利于企業數據的統一整合[1]。

2 企業主數據管理平臺的設計

隨著公司規模的不斷擴大，為滿足不同業務需求需建立不同的應用系統，企業通常面臨著不同信息應用系統間的相互協調，數據在各系統中的存儲及維護方式通常不一致，導致各應用系統間分塊信息孤島的出現，阻礙了數據在不同系統間的共享與使用。本文以信息化整合中存在的兩方面問題為主對企業主數據管理平臺進行設計：(1) 利用主數據管理功能實現企業不同業務應用系統間數據標準及來源的統一， 提升數據質量以確保后續數據的有效共享和使用過程的實現。 (2) 各個系統均能通過數據管理平臺實現數據交互過程，采用星型數據交互模式代替傳統的點對點數據交互方式，使數據交互效率得到顯著提高。尤其是對于企業的核心數據資產能夠來源可溯、 安全可控，提升數據安全水平，最終實現企業數據的標準化、規范化管控功能。

2.1 主數據應用存在的問題

作為企業描述核心業務的數據，主數據涵蓋了整個企業范圍內的數據，具體由操作及業務管理應用系統在內的所有系統間需共享及使用的數據構成，造成主數據不統一的原因主要包括：(1) 企業在初始建設相關信息系統時對數據標準化的重視程度不足，導致數據管理制度及規范不健全；(2) 數據管控體系有待完善，涉及多項業務的企業通常根據業務條線對信息系統進行建設， 各業務條線的數據由對應的業務部門負責管理，管理架構及體系不統一；(3) 受到變動的組織機構的影響統計維度變化大，工業企業的主數據范圍涵蓋較廣，包括生產原料、 生產輔助、原料采購、 設備、物資、班組、銷售、科技與工藝、 人力資源等領域，主數據管理平臺需實現包括主數據及參考實體、主數據接入同步質量、審批、 訂閱分發、 日志查詢、應用系統維護等方面的數據管理功能，同時需以本企業實際信息系統建設規范要求為依據， 遵從主數據標準建立和維護信息系統， 已上線運行的應用系統接收的數據為主數據編碼格式， 以便同其他系統相互交換數據，推送數據完成通主數據編碼格式相對應后企業實時數據庫推送[1]。

2.2 主數據管理平臺功能架構設計

本文所構建的企業主數據管理平臺的功能架構，如圖1所示。

圖1 主數據管理平臺功能架構

主要功能模塊包括數據共享模塊、平臺管理模塊，元數據管理模塊及系統管理模塊。

2.2.1 數據共享

數據共享模塊的主要功能在于全面整合企業內、外部數據，實現數據信息在各個業務系統間的交互，共享平臺采用星型交互模式代替點對點的數據共享及交互方式進行數據采集與分發，具體可劃分為展示層、 平臺層、 數據層、 基礎層，其中，用戶通過提供統一展示界面的展示層即可完成多種查詢； 平臺層主要負責提供各種服務以確保數據交互及共享功能的實現，數據通過該層同共享平臺進行交互；數據的存儲及管理由資源層負責完成， 將數據支持功能提供給上層；基礎層負責通過使用軟硬件支撐平臺的運行。數據交互過程需遵循平臺提供的定制流程，作為主數據管理平臺的核心數據共享模塊提供了可視化界面，用戶通過對數據共享規則進行配置(支持匹配字段)即可獲取已存儲于共享數據中心的業務數據，能夠完成數據合并/拆分/字段運算、 條件過濾、 查重等功能， 實現同平臺數據中心間的數據交互過程。數據提供者需根據平臺的數據存儲及管理規范對業務數據進行梳理，并同共享數據中心的管理員協商后， 再向數據共享中心發布數據[2]。

2.2.2 平臺管理

作為整個主數據管理平臺的監控中心， 該模塊將各類包括數據接入、導出、審核、 規則設置、 共享等在內的數據管理的交互需求提供給管理員(通過可視化界面)，同時負責對平臺運行情況進行監控，對于出現的數據異常能夠及時發出報警信息。對新的應用系統數據接入需通過數據審核后才能存入數據庫，在審核數據時將不符合標準及要求的數據過濾掉(包括不完整、錯誤、無用類的數據)，過濾數據依據具體的規則設置完成，從而在確保數據同主數據對應性的同時保證入庫數據的準確可用及完整。規則的執行有兩種選擇即抽取加載數據時定期執行或管理員審核時執行。考慮到企業各業務系統的技術水平可能存在差異性，部分重要業務數據沒有全面覆蓋或業務數據的準確性不足，因此在平臺上完成數據的補錄、修正或刪除，此過程中需對用戶權限進行嚴格控制， 詳細記錄操作時間及操作者。 此外還需進一步固化處理共享數據中心的數據以供后續挖掘和利用[3]。

2.2.3 元數據管理及系統管理

(1) 元數據管理，通過主數據管理平臺能夠對元數據進行相應的操作(包括定義、查詢、 修改、 刪除等)，元數據主要負責對數據的屬性及特征進行描述，對于企業復雜繁多的數據， 在主數據管理平臺中需基于元數據完成數據的管理功能， 平臺中的元數據具體負責對數據基本屬性及數據相關信息(包括抽取、轉換、裝載、展現等)進行記錄，從而顯著提高數據的管理效率。(2) 系統管理，負責實現用戶、機構、權限、角色管理功能，為滿足各個系統均的數據共享需求，通過統一用戶管理功能的提供實現統一的用戶授權及身份認證過程，采用菜單級及按鈕級授權。為滿足主數據管理平臺對大量數據的存儲和管理需求，支持準能一萬五千人的查詢量(可根據企業信息系統建設需求進行擴增)，普通查詢統計時間不超過 5 秒，統計報表查詢時間不超過 20 秒，對使用終端不做限制。

3 構建企業主數據管理平臺的關鍵技術

3.1 基于 SOA的主數據管理平臺

不斷發展的開發工具及架構催生出了基于開放的標準的SOA 架構，SOA作為一種面向服務的體系結構具備靈活性、 可重用性、 松耦合性等優勢，可有效簡化企業主數據管理平臺的開發過程，服務提供者在創建服務時無需明確具體的請求方式，請求者同樣無需明確實現服務的技術細節，基于 SOA的主數據管理平臺示意圖，如圖2所示。

圖2 基于 SOA的企業主數據管理平臺

為確保平臺的工作效率采用ESB(企業服務總線)作為基礎的數據服務框架， 部分應用程序架構的任務功能通過ESB即可實現(包括路由尋址、數據交換、消息及管理服務、 事件管理、安全認證等)，使用者無需掌握ESB的內部工作原理及流程， 使用其所提供的功能即可在ESB 上發布業務服務以及相關服務的調用[4]。

3.2 數據接口規范

主數據管理平臺軟件需通過數據接口實現數據的相互交互，目前接口技術發展較為完善， 開發接口時采用消息隊列，WebService等技術完成，接口包含主動推送和被動接收兩種數據傳輸模式， 根據企業各子系統間的需要協商使用。設計主數據管理平臺時采用了兩種接口設計方式即松耦合和緊耦合可滿足不同系統的數據管理需求，業務系統定制化開發的接口采用緊耦合，主數據的訂閱及共享注意通過松耦合方式的使用完成，業務數據的共享通常較強較高的實時性， 使業務數據(如生產類、實時類數據)能夠及時在其他相關系統中體現出來，需使用緊耦合的接口方式，能夠快速響應避免了數據消息的滯后性。業務系統的通用接口采用松耦合， 使數據傳輸過程基本不受接收方系統的制約， 響應速度不及緊耦合[5]。

4 企業主數據管理平臺的實現

本文所構建的主數據管理平臺結合運用了經典MVC 架構以及SOA 架構，數據庫采用 Oracle ，設置了ETL 及接口服務器，軟件開發語言采用Java 語言， 提供多種方式的數據交互組件(包括數據庫層、 WebService等)，采用 Bootstrap完成平臺前端可視化界面的設置，提升了人機交互性能。 整體基于企業虛擬化平臺部署， 以便統一進行運維。

4.1 共享模塊的實現

(1) 基于數據庫間的數據交互，根據企業自主建設的應用系統，平臺管理員具有讀、 寫各子應用系統數據庫的權限，完成對指定權限數據庫表的讀寫操作。 ETL 工具選用了HiRIS10 產品，數據提供方在數據入庫前先在影子表內寫入數據(具體采用觸發器方式完成)，ETL 工具則以預定規則為依據定期從中讀取數據并將其寫入到主數據管理平臺的數據共享中心。 應用系統對數據進行使用時，所需推送數據需先通過使用ETL 工具按照規則完成到數據影子表(由使用方提供)內的寫入， 使用方自定義讀取相關數據的頻次以供后續使用。(2) 基于消息隊列的數據交互，適用于自建/統建信息系統間或同其他應用系統間的數據交互，數據的傳輸過程為：由發送端啟動本地 ETL流程并將所需發送信息以XML 流并切片的形式輸出，再通過傳輸媒介向主數據管理平臺傳送，然后由平臺向接收端發送消息，啟動本地 ETL 流程的接收端處理并保存數據。發送端完成同所需發送的數據庫表或視圖對應的具體字段的選擇后，依次經過業務邏輯處理及XML 轉換器處理完成字段到XML 文檔最終到消息的轉換過程，然后發送給主數據管理平臺。同發送端處理流程相反的接收端則在業務表內存儲相關數據。(3) 基于 Web Service 接口的數據交互，在共享平臺通過相應服務及調用地址的配置即可實現跨編程語言的遠程調用功能[5]。

4.2 平臺管理的實現

該模塊主要負責統計交換數據及監控作業，對于作業監控，不受數據交互方式的影響均需校對及驗證相關數據，本文采用了存儲過程(基于統一的日志記錄功能)結合定時 Job的方式，從而便于清洗規則定義并能夠根據實際需要補充識別過程。提供監控告警查詢功能，記錄數據清洗執行及異常處理情況，數據清洗發現的異常數據通過人工檢查進一步確定，在存儲過程中針對適用于系統自動處理的數據可通過具體規則的定義完成自動處理過程，并在處理日志中記錄；系統對無法自動處理的數據會進行標識、 記錄并發出報警信息，提醒運維人員解決。對于統計交換歷史，用戶通過可視化查詢界面根據相關條件(包括時間段、數據流向、 數據提供方或使用方等)條件篩選出統計結果[6]。

4.3 元數據管理及系統管理的實現

(1) 元數據管理，元數據傾向業務交互數據，定義數據時(通常包括核心、共享元和參考3類元數據)以元數據共享交互過程作為唯一依據，同時需對已建主數據進行充分考慮，以便同主數據合理區分，元數據的屬性包括校驗規則、標題、字段類型及長度等。(2) 系統管理模塊，通過統一身份認證平臺管理用戶，用戶成功登錄平臺后即可訪問相應 Web 應用系統進行數據處理，由平臺管理員配置系統訪問鏈接權限， 賦予用戶相應權限； 平臺管理員根據業務性質完成審批流程的定制， 控制數據的接入與接出[7]。

5 總結

企業的各項業務數據隨著信息化建設的不斷深入而不斷增加， 不同來源及結構的數據導致數據相互隔離問題的出現， 使數據價值的發揮大打折扣，難以滿足大數據時代背景下的數據資產管控需求， 為提高對企業相關數據的利用率并為實現數據價值的深入挖掘提供支撐，本文完成了統一的企業主數據管理平臺的構建，該平臺以主數據為基礎，能夠對元數據進行規范化管理，完成數據的集中統一管理和定制分發，實現對基礎數據的標準化及后續共享使用過程的管理。后續研究將通過大數據技術的使用實現管理平臺中數據價值的充分挖掘， 以便為管理層的相關決策提供數據支持。