基于數據和業務中臺的數據治理技術應用

印奇 王緒洪

（中國電子科技集團公司第二十八研究所 江蘇省南京市 210000）

1 引言

隨著數據管理技術的逐步深化，各企業基本實現主要業務的信息化，但形成的企業信息數據分別存儲在各自的信息化管理系統中，即便進行相應的數據集成，由于缺少系統的統一數據標準管理，仍無法有效發揮企業整體信息數據價值，并以此來優化資源配置和提升生產效率。數據和業務中臺作為企業級數據價值復用、規模化融合創新的系統方法，是企業推動數字化轉型、實現信息資源利用最大化的新型手段。通過構建中臺來平衡系統前臺的敏捷機動與后臺的有序穩定，在前后臺之間架設新型“數據立交橋”，實現業務核心基礎能力的有機沉淀和可持續能力迭代，提升針對用戶需求的市場響應效率。

2 基于數據和業務中臺的數據治理內涵

數據和業務中臺打破傳統信息化體系中的數據煙囪，可以對數據進行分類、整理、加工、處理, 使其成為清晰有序、有條理、有脈絡的可用信息，從而支撐形形色色的應用。

企業數據和業務中臺采用中臺數據處理技術，通過數據中臺和業務中臺提供一致理解的標準化數據和業務服務。基于分布式計算基礎支撐，實現海量異構原始數據存儲；通過規模化計算能力對異構數據進行歸一化操作，形成全面統一的數據資源，為支持廣泛的跨域關聯計算分析提供數據資源保障。通過提煉各個業務線的共性需求，形成統一的組件化資源包；結合各實際業務特點，形成基于領域的個性化功能組件，兩者相互補充融合，并反哺至各業務系統前臺使用，使軟件在更新迭代、創新拓展的過程中最大限度的利用已有企業信息資源，提升業務敏捷性和創新性，推進企業向數字化體系效能型組織轉變。

3 數據和業務中臺關鍵內容

3.1 數據和業務中臺處理過程

從信息化系統的角度看待數據和業務中臺的應用功能（如圖1所示），中臺系統輸入信息為企業在日常經營過程中存儲積累的大量業務數據，包含核心業務數據和其他各類經營性數據，輸出信息為標準化的數據服務，包括各領域各類別的標準化數據資產及服務接口。企業數據和業務中臺則對業務數據進行統一的數據源處理，形成數據資產，提供數據服務。

圖1：企業數據和業務中臺應用場景

3.2 數據和業務中臺整體架構設計

企業數據和業務中臺整合企業內外部業務數據、半結構化與非結構化數據，快速挖掘數據價值，對外提供數據應用與服務能力。如圖2所示，基礎數據為企業各領域業務數據，在數據中臺部分，通過數據引接形成中臺系統的原始數據鏡像，基于統一的數據模型管理，通過數據開發管理、數據治理管理和數據體系管理，形成統一的標準數據。業務中臺部分，基于標準數據開發各業務服務組件，并按業務領域整合分類形成業務共享單元，直接對外提供標準數據服務，用于支撐決策支持、數據分析、數據檢索和數據共享類應用系統。

圖2：企業數據和業務中臺整體架構設計

3.3 數據流處理流程設計

數據中臺的核心功能是提供統一、便利的數據集成、數據處理、數據管理和服務能力。系統實現基于數據的全生命周期管理功能，數據在流轉過程中充當著不同的功能角色，具體分為源數據、貼源層、明細數據層、數據匯總層。如圖3所示，各類數據定義及作用如下：

圖3：數據流流程設計

（1）源數據：企業各業務領域信息化系統收集的第一手原始數據。

（2）貼源層：針對源數據進行數據引接和抽取加載后的數據層，對比源數據進行了數據范圍的篩選，同時保留數據血緣追溯的基礎記錄。

（3）明細數據層：基于企業數據模型標準及規范，針對貼源層數據進行數據清洗和校驗，結合數據語義抽取，形成規范化的標準數據。

（4）數據匯總層：針對明細數據層，按照數據的業務領域特點進行數據聚合和分類。

針對企業業務數據源體量大、種類多的基本特征，通過采集分布式的異構數據源，包括各業務系統的數據、平臺自生數據等，建立相對集中的、標準化的、可以高效訪問的數據集合。源數據經過數據引接、數據清洗、數據校驗、數據聚合等一系列數據處理，形成各業務主題數據資產，最終基于用戶權限提供標準數據服務。

3.4 基于業務中臺的標準數據服務設計

如何在競爭中發揮企業數據價值是數字化轉型過程中的重要環節，面向業務的業務中臺模塊為企業形成統一的、模塊化的、可信的、實時的標準數據服務。經過數據中臺處理形成的數據資產，在企業日常運營中需要按業務領域和主題進一步劃分為模塊化的數據服務組件，并形成主題共享單元，以提供標準數據服務，主要分為主題數據檢索服務、標準數據接口服務和標準數據報表服務三類。

其中，主題數據檢索服務提供針對各領域數據資產的實施全文檢索，數據類型范圍包含結構化數據和非結構化數據，數據文件自動包含數據標簽便于分類和索引；標準數據接口服務面向專業開發人員，為企業內部信息系統集成和企業對外產品開發的標準數據接口，通過高細粒度權限配置管控各類型用戶的數據獲取范圍；標準數據報表服務面向管理領導層或市場人員，提供基于各領域各主題的，支持自定義渲染樣式、可定時抽取數據展現的標準報表庫，用于統一數據可視化快速展現。

4 數據和業務中臺在集團型企業中的應用實踐

集團型企業在日常經營業務中更易產生通用的、共性的領域數據，適合數據和業務中臺形成豐富的數據資產和數據服務庫。結合任務管理、安全管理和權限管理等功能模塊，在集團型企業中可進一步發揮數據治理的能動性，充分發揮數據和業務中臺的數據管理能力。

面向集團型企業集團化管控的實際需求，針對集團層和子公司層進行有機綜合管控，如圖4所示。通過配置中心管控各子公司數據業務管理模塊，基于任務管理模塊先通過子公司進行收集各底層應用系統數據，然后匯集集團層業務數據，經過統一的數據處理，形成面向全集團提供數據資產和數據服務，同時針對全集團建立安全日志管理，強化集團型企業的中臺系統穩定性和容錯性。

圖4：集團型企業數據和業務中臺架構設計

5 結束語

企業數據和業務中臺通過采集、存儲、計算，治理技術形成統一標準和口徑的數據資產服務，解決數據孤島、數據資產流失、數據價值低、數據服務能力不足的問題，最終使數據能夠賦能業務場景、提升企業競爭力。在充分認識到數據中臺的重要性的前提下，我們也需要明確數據和業務中臺本質上是一種數據管理方法和工具，要結合良性的數據資產管理制度和數據應用生態才能充分發揮其價值。總之，新時代背景下企業數字化轉型是大勢所趨，數據作為一種戰略資源, 企業應挖掘其潛在價值，持續提升企業核心競爭力。