一種基于中臺技術的數據治理解決方案

付國寶, 宋興云, 趙仁宏

中遠海運科技股份有限公司, 上海 200135)

0 引 言

近年來,互聯網、大數據、云計算、人工智能和區塊鏈等技術得到了迅速發展,并逐漸融入到了經濟社會發展的各個領域中,數字經濟發展速度之快、輻射范圍之廣、影響程度之深前所未有,正在成為重組全球要素資源、重塑全球經濟結構和改變全球競爭格局的關鍵力量[1]。加快數字化發展,建設數字中國,是順應新發展階段的形勢變化,搶抓信息革命機遇,構筑國家競爭新優勢,加快建成社會主義現代化強國的內在要求,是貫徹新發展理念,推動社會高質量發展的戰略舉措,是推動構建新發展格局,建設現代化經濟體系的必由之路[2]。

面對數字經濟的新機遇、新挑戰,能否通過數據驅動業務獲得更好的用戶體驗和更高的組織效能決定著企業的未來(不僅僅是利潤問題),能否快速應對市場變化決定著企業的生死,因此企業數字化轉型勢在必行。

本文結合某企業的數字化轉型需求,從企業數字化場景入手,以數據中臺的理念為基礎,設計一種基于中臺技術的數據治理解決方案,通過該方案打通企業的數據壁壘,形成企業數據資產,實現企業高效化服務、精準化治理和數字化決策,提升企業的經營管理水平。

1 問題的提出

案例企業是一家以信息化項目建設、產品開發和運營服務為主要業務的高科技企業。隨著信息技術的不斷發展,該企業以管理的信息化和規范化為目標,以行政辦公、運營、生產、質量和安全等各類信息化系統的建設和運維為主營業務,基本上實現了業務流程的線上化,提升了企業的經營管理水平和工作效率。但是,面對數字化轉型的挑戰,當前該企業仍面臨以下問題:

1) 各系統由不同的業務部門基于各自的管理需求獨立建設,企業經營管理的業務數據散落在各系統中,未進行整合,形成了信息孤島,企業數據的價值未得到最大化體現;

2) 各系統是在不同時期開發的,采用的技術方案不同,且基于獨立的技術平臺和數據庫運行,系統間數據共享和對接的難度較大,嚴重阻礙了企業數據的共享;

3) 業務的不斷發展使得各系統頻繁升級,造成數據加工、整合和應用等鏈條中經常出現異常數據,嚴重影響數據的準確性;

4) 各系統以PC(Personal Computer)端操作為主,移動端應用不足,嚴重影響了數據的及時性和決策效率。

2 數字化場景的定義

案例企業從經營決策數據的準確性和及時性、各系統的數據共享和企業的運行效率等方面入手,提出數字化運營、數字化作業、數字化交易和數字化辦公等4個場景,聚焦主業賦能和員工賦能,實現企業管理上的數據驅動、高效協同和智能決策。數字化場景業務圖見圖1。

圖1 數字化場景業務圖

2.1 數字化運營

以企業關鍵績效指標(Key Performance Indicator,KPI)考核為切入點,面向企業的高層領導和管理層,以運營、采購、項目、科技和生產安全等場景的管理考核為視角,全面提升運營管理的數字化水平。

1) 企業概覽:面向高層領導,通過對各類核心指標進行延展分析,幫助高層領導快速直觀地掌握各業務板塊的發展現狀和企業的總體科研情況,進行偏差分析。

2) 運營管理主題分析:面向管理層,對年度KPI考核的進度進行展示和偏差分析,并對各指標進行相關的輔助分析。

3) 采購管理主題分析:面向管理層,通過對采購KPI、采購效益、采購進度、供應商、采購品類和采購支付進行全面監控和分析,幫助管理層實時、全面、直觀地掌握企業的采購現狀,有效提升采購效率,挖掘優質供應商資源。

4) 項目管理主題分析:面向高層領導及相關管理人員、事業部領導和項目經理等,根據項目總體情況和單個項目的具體情況,向相關使用人員提供宏觀和微觀層面的輔助分析。

5) 科技管理主題分析:面向管理層,通過對科研成果進行多維分析,便于管理者更快速、更有針對性地根據科技管理運行現狀調整偏差,規劃未來。

6) 生產安全主題分析:面向管理層,通過對隱患監控、安全風險監控、公告及應急管理等安全管控重點環節進行全面監管和分析,幫助管理者直觀、全面地掌握安全生產風險、隱患現狀和安全管控效果。

2.2 數字化作業

圍繞企業產品生產、項目實施、IT(Internet Technology)項目開發與運維和生產安全等日常作業場景,以員工操作和資源管控等作業場景為視角,通過標準化、信息化和數字化手段逐步提升企業的數字化作業效能。

1) 項目助手:建設項目管理移動助手,幫助項目經理隨時隨地、及時準確地查看項目的運行和收支情況,跟蹤審批進度,實現項目進度和各類工作匯報的自動化、智能化填報,實現項目現場與企業本部管理的信息共享和高效協同。

2) 生產安全助手:建立生產安全移動助手,完成生產安全在線檢查和上報,同時為生產安全主題分析提供數據源,實現生產安全主題分析。

3) 物業租賃管理系統:基于企業管理系統,圍繞物業資源、客戶資源、財務管理和經營管理等4個基本功能模塊開展物業信息化建設,解決物業板塊流程管理與業務管理相分割、數據重復錄入、管控缺乏唯一性和管理功能不健全等問題。

2.3 數字化交易

圍繞企業的市場經營戰略,持續完善企業的管理流程,將企業交易數據與第三方數據融合,以客戶、供應商、項目和商機等交易場景為視角,全面提升市場經營全生命周期的自動化、智能化管理能力和客戶的數字化管理能力。

1) 客戶資信管理:通過企業管理系統與第三方資信服務商的數據集成,結合企業管理中的客戶信息和歷史合同執行信息,實現客戶資信評級。

2) 經營池項目管理:優化企業管理系統重點經營項目跟蹤功能,與投標信息相關聯,自動更新經營狀態和結果信息。

3) 招投標管理:拓展現有的招投標信息管理模塊功能,實現企業業績、人員業績、企業資質、人員資質和企業基礎信息等公共數據的固化和復用,減少市場人員的重復低效勞動,提升事業部投標工作的效率。

4) BI(Business Intelligence)看板分析:基于自助報表平臺,實現市場經營數據的自助分析。

5) 成果與商機:建設成果與商機應用,實現企業跨部門的市場機會協同和成果共享。

2.4 數字化辦公

建立健全企業信息資源匯集和共享機制,進一步實現辦公自動化、公文流轉無紙化和各部門高效協同,以會議、訪客和用車等行政辦公場景為視角,實現對企業運營決策的智能化支持,形成精簡高效的移動化、數字化辦公環境。

1) 會議管理:建立會議管理移動應用,對企業的會議室進行分級管理,員工能通過移動設備預定會議室,并發送會議通知。會議中涉及的資料可線上保存分享,可掃描二維碼進行現場簽到。會后可線上檢索參加的歷次會議的信息。

2) 訪客管理:建立訪客管理移動應用,滿足員工訪客預約工作需求,記錄訪客的基本信息,并通過系統對各行程節點的任務進行安排,跟蹤各節點的任務完成情況。

3) 車輛管理:建立車輛管理移動應用,實現用車申請、用車記錄、費用登記和車輛調度等功能,在規范各部門用車的同時,提高協調效率,減少人工統計工作量。

3 數據中臺解決方案

通過對案例企業數字化場景的需求進行分析,建立企業數據中臺,打通各系統的數據壁壘,將數據變為企業資產,依托數據資產提升企業的核心競爭力。數據中臺基于“一個基礎、一個標準、業務獨立”的原則設計,在保持各系統業務數據相對獨立的前提下,制定統一的數據交換標準,實現企業各系統間的數據集成和共享;建立一個集中各系統數據的基礎數據倉庫,基于該數據倉庫進行數據建模、分析和應用。

3.1 平臺架構規劃

結合案例企業數字化場景的實際需求規劃數據中臺平臺架構。基于數據中臺的平臺總體架構規劃框圖見圖2,由數據源、數據中臺和數據應用等3部分組成。

圖2 基于數據中臺的平臺總體架構規劃框圖

1) 數據源:包括企業管理系統、移動應用、第三方系統和線下文件等,為數字化場景實踐提供數據基礎。

2) 數據中臺:包括平臺管理、數據采集、數據建模、數據倉庫和數據服務。平臺管理是保證數據中臺正常運行的基礎,提供用戶認證、任務調度、數據權限和運行監控等基礎服務;數據采集通過接口、數據庫、消息隊列(Message Quene,MQ)和文件導入等方式獲取各種類型的數據源,并將其存儲在數據倉庫中;數據建模根據數據主題和分析維度建立統一且規范的多維數據模型;數據倉庫用于存儲數據,對通過數據治理得到的業務數據和基于業務類型劃分的數據主題進行歸類,形成企業數據資產;數據服務提供面向應用的數據共享服務。

3) 數據應用:包括報表分析工具和移動應用等,通過數據中臺的數據服務獲取數據,實現企業數字化運營、數字化作業、數字化交易和數字化辦公。

3.2 平臺架構設計

基于數據源、數據中臺和數據應用等3部分進行平臺架構設計,見圖3。

圖3 平臺架構設計圖

1) 數據源:以數據庫直連、應用程序接口(Application Programming Interface,API)對接、Excel和CSV(Comma-Separated Values)文件導入等方式向數據中臺提供數據源。

2) 數據中臺:由數據采集、數據倉庫、數據建模、數據服務、數據資產管理和平臺管理組成。

(1) 數據采集:通過ETL(Extract-Transform-Load)工具或Excel、CSV等文件導入的方式進行數據采集。數據采集支持增量采集和全量采集,可實現批量傳輸、加密傳輸和斷點續傳。在采集數據過程中,可對數據進行切分和合并等。

(2) 數據倉庫:采用分層存儲的方式進行數據存儲,各層數據之間無跨層關聯。數據貼源層用于存儲通過數據采集獲取的原始數據,并按源系統分類存儲;事實明細層根據源系統業務事實對貼源層數據進行過濾和篩選等操作;數據匯總層將清洗過的事實數據劃分為不同的主題,梳理每個主題的分析維度,按主題,通過多維業務模型和模型開發工具進行數據建模,根據各指標的維度、屬性等對各主題進行關聯,形成寬表;數據應用層按業務場景對建模之后得到的數據進行劃分,用于后續進行業務查詢和數據分析。

(3) 數據建模:提供多維業務模型、模型開發工具和規則引擎,為建立良好的數據模型提供基礎;內置的算法庫搭配計算引擎,提供高效的數據挖掘服務;數據標簽可對數據應用場景進行分類,實現數據畫像。

(4) 數據服務:以API的形式對外提供數據共享服務,包含API從創建、發布、調用到下線的全生命周期管理和API授權管理。

(5) 數據資產管理:包含元數據管理、數據血緣、數據全生命周期管理和數據標準。元數據管理對數據倉庫中的各種數據資源進行有效組織、描述和管理,實現數據資產的可發現性和可理解性,并提升其可信度;數據血緣自動解析并建立各數據表的關聯關系,實現數據回溯;數據全生命周期管理可設置數據表的生命周期,方便及時清除過期數據,降低數據存儲壓力;數據標準即數據開發規范,通過制定代碼結構、任務命名、時間格式、代碼格式、周期調度配置和參數配置等方面的規范,保障數據的健康。

(6) 平臺管理:通過任務調度定時、自動進行數據采集;通過Kafka消息隊列實現對數據的實時處理;大數據實時計算引擎能將流處理與批處理統一起來[3];運行監控用于監控任務運行情況,方便進行異常排查;通過租戶管理、用戶管理、權限管理和數據權限實現用戶認證服務。

3) 數據應用:為實現數字化場景所需的應用服務,可通過數據應用實時或延時獲取數據中臺共享的數據,并進行數據查詢、可視化分析和報表分析等。

4 平臺應用效果

通過建設數據中臺,企業的數據采集、數據處理、數據分析和數據應用的效率得到了顯著提升,數字化轉型取得了初步成效。該平臺建成之前,企業的經營、運營和人事等數據分散在不同的系統中,企業經營決策所需數據支撐依賴于各系統的報表數據導出和人工整合;各系統的報表數據受主數據不一致和分析維度不同等因素影響,加工處理的復雜度較高;移動應用不足使得協同辦公受到限制,數據分析和決策的及時性受到影響。該平臺建成之后,基于統一的數據交換標準,實時、定時對各系統進行數據采集,能極大地縮短獲取數據所需時間,提升企業的服務水平;通過數據治理建立了統一規范的數據模型,針對各數字化場景建立了特定的數據域,提升了數據整合和分析效率,實現了精準化治理;通過項目助手和生產安全助手等移動應用實現了企業高效協同;通過數字化運營看板分析和自助BI看板分析,以企業管理核心指標為導向,企業管理者可實時掌握企業的經營情況,并深入挖掘企業的信息,進行智能化決策。

5 結 語

本文所述數據中臺整合了企業各系統中的項目、采購、運營、經營、科技和安全等方面的數據,通過數據治理形成了數據資產,能為企業的數字化轉型提供有效的數據支撐,使企業的經營管理水平上一個新的臺階。數字化轉型是一個不斷探索的過程,未來企業可以數據中臺技術為基礎,持續進行應用整合,建立共享數據中心,統一門戶、統一身份認證等,不斷優化企業的內部資源配置;同時,不斷擴充數據源,拓展更多的數字化應用場景,實現更多的數據創新。