基于企業中臺云化構建及大數據分析研究

劉翠玲，徐敏，張翠翠，王鵬

（國網安徽省電力有限公司信息通信分公司，合肥230041）

0 引言

企業中臺基于國家電網公司云平臺構建，是企業級能力共享中心，是能源互聯網核心基礎，統馭公司跨專業共享服務、全局數據資產，支撐公司各類前端應用靈活編排，助力公司數字化轉型[1-2]。

企業中臺包括業務中臺和數據中臺，業務中臺實現跨專業跨領域共性業務共享，是企業級共性業務服務的集合；數據中臺實現公司數據標準化處理、歸一化存儲，為業務中臺提供數據庫服務，是集數據存儲、接入、處理及分析為一體的數據服務集合[3-4]。

1 現狀分析

企業中臺按照服務能力類型劃分共享為業務中臺、數據中臺。其中數據中臺以公司數據中心為基礎，根據數據共享和分析應用的需求，沉淀共性數據服務能力，通過數據服務滿足橫向跨專業間、縱向不同層級間數據共享、分析挖掘需求[5-6]。企業中臺提供統一的企業級共享服務、公共數據服務、大數據分析服務和能力開放服務，支撐電網數字孿生。數據資源融通共享，跨專業共性服務統一沉淀，強化業務支撐和服務開放能力，實現資源全域匯聚、跨域融合與全局共享[7-8]。

數據中臺承載全局數據需求，提升資源全局納管能力，數據中臺提供業務數據庫服務，提升實時處理和分析能力，數據中臺可以對復雜場景的支持[9-10]。利用數據中臺可以構建分布式、高可用、高性能事務型數據服務，滿足復雜業務應用系統基于企業中臺運行的數據處理需求，實現數據處理和數據分析的全覆蓋。提升海量數據分析時效性，實現分鐘級（T+M）數據同步能力和億萬級數據計算能力，支撐準實時業務場景。實現流批一體化處理能力，面對隨業務動態擴展的多源異構數據，實現實時數據與離線數據融合分析，支撐實時業務場景。

2 基于云環境的數據中臺

結合電力行業特點，給出了數據中臺的總體架構和數據中臺跨域計算，基于數據中臺設計了不同數據類的大數據分析方法。

2.1 數據中臺總體架構

以“資源融通共享、資產全局納管、服務柔性擴展、能力開放共享”為重點，圍繞企業中臺服務范圍的全面性、服務內容的多樣性、服務質量的可靠性三個方面開展規劃。基于國網云的數據中臺架構如圖1 所示。

構建共建共享的全網智能數據標簽、自助便捷的數據分析工具、敏捷高效的數據服務能力，降低數據使用門檻，支撐業務創新。建設兩級數據標簽，實現數據標簽嵌入業務、閉環運營和迭代進化，逐步成為連接業務與數據的橋梁，讓業務人員能夠看懂數據。提供簡單高效的數據API 服務和自助分析工具，實現業務人員自主構建分析應用，支撐業務人員廣泛參與數據價值創造。

圖1 數據中臺架構

基于沉淀的共性數據服務，通過數據服務的疊加復用，提升對業務需求的快速響應。基于企業中臺的模型管理、服務組裝、流程配置和界面編排等服務開放能力，賦能傳統業務系統實現數據驅動和智能決策，最大化實現數據中臺的價值延展。適應新興業務快速發展和業務深度協同的需求，持續拓展業務中臺覆蓋范圍，逐步形成覆蓋公司核心業務領域、面向內外部相關方、能力完備的中臺服務體系。

通過數據中臺打造服務統一管理體系，構建一體化編排組件，實現各共享中心服務的統一管理、原子服務靈活組合、聚合服務柔性擴展，支撐多渠道、多類型應用的快速構建。基于業務中臺電網資源共享中心和數據中臺海量數據，以數字化方式為電網構建數字空間模型和信息物理模型，實現數字孿生電網。

2.2 數據中臺跨域計算

數據中臺實現分析域向處理域延伸，擴展數據中臺數據管理范圍，實現企業內外網數據資產全量納入。構建統一數據模型、數據資源可視、數據治理等工具組件，實現企業數據標準自動化管理，提升數據融通共享能力。在兩級異構數據中臺架構模式下，通過服務代理等部分功能補強實現跨域協同，主要思路為基于兩級的數據資源目錄，實現全網數據路由服務，定位跨域數據資源；通過兩級實時計算代理，解決兩級實時數據跨域獲取需求；通過數據服務組合，綜合調用集團總部、二級公司兩級數據中臺服務能力以及數據實時同步能力，實現“搬計算、不搬數據”的數據中臺跨域資源調度的服務目標。數據中臺跨域計算如圖2 所示。

圖2 數據中臺跨域計算

全網數據資源（明細數據、指標、標簽等），統一納入兩級數據資源目錄納管，通過數據路由服務實現全網數據資源定位。兩級實時計算代理，解決跨域數據資源獲取需求，指標、標簽、明細數據表等通過兩級中臺數據服務統一對接獲取，實時業務數據通過DataHub（總部）、DataHub 或Kafka（省公司）對接獲取，通過實施計算代理本地化計算后推送給數據組裝服務。數據組裝服務，負責組合各級來源數據及數據服務，通過數據服務組合調用來直接支撐業務應用。針對頻繁使用的周期性數據資源，為避免兩級實時調用導致的鏈路穩定及性能影響，下發同步策略至數據交換平臺，按需將數據資源后臺自動同步至總部數據中臺，并更新總部數據資源目錄，后續調用直接通過總部數據服務提供。

2.3 數據分析

結構化數據是數據中臺主要存儲和計算的數據，其他如量測數據、非結構化數據最終都會處理成結構化數據。該類數據通過數據接入組件抽取至貼源層，利用批量計算和內存計算組件，結合業務分析場景，形成共享層和分析層，相關應用使用數據服務組件獲取分析結果，明細數據不出中臺。數據分層設計雖然減低了數據時效性，但是可以讓數據最大化共享使用，避免重復計算，提升數據利用率。結構化數據離線處理如圖3 所示。

圖3 結構化數據離線處理

針對量測類、時序類數據，將數據實時接入數據中臺，利用流計算組件，即可以單獨對實時數據進行分組聚合計算，又可以結合列式數據庫進行流批聯合計算，極大地減低計算時延，適合于實時監測、風控、應急指揮等對數據時效性較高的場景。同時流計算組件的流批一體處理機制，也適合建立實時數倉，在處理過程中形成實時共享層和分析層，滿足數據實時分析場景。量測類數據實時處理如圖4 所示。

圖4 量測類數據實時處理

針對圖片、視頻、語音、文本等非結構化數據，可集中存儲在文件存儲服務中，利用圖像識別、語音識別、自然語言處理等人工智能分析模型，提取關鍵特征，形成結構化數據。根據分析需要將數據存儲在共享層或分析層，結合業務其他結構化數據構建聯合分析應用，可廣泛應用于安全可視化生產、企業知識圖譜構建、語音智能助手等場景。非結構化數據處理如圖5 所示。

圖5 非結構化數據處理

3 實驗驗證

依托國網安徽電力數據中臺，以供電服務指揮系統停電信息實時推送在線實時業務為例，設備運維部根據檢修計劃，完成業務審核后發布停電計劃，營銷部根據停電影響范圍第一時間告知相關用電客戶，防止發生生產事故、提高用戶的服務滿意度。數據中臺需實時接入獲取PMS 提供的停電計劃信息，直接通過數據中臺流計算組件，關聯離線分析架構中共享層整合的設備臺賬、臺區信息，計算得到停電影響設備范圍信息，進一步實時關聯共享層整合的用電客戶檔案，實時計算分析停電影響用戶范圍信息，存儲到提供實時查詢能力的中臺分析型數據庫后，通過數據服務推送停電用戶信息實時推送給供服系統，由供服其根據業務需要，面向用戶推送最終的停電通知及用戶關懷內容，基于數據中臺的供電服務改造如圖6 所示。

圖6 基于數據中臺的供電服務改造架構

利用數據中臺數據工廠組件，基于共享層標準數據，根據業務分析模型進行加工計算，分析結果通過數據服務對外發布共享。通過數據中臺實時計算組件，基于流式數據完成停電信息影響用戶實時分析。通過實時隊列訂閱發布功能，將實時計算結果實時對外發布共享，支撐供服業務在線應用。

通過上述實驗，實現供電服務指揮系統停電信息實時推送在線實時業務典型應用，驗證了基于數據中臺的數據分析應用的可行性。

4 結語

針對當前電力數據中臺建設需要，本文提出了基于云平臺的數據中臺構建方法，給出了數據中臺總體架構，闡述了數據中臺跨域計算流程，設計了基于數據中臺的數據分析典型方法，通過實驗驗證了基于數據中臺的數據分析的可行性。