基于數據中臺的財務大數據可視化分析的實現

汪爭賢 吳建琳 陳胡嶸 夏禹晨

摘 ? 要：數據中臺是以企業多類型大數據量的匯聚為基礎，以統一數據模型為標準，通過豐富的數據標簽，為前端應用提供敏捷的統一數據服務。基于此，針對電力企業財務管理對“企業資源實時掌握、經營活動動態反映”的要求，結合存儲在ERP、財務管控系統、MDM平臺、PMS系統中的基礎業務數據，研究通過數據中臺實現數據可視化分析的整個過程，對相關企業解決數據孤島問題，實現數據融合有一定參考意義。

關鍵詞：電力企業;數據中臺;財務大數據;可視化

中圖分類號：F23 ? ? ? 文獻標志碼：A ? 文章編號：1673-291X（2021）20-0128-03

一、財務大數據可視化實現目標

基于數據中臺的財務大數據可視化分析，是以各業務系統數據為基礎，實現多維數據分析與展示，重點聚焦在數據分析服務化、數據應用工具化的能力上，圍繞“會計信息實時反映、預算全鏈條管理、工程全過程管控、資產全壽命管理、電價電費全環節管控、資金全方位管理、風險在線監控”等專業管理模塊，實現精益管理的需求。

系統實現上，通過數據中臺總體架構，全面支持財務數據的接入、數據轉換、數據計算、數據服務、展示分析。同時，結合省公司專業處室、基層單位新增業務、板塊、應用場景需求，繼續開展數據溯源、模型搭建、輸出設計、數據分析與應用場景建設。整體上在充分利用現有各財務系統的建設成果基礎上，通過技術整合、功能整合、數據整合、模式整合、業務整合等技術手段，將各個分離的信息數據集成實現共享，并能夠以數據服務方式對外分享，使資源達到充分共享，結果將有效節省建設的投資，提升系統建設的經濟效益。

二、總體構架

（一）總體架構

總體架構分為數據匯聚與服務層、數據可視化分析層。基于阿里DataWorks平臺實現的數據匯聚與服務層，能夠實現數據集成、開發、治理、服務、質量和安全等全套數據研發工作。數據可視化分析層，基于國家電網公司統一應用開發平臺，通過集成可視化框架（WebGL、VUEX、ECharts、Mapbox、Three.js等），以采用B/S架構的方式對外提供服務。

（二）數據匯聚與服務層架構

數據匯聚與服務實現流程如下：

1.通過數據集成同步業務數據和日志數據至MaxCompute。

2.通過MaxCompute、DataWorks對數據進行ETL處理。

3.同步分析后的結果數據同步至分析庫。

4.通過Quick BI、ECharts可視化建立用戶畫像。

基于數據中臺的大數據分析總體數據流向，如圖1所示。

貼源層使用分布式數據倉庫MaxCompute，源業務系統數據通過DataWorks DI、DTS、DataHub組件接入MaxCompute全量表和增量表;共享層使用分布式數據倉庫MaxCompute，通過DataWorks-DI組件完成貼源層數據表到共享層基于模型的數據表和標準表轉化;分析層利用MaxCompute、RDS、ADB等計算平臺與分析庫，通過DataWorks組件基于業務邏輯完成業務分析，保存計算后的結果表開發。計算結果可以封裝為數據服務API，發布注冊至API網關后，供外部報表工具調用進行可視化展示，或者以SDK方式共外部報表工具或應用進行調用。最后利用QuickBI、ECharts等報表組件或界面開發的方式進行可視化展示分析應用。

（三）數據可視化分析層架構

數據可視化分析層基于國網公司SG-UAP開發平臺構建，其好處是遵守國家電網公司統一的開發標準，與統一權限系統等已實現標準的集成，運行平穩，降低了開發成本。詳見圖2。

由于SG-UAP平臺集成開發工具是基于Eclipse工具實現的，符合業界主流開發標準，展現層能夠很容易地與VUEX、ECharts等多種可視化框架集成，能夠實現海量的可視化效果。

三、實現過程

（一）數據接入

將各業務系統數據進行匯聚整合，保留全量業務原始數據，形成貼源層，也稱ODS層。源業務系統數據通過Datawork DI、DTS、DataHub組件接入MaxCompute貼源層全量表和增量表。該層只對各個來源的數據做匯聚、整合，并沒有做過多的加工處理，數據基本還是原始結構。貼源層不做業務的解釋，更不適合數據的分析、挖掘。

1.全量數據接入

針對數據量較小（小于50M），全量數據抽取對源端系統影響小。使用DataWorks-DI定時做全量抽取。每天全量保存在MaxCompute一個新的分區里面，按需開展數據更新。

新的分區，指的是通過設置分區字段，設置表為分區表。當使用分區字段對表進行分區時，新增分區、更新分區內數據和讀取分區數據均不需要做全表掃描，可提高處理效率。

2.增量數據接入

（1）增量定時抽取

針對源端表只存在數據新增操作，且數據表具備增量標識字段，如日志類、訪問流量類信息，可采取增量定時抽取策略。存量數據一次性通過DataWorks-DI從源端數據庫表全量抽取，數據寫入（INSERT OVERWRITE）MaxCompute貼源層的全量表。全量表按天分區，不設置生命周期。

增量數據每日根據增量標識使用DataWorks-DI做增量數據同步，數據直接存入MaxCompute全量表相應分區內。每天定時通過腳本將當天增量數據同步（INSERT）至MaxCompute全量表當日分區。

（2）增量實時同步

針對數據量較大并且源端數據存在增刪改的情況，在數據接入中，存量數據一次性通過DataWorks-DI從源端數據庫表全量抽取，數據寫入（INSERT OVERWRITE）MaxCompute貼源層的全量表當日分區，全量數據按天分區保留全量切片數據，為節省空間僅保留兩天分區數據。