基于中臺架構的投資管理數據分析系統設計與實現

錢晨 　王健生　李歡歡　曹光

摘 要：針對數據分析在投資管理中的效率問題，提出并設計了一套完整高效的數據分析方法及系統。該系統采用數據中臺的思想并結合BI前端工具進行數據處理和展示，不僅提取了主數據系統中的關鍵指標，還將多個原子指標轉化為復雜度且綜合性更高的衍生指標，挖掘數據背后的商機，讓用戶直觀地看到不同維度下投資情況的對比結果，為企業制定投資藍圖提供參考。系統經過在線測試和試運行階段后，已正式投入使用，并取得了良好的效果。

關鍵詞：數據分析；投資管理；數據中臺；BI前端工具；衍生指標

中圖分類號： TP311.5文獻標志碼： A文章編號：1001-2443（2023）02-0126-05

隨著國家能源結構和產業結構的調整，環保能源行業依靠政策的導向快速發展。那么如何在這波浪潮中把握投資機遇是當今環保能源型企業發展面臨的主要困難和挑戰。目前有一些學者開展了投資管理方面的研究，并取得了實質性的進展。張鐘學等人分析了中國各省的面板數據資料，發現投資環境在人力資源、開放化和產業化方面的發展迅速，隨著政策與法律環境的逐步完善，東部與中西部的投資環境差異逐漸縮小［1］。衛翔充分利用大數據分析的優勢，對證券投資業務管理過程中存在的問題進行有效控制并找到解決策略，從而更好地提升證券投資業務的管理水平［2］。劉艷介紹了移動大數據的概念、發展歷程，分析了數據挖掘和數據分析技術在金融投資領域的應用［3］。由上述研究現狀總結可見，對投資管理的研究主要偏向于對數據分析系統的應用，而對投資分析系統的設計方法鮮有涉足。在此背景下，本文提供了一套投資管理數據分析方法及系統，該系統基于數據中臺的思想，從源頭抽取數據進行轉換、匯總、統計計算和存儲等操作，形成標準的、統一的、有價值的數據，定時推送給前端BI工具進行可視化展示，從而讓用戶直觀地看到不同維度下投資數據的對比結果，為公司高層投資決策提供全方位多角度的數據支撐。

1 技術概述

在本系統設計過程中，主要用到以下兩種關鍵技術：

1.1 中臺架構

所謂中臺是協調前臺和后臺矛盾的中間結構。它提供了數據采集、數據共享和數據分析等全鏈路一體化的服務，提供面向企業業務應用的數據智能平臺［4］。由于各行各業的業務范圍不同，所以應根據自身信息系統建設水平制定適合企業發展的數據中臺方案。

本文嚴格按照企業內部統一的數據標準和數據模型，利用主流的數據開發工具，以業務需求為導向進行數據采集、整合和分析，形成數據中臺的三層服務架構［5］，如圖1所示，自上而下分別為數據貼源層（ODS，Operation Data Store）、數據公共層（CDM，Common Data Model）和數據應用層（ADS，Application Data Service）［7-8］，其中ODS層是把數據直接導入數倉的接入層；CDM層主要是完成對ODS層數據的加工、處理和整合，建立統一的維度，構建可復用的面向分析和統計的明細事實表；ADS層是從CDM層獲取所需的明細數據按業務需求進行定制化開發，為前端專題頁面提供分析數據。

1.2 商業智能工具（BI）

BI作為一套完整的企業解決方案在大數據應用領域受到人們的廣泛關注。它是一種對大量信息進行采集和重新組裝的過程，這個過程與知識創造和知識共享緊密結合，幫助企業做出明智的業務經營決策［6］。

由于常規的BI工具都具有強大的數據采集、 數據清洗與轉換、 數據分析和可視化等功能，所以使用BI工具工具進行數據分析和挖掘只需掌握基礎的SQL語句和JS腳本語言就能夠方便地進行企業經營數據分析和可視化展示。

本文利用BI工具將分析處理后的數據進一步清洗和轉化，加載到配置好的前端頁面模板中，最后以WEB形式展示給客戶。

2 業務場景設計

通過與投資管理部業務人員溝通收集需求，并進行需求分析后發現投資管理過程中存在大量的指標數據，如果沒有對場景進行清晰的劃分，用戶很難從中找到自己需要的數據，從而無法進行指標間的對比分析。因此，本文將投資管理數據劃分為兩大場景，如圖2所示，分別是投資項目地圖和項目公司投資地圖。通過對場景的劃分，將數據指標分配在不同場景中，一方面梳理了指標邏輯，另一方面強化了用戶對各場景的理解和把控。

2.1 投資項目地圖

投資項目地圖的主要功能是通過簽約年度、項目類型和區域篩選查詢出不同年度、項目類型以及地區項目的投資情況，在此基礎上通過Axure軟件設計出投資項目地圖原型，所涉及到的關鍵指標如表1所示。

2.2 項目公司投資地圖

項目公司投資地圖的主要功能是通過篩選日期、項目狀態、區域、項目類型以及省份等查看分析特定時間，狀態和區域的項目公司投資情況，并通過Axure軟件繪制出項目公司地圖原型，通過條件篩選可以在地圖中查看項目公司的投資分布、項目數量以及業務類型，所涉及到的關鍵指標如表2所示。

3 系統總體設計

業務場景數據域劃分完成后根據系統需求，設計出系統總體架構，如圖3所示。該系統架構由數據接入、中臺系統（數據存儲與管理、數據分析處理、結果數據存儲）和前端工具構成，并通過日志功能記錄系統全流程運行情況。

圖4給出了具體設計方案，從圖中可以看出中臺系統從數據源獲取數據，經數據清洗和轉換后，把數據按分區加載到數據倉庫的ODS層中，完成數據從數據源向目標數據倉庫的轉移過程［9］，然后按業務上的關聯關系將數據表匯總合并生成明細表，按分區存儲到數據倉庫的CDM層中，進一步對明細表增加業務限定條件再進行分類統計生成統計表，按分區存儲到數據倉庫的CDM層中，最后將CDM層的明細數據和統計數據整合成一個主題域的寬表，按分區存儲到數據倉庫的ADS層中等待管道定時將數據寫入到BI工具的后臺數據庫中［10］，如此在調度模塊的作用下循環往復執行上述步驟，便可在BI前端展示出面向主題的、集成的、非易失的、隨時間變化［11］的投資數據分析結果。

4 系統關鍵功能實現

根據圖3中的系統架構模型，按功能進一步把系統自下而上拆分成抽取轉化裝載模塊（ETL模塊）、分析處理模塊以及BI應用模塊，除此之外還包括輔助功能模塊（任務配置和調度配置），如圖5所示，下面將對這些功能塊分別加以說明。

4.1 ETL模塊

根據環保能源項目投資數據分析，設計出符合業務需求的ETL模塊［12］。圖6給出了設計方案，首先是抽取數據，該模塊定時向RESTFUL API接口［13］發起請求獲取主數據系統中的相應數據。其次是轉化，經過一系列自定義的業務規則、轉換規則和變化規則等規則庫串聯處理后轉化成統一、一致和高度集成的標準化數據；最后是裝載，將轉換完成的數據按分區以增量或全量的方式加載到數據倉庫的ODS層中，實現從數據源到數據倉庫的轉移過程。

4.2 分析處理模塊

原數據經過ETL處理后存儲在數據倉庫的ODS層以便數據處理模塊隨時調用。數據處理模塊的主要功能是對ODS層的數據進行加工處理最終通過不同維度展示企業投資布局，為企業戰略制定提供依據。同時，數據處理模塊還具備分區功能，本文以時間分區為例，將當天提取、計算、整合的數據劃分至同一分區，該分區功能不僅能為全量和增量兩種數據更新方式提供合理的存儲空間［14］，還能夠起到歷史數據追蹤的功能，一旦某個分區出現問題，可以通過回溯歷史分區的方式進行缺陷修復。

由于投資管理過程中需要分析的指標數據很多，所以僅對原子指標的統計分析已經無法滿足需求，還需要對多個原子指標匯總計算得出的衍生指標［15］進行分析，通過對衍生指標的統計和分析，能夠挖掘更深層次的業務關聯性。本系統的數據處理模塊能夠根據用戶需求，靈活處理和計算衍生指標，例如以年平均垃圾處理服務費為例，首先分別對兩個度量值處理單價和處理重量按項目編碼分組求平均生成對應的原子指標，然后通過統計周期和業務限定等對這兩個指標進行約束，生成衍生指標，如圖7所示。

4.3 BI應用模塊

通過充分共享將分析統計的結果轉化為知識，進一步把知識應用到投資管理領域形成智慧，幫助企業投資團隊做出更明智的決策。把BI應用模塊自下而上分解成數據持久層、基于BI的WEB服務層以及WEB客戶端層［16］，如圖8所示。其中數據持久層是用于存儲從數據倉庫ADS層導出的統計分析結果表；基于BI的WEB服務層是通過添加數據源和創建數據集將指定持久層中的結果集讀取到BI工具的數據集中，為WEB客戶端提供數據服務；WEB客戶端層是通過拉取和配置各種組件制作戰略駕駛艙、分析頁面和報表展示頁面等，同時關聯數據集中的字段做相應的統計分析工作，這樣業務人員和上級管理層就可以在瀏覽器上看到不同維度下分析的結果，從而挖掘出數據背后的投資商機。

4.4 輔助功能模塊

為了增強本系統的性能，避免人工誤操作帶來的風險，特地引入輔助功能模塊作為支撐，該模塊主要由調度模塊和任務模塊組成［17］。其中任務模塊的主要功能是配置數據處理任務的層級和執行順序，使得整個系統的數據處理過程遵循嚴格的邏輯順序和前后關聯性。任務配置可以按照業務需求自定義任務的名稱，動態調整上下游節點以及依賴關系，實現按需彈性快速的配置任務流，同時配合調度模塊一起使用，達到定時自動運行的效果。

以項目公司地圖場景為例，統計分析不同維度下項目公司的投資情況，如圖9所示，當主程序按照調度時間運行后，整個任務流將從【start】節點開始按照層級順序依次執行，首先從主數據系統獲取原始數據作為任務流的第一層，然后經過ETL處理后將各表按主外鍵關聯性匯總合并生成事實明細表作為任務流的第二層，再將明細數據進一步分類統計生成統計表作為任務流的第三層，最后將明細數據和統計數據加以整合形成供前端場景頁面調用的寬表作為任務流的第四層，并通過任務節點exp_ads_pub_mgt_company_cm以管道的方式輸出到后臺持久層數據庫存儲，等待前端BI工具進一步分析處理后進行頁面展示。

5 系統應用

系統在環保能源總部部署以來運行效果良好。圖10給出了項目公司地圖，最上方以總覽的方式概括了項目公司的地理分布和投資概況，緊接著下方通過菜單篩選的方式，統計分析各項目公司在特定時間，不同項目類型和多個區域上的投資情況，并通過地圖、柱狀圖和明細表分類展示統計結果。隨后點擊結果集上的項目公司名稱會進一步下轉到項目公司投資項目信息，如圖11所示，通過可視化圖表從多個維度呈現出不同年度、項目類型以及地區項目的投資情況。

通過上述圖表結合，不同維度由點及面的數據分析，可以全面掌控整個公司的投資布局，有利于挖掘數據中的潛在價值，發現投資管理中存在的問題，便于管理層做進一步行動的決策部署。

6 結語

基于中臺思想的投資管理數據分析系統由數據接入、數據存儲與管理、數據分析處理、結果數據存儲和前端BI工具組成。通過對業務場景的劃分實現了以不同維度展示投資項目地圖和項目公司投資地圖的功能，幫助企業在投資管理中從事數據分析和挖掘工作提供思路和建議。

參考文獻

［1］張鐘學，卞愛蓮.中國各省投資環境的空間動態的面板數據分析［J］.四川大學學報（哲學社會科學版），2011（2）：75-83.

［2］衛翔.大數據背景下商業銀行證券投資業務管理策略分析［J］.經濟研究導刊，2022（12）：68-70.

［3］劉艷.移動大數據在金融投資領域中的應用研究［J］.現代商業，2022（2）：35-37.

［4］翟雪松，楚肖燕，張紫徽，等.基于中臺架構的教育信息化數字治理研究［J］.電化教育研究，2021，42（6）：40-46.

［5］李信鵬，劉威，楊智萍，等.電網企業數據中臺方案研究［J］.電力信息與通信技術，2020，18（2）：1-8.

［6］喬冰琴，段全虎，高翠蓮.企業大數據分析挖掘及大數據BI工具應用實踐［J］.會計之友，2021（24）：131-137.

［7］王婷婷.數據倉庫和數據挖掘在學生成績分析中的應用研究［D］.武漢：武漢科技大學，2007.

［8］李學鋒.礦山企業數據倉庫的應用研究［D］.昆明：昆明理工大學，2005.

［9］鄭耀東，李旭峰，陳和平.工業企業數據中臺構建方法探索［J］. 現代信息科技， 2020，4（21）：130-133.

［10］劉夢蘇. 基于 BI 的數據中心報表系統的設計研究［J］. 信息通信， 2018 （7）： 132-133.

［11］蔡莉， 梁宇， 朱揚勇， 等. 數據質量的歷史沿革和發展趨勢［J］. 計算機科學， 2018， 45（4）： 1-10.

［12］張建興. 中國郵政速遞數據倉庫系統 ETL 的設計與實現［D］. 北京：北京交通大學， 2014.

［13］馬青霞，王智鋼， 李廣水. 基于 RESTFUL 的面向服務數據挖掘原型系統的設計與實現［J］. 計算機應用與軟件，2014， 31（2）： 41-43.

［14］趙宏博.實時數據倉庫環境中分區技術的研究與應用［D］. 沈陽：東北大學， 2008.

［15］張青.面向對象流程驅動的大數據集中管控模式［J］. 電信科學， 2015， 31（11）： 159-165.

［16］劉廣堂.商業智能BI系統在企業中的應用［J］.能源技術與管理，2009（3）：146-148.

［17］鄭鵬.數據倉庫任務調度管理平臺的設計與實現［D］. 濟南：山東大學， 2018.

Design and Implementation of Investment Management Data Analysis System based on Middle Platform Architecture

QIAN Chen，WANG Jian-sheng，LI Huan-huan，CAO Guang

（Everbright Environmental Technology （China） Co.， Ltd.， Nanjing 210003，China）

Abstract： Aiming at the efficiency problem of data analysis in investment management， a complete and efficient data analysis method and system is put forward and designed. The system adopts the idea of data middle platform and BI front-end tools for data processing and display， and not only extracts the key indexes in the main data system， it also transforms the atomic index into a more complex and comprehensive derivative index， mining the business opportunities behind the data， allowing users to directly see the results of the comparison of investment in different dimensions， and providing a basis for enterprise strategic planning. After on-line test and trial run， the system has been put into use and achieved good results.

Key words： data analysis; investment management; data middle platform; BI front-end tools; derivative index

（責任編輯：馬乃玉）