基于實時數倉的移動支付數據OLAP運營系統設計

摘" 要：隨著移動支付業務規模的持續擴大和業務模式的不斷創新，產生的業務和運行數據變得越來越龐大和復雜。由于獨立建設的業務系統，數據之間存在嚴重的隔離，形成數據孤島，導致數據無法得到有效且及時的應用。在這種背景下，實時數據運營平臺應運而生。這個基于實時計算和實時數倉的OLAP（聯機分析）系統彌補傳統大數據平臺在實時數據分析方面的不足，整合孤立的數據，為業務數據和運行數據的實時聯動分析提供強大的功能支持，為移動支付業務的運營提供高效且智能的決策依據。此外，分層式的數倉架構設計在確保數據查詢敏捷性的同時，為標準化的數據治理奠定基礎。實時數據運營平臺的應用和推廣將成為新時代移動支付運營工作的突破性進展，為未來一體化運營打下堅實的數據能力基礎，推動移動支付運營工作朝著數字化、智能化的方向發展。

關鍵詞：移動支付；實時數倉；實時計算；數據架構；一體化運營

中圖分類號：TP311" " " 文獻標志碼：A" " " " " 文章編號：2095-2945（2023）19-0134-04

Abstract： With the continuous growth of mobile payment business volume and the constant innovation of business models， the resulting business and operational data have become increasingly large and complex. Due to the independently constructed business systems， there are severe barriers between the data， leading to an inability to effectively and promptly apply the data. In this context， real-time data operation platforms emerge. This OLAP （online analytical processing） system， based on real-time computing and real-time data warehouses， fills the gap in real-time data analysis of traditional big data platforms. It integrates isolated data， provides powerful functional support for real-time linked analysis of business data and operational data， and offers efficient and intelligent decision-making for the operation of mobile payment businesses. In addition， the layered data warehouse architecture design ensures data query agility while laying the foundation for standardized data governance. The application and promotion of real-time data operation platforms will serve as a breakthrough in the mobile payment operation work in the new era， establishing a strong data capability foundation for future integrated operations， and driving the development of mobile payment operations towards digitization and intelligence.

Keywords： mobile payment; real-time warehouse; real-time computing; data architecture; integrated operation

移動支付行業飛速的用戶增長及業務擴張為其帶來了市場優勢，同時也帶來了規模龐大、復雜度高的業務數據與運行數據，這是一個難以挖掘的數據寶藏。一方面，龐大的數據量意味著包含大量價值，不限于用戶體驗、用戶價值、活動推廣效果和業務運行質量等；另一方面，業務數據與運行數據之間存在的壁壘使得這些數據無法得到有效且及時的應用，因此亟須有效的工具與完善的架構對此進行數據歸集與數據治理，進而深挖其潛在的商業價值，反哺系統優化與業務發展。離線大數據有界批處理的架構特性決定了用戶無法在短時間洞察數據并作出決策，無法做到實時分析和即時響應。

針對現有離線大數據平臺的短板進行了全方位的剖析，結合運營工作的使用場景與技術發展的趨勢，選取實時計算和實時數倉的技術，設計了一套適應移動支付行業面向C端用戶敏態業務的實時運營數據分析的系統。

1" 系統功能架構

實時數據運營平臺系統是一個基于實時計算+實時數倉的OLAP（聯機分析）系統，采用分布式計算和分布式數據存儲，所有計算節點和存儲節點均支持高可用和橫向性能擴展，以提供高性能（PB級數據量、毫秒級響應）、一站式的數據服務，最大化提升運營數據的處理效率。

實時數據運營平臺核心功能模塊分為歸集接入中心、存儲計算中心、業務場景中心、業務主題中心、數據資產中心、數據質量中心和消費場景中心。系統功能架構如圖1所示。

歸集接入中心：負責實時收集、整理多種數據源并且對數據進行清洗和預處理的功能模塊。

存儲計算中心：根據不同的數據存儲要求提供分布式的存儲、備份數據，以及任務調度和并行計算的功能模塊。

業務場景中心：根據移動支付業務分析過程抽象劃分數據主題，提供基礎數據結構，抽象出數據倉庫層（DW）。

業務主題中心：根據業務場景數據主題，梳理用戶使用場景抽象出數據應用層（ADS）。

數據資產中心：提供元數據管理、數據血緣、數據地圖及數據安全性和合規性管控。

數據質量中心：提供指標規范管理、任務調用管理、模型構建配置和監控告警配置等數據標準體系建設。

消費場景中心：根據用戶對數據的消費場景，構建出“實時OLAP分析”“實時監控與告警”“市場營銷分析”等數據應用場景。

2" 系統技術架構

實時數據運營平臺采用分布式系統架構設計，包括分布式應用節點和分布式數據存儲。各應用模塊節點均采用分布式部署，實現實時注冊服務、統一調度和管理，并且支持應用節點動態擴容。通過實時數據采集、存儲、計算、治理和檢測等技術，實現復雜業務模型下的異常檢測、故障定位、數據分享和決策分析支持，并構建一套完整的技術生態體系，提升整體的IT運營服務能力。

實時數據運營平臺根據技術架構可以分為數據源層、 數據接入層、數據處理層、數據存儲層、數據架構層、數據治理層、集群管理和公共服務管理層、數據消費和用戶操作層[1]。系統技術架構如圖2所示。

2.1" 數據源層

實時數據運營平臺以業務為導向接入相關的業務數據源，包括業務數據庫源、日志數據源、NPM數據源、APM數據源、基礎資源監控數據源和用戶行為數據源等各類運營分析數據。

2.2" 數據接入層

數據接入層支持多種類型的數據源歸集。業務類數據源通過讀取分布式交易系統產生的數據庫日志文件來實現業務增量數據的歸集，通過解析日志文件中的數據庫操作語句（Insert、Update、Delete，不包含Select），將每一次數據的新增、更新、刪除以鍵值的形式加上操作行為標簽，發送至分布式消息隊列Kafka[2]。針對業務主鍵采用Hash的形式進行數據分發，保證同一業務主鍵的數據能按時序進入同一消息管道，以確保下游進行數據消費時的時序一致性，避免出現數據亂序。

API/RPC方式接入HTTP接口類數據，分布式消息隊列Kafka接入作為消息訂閱發布中心接受其他生產者的數據寫入，在數據接入的過程中對數據流進行狀態管理、流量監控、數據規范監控等初步的數據質量標準檢查。

通過并行多任務的方式進行數據歸集，達到毫秒級時延，支持高可用，支持斷點續傳，保障數據零丟失。平臺提供可視化交互界面，對數據庫連接信息、數據表字典、數據傳輸任務的運行狀態進行監控，以便用戶快速創建數據接入任務，并實時監測數據讀取量、數據寫入量、數據延遲等信息。

2.3" 數據處理層

使用實時流式計算引擎Flink[3]對實時接入的業務數據流進行數據轉義、數據勾兌、數據壓縮等數據質量標準處理，保證寫入平臺的業務數據已滿足數倉架構各層的數據質量規范要求。

實時數據運營平臺使用關系型數據庫MySQL存儲并管理數據處理任務的編排規則流程數據。流式數據處理環節會對業務數據和維表數據進行寬表化或指標化處理，其原理是基于事件驅動、時間語義、窗口粒度和計算并行度等流式處理能力將查詢時需要多表數據源進行勾兌或轉化的過程，并使用Yarn集群管理Flink流式處理任務的資源分配與調度。

比如，通過Flink流式數據處理工具從分布式消息隊列Kafka中讀取交易和訂單明細數據，雙流勾兌形成交易寬表，支持按時間序列對交易寬表流進行滾動或滑動窗口切分，并通過疊加統計類算子計算形成交易指標。

2.4" 數據存儲層

數倉元數據存儲在MySQL關系型數據庫以保障平臺的事務性操作。數倉中的業務數據存儲在ClickHouse[4]實時計算數據庫保障實時查詢能力。日志分析類數據存儲在搜索引擎數據庫以保障全文搜索能力。業務運營指標類數據存儲在Ignite內存數據庫應對實時數據看板場景的高并發壓力。

2.5" 數據架構層

數據架構層分為數據貼源層（ODS）、數據倉庫層（DW）、數據應用層（ADS），其中數據貼源層（ODS）是接入數據源到實時數據運營平臺后的鏡像數據，當數據倉庫層（DW）中的數據質量或數據完整性出現問題時，可以回溯數據貼源層（ODS）；數據應用層（ADS）提供數據架構中消費數據的業務場景，對數據倉庫中的業務場景數據表、業務主題數據表進行運營指標建模，為用戶操作層提供數據查詢服務。

2.6" 數據治理層

實時數據運營平臺通過界面化操作的方式建設數據倉庫層（DW）中各層的業務主題表，支持數據倉庫的架構分層、數據表名、字段規范等數據質量標準監測。并且通過操作審計日志記錄數據表來源，包括上游數據表及字段映射關聯和下游數據的消費場景，以形成數據倉庫中數據表的數據血緣關系。

2.7" 集群管理和公共服務管理層

實時數據平臺的組件配置信息存儲在Apollo配置管理中，實時計算數據庫ClickHouse的分布式元信息維護在Zookeeper分布式應用協調工具，接入的數據流任務維護在Kafka分布式消息隊列，數據接入流的任務調度管理維護在Yarn資源管理及作業調度平臺，平臺自身的性能數據通過Grafana可視化工具度量分析。

2.8" 數據消費和用戶操作層

數據消費和用戶操作層體現了實時數據運營平臺的運營數據輸出能力，以滿足實時OLAP分析、實時業務監控、實時指標監控等業務場景下的數據運營分析訴求。

3" 技術實現優勢

3.1" 數據一致性處理

實時分布式數據處理的容錯機制不可避免地帶來了數據重復、數據亂序等難題。雖然ClickHouse的ReplacingMergeTree引擎可以根據RowKey機制支持更新壓縮主鍵，但數據合并會在后臺一個不確定的時間進行，因此無法以此保障ODS層數據一致性。

實時數據運營平臺基于RowKey機制設計了貼源冷卻處理工具，在數據倉庫數據表設計的過程中通過反轉、加鹽和哈希等計算方式保證RowKey的長度原則、唯一原則、排序原則、散列原則，在增刪改查的過程中RowKey就充當了主鍵的作用，確保唯一的標識一行記錄，并回寫至實時計算數據庫ClickHouse；通過貼源冷卻處理工具滿足了業務數據流實時接入、實時勾兌、實時壓縮的目標，保證數據平臺支持在實時數據接入的同時去重更新過程態的業務數據，從而滿足業務主題數據表的建設。敏態數據去重架構如圖3所示。

3.2nbsp; 實時計算存儲

實時數據運營平臺采用了高吞吐量的分布式消息隊列 Kafka、流式計算引擎 Flink、實時數據存儲引擎 ClickHouse，具備低延遲、高并發、彈性擴縮的技術特征。在移動支付運營分析領域具有極大優勢。

數據寫入低延遲，同一IDC機房從業務數據庫到達數倉數據延遲在毫秒級別，數據查詢低延遲，十億級別大數據秒級響應，可以提供實時系統監控、風險預警、經營決策服務；高并發處理能力可應對秒殺、搶購等營銷峰值數據處理；彈性擴縮支持在不同性能場景下提升資源利用率。實時計算存儲彌補了傳統離線大數據平臺在實時數據挖掘和分析場景的短板。

3.3" 數據自助建模

實時數據運營平臺可以通過可視化界面操作的方式對元數據進行列值管理、指標定義、指標維度管理，并支持時間、地域、業務渠道等多維數據關聯分析、趨勢分析，并且通過可視化圖表提升數據指標的可解釋性。

所見即所得的探索查詢引擎、即時的數據輸出能力支撐了數據自助建模功能，從而可以通過簡單的SQL語句語言方便快速地、無阻礙地進行聯表、關鍵字、條件語句等探索查詢，同時實現數據分析探查建模化、分析效果可視化。

3.4" 算法工程集成

實時數據運營平臺支持以開箱即用的方式根據不同場景的數據特征模式選擇合適的算法模型，如指標異常監測、動態基線模型等對時間序列類的指標數據進行周期性監測。用戶可以通過不同場景的數據特征選擇對應的算法模型進行適配，將模型構建、模型優化過程工程化，提供算力、算法、數據相結合的基礎能力。基于靈活的算力組織、高效的數據同步、可插拔的服務應用和工程化的數據模型讓實時數據平臺發揮出極高的數據挖掘能力。

4" 結束語

實時數據運營平臺的誕生，成功打破了應用系統之間的數據壁壘，彌補了傳統大數據平臺在實時數據分析方面的短板。同時，平臺的架構設計也為未來的運營工作提供了更多的想象空間。其出現與發展將作為一體化運營建設的有力支撐，持續賦能自動化、數字化、智能化的運營體系建設，引領移動支付行業運營工作的風向。該平臺的應用與推廣將激起更多行業內對于數據應用可能性的想象，吸引更多的人才投入到技術的研發與數據的挖掘中來，充分利用數據輔助重大決策，支持風險管控、價值實現和服務創新，幫助移動支付業務保持競爭優勢。

參考文獻：

[1] INMON W H. Data architecture： a primer for the data scientist： big data， data warehouse and data vault[M]. Morgan Kaufmann Publishers Inc. ，2014.

[2] NARKHEDE N，" PALINO T，" SHAPIRA G. Kafka： The definitive guide[M].O’Reilly Media， Inc.， Sebastopol， 2017.

[3] METZGER R. Stream Processing with Apache Flink[M].O'Reilly Media， Inc.，2017.

[4] 朱凱.Clickhouse原理解析與應用實踐[M].北京：機械工業出版社，2020.

作者簡介：王丹丹（1988-），女，工程碩士，工程師。研究方向為大數據運營。