一種基于源數據適配的大數據分析系統

李明，劉德文，楊成林

（蘇州思萃工業互聯網技術研究所有限公司，江蘇 蘇州 215163）

0 引 言

為了進一步提升辦公信息化項目的效率，達到辦公信息化預期效果，降低產品開發的成本，在不建立大數據倉庫的情況下，加強數據資源的整合效率，主要面向解決的問題總結為：

（1）解決管理信息化系統各子系統信息孤島的問題，實現數據整合、統一展示、共享的目的。

（2）實現各個業務系統數據全程可追溯及在各系統流轉后的數據一致性。

（3）解決工作中需要一鍵查詢非自己經辦的各個系統業務數據的問題。

（4）解決一鍵賬號權限分配及回收問題。

1 系統方案概述

為解決目前業務信息系統建設信息孤島現象導致的無法統一查詢數據、進行有效數據分析的問題，以及進行系統間數據打通關聯的問題，設計了一套基于源數據適配的大數據分析系統，該系統在不建立大數據倉庫的情況下，能很好地解決多個業務系統數據關聯、數據查詢、信息孤島的問題，將分散的業務系統做整合，變成業務上統一的系統。

設計的系統有以下特點：

（1）該系統定位為數據中間件平臺，不用建立統一數據倉庫，即可達到數據統一、數據關聯、統一查詢的目的。

（2）在統一認證登錄平臺基礎上增加了數據共享的功能，真正做到數據的統一。

（3）本系統下分三個子系統，通過三個子系統：業務系統接口適配系統、數據調用和組合規則適配調用系統、服務調用數據管理系統實現孤立業務信息系統源數據的整合，對外統一呈現數據。

2 系統的方案分析

基于源數據適配的大數據分析系統方案特點為：實現了各個業務系統數據接口的統一轉化，建立核心分發器，進行數據分發、調用，并有效進行了元數據、服務、用戶權限的管理。

技術手段為：搭建基于源數據適配的大數據分析系統，通過接口適配、權限管理、調用規則組合實現數據的統一處理、獲取。系統由業務系統接口適配系統、數據調用權限和組合規則適配調用系統、服務調用數據管理平臺三個子系統組成，以實現業務信息系統源數據的整合，對外統一呈現數據。系統架構如圖1所示。

圖1 基于源數據適配的大數據分析系統架構示例圖

大數據分析系統通過統一接入框架，為上層統一信息平臺提供統一后的業務數據，協助展示。采用組件化的架構來實現各模塊的高內聚、低耦合，同時方便并行開發。通過Restful 接口與App Server 中的接口服務進行交互，一般不直接與管理后臺進行交互。

采用大數據分析系統的信息平臺還需要支持統一認證功能，即為用戶認證采用統一認證服務，所有接入到統一認證的應用都可以很方便地接入客戶端，應用之間的相互訪問變得簡單。

3 系統的子系統描述

3.1 業務系統接口適配系統

基于源數據適配的大數據分析系統的子系統設計為：對各上層業務系統開放的入口。

各業務系統之間調用存在不同的調用方式：RPC、Restful、CXF 等，數據格式也會存在XML、JSON 等不同的格式，該系統將適配不同的調用方式，本系統首先需要將原接口進行統一錄入和管理，產品應用Web 界面如圖2所示。

圖2 原始接口管理界面圖

系統通過原接口管理、業務系統管理、調試子系統等模塊錄入管理需要接入的業務系統以及對應API 接口，系統支撐批量導入和單個API 錄入管理，管理顆粒度可精確到具體API 接口。

系統通過定義全量的適配規范模塊并將不同的數據接口統一轉換成JAVA 對象形式，傳遞給后續使用，并將調用到的數據，適配成業務系統支持的調用方式以及數據結構返回給業務系統。通過接口適配管理、新接口管理模塊來管理適配后的新接口。

3.2 數據調用和組合規則適配調用系統

某一個業務系統提供的一個服務，可能會橫穿多個業務系統，所以該服務在多個業務系統間會存在一個接口調用鏈，數據調用權限組合規則適配調用系統充當的是一個核心分發器的角色，調度著這條調用鏈上的每一個執行。平臺只負責不同數據庫的調用，并按照業務系統所能接收的調用協議和接收格式進行統一返回，但是數據的具體業務邏輯處理，依舊交由各自業務系統進行，然后根據業務需求進行下一個業務數據庫的調用。如圖3所示。

圖3 數據調用和組合規則調用關系

數據調用權限和組合規則適配調用系統功能規劃：

（1）權限控制模塊。業務數據的調用權限應該由調用方業務系統控制，此處的權限控制為平臺認證授權，前端業務系統接口適配系統所傳遞的參數中必須帶有平臺認證授權token，保證數據訪問來源是允許的。

（2）適配規則管理和調用引擎模塊。確定該服務每一步所要調用的業務數據庫。調用引擎根據服務規則定義控制業務數據庫的調用順序以及路由分發，如果插入、更新、刪除操作遇到異常時，可以根據元數據庫中針對每一個服務在具體一個業務數據庫所執行的SQL 的對應的事物補償進行數據回滾，詳細看服務調用數據管理平臺。

（3）SQL 生成器模塊。根據每一個服務存儲在元數據庫中的調用數據規則，生成可執行的SQL。如果是插入、更新、刪除操作，需要同時生成響應的事物補償SQL，用于同一調用鏈不同的數據庫發生異常時能進行事物回滾。

（4）數據返回結構化模塊。根據每一個服務儲存在元數據庫中的返回報文規則，將SQL 執行結果，或者其他結果，例如插入或更新數據成功后不返回主鍵直接返回固定的操作成功通知對象，轉換成業務系統接口適配系統所需要的結構化數據。

3.3 服務調用數據管理系統

對服務調用的規則管理，實現服務編排，達到服務組合的目的。該子系統對各業務系統數據庫表描述的元數據管理，實現接口適配管理，并實現將細粒度的若干服務封裝為粗粒度服務，如通過組合適配規則，將三個細粒度的底層服務封裝為一個粗粒度的服務，提高了服務的復用性。降低系統復雜度，使得業務平臺和大數據分析系統邏輯分離，便于各層系統的獨立擴展。

服務調用數據管理平臺系統功能規劃：

（1）數據庫管理模塊。各個業務數據庫的數據表元數據描述管理，業務系統用戶在修改自己系統數據庫的元數據時，需要系統通知該數據庫所關聯的服務所從屬的其他業務系統用戶。如圖4所示產品應用Web 界面所示，可以對數據表元數據進行統一管理。實現對各個數據表的統一管理、查詢。增加大數據分析系統的精細化管理程度。

圖4 數據表元數據管理界面圖

（2）服務調用管理模塊。定義每一個服務的調用鏈，以及每一個調用節點的業務數據庫路由。

定義服務在每一個調用節點上業務數據庫的調用規則及參數規則，用于數據調用權限組合規則適配調用系統生成可執行SQL。

如果是插入、更新、刪除操作，定義服務在每一個調用節點上業務數據庫的事物補償規則，用于數據調用權限組合規則適配調用系統生成可執行事物補償SQL。

（3）接口適配管理模塊。每一個服務的調用鏈，涉及的跨本業務數據庫操作的節點，都需要對應業務系統的管理員審核，開放調用權限。

該模塊提供的服務編排功能，通過規則對多個服務進行編排形成新的服務，為松耦合但需短時間自動執行的服務編排流程提供了技術實現方案，提供工具讓開發者以編程界面的方式來編排服務。

（4）用戶中心管理模塊。針對超級管理員、各系統管理員等用戶，設計用戶管理模塊，顯示各自的服務，管理自己系統的元數據、接口、調試所管理的業務系統接口。

（5）配置中心模塊。該模塊配置數據庫、局部環境變量、全局環境變量等，并支持以不同模板形式保存歷史配置數據，通過配置中心可實現對大數據分析系統的配置管理。

4 系統的應用場景

在沒有使用數據源整合系統的信息化系統中，存在業務信息孤島，業務新系統數據全程可追溯困難，各系統流轉后的數據一致性實現困難，無法實現一鍵賬號權限分配及回收問題。

基于源數據適配的大數據分析系統系統可以廣泛應用在辦公信息化領域，尤其解決存量中大型企業的辦公統一信息化、各子系統信息孤島的問題及數據統一查詢、分析的問題。該場景下：企業已經有多個存量信息化系統，且各個業務信息系統是不同廠家，獨立建設的場景。存量子業務系統通過該大數據分析中間件平臺對接、分發，從用戶層面，實現數據的統一。有助于實現統一報表分析、大屏數據分析、各個業務數據一屏展示。如果建設大數據平臺，建設成本較高，耗時較長，可以通過本文的基于源數據適配的大數據分析系統，即一個數據整合的中間處理平臺，來實現數據的轉換、分發、統一抽取、共享。

該系統實現各個業務系統數據全程可追溯及在各系統流轉后的數據一致性：各個業務保存的同一數據的稽核，自動核對報銷數據、財務數據、合同數據的一致性。

實現了信息平臺的輕量化：從信息架構層面有助于實現信息平臺的輕量化，支持通過本地＋接口、H5 兩種方式適配接入各管信系統。減少建設大數據倉庫，減少單獨建設企業服務總線（Enterprise Service Bus,ESB）。

加強系統的賬戶權限控制，通過于統一認證系統的配合，通過數據訪問權限層面，控制系統訪問，當某個系統停用或者某些重要數據接口受限時，除了通過統一認證系統進行控制，還可通過該大數據分析系統可達到接口的權限控制目的，起到安全雙保障的效果。

5 結 論

通過本文方案，通過應用基于源數據適配的大數據分析系統，可以解決管理信息化系統各子系統信息孤島的問題，在不用建立統一數據倉庫情況下，達到數據的整合、統一展示、共享；以及實現各業務系統數據全程可追溯、流轉數據保持一致性；并可解決一鍵查詢各系統業數據的問題、一鍵賬號權限分配及回收問題。