面向分布式數據的跨系統數據同步中臺構建方法

甘 杉，余 蕓，蕭展輝

（南方電網數字電網研究院有限公司，廣東廣州 510000）

中臺是指為應對數據快速變化而搭建的互聯網架構，既能實現前端主機所提出的處理需求，也能避免重復建設行為的出現，從而達到提高系統工作效率的目的。前臺也叫系統的前端平臺，是與終端用戶進行信息直接交互的應用層結構；后臺則是指系統的后端平臺，一般情況下，前端用戶感知不到該結構的存在的；中臺是以“前臺+后臺”架構為基礎搭建的應用結構，可根據用戶需求的變化情況，更改與后端迭代用戶相關的信息響應速率，一方面為用戶主體提供穩定的連接服務，另一方面也可實現對后端存儲數據的高效管理[1-2]。

在跨區域傳輸環境中，由于信息節點散亂分布等原因，極易導致信息“碎片化問題”的出現。為解決此問題，傳統方法借助IT 平臺實現MyCAT 分表配置，統計數據信息的現有傳輸能力，再通過多級表單對信息參量進行按需存儲，從而最大程度上將碎片信息整合成完整的塊狀傳輸結構。然而該方法在單位時間內所能承載的跨區域傳輸文件量相對有限，并不能實現對信息碎片化行為的有效抑制。基于此，提出面向分布式數據的跨系統數據同步中臺構建方法，在分布式數據庫的基礎上，建立完整的同步服務架構，再通過分離輸入信息的方式，總結中臺運作機制的實際應用能力。

1 面向分布式數據的跨系統傳輸環境

1.1 分布式數據庫

分布式數據庫作為跨系統數據同步中臺體系的基礎應用框架，由服務層、計算層、存儲層三部分結構共同組成。其中，服務層以SQL多模引擎作為核心搭建結構，可同時負載數據信息量的調度、查詢與管理需求，并可以原數據的形式，將待傳輸的跨區域信息參量分配至相關主機元件之中。計算層結構負責生成與分布式數據相關的計算實例文件，并可按照跨區域傳輸需求，對已存儲的數據信息參量進行整合，從而實現對同步中臺體系穩定性水平的大幅提升[3-4]。存儲層結構存在于分布式數據庫最底層，可在中臺體系的作用下，維持跨系統轉存主機的應用能力，從而建立能夠滿足執行需求的、穩定的分布式框架體系結構。分布式數據庫結構示意圖如圖1 所示。

圖1 分布式數據庫結構示意圖

1.2 數據分片

數據分片是一種新型的分表類數據庫結構體，也是跨系統數據同步中臺的關鍵執行結構。對于分布式數據信息而言，隨著信息傳輸規模的不斷擴大，網絡環境中生成的分片結構體數量也會逐漸增多。一般情況下，數據分片的設置必須同時滿足信息分布均衡、分布規模跨度小、信息傳輸延展性強三個要求，且由于跨系統數據同步性等級的不斷提升，分片結構體之間的聯系緊密程度也會逐漸增強[5-6]。設Eˉ代表分布式數據信息的傳輸延展系數均值，代表跨系統數據的分布規模特征值，p代表信息分布的均衡特性條件，聯立上述物理量，可將跨系統數據同步中臺的數據分片結果表示為：

式中，χ代表跨系統數據的分布式傳輸系數，代表跨系統數據的同步調度權限量。

1.3 輸入信息分離

輸入信息分離是跨系統數據同步中臺構建過程中的關鍵處理環節，可在已知分布式數據傳輸目的地的基礎上，對數據信息參量所處的實時環境進行準確記錄，從而將數據信息節點最大化聚合起來，避免信息碎片化行為的出現。從宏觀角度來看，輸入信息分離處理的執行步驟相對較為復雜，需要同時考慮跨系統數據傳輸量、數據信息同步傳輸時間兩項物理量[7-8]。跨系統數據傳輸量可表示為I，若以分布式傳輸作為參考條件，則可認為該項物理量的數值水平越高，輸入信息的實際分離結果越明顯。數據信息同步傳輸時間可表示為T，一般來說，該項物理量的取值結果應盡可能地小，也只有這樣才能實現對數據文件跨區域傳輸速率的不斷促進。在上述物理量的支持下，聯立式（1），可將輸入信息分離結果表示為：

式中，α代表跨系統數據的分離系數指標，w1、w2代表兩個不同的分布式數據同步傳輸系數值。

2 跨系統數據同步中臺的需求分析

在分布式數據的跨系統傳輸環境中，按照同步服務架構搭建、傳輸用例關系研究、中臺運作機制完善的處理流程，完成跨系統數據同步中臺的應用需求分析。

2.1 同步服務架構

跨系統數據的同步服務架構分為下載服務、解析服務兩個執行體系。其中，下載服務體系可接收APK結構中暫存的分布式數據信息，并可在符合數據校驗需求的前提下，借助FileUtils 模塊，將數據信息參量排列成全新的傳輸格式，在該過程中存在一定的處理失敗率，因此服務體系具備自發失敗并重試的能力。解析服務體系以ApkUtil 結構作為建設主體，可借助aapt 傳輸平臺，對跨系統數據進行同步整合，再將最終獲得的分布式數據包存儲于ApkInfo 結構之中，以供其他中臺應用主機的直接調取與應用[9-10]。跨系統數據同步服務架構示意圖如圖2 所示。

圖2 跨系統數據同步服務架構示意圖

2.2 傳輸用例關系

跨系統數據同步中臺的傳輸用例關系涉及APK解析、遍歷測試、數據監控、報告生成四方面內容。

APK 解析行為生成于跨系統數據傳輸的起始階段，可在同步服務架構的作用下，打散分布式數據間的存儲與連接關系，從而使得ApkInfo 結構的存儲壓力得到有效緩解，實現對跨系統數據的按需整合[11-12]。

遍歷測試行為直接作用于待傳輸的分布式數據信息參量，可按照跨系統同步中臺的應用需求對相關信息文件進行二次整合，進而拉近跨系統節點之間的實時傳輸關系。

數據監控行為對于分布式數據信息起到較強的約束作用，可根據相鄰系統之間的跨平臺傳輸距離確定中臺主機所處的實時位置，從而實現對數據傳輸同步性的有效保障[13-14]。

報告生成行為決定了跨系統數據同步中臺的信息傳輸廣度條件，一般來說，待處理的分布式數據越多，傳輸報告的生產速度也就越快，與之相關的同步中臺應用穩定性也就越強。

2.3 中臺運作機制

中臺運作機制是確保跨系統數據同步中臺構建的基礎應用條件，可在初期傳輸階段，將數據信息參量劃分成多個模塊結構，其中，一部分直接反饋至分布式信息處理主機中，另一部分則用于抵消由傳輸用例關系帶來的抑制性干擾的影響[15-16]。規定同步中臺主機在單位時間內所能承載的最大跨系統數據量只能達到ΔC，在平臺體系構建權重保持為ξ的情況下，聯立公式（2），可將中臺運作機制的基礎應用條件表示為：

式中，k為數據信息參量的分布式劃分系數，f為跨系統數據的用例傳輸系數值。在實際應用過程中，中臺運作機制的穩定性越強，分布式數據在跨區域環境中的傳輸速率也就越快，因此在確保數據信息間傳輸用例關系不發生改變的情況下，應盡可能增大中臺運作機制基礎應用條件的實際計算數值。至此，完成各級指標系數的計算與處理，在分布式傳輸環境下，實現跨系統數據同步中臺構建方法的順利應用。

3 實例分析

利用Linux 虛擬主機截取實驗所需的數據信息資源，分別從時間與傳輸能力兩個方向對數據信息的應用能力進行考量，一般情況下，數據信息資源的傳輸最大值只能達到12 G。數據信息獲取示意圖如圖3 所示。

圖3 數據信息獲取示意圖

為保證數據文件的跨區域穩定傳輸，將頂層主機IP 設置為175.149.41.100、中層主機IP 設置為172.31.255.255、底層主機IP 設置為127.255.255.254，且在實驗過程中，所有應用主機的IP 地址參量都不能被改變。

該實驗分兩部分進行，首先在Linux 虛擬主機中輸入面向分布式數據的跨系統數據同步中臺構建方法的軟件執行程序，將所獲得的數據信息作為實驗組數據資源；其次在Linux 虛擬主機中輸入MyCAT分表方法的軟件執行程序，將所獲得的數據信息作為對照組數據資源；最后將實驗組、對照組指標參量進行對比。

單位時間內跨區域傳輸的數據文件數量能夠反映碎片信息的出現幾率，且前者始終對后者起到反向影響作用，即單位時間內跨區域傳輸的數據文件數量越多，碎片信息的出現幾率也就越低，反之則越高。

具體實驗結果如圖4-5 所示。

圖4 數據文件傳輸量（單流量）

分析圖4 可知，在單流量情況下，實驗組、對照組數據文件的傳輸量水平始終相對較低，但在整個實驗過程中，該數值始終保持連續上升的數值變化趨勢，且實驗組上升幅度明顯高于對照組。

分析圖5 可知，在多流量情況下，實驗組、對照組的數據文件傳輸量水平與單流量情況保持一致。在第3 與第4 組別之間，實驗組的數值上升幅度最小，但對照組的數值上升幅度在整個實驗過程中并未發生明顯變化。

圖5 數據文件傳輸量（多流量）

綜上可知，面向分布式數據的跨系統數據同步中臺構建方法主要具備以下兩項應用優勢：

1）在單流量、多流量傳輸情況下，隨著該方法的應用，數據文件傳輸量水平均出現明顯上升的變化趨勢；

2）單位時間內跨區域傳輸數據文件數量值的增大，能夠較好地抑制碎片信息的出現，符合跨區域穩定傳輸數據文件的實際應用需求。

4 結束語

針對分布式數據來講，跨系統數據同步中臺構建方法從分布式數據庫的角度著手，通過數據分片處理的方式，對已輸出信息進行有效地分離，再根據同步服務架構的連接形式，確定具體的傳輸用例關系，從而較好地完善中臺運作機制。實驗結果顯示，應用跨系統數據同步中臺構建方法后，無論是單流量還是多流量環境，數據文件的傳輸量水平均出現了一定程度的提升，不但防止了信息“碎片化問題”的出現，也實現了對數據文件的穩定跨區域傳輸，在實際應用過程中，具備較強的促進性作用。