一種跨中心數據服務系統設計

摘要：針對大型分布式行業數據中心中數據資源的分散及存儲方式異構的問題，導致數據共享與融合應用面臨挑戰，研究設計一套跨中心數據服務系統，提供全局統一數據服務，并對大規模高并發數據服務訪問優化、跨中心異構數據庫統一檢索、跨中心數據統一搜索等關鍵技術進行詳細闡述。應用案例驗證了系統在實際項目中的有效性。該文對行業數據中心的數據建設應用具有一定的探索和借鑒意義。

關鍵詞：數據服務；大數據；跨中心；高并發；數據檢索；數據搜索

中圖分類號：TP311" " " 文獻標識碼：A

文章編號：1009-3044（2025）24-0048-03

開放科學（資源服務） 標識碼（OSID）

0 引言

目前，我國已將發展大數據作為國家戰略，數據已成為各行業創新和戰略決策的核心要素，其內在價值與日俱增，進而行業數據中心即私有云的建設蓬勃發展[1-2]。大型行業數據中心的建設考慮數據就近匯聚、容災備份等因素，通常構建“物理分散、邏輯統一”的跨域云平臺，以對外提供統一數據服務。由于數據資源存儲分散、類型多樣、存儲方式各異，用戶基于數據中心進行大數據分析處理時，面臨查找和使用數據的難題。同時，業務系統之間存在較為突出的數據共享壁壘，沉淀的數據資產分散，業務和數據的服務化水平較弱，導致數據治理、資產管理難度大[3-4]。

為解決這些難題，本文提供了一種跨中心數據服務系統設計方案，構建全局統一數據服務，實現數據的可視、可訪問、可理解、可交互、可反饋，從“業務驅動”向“數據驅動”轉型，進一步促進行業數據資產整合利用。

1 總體目標

1.1 建設目標

數據服務系統作為數據中心的重要組成部分，是數據資源面向業務應用提供服務、產生價值的重要窗口和關鍵依托。其基于行業數據中心匯聚引接的各類結構化數據、非結構化數據和半結構化數據，以及計算存儲網絡資源等基礎云和大數據支撐設施服務，面向不同用戶的業務使用場景，提供數據資源服務、數據查詢服務、數據生產服務、服務管理等。其總體建設目標：一是使用透明化，即為各業務應用提供統一規范的數據服務，使用戶專注于具體業務邏輯本身，提高工作效率；二是接口標準化，通過統一標準化格式打通數據中心多種異構存儲引擎之間的差異，以統一標準規范的格式對外提供服務；三是架構松耦合，依托一套規范化的數據服務接口，實現對后臺數據的所有操作，屏蔽復雜的后臺服務實現技術細節，實現前后臺技術架構解耦。

1.2 數據服務核心功能

針對上述目標，數據服務系統設計了如下功能：一是構建全域數據資源服務視圖，提供跨中心、跨領域、跨層級的全域數據資源服務，包括數據資源編目服務、字典服務、領域知識、地理空間數據等服務；二是打造統一規范的數據服務API接口，支持Restful、WebSocket等多種服務協議，打通數據中心離線庫、全文庫、圖數據庫、關系庫、對象存儲庫等分散存儲的各類異構數據；三是支持大規模高并發的多用戶在線數據服務，實現復雜數據搜索檢索訪問秒級響應；四是統一集成管理各類數據服務，能夠對服務注冊、發布、運行、使用、評價等進行全生命周期管理及實時監控；五是提供開放式數據服務生產平臺，支持數據、模型等服務的設計、開發、構建、部署、測試、發布、維護等功能。

2 技術實現

2.1 技術架構

數據服務系統采用SOA層次化的設計思路，通過分層設計降低系統復雜度，減少系統的耦合和依賴，提高內聚性，其技術架構如圖1所示。

支撐層提供數據服務生產運行、API調用和查詢操作的核心支持，其中，統一數據訪問屏蔽存儲引擎差異性，提供跨中心異構存儲引擎的統一訪問接口；推薦服務引擎負責采集用戶行為日志，并對用戶特征進行挖掘分析、訓練推薦模型，提供數據、模型、工具等推薦服務；多元數據索引構建負責索引構建及內容索引優先級排序，支撐數據搜索服務；數據訪問加速提供數據訪問緩存加速、數據結果聚合等，支撐數據查詢服務等；服務生產支撐負責提供可視化編排、數據建模等，支撐數據服務生產；統一調度管理負責對異構大數據計算引擎的作業統一調度，支持多種主流作業接口。

服務層包括數據資源服務、數據檢索服務、數據搜索服務、數據訂閱分發服務等，所有服務集成在數據服務集成管理框架中，統一對外提供服務。

服務管理主要負責服務的發布注冊、運行管理、狀態監控、安全鑒權等。

應用層支持瀏覽器和客戶端訪問，滿足靈活的數據服務需求，并支持多種服務協議。

2.2 開放式數據服務生產平臺

開放式數據服務生產平臺采用低代碼可視化組合編排模式，提供項目管理、基礎資源函數配置管理、生產任務設計開發測試、生產任務發布運行、任務調度運行等全流程閉環式數據資源服務加工生產功能，實現了基于大規模離線數據、流批一體實時數據的服務快速開發、測試、部署與運維管理。其特色能力體現如下：一是實現了對離線庫、關系庫、圖庫、對象存儲庫、全文庫等多源異構數據庫的高效連接與訪問，通過統一數據模型實現跨異構庫的數據操作。二是實現了數據生產任務中多種異構計算引擎的組合調度使用，包括開源系的Hive、Spark、Storm、Flink等，以及閉源系的阿里MaxCompute等，支撐跨中心跨異構計算引擎的數據分析處理服務[5]。

2.3 數據服務集成管理框架

數據服務集成管理框架提供跨中心全域數據資源服務統一視圖，集成所有數據服務資源，管理數據服務的注冊、發布、更新、審核、訂閱和注銷等，并且能夠針對不同用戶進行個性化配置和推薦。同時提供細粒度數據權限管理功能。此外，對整個數據服務系統中所有服務的運行進行管理，保證服務的高可用性，監視服務的運行狀態，以及收集服務的使用反饋情況，并對服務的使用和運行情況進行分析與評估。

3 關鍵技術

3.1 大規模高并發數據服務訪問優化技術

在大規模高并發環境下，數據服務系統往往面臨著服務器或數據庫工作負載過高、服務響應時間超時等問題。因此系統性能的優化程度直接影響用戶體驗，重點從三個層面進行優化：

1） 應用服務訪問層面

包括用戶訪問負載均衡和Nginx調優，其中用戶訪問負載均衡通過部署多實例服務，能有效分攤訪問壓力，同時避免單點故障；Nginx調優綜合當前服務CPU負荷、內存使用率、進程使用率、查看請求數量等因素，通過設置長連接、請求分發策略等配置參數進行調優[6]。

2） 應用服務設計層面

包括兩級緩存設計和數據庫調優。其中兩級緩存設計為Redis緩存應用數據，動態淘汰更新數據；Nginx緩存JS腳本、CSS文件、圖片等靜態資源，固定周期更新資源。數據庫調優手段包括優化查詢邏輯、合理構建索引、使用合適的JOIN類型、避免通配符查詢、減少大量重復數據返回，以及優化本地/分布式緩存、調整連接數參數配置等。

3） 技術架構底層層面

包括Web容器調優和JVM調優。其中Web容器調優手段包括調整最大連接數、keep-alive參數等；JVM調優包括調整堆內存設置參數、分配和回收參數等。

3.2 跨中心異構數據庫統一檢索技術

數據檢索作為跨中心指定庫表的數據查詢服務，是實現對數據中心異地異構數據資源進行分類整理、篩選組織，向用戶提供統一數據查詢訪問入口的關鍵。其難點是屏蔽數據中心數據存儲的異地性和引擎的異構性，提供統一的數據接口適配器[7]。重點從3個方面進行設計：

1） 統一邏輯視圖構建

將關系型數據庫、MPP庫、離線庫、分布式文件系統、圖庫、全文庫等看作一個統一數據視圖[8]，通過元數據模型抽象技術、元數據靜態軟鏈接、元數據動態發現等手段，對跨中心異構多引擎元數據進行統一存儲和表達，構建統一邏輯視圖，形成統一的元數據服務。

2） 跨異構庫多引擎融合

利用分布式查詢引擎實現，其主要包括協調者、執行者、數據源適配器等，主要功能是為上層SQL請求，提供分布式跨庫多表數據關聯查詢訪問能力。

3） 數據訪問加速

圍繞執行計劃優化、減少域間數據移動的網絡開銷等目標，采用高效壓縮復制、多線程斷點續傳同步等技術，通過鏡像表加速、熱點數據智能緩存及物化視圖加速等方式，達成數據訪問加速。

3.3 跨中心數據統一搜索技術

跨中心數據統一搜索技術對海量分散異構的多數據中心授權數據資源進行整合，提供高效的查詢與共享方式[9]，重點從4個方面進行設計：

1） 意圖精準識別

將更符合用戶意圖的搜索結果排在前面，增加用戶的搜索體驗。搜索意圖識別可采用SVM、決策樹、隨機森林等分類算法進行分類識別，具體可通過搜索日志挖掘、相關搜索推薦、自動糾錯技術等手段來實現。

2） 多級動態緩存

對搜索引擎系統而言，目標是實現最大化緩存命中率。緩存的結構設計為二級緩存，即由兩級緩存串聯構成，第一級緩存是搜索結果型緩存，第二級緩存是倒排列表型緩存。搜索請求首先在一級緩存查找，若找到查詢請求，則直接返回結果；否則轉至二級緩存查找倒排列表，并對所有單詞的倒排列表進行求交集運算，將用戶查詢和搜索結果放入一級緩存存儲。通過設置緩存索引密切耦合策略來動態更新緩存。

3） 分布式高效索引構建

當搜索引擎需要處理的文檔集合數量非常龐大時，單機往往難以承擔，通過采用分布式索引方案，每臺機器維護索引的一部分，多臺機器協作建立索引并響應搜索請求。將整個文檔集合切割成若干個子集合，而每臺機器負責對某個文檔子集合建立索引，當索引服務器接收到搜索請求時，各自計算文檔相關性得分，分別將得分最高的K個文檔送返給查詢服務器，由查詢服務器綜合各個索引服務器的搜索結果后進行結果合并，將得分最高的M個文檔作為最終的搜索結果返回給用戶。

4） 基于機器學習的結果精準排序

除了傳統的布爾模型、向量空間模型、概率模型等排序模型外，通過引入機器學習排序可使得搜索引擎更智能。與傳統的排序模型不同，機器學習排序由機器自動學習獲得，主要通過人工標注訓練集、文檔特征抽取、分類函數學習等實現，滿足當前千人千面的搜索精準排序。

4 應用案例

為了驗證本文跨中心數據服務系統的實際效能，在某大型行業數據中心項目中進行了部署驗證，該項目由超過10個分布在不同城市的物理數據中心構成跨域“一朵云”，平均每天匯聚引接約50億條異構數據資源，提供約100萬次各類數據服務。核心性能指標測試情況如下。

4.1 測試環境

被試裝備：數據服務系統分別部署在各數據中心上，單中心部署資源為31臺虛擬機，每臺虛擬機規格為8核CPU、16 GB內存、200 GB磁盤空間。

陪試裝備：數據服務系統依賴的大數據組件、虛擬云組件及硬件服務器等基礎設施。

4.2 數據服務在線用戶并發訪問數

數據服務在線用戶并發訪問數是衡量系統對外提供服務性能的關鍵指標，指標要求“支持的數據服務總在線人數≥5000個”。測試方法如下：

1） 準備業務腳本，模擬用戶分別進行數據搜索、數據檢索、數據生產等操作。

2） 使用LoadRunner測試工具模擬5000個用戶同時登錄數據服務系統，并執行業務腳本。

3） 在并發用戶數為5 000個的基礎上，以500步長為單位，逐步增加在線用戶數，并執行業務腳本至少30分鐘，直至開始出現用戶掉線或數據搜索、數據檢索、數據生產業務操作失敗。

4） 在發生故障后對步長減半，重新進行測試。

5） 重復上一步直至找到故障臨界點，記錄故障臨界點系統支持的最大并發用戶數。

測試結果證明，系統能夠支持最多7 000個并發用戶而不出現故障。

4.3 數據檢索響應時間

數據檢索響應時間測試復雜檢索條件下的本中心、跨中心的檢索響應時間。指標要求為“千億記錄單條件下，本中心數據檢索響應時間≤8秒，跨中心數據檢索響應時間≤10秒（不考慮網絡傳輸時延） ”。測試方法及結果如下：

1） 選擇本數據中心千億表test1，結果共1 010億條數據，耗時2秒356毫秒；加“id＞800000000000000000”，結果共100個，耗時4秒612毫秒。

2） 選擇某跨中心千億表test2，結果共1 020億條數據，耗時3秒346毫秒；加“id＞800000000000000000”，結果共40個，耗時5秒547毫秒。

測試結果證明滿足指標要求。

4.4 數據搜索響應時間

數據搜索響應時間測試復雜搜索條件下的本中心、跨中心的搜索響應時間。指標要求為“百億記錄單關鍵詞下，本中心數據搜索響應時間≤5秒，跨中心數據搜索響應時間≤8秒（不考慮網絡傳輸時延） ”。測試方法及結果如下：

1） 本中心全文庫、跨中心全文庫分別構建120億條真實樣例數據索引。

2） 配置數據搜索服務為單中心搜索模式，即搜索結果來自本中心。20次搜索不同的關鍵詞，平均搜索響應時間為1秒45毫秒。

3） 配置數據搜索服務為跨中心聯合搜索模式，即搜索結果來自于本中心和跨中心的結果合并。20次搜索不同的關鍵詞，平均搜索響應時間為2秒22毫秒。

測試結果證明滿足指標要求。

5 結束語

針對大型分布式行業數據中心數據資源共享、使用“難”的痛點，本文提出了一套跨中心數據服務系統設計方案，并結合實際業務場景，對涉及的關鍵技術進行詳細闡述。隨著大數據技術的廣泛應用與深度融合，數據服務的統一運用已成為發展趨勢，未來將集中研究標準制定與服務個性化精準推薦等方面，以進一步提升服務質量。

參考文獻：

[1] 賈曉豐，秦蕊，王壽文，等.聯邦服務：基于分布式數據共治的智能服務范式[J].智能科學與技術學報，2024，6（2）：210-219.

[2] 梅宏，杜小勇，金海，等.大數據技術前瞻[J].大數據，2023，9（1）：1-20.

[3] 杜小勇，李彤，盧衛，等.跨域數據管理[J].計算機科學，2024，51（1）：4-12.

[4] 許雪松，王崢，郭丹丹，等.動態數據服務發布引擎設計與實現[J].計算機應用與軟件，2018，35（7）：126-130，177.

[5] 楊陽，凌東，馬杰宏，等.一種跨異構引擎的大數據生產任務調度框架[J].信息技術，2023，47（3）：29-34.

[6] 歐陽習彪，徐寶林.高并發Web應用系統性能優化研究[J].現代計算機，2024，30（20）：72-75.

[7] 李躍鵬，溫亮明，黎建輝.基于查詢語言轉換的多源數據統一訪問框架[J].計算機系統應用，2021，30（9）：53-61.

[8] 趙瑜，李曉東，張新建.基于元數據的分布式數據統一訪問技術[J].指揮信息系統與技術，2019，10（4）：33-37，60.

[9] 姜康，馮鈞，唐志賢，等.基于ElasticSearch的元數據搜索與共享平臺[J].計算機與現代化，2015（2）：117-121，126.

【通聯編輯：王 力】