高能物理事例級數據管理與傳輸系統的研究

王 聰，徐 琪，程耀東，陳 剛

1.中國科學院 高能物理研究所，北京 100049

2.中國科學院大學，北京 100049

1 概述

人類探索世界的腳步，總是永無止境的。為了理解物質的組成和宇宙的起源，世界上開展了許多大型的高能物理和天體物理實驗，包括歐洲大型強子對撞機（Large Hadron Collider，LHC）、北京正負電子對撞機（Beijing Electron-Positron Collider，BEPC）、大亞灣中微子實驗、江門中微子實驗（Jiangmen Underground Neutrino Observatory，JUNO）、高海拔宇宙線實驗（Large High Altitude Air Shower Observatory，LHAASO）等。這些實驗每年產生數十PB的數據（注：1 PB等于一百萬GB），需要數以十萬計最快的CPU對其進行分析處理。例如，大亞灣中微子實驗的數據超過了1 PB，北京譜儀實驗BESIII[1]累積了5 PB的數據，大型高海拔空氣簇射觀測實驗LHAASO每年將產生2 PB的數據，2015年重新運行的大型強子對撞機LHC每年產生25 PB數據，正在規劃中的中國環形正負電子對撞機CEPC每年產生的數據量將達到近千個PB。同時，這些數據還要提供給全世界的物理學家進行分析，需要海量數據跨地域管理、共享和快速傳輸。

高能物理數據處理過程包括探測器記錄事例，產生原始數據，事例重建和數據分析。事例為一次粒子對撞或者一次粒子間的相互作用，其為粒子物理研究的基本對象，包含了條件參數以及相關的物理量，比如光子數、帶電徑跡數、電子數等，一個大型高能物理實驗可以產生數十億甚至萬億級別數量的事例。探測器記錄事例，產生原始數據，以二進制格式記錄探測器信號，由計算機產生模擬實驗的蒙特卡羅模擬數據進行數字化。事例重建過程讀出Raw/MC Raw數據，處理后產生相關物理信息，如動量、對撞頂點等。

傳統高能物理數據處理以ROOT文件為基本存儲和處理單位，每個ROOT文件可以包含數千至數億個事例。這種基于文件的處理方式雖然降低了高能物理數據管理系統的開發難度，但隨著實驗數據的飛速增長以及新技術的出現，這種傳統的數據存儲和處理方式也暴露出越來越多的問題。傳統的文件級管理面臨的挑戰為：全數據掃描，篩選時間長；基于文件的緩存效率低；基于文件的傳輸Overhead高。在實際的高能物理數據分析過程中，大部分的數據都是物理學家們不感興趣的數據，而且通過一些條件即可過濾掉，如果條件設置得當，該系統能夠幫助物理學家篩選掉甚至99.9%的不感興趣的數據。這樣不僅可以節省I/O資源，還能提高CPU利用率，減少數據分析耗時。提出一種面向事例的高能物理數據管理方法，重點研究海量事例特征高效索引技術，在這種方法中，將物理學家感興趣的事例特征量抽取出來建立專門的索引，存儲在NoSQL[2]數據庫中。為便于物理分析處理，事例的原始數據仍然存放在ROOT文件中。最后，通過系統驗證和分析表明，基于事例特征索引進行事例篩選是可行的，優化后的HBase系統可以滿足事例索引的需求。

大型高能物理實驗往往由國際合作單位共同貢獻資源形成分布式計算系統，比如WLCG、BES Grid等。傳統的計算方式是事先將數據傳輸到目標站點，然后再將計算任務調度過去運行。隨著網絡帶寬的提升，全網調度計算任務，數據遠程訪問成為未來的發展趨勢。歐洲大型強子對撞機產生海量數據便是由WLCG[3]（World wide LHC Computing Grid）負責存儲和處理的。在WLCG的Tier結構中，數據并不是完全復制到所有的站點中，因此計算任務會被調度到存儲數據的地方。如果某個站點需要分析感興趣的數據，需要提前進行數據訂閱，將數據預先傳輸到指定的站點。不同于WLCG預先傳輸文件，面向事例的數據傳輸系統僅傳輸物理分析程序所感興趣的事例，所需數據量大幅降低，隨著網絡帶寬不斷提升，將可以支持計算任務實時傳輸數據。數據傳輸系統由數據傳輸服務器和數據傳輸客戶端兩部分組成，分別運行在不同的站點。數據傳輸服務器負責數據的存儲和對請求的響應。在服務器端應用了多進程并發處理機制，實現高效的用戶請求響應。運行在遠程站點的高能物理數據處理軟件在做物理分析時不用考慮數據是否在本地站點，它可以通過ROOT[4]框架或者本地文件系統接口來訪問所需要的事例數據。為提升數據訪問性能，在數據傳輸客戶端設置了基于事例和數據塊的緩存系統。數據傳輸基于HTTP協議，支持分塊、多流及斷點續傳等功能。并基于Oauth授權進行安全保障。系統測試結果表明，在網絡帶寬良好的環境里，帶寬利用率可以達到90%左右。

設計實現了事例級高能物理實驗數據的跨域訪問緩存系統進行跨站點數據緩存。物理學家進行實驗作業分析時，不需要將整個DST文件下載到本地。將事例請求發送至緩存服務器后，緩存服務器向遠程站點發送請求，之后以事例為級別進行HTTP多流傳輸至本地緩存，并返回至客戶端。對客戶端來說，所有操作都是在緩存服務器上進行，遠程站點是透明化的。緩存服務器提供了按需訪問、動態調度的新型高能物理數據跨域訪問模式，系統訪問及傳輸以事例為單位，大大地減少了資源浪費，提高了作業處理效率。同時客戶端數據緩存系統提供了統一數據管理、遠程站點統一文件視圖，為用戶提供了本地化操作模式。緩存系統中設計了用戶操作日志分析模塊，以syslog模式抓取用戶對于數據分析的記錄，通過近期數據分析，實現數據預取來增強系統讀性能。在整個緩存系統模塊中應用了多進程并發處理機制，實現高效的用戶消息處理模式和高性能的讀寫調度架構。系統中客戶端與服務器端通信都采用了高能物理計算中通用的XROOTD架構，具有較強的普適性與通用性，更好地與高能物理實驗分析作業相結合。

提高現有系統的處理效率并不是一個簡單的任務，存在諸多挑戰：（1）文件格式的存儲方式未提供有效的屬性查詢功能，致使事例檢索效率非常低下。當物理學家檢索事例時，關心的屬性只有少數幾個，關心的事例也通常少于原始數據的1/100，甚至1/1 000 000。但針對文件進行檢索，需要訪問某一范圍內的所有文件，并讀取每個事例的所有屬性值。大量的I/O操作都是無用的。（2）分站點存儲空間不足且網絡傳輸速度有限，這給計算任務在分站點運行提出挑戰。由于分站點的規模往往遠小于主站點，無法存儲所有數據的完整拷貝，需要在計算時再臨時復制數據到分站點。由于網絡傳輸速度和數據量之間的矛盾，實時復制數據會造成很大的延遲以及文件系統的開銷，甚至系統宕機。（3）數據格式在存儲和處理上具有不一致性。數據存儲的方式是文件，而數據處理的單位是事例，系統需要大量的轉化操作，造成極大的開銷。（4）已有系統極為復雜，新的處理方式難以兼容。高能物理領域針對每一個實驗裝置都會開發各自的離線數據處理軟件系統，長期以來形成了獨立的體系，系統不能對這些應用軟件造成太大的影響。基于以上內容，該系統整體架構如圖1所示，其處于高能物理數據處理軟件如BOSS（BESIII Offline Software System）[5]，Sniper（Software for Noncollider Physics Experiments）[6]等和存儲實驗數據的存儲系統之間，如Lustre，Gluster等分布式文件系統。

圖1 面向事例的數據管理系統架構

本文首先介紹高能物理的數據處理流程以及面向事例管理的相關工作，然后重點介紹數據傳輸系統的設計與實現，最后給出系統驗證與分析結果，分析性能提升的原因。

2 相關背景

2.1 高能物理數據處理流程

高能物理數據處理的主要過程如圖2所示。探測器產生的原始數據保存到分布式存儲系統中。原始數據非常寶貴，通常要做多份備份保存，并且一般不對最終用戶開放。蒙特卡洛模擬程序根據理論物理模型以及探測器的特征，模擬產生數據。事例重建程序讀取原始數據或者模擬數據，進行與探測器相關的重建，產生刻度常數與重建數據。重建數據對最終用戶開放，用戶使用物理分析程序讀取重建數據，進行相應的數據分析與挖掘，產生物理成果，包括圖表、論文等。

圖2 高能物理數據處理過程

從圖2中可以看出，高能物理數據處理主要包括模擬計算、重建計算以及物理分析等計算類型。每種計算類型各有其特點，模擬計算需要很少的輸入，主要消耗大量的CPU資源，產生大量數據。從探測器建設到運行，一直到產生物理成果，都離不開模擬計算，因此CPU需求量很大。在模擬計算中，粒子在加速器中經高速對撞后產生的信息會被傳感器捕獲，篩選后傳給離線系統，以文件的形式保存在磁盤系統中，在磁帶庫中進行永久保存，并在隨機讀寫存儲系統中進行緩存，即為由事例組成的原始數據。事例重建用來處理探測器產生的原始數據與模擬計算產生的模擬數據，需要讀入和寫入大量數據，對I/O和CPU需求都比較大，實時性要求比較高，該步驟是物理分析的基礎。事例重建即為原始數據借助對撞和取數時的參數進行的，重建后的數據保存為ROOT格式的DST文件，軟件版本不同，重建過程有可能進行多次，用版本號加以區分。物理分析由最終用戶，也就是物理學家發起，讀取重建數據，進行數據處理和分析，這一步驟主要工作大都從海量重建數據篩選出稀有事例，對系統的I/O要求很高。物理分析會生成ROOT文件，用于繪制圖表。

目前，高能物理以文件為單位進行數據管理與計算，高能物理計算系統的結構如圖3所示。文件由多個事例組成。事例相互獨立，多個文件可以在不同機器上處理，無需通信。即采用集群計算系統，并采用計算和存儲相分離的模式，如圖3所示，I/O服務器為分布式存儲系統管理，如Lustre，gluster等。計算節點通過HTCondor等批處理作業系統來管理[7-8]。

圖3 高能物理計算系統結構

圖4 高能物理文件級管理與事例管理對比圖

傳統的文件級管理面臨著很多問題。用戶訪問的Dst文件中包括眾多事例，事例之間相互獨立。例如，605 MB的dst文件中包含15萬個事例。當用戶需要訪問某個事例時，系統需要將整個文件進行掃描，然后讀取需要的事例[9]，篩選時間長。對于用戶訪問度高的事例進行緩存，則需要緩存整個文件，緩存效率很低。并且進行跨域訪問傳輸時，需要將整個文件進行傳輸，代價高。如圖4，該系統由傳統的文件級的數據管理轉變為事例級的數據管理方式，可以很好地解決文件級管理在事例篩選，讀取，并行處理，緩存，傳輸等方面的問題。

利用strace命令對于分析作業的運行過程進行跟蹤分析后發現，如圖5所示，橫軸為運行時間，縱軸為讀取文件的位置。可以看出，讀取500 MB的文件，在0.2 s的時間里，文件跳讀可以達到107B。結果表明，高能物理的分析作業處理過程中，對于Dst文件的跳讀行為是非常嚴重的。經統計發現，文件只有4.6%的數據可以被讀取到。因此，事例級的數據管理和事例遠程透明訪問與傳輸是非常有必要的。

圖5 Dst文件讀取日志分析

2.2 面向事例管理與傳輸的相關工作

網格技術將跨域站點的存儲、計算資源共享形成一個具有巨大存儲能力的分布式數據網絡。網格系統具有十分龐大的規模和數據共享能力，但是也有著很大的局限性。首先網格系統中需要為實驗作業預先分配計算、存儲資源，使得系統資源難以充分利用。其次，系統中的數據文件需要全部傳輸至本地后計算分析，調度十分不靈活并且基于文件的傳輸中有大量無用事例，形成了大量的資源浪費。最后網格系統使用GridFTP協議進行跨域數據傳輸，GridFTP協議復雜需要多端口配置，而且無法穿透防火墻，運行維護代價較高[10]。

除網格計算系統外，目前高能物理計算環境中使用的跨域數據訪問系統，主要有分布式EOS進行小范圍站點間的數據共享，CVMFS（CERN Virtual Machine File System）進行高能物理實驗軟件共享。分布式EOS采用replica策略進行數據文件跨域傳輸，不同客戶端通過IP標示，被選擇與最近服務器站點進行通信，若該服務端有相應數據文件則傳輸至客戶端，若不存在服務器從其他服務器端拉取文件后再傳輸至客戶端。CVMFS設計目標為高能物理實驗軟件的跨域分發，基于FUSE將web目錄以本地磁盤的方式掛載到本地，客戶端只需要在第一次訪問時下載必要的庫，基于HTTP協議進行數據傳輸，它支持只讀模式，在應用層設置了cache緩存加速web目錄讀速度。無論是分布式EOS或者網格技術[11]都有自己固定的應用場景，受到應用和設計的限制，都無法實現基于事例級的實驗數據跨域高速訪問。

實驗發現，時延越大，文件系統的I/O性能越低，如圖6，7所示。一般局域網的時延在1 ms以下，而中國到歐洲的廣域網時延能達到200 ms左右，在這種情況直接使用文件系統I/O訪問基本無法工作，急需研究高帶寬的遠程I/O訪問技術。

圖6 相同帶寬條件下隨著時延增加I/O性能快速下降

圖7 I/O成為分布式文件系統的瓶頸

3 面向事例的數據管理系統設計與實現

3.1 事例特征抽取及查詢條件歸并

物理數據封裝在ROOT等高能物理數據框架的數據對象中，預先將事例粒度的相關特征數據提取出來可以快速查找到相關的物理事例。事例特征抽取根據不同的實驗，不同格式的數據文件將對物理學家有意義的特征變量進行提取，并存儲在事例索引數據庫中。

事例特征抽取模塊根據不同的實驗，物理學家的不同需求，抽取出對于物理實驗數據處理有意義的特征量。如對于BESIII（北京譜儀）實驗中，特征量有運行號、事例號、總徑跡數、總帶電徑跡數、總不帶電徑跡數、好的光子數、好的正負帶電徑跡數等16個特征屬性。根據用戶的定義，將其存儲到索引數據庫中。

高能物理單個實驗的事例數量可以達到百億甚至萬億級別，事例屬性幾十個到幾百個，其并發訪問數量也非常高。根據高能物理實驗的特點，該系統采用HBase集群來構建索引數據庫。HBase[12]采用按字典序排序的索引結構構建主鍵，并在內存中進行緩存[13]，則其可以提供很好的查詢效率。該系統采用將事例屬性名和值均存儲在Rowkey中，從而可以在主鍵上進行二分查找。并將滿足相同查詢條件的事例歸并到HBase的一條記錄中，作為一次查詢結果返回。目前eventdb中的rowkey為運行號，屬性名，屬性值，列組中存儲的為事例文件名和事例號的集合。則用戶根據rowkey中的值一次性查到事例的集合。

該模塊入庫過程如圖8所示，一般情況下，寫入HBase中的高能物理數據可被重復利用，因此這部分工作小號的時間將不被計入平臺分析性能評估中。其中，EventDB主要記錄事例的基本信息，如RunID，EventID，FileID，VersionID，這些主要的事例信息由物理學家進行定義，并可以利用數據庫建立多維索引，根據不同的實驗組建立TAGSET，提高查詢性能。FileDB中記錄文件邏輯名和物理名的對應關系，該數據庫中的信息由掃描分布式文件系統中的DST文件產生。

圖8 數據入庫流程

從高能物理數據的使用者的角度看，EventDB目前主要提供了命令行接口以供使用。EventDB首先通過特征抽取和數據導入工具為原始存儲于磁盤以及磁帶上的事例數據建立索引，然后根據用戶實際的要求提供給用戶所需的事例數據。用戶可以根據這些文件做物理分析。

3.2 面向事例的數據緩存

根據研究發現，物理學家感興趣的數據會形成一定的訪問模式，在一次分析實驗中，只會訪問到很少感興趣的事例。這些事例分布在不同的ROOT文件中。為此該系統在服務器端引入面向事例的緩存系統，在SSD或內存中將訪問次數高的事例數據緩存起來，從而減少I/O開銷。通過序列化反序列化的技術，進行事例的讀取，從而減少了在底層存儲系統的讀取開銷，其架構如圖9所示。

圖9 數據緩存系統架構

3.3 面向事例的跨域數據訪問與數據傳輸系統

傳統的ftp文件服務器在廣域網文件傳輸效率很低，傳輸層協議發展，tcp協議層目前對于文件傳輸廣泛采取的ftp，gridftp，bit torrent等應用層。Bit torrent是架構于tcp/ip協議之上的一個P2P文件傳輸協議，處于TCP/IP結構的應用層。網格技術大部分為使用FTP協議需要單獨配置賬號。如果對權限控制敏感的系統，用戶量大則導致維護工作量非常大。由于廣域網大多數的路由、網關設備和防火墻都提供對HTTP這種通用文件傳輸協議的支持?；趆ttp協議實現分布式文件傳輸系統可以提高整個架構的兼容性。

圖10 跨域數據訪問系統架構

在高能物理領域，每一個科學裝置都會產生大量的實驗數據，通常為PB級，物理學家通過分析這些數據而得出物理發現。目前，這些數據通常在專用的數據中心（稱為主站點）集中存儲，全世界的物理學家通過遠程提交作業的方式在該站點運行計算、分析任務。如WLCG（Worldwide LHC Computing Grid）就是負責存儲和處理歐洲大型強子對撞機的海量數據。WlCG采用了三級站點的網格形式，預先將數據傳輸到計算站點，這種傳統的計算模式無法利用物理學家所在機構（稱為分站點）的計算資源，造成極大浪費。隨著網絡帶寬增高，全網調度計算任務，數據遠程訪問成為未來的發展趨勢[14]。為了充分利用分站點的計算資源，需將實驗數據傳輸至本地進行計算。然而，分站點通常沒有充足的存儲資源存放全部實驗數據的完整拷貝。因此，該系統實時地將物理學家感興趣的數據傳輸到分站點，定義并實現了跨域、跨站點示例數據訪問接口，實現遠程數據的透明訪問，支持跨域的數據查詢、目錄列表。實現海量數據的跨地域統一視圖管理。

下面就該數據訪問與傳輸系統的設計與實現進行具體介紹。

圖10為該跨域高能物理數據訪問系統的整體架構。該系統不會改變原有物理分析軟件的工作流程?；赬ROOTD Client提供接口給物理分析軟件。XROOTD Client接收到用戶讀取事例或文件的請求后，會向Cached發送查詢請求。Cached在Metad中進行元數據的查詢，如果本地存在該事例或文件，則返回相關信息給XROOTD Client，XROOTD Client在XROOTD Server中讀取相關信息返回給物理軟件。如果Cached查詢后沒有該事例或文件，則Cached向數據傳輸服務Transferd發起數據傳輸請求，從遠程站點進行傳輸，然后將Metad進行更新，并將數據寫入到Xrootd Server，通知XROOTD Client到XROOTD Server中進行數據讀取。

該傳輸系統的架構如圖11所示。

圖11 數據傳輸系統架構

數據傳輸系統由數據傳輸服務器和數據傳輸客戶端兩部分組成，可以進行事例、文件的傳輸，也可以通過相關插件進行不同存儲形式的數據傳輸。在不同的站點運行，用戶在運行作業時不需要了解事例數據是否在本地站點，可以通過ROOT框架或者本地文件系統的接口來訪問需要的事例數據。用戶先在本地的事例緩存中進行事例的讀取，如果沒有相關數據，則由事例緩存服務器cached向事例傳輸客戶端發送事例讀取請求，事例緩存服務器和事例傳輸客戶端可以在不同的機器上。事例傳輸客戶端接收到請求后，向事例傳輸服務器發起請求，服務器在數據存儲系統或事例緩存中將事例數據序列化后傳輸到客戶端。客戶端在進行反序列化后以對象的方式返回給處理軟件。當然，該傳輸系統還支持文件的分塊傳輸，可以根據用戶的需求將完整的dst文件進行傳輸，也可以根據用戶請求的文件位置和大小進行部分文件傳輸。

圖12 數據傳輸系統核心組件

該傳輸系統基于Tornado進行數據傳輸服務器和數據傳輸客戶端的實現。Tornado是FriendFeed使用的可擴展的非阻塞式web服務器及其相關工具的開源版本，是屬于facebook的一個開源項目。Tornado和現在的主流Web服務器框架有著明顯的區別：它是非阻塞式服務器，而且速度相當快。得利于其非阻塞的方式和對epoll的運用，Tornado每秒可以處理數以千計的連接。在數據傳輸服務器端使用nginx提供負載均衡、反向代理服務，可以部署多個Tornado實例響應客戶端的請求，通過Supervisor對服務進程進行監控管理。針對該傳輸系統，對tornado的架構進行改良，框架如圖12所示。最底層的EVENT層處理IO事件，TCP層實現了TCP服務器，負責數據傳輸，HTTP/HTTPS層基于HTTP協議實現了HTTP服務器和客戶端，最上層為WEB框架，包含了處理器、模板、數據庫連接、認證、本地化等等WEB框架需要具備的功能。數據傳輸服務器和客戶端主要針對RequestHandler進行設計實現，RequestHandler提供了一個針對http請求處理的基類封裝，主要有以下功能：

（1）提供了GET/HEAD/POST/DELETE/PATCH/PUT/OPTIONS等方法的功能接口，平臺實現時RequestHandler的子類重寫這些方法以支持不同需求的請求處理，例如對root文件的組裝，讀取。

（2）提供對http請求的處理方法，包括對headers等的處理。

（3）提供對請求響應的一些列功能，包括redirect，write，將數據寫入輸出緩沖區等。

（4）其他的一些輔助功能，如結束請求/響應，刷新輸出緩沖區，對用戶授權相關處理等。

該系統不僅可以通過和事例數據庫，事例緩存接口對接進行事例的傳輸，還可以進行文件的上傳和下載。在文件上傳時，客戶端指定上傳地址，文件名等信息，服務器端進行權限的判斷，請求的響應，數據寫入并將服務器端文件的元數據信息進行更新并返回。數據上傳部分基于Asynchronous http client實現非阻塞的客戶端請求，并運用了tornadostreamform的相關方法進行數據流的處理。數據下載時，客戶端發送數據下載請求，指定服務器地址端口號，文件名，下載位置，uid，gid，position，下載文件大小等信息。服務器端收到請求后進行權限的判斷，請求的響應，并進行數據的發送。在數據上傳和下載時，均根據網絡帶寬和請求的數據量進行數據流的劃分，多流是基于Python的threading包在客戶端實現的。

4 數據傳輸系統驗證與分析

4.1 實驗條件

本文在現有環境里進行了數據傳輸效率的測試。測試環境為：服務器端在中國科學院高能物理研究所，節點為8*Intel?Xeon?CPU E5-2407 v2@2.40 GHz。supervisor啟動兩個進程進行請求的響應，啟動nginx進行反向代理。客戶端在成都情報中心，節點為2*QEMU Virtual CPU version 2.4.1。

4.2 實驗結果分析

數據經哈希MD5校驗，均保證其正確性。

隨著網絡帶寬的提升，全網調度計算任務，數據遠程訪問成為未來的發展趨勢。一般局域網的時延在1 ms以下，而中國到歐洲的廣域網實驗能達到200 ms左右。通過tc命令對網絡時延進行設定，如圖13～15所示，分別加了1 ms到100 ms的網絡時延。并對EOS，lustre，transferd進行了性能測試，Lustre，eos的測試在萬兆以太網下進行，讀寫塊大小設置為1 MB，測試大小為700 MB的Dst物理分析文件。對transferd的測試環境通過iperf測得為950 Mbit/s，文件大小同樣為700 MB。測試結果如圖13～15。

通過對比發現，隨著網絡延遲的增加，分布式文件系統性能下降特別明顯，基本是無法正常工作的。但是transferd隨延遲增加，性能下降程度是可以接受的。

Transferd的讀取性能隨線程數的影響測試結果如圖16。

圖13 Lustre讀取性能隨時延的影響

圖14 EOS讀取性能隨時延的影響

圖15 Transferd讀取性能隨時延的影響

圖16 讀取性能與隨線程的影響

千兆網環境下，讀取800 MB的Dst物理分析數據，橫軸為線程數，縱軸為執行時間。可以看出，數據讀寫帶寬可以達到70 MB/s左右。對于多流性能的優化會進一步的研究。該性能和EOS遠程文件系統讀取4 MB/s，寫入15 MB/s的性能相比，有很大的提升。

5 結束語

基于目前高能物理海量數據帶來的挑戰，本文提出了新的數據管理方式。并在該數據管理方式上，詳細介紹了關于數據傳輸部分的實現與測試結果。提出了文件和NoSQL數據庫結合管理的事例管理架構，作為一種新型的高能物理事例管理系統架構，有效地解決了傳統基于文件處理的資源浪費和效率低下問題。同時緩存服務器將遠程站點的數據以本地化的模式提供給用戶，提供了便捷高效的數據處理模式。下一步將針對更多的高能物理實驗和更多的事例特征變量，展開大規模的研究和測試。實現數據傳輸服務器和服務器端事例數據庫的結合，實現事例的序列化傳輸。對遠程數據傳輸和緩存系統進行性能優化，提高系統性能。整個系統為高能物理跨域計算提供了新型的架構，在高能物理計算環境中具有較好的應用發展前景。