東南大學AMS-02實驗數據傳輸

文/蘇琪 龔儉 史濟源

根據丁肇中教授的安排，東南大學主要為阿爾法磁譜儀AMS進行蒙特卡洛仿真、原始數據備份及重建工作。

AMS實驗簡介

AMS(Alpha Magnetic Spectrometer，阿爾法磁譜儀)是由著名物理學家、諾貝爾物理學獎獲得者丁肇中教授領導的一個大型空間物理實驗，也是國際空間站上惟一的大型物理實驗儀器。AMS實驗是人類第一次在太空中精密地測量高能量帶電原子和粒子的實驗，其目的是為了尋找由反物質所組成的宇宙和暗物質的來源以及測量宇宙線的來源。暗物質一直是擺在科學家面前的一個重要研究課題。通過精確測量負質子和正負電子以及r光子的特征譜，可獲得有關暗物質的重要信息。

美國宇航局于1998年6月用“發現號”航天飛機將AMS(AMS-01)帶入太空運行10天，獲得了He核、質子和正反電子的空間和高能量分布規律。觀測分析得到的新結果發表在Physics Letters B等國際著名刊物上。

繼AMS-01計劃成功完成后，丁肇中教授又領導了AMS-02計劃。這是由美、俄、德、法、中等16個國家和地區共600多名科學家參與的大型國際合作項目，集中了一批世界著名的高校和專家學者，包括美國麻省理工學院，瑞士日內瓦大學和意大利佩魯賈大學等知名大學，得到了各參加國和地區的積極支持。AMS-02是安裝在國際空間站上的一個粒子物理探測器，于2011年5月16日從肯尼迪航天中心由奮進號航天飛機送至太空，計劃將在國際空間站上運行10~18年。

東南大學(SEU)是中國大陸第一個被丁肇中教授邀請參加AMS研制的大學，其中的一項合作任務就是在東南大學建立一個一級數據處理中心SOC。AMS-02在太空中采集到的大量觀測數據通過NASA的衛星網和地面的互聯網傳輸到位于瑞士日內瓦的歐洲粒子研究中心CERN，然后分派到分別位于北美洲、歐洲和亞洲的多個數據處理中心進行整理，再匯聚回CERN供物理學家做后續的分析處理。AMS實驗要求跨越數萬公里信道的長時間周期的持續穩定網絡傳輸支持，是一個典型的基于學術網的大數據處理應用。

AMS-02數據流及SOC介紹

AMS-02探測器自升空三年多以來已經收集到近540億個宇宙線數據，多于過去100年全球科學家收集到宇宙線總數。按照這種速度計算，AMS-02每年將接收到150億個數據，在未來20年內將搜集到近3000億個數據。對于物理學家而言，基于這些數據可獲得前所未有的分析精度，以尋找新的物質。

圖1是AMS-02實驗的數據流示意圖。AMS-02在國際空間站上搜集到的數據首先由數據中繼衛星（TDRS）傳輸至AMS-02的GSC(Ground Support Computers)，它位于美國馬歇爾空間飛行中心（MSFC）的亨茨維爾操作支持 中 心（HOSC）。GSC負責通過 NASA 的載荷操作與集成中心（POIC）接收并存儲 AMS-02 監控數據和科學數據，以及 NASA提供的輔助數據，同時負責將這些數據通過網絡傳送到AMS-02位于CERN的負荷操作與控制中心POCC（Payload Operation Control Center），后者負責實現地面系統對遠程AMS-02探測器的操作、控制和監測等，并負責將海量的AMS科學數據近實時地發送至分布在全球的AMS-02 SOC（Science Operations Center）。SOC是整個 AMS-02 海量數據處理環境中與實驗數據的處理和分析關系最為密切的部分，它直接處理AMS-02 實驗中的科學數據，負責進行科學數據的重建和蒙特卡洛仿真工作，此外SOC還會對 AMS-02 實驗中的各種數據進行存檔，并提供對AMS-02 海量數據的訪問、分發和物理分析等。AMS-02 SOC是一個跨越歐洲、北美洲、亞洲等多個大洲的大型分布式海量數據處理系統，整體上主要由3個一級處理中心組成，它們分別位于瑞士的CERN、美國的MIT和中國的東南大學。

東南大學SOC簡介

圖1 AMS-02實驗數據流示意

應丁肇中教授的邀請，東南大學從2002年開始參加AMS-02實驗，參與了AMS-02探測器的研制和SOC的建設，投資近1600萬元人民幣，建成了擁有3500核（峰值計算能力達37萬億次）和500TB存儲的高性能計算平臺。作為AMS-02實驗亞洲地區最主要的SOC，東南大學AMS-02數據處理與分析中心為AMS-02實驗提供支持數據高速傳輸、分布存儲和分析計算的高性能海量數據處理環境，并承擔了AMS-02數據重建、數據仿真、數據分發以及物理分析等多項重要任務，它們主要是：

1. 獲取并存儲完整的AMS-02原始數據；

2.根據AMS-02原始數據并結合校正數據進行真實數據重建；

3.進行蒙特卡洛仿真和探測器模擬；

4.根據重建數據進行物理分析，并實現分析結果的可視化；

5.完成AMS-02數據分發和傳輸。

目前東南大學SOC已經取得了如下的重要進展：

圖2 SEU與CERN之間的網絡

圖3 SEU至CERN的數據傳輸

1.近實時地通過高速網絡鏈路從CERN獲取并存儲了自AMS升空以來所有的AMS原始數據約91TB ；

2.完成了兩輪針對AMS原始數據的完整重建并產生了約189TB 的重建數據，為AMS數據分析提供了寶貴的數據資源；

3. 完成了大規模的AMS

數據仿真并產生了約147TB的仿真數據；

4.實現了南京到日內瓦之間1Gbps傳輸通路，其中在CERNET的支持下，在CERNET主干網實現了千兆網絡帶寬預留，整個傳輸通路的峰值速率達到近千兆，并可長時間維持在數百兆的速率，滿足了AMS-02觀測數據的分析處理需要。

東南大學SOC的數據傳輸需求

東南大學目前為AMS-02實驗提供2016個Intel(R)Xeon(R)CPU E5607@2.27GHz的計算能力進行數據處理，以及逐年擴展的存儲能力（每年200TB）。根據丁肇中教授的安排，東南大學主要為AMS進行蒙特卡洛仿真、原始數據備份及重建工作。根據東南大學提供的硬件條件，結合AMS-02對蒙特卡洛仿真數據以及數據重建的需求，對SEU（東南大學）與CERN（歐洲核子中心）的數據傳輸需求為：

1.蒙特卡洛仿真（200TB/年，SEU至CERN）：東南大學SOC每年必須完成約200TB的數據生產任務，從SEU至CERN的網絡傳輸速率應該保證在2×109/(π×107)≈ 60Mbit/s，才能使生產的蒙特卡洛數據完全傳回CERN；

2.原始數據（50TB/年，

CERN至SEU）：參照目前為止AMS一年所采集的35TB的原始數據，以后每年的原始數據估計為40~50TB，需要逐步通過網絡從CERN傳輸至SEU；

3.重建數據（800Mbit/s，SEU至CERN）：AMS-02數據重建是階段性的、非連續性任務，數據生產和傳輸會在某一段時期內進行，重建生成的數據需盡快回傳至CERN。東南大學2016個核同時運行重建計算，數據生成速度約800Mbit/s，網絡傳輸速率需要匹配數據生成速度800Mbit/s。因此，重建數據的傳輸是這個傳輸系統的最大挑戰。

東南大學SOC的數據傳輸

目前，SEU與CERN之間通過CERNET主干網和歐洲學術網GEANT主干網進行數據傳輸，大致的路由走向為南京-北京-倫敦-巴黎-日內瓦。兩個主干網的互聯帶寬為2.5Gb/s，主干網帶寬為10Gb/s。傳輸通路中CERNET主干網的部分如圖2所示，它們之間的網絡專線主要包括兩個部分。第一部分是從SEU到CERNET中心（北京）的1Gbit/s IPv4專用通路，第二部分為從北京國際出口到CERN的2.5Gbps IPv4互聯通路。

1. SEU至CERN的數據傳輸

該方向用于及時向AMS位于CERN的存儲中心回傳在SEU集群中完成的生產作業數據。具體模式如圖3所示：利用位于CERN的一臺專用傳輸服務器“phams01”從SEU的三臺FTP服務器輪流下載數據。其中下載工具為LFTP，服務器端FTP服務器為VSFTP軟件。傳輸時使用的LFTP命令為“pget”，通過pget的參數設置，能使LFTP使用多條TCP連接來傳輸同一個文件，具體地，在SEU至CERN的傳輸中，設置并發連接數為50。

2.CERN至SEU的數據傳輸

該方向用于每天定時從CERN向SEU集群備份AMS原始數據。具體模式如圖4所示：利用位于CERN的一臺專用傳輸服務器向SEU的一臺FTP服務器上傳需要備份的AMS原始數據。其中上傳工具為LFTP，所使用命令為“put”，服務器端FTP軟件仍然為VSFTP軟件。

圖4 CERN至SEU的數據傳輸

圖5 SEU與CERN之間一周內的帶寬占用(流入表示SEU至CERN方向，流出表示CERN至SEU方向)

圖6 不同并發連接數的傳輸帶寬

圖7 不同并發連接數的傳輸時間和丟包率

3.SEU與CERN之間的傳輸性能

MRTG是一個監控網絡鏈路流量負載的工具軟件，它通過SNMP協議監測網絡設備的相關信息，展示網絡設備各個接口的流量狀態。圖5所示的是MRTG顯示的SEU與CERN之間在某一周的流量情況，主要包括帶寬占用和吞吐率(PPS, packet per second)，圖中每個點顯示30分鐘內的平均值。

從圖中可以發現，雖然一些時間的短暫的暫停和傳輸數據的開始和結束階段使得SEU至CERN的平均傳輸帶寬較小，但是最大的帶寬達到646.54Mbit/s；由于CERN至SEU的傳輸需求不大，因此圖中顯示的這個方向的帶寬不大，但是最大也達到了146.70Mbit/s。基本滿足了東南大學的SOC的數據傳輸需求。

東南大學SOC數據傳輸參數優化

影響傳輸的有三個部分參數：發送端的參數，接收端的參數、中間網絡的參數。中間的網絡在短時間內不易更改，同樣的，發送端和接受端的操作系統、TCP版本和FTP客軟件同樣不易修改，因此我們主要關注兩個參數——發送端和接收端的套接字緩沖區大小以及并發連接數。對于TCP，發送端的套接字

緩沖區大小表示了發送端在沒有收到任何ACK報文的情況下，能發送的最多的報文。因此在傳輸時應盡可能地提高發送端的套接字緩沖區大小，顯然，為了不影響傳輸，接收端的套接字緩沖區大小也應隨之提高。

圖6顯示了三種不同的并發連接數下，從SEU到CERN發送相同一個文件時，傳輸帶寬的變化情況，可以發現50個并發連接時，傳輸時間最短，傳輸帶寬最大。因此提高并發連接數并不能總是提高傳輸速率，縮短傳輸時間。

為了更為具體地研究并發連接數對于傳輸的影響，我們在相同環境下將并發連接數分別設置為10,20,100來傳輸同一個文件，傳輸的總時間和丟包率如圖7所示。從圖中可以發現，在并發連接數50以下，隨著并發連接數增加，有效地縮短了傳輸時間，同時丟包率沒有明顯的提升，這是因為此時發送端與接收端之間的網絡資源并沒有充分地利用；而在并發連接數50以上，傳輸時間變化比較平穩，甚至有輕微的上升，與此同時，丟包率顯著地增加，這是因為報文發送的速率超過了網絡資源的承受范圍，從而出現大量的丟包。因此在這10個不同的并發連接數當中，50個并發連接數是比較理想的，既能保證傳輸時間最短又能保證充分地利用網絡資源，因此在第1節中，我們設置并發連接數為50。

AMS-02是一項符合國家目標、原創性的基礎研究工作，參與AMS-02項目將有助于我國空間科學與技術水平的提高，并有可能取得劃時代的原創性科研成果。

由于AMS-02的觀測數據分析需要全世界多個國家、地區、機構的參與，是一項分布的且長期的工作。AMS-02產生的海量科學數據傳輸需要全球學術網的支持，依托商業互聯網是不可能實現的。這是學術網的一個典型應用，反映了現代科學研究要求全球合作的特點和信息基礎設施的作用。AMS-02的數據傳輸具有大BDP（帶寬延遲乘積）值的特點，單一TCP連接的傳輸速率受時延的限制，而平行連接數受系統性能的限制。我們通過對TCP傳輸參數的優化，取得了較好的效果，保障了AMS-02實驗的順利進行。