天地一體化信息網絡域間協議實驗平臺

楊增印，李賀武，吳茜，吳建平1,，劉君

（1. 清華大學計算機科學與技術系，北京 100084；2. 清華大學網絡科學與網絡空間研究院，北京 100084；3.清華大學北京信息科學與技術國家研究中心，北京 100084）

1 引言

隨著偏遠地區、海洋區域、空中區域等全球范圍內對互聯網服務需求的增長，利用空間網絡與地面網絡在覆蓋范圍和移動接入等方面的互補性，建設覆蓋全球的天地一體化信息網絡，不僅成為未來互聯網的發展趨勢，也是我國科技創新 2030重要項目[1]。概括地說，天地一體化網絡是空間衛星網絡和地面網絡的融合網絡[2]，其中，地面網絡包括互聯網和移動通信網絡，空間衛星網絡包含多個由高軌（GEO, geosynchronous orbit）衛星、中軌（MEO,mediumearth orbit）衛星、低軌（LEO, low earth orbit）衛星組成的網絡系統。由于不同衛星節點具有不同的運動規律，整個空間網絡拓撲表現出頻繁但有規律的變化。

天地一體化信息網絡本質上就是利用互聯網協議，特別是互聯網域間協議，實現各類空間衛星網絡及天地網絡融合。在天地一體化信息網絡中部署現有互聯網域間協議，不僅能充分發揮其網間互聯優勢，還能加速天地一體化信息網絡建設。然而，現有域間協議設計之初缺少對空間網絡獨特性的考慮，若將它們直接部署至天地一體化信息網絡，可能面臨各類性能問題。

目前，已有一些工具來驗證互聯網協議在空間網絡環境下的性能，如數值仿真平臺、在軌運行衛星驗證系統和地面實驗驗證系統。但這些驗證工具驗證場景單一或缺少真實協議部署，缺少面向天、地一體的協議驗證設計。具體的原因如下：1) 數值仿真平臺具有部署容易、支持網絡規模大等優勢，如 NS2[3]、Qualnet[4]、Omnet++[5]、Opnet[6]等，但該類工具將互聯網協議的行為轉化為一系列離散事件，這造成協議驗證的驗證損耗，且網絡規模越大，網絡協議的驗證損耗越嚴重；2) 在軌衛星驗證系統是最可靠的驗證工具，如思科在軌驗證路由器[7]，然而衛星發射周期長、耗費大，支持的實驗場景單一、規模小，使其難以滿足系統建設前期復雜多變的實驗驗證；3) 地面實驗驗證系統是利用地面網絡設備模擬空間網絡環境，能充分發揮數值仿真平臺和在軌衛星實驗系統的優勢，目前，已有一些簡單場景下的實驗平臺[8-13]，其考慮的實驗場景主要針對衛星平臺（如OpenSAND[8]、SATIP6[9]）或衛星平臺與地面站、用戶間的網絡接入場景（如MSET[12]、SNTB[13]），由于缺少多種衛星系統互聯的考慮，這些實驗平臺尚不能有效模擬空間網絡的高動態特性，不能有效支持天地融合場景下的實驗驗證，此外，受物理設備數量和管理復雜性的限制，現有實驗系統難以快速部署大規模網絡場景。

本文主要考慮采用運行真實互聯網協議的虛擬網絡設備來建立天地一體化信息網絡實驗平臺，在保證協議驗證可靠性的基礎上，采用少量物理設備支持大規模實驗驗證。受限于空間網絡高動態特性和天地網絡差異性，協議驗證平臺設計面臨諸多挑戰。其中，主要難點是如何利用靜態虛擬網絡設備來模擬大規模動態空間網絡。空間網絡可能包含數十個到數百個衛星節點，且節點間的鏈路連接關系和鏈路質量不斷有規律變化。然而，現有虛擬網絡設備是靜態的，彼此間互聯關系也是靜態的，如Mininet[14]、Docker[15]、KVM[16]等虛擬技術創建的虛擬網絡設備。此外，伴隨著天地一體化信息網絡研究發展，網絡規模不斷增加，包含的衛星節點類型不斷增多，天地融合策略不斷更新，迫切需要協議實驗平臺具有高可擴展特性，支持各類實驗場景。

針對上述挑戰，本文基于Mininet虛擬化工具，設計和實現了大規模、可擴展的天地一體化信息網絡實驗平臺，開展了互聯網域間協議的性能驗證。本文主要貢獻如下。

1) 利用真實衛星參數建立空間網絡特征仿真器。根據空間衛星運動的規律性，計算出空間網絡拓撲變化的關鍵特征，包括動態鏈路連接關系、時變鏈路質量等。

2)采用虛擬網絡技術構建天、地網絡實驗環境。根據實驗驗證需求，采用虛擬化技術在少量物理設備上創建大量虛擬網絡設備。然后，將 1）中計算得到的空間網絡特征映射到虛擬網絡設備中，通過實時改變虛擬網絡設備之間的互聯關系來模擬高動態、大規模的空間網絡。同時，通過天地互聯系統融合空間網絡和模擬地面網絡。該實驗平臺高度模塊化，具有易部署、高管控的特性，可支持各類實驗場景。

3) 設計多種天地一體的實驗場景，部署多種天地互聯策略，驗證現有域間路由協議（BGP，border gateway protocol）及其依賴網絡協議[17]在實現多衛星系統融合及天地網絡融合時的性能。實驗發現，隨著空間網絡規模的增加，現有域間協議在空間網絡中的開銷越來越大，甚至引起地面網絡的不穩定；同樣，現有地面網絡的大規模路由表和頻繁變化的路由信息嚴重損耗空間網絡的性能，使天、地網絡間的互聯效率低下。

2 研究背景

2.1 天地一體化信息網絡概述

天地一體化信息網絡的總體方案如圖1所示[2]。其中，地面網絡包括互聯網和移動通信網絡（如2G/3G/4G/5G）[2]。空間網絡組網方式采用類似地面互聯網的“主干-接入”模式，其包含一張覆蓋全球的主干網以及多張接入網絡。主干網由相對靜止的高軌（GEO）衛星和地面站組成，為各類空間接入網提供全球范圍的互聯服務。接入網是由多顆中軌/低軌（MEO/LEO）衛星組成的獨立衛星系統，如通信、廣播、遙感、導航等衛星系統，其擁有自己的管理系統，獨立地為用戶提供服務。各接入網選出一個或多個衛星作為邊界路由器接入主干網。

圖1 天地一體化信息網絡的總體架構

地面互聯網經過長期快速發展，路由表規模非常龐大，存在大量異常流量，但地面網絡拓撲相對穩定，路由器間鏈路變化頻率是幾小時或幾天發生一次。而空間網絡受衛星運動的影響，其網絡拓撲頻繁但有規律地變化，具體包括動態鏈路連接關系和時變鏈路質量。

1) 動態鏈路連接關系。鏈路連接關系分為接入網與主干網之間的鏈路切換和接入網內部鏈路中斷/連接。① 接入網與主干網間的鏈路切換。受MEO/LEO衛星相對運動的影響，接入網到主干網間的鏈路會被地球大氣層、地球表面較高物體遮擋，使空間鏈路衰減嚴重而主動中斷。當舊鏈路中斷時，接入網重新選擇主干網新的邊界路由器建立連接，鏈路發生切換。鏈路切換頻率達秒級[18-19]。② 接入網內部鏈路中斷/連接主要受工程設計的影響。當2個衛星之間天線夾角或天線旋轉速度達到一定閾值時，為了滿足工程建設需求，會強制中斷對應鏈路。如在極地區域內，“銥星”系統的衛星軌道間的鏈路會因天線旋轉角度過快而中斷。

2) 時變鏈路質量。空間鏈路本質是無線鏈路，通信質量容易受空間環境的影響。空間鏈路質量隨衛星間相對運動而變化，變化特征分為突變型和漸變型。① 突變型鏈路質量變化主要由鏈路連接關系變化導致。當鏈路連接關系發生變化時，舊鏈路斷開或新鏈路建立都會導致鏈路質量發生突變。② 漸變型鏈路質量變化主要由衛星間相對位置緩慢變化導致。衛星相對位置的變化，使鏈路經過的空間環境發生緩慢變化，包括鏈路傳播長度，鏈路傳播的天氣、大氣等空間環境，最終導致鏈路質量發生緩慢變化。

2.2 現有域間協議在天地一體化信息網絡中面臨的挑戰

本節主要定性分析現有互聯網域間協議在天地一體化信息網絡中的工作性能，為后續實驗平臺設計和協議驗證提供基礎。

BGP是現有互聯網中應用最廣泛的域間路由協議，用來實現各獨立網絡的互聯。其通過 eBGP（external border gateway protocol）會話建立網絡間的互聯關系，同時通過路由更新方式向網絡內其他路由器和其他網絡共享路由信息。在天地一體化信息網絡，BGP實現空間網絡中的主干網與各接入網間的互聯，以及空間網絡與地面網絡之間的互聯。同時，為支持域間路由協議工作，需在網間邊界路由器上部署 ARP（address resolution protocol）、ICMP（Internet control message protocol）、ND（neighbor discovery protocol）、TCP（transmission control protocol）等協議，在網內路由器上部署域內路由協議，如 OSPF（open shortest path first）[20]。

2.2.1 空間網絡動態鏈路連接關系的影響

受空間網絡動態鏈路連接關系的影響，BGP不斷改變eBGP會話、觸發路由更新。如圖2所示，當接入網AS1的邊界路由器與主干網邊界路由器間的連接關系發生變化，B0與A0間的eBGP會話將斷開，B0與A2的eBGP會話將重建；同時，A0撤銷AS1的路由前綴信息，A2重新宣告AS1的路由前綴。該路由更新不僅擴散到空間網絡其他接入網中，還將擴散到地面網絡中。同樣，當接入網內的鏈路連接關系發生變化時，域內路由協議會將鏈路變化信息分發到域間路由協議中，進而擴散到全網。

圖2 現有域間協議在天地一體化信息網絡中的工作狀態

空間網絡拓撲頻繁變化，將頻繁觸發 BGP路由更新，甚至導致大量路由更新在其前一個路由更新沒有收斂前被觸發，導致空間網絡和地面網絡不穩定。

2.2.2 空間網絡時變鏈路質量的影響

時變鏈路質量主要影響BGP控制分組的傳輸，包括分組傳輸時延、帶寬、分組丟失率等。為保證協議正常工作，BGP引入了4種關鍵控制分組，包括 open、notification、update、keep-alive等分組[21]。open分組周期性嘗試建立 eBGP會話，notification分組將本端域間協議的工作狀態變化告知鄰居節點，keep-alive分組周期性檢測eBGP會話的通斷，update分組擴散路由更新消息。在地面網上，由于網絡拓撲和eBGP 會話是基本固定的，open消息不需要周期性發送。但在空間網絡中，為實現 eBGP會話隨鏈路變化自動切換，邊界路由器需要利用open消息周期性嘗試與所有可能互聯的鄰居邊界路由器建立eBGP會話。

2.2.3 地面網絡大規模路由表、動態路由信息的影響

地面互聯網存在路由表規模龐大和大量異常路由信息等問題。若將這些網絡信息直接共享到空間網絡中，將使資源受限的衛星難以承受，使天、地互聯效率低。

2.3 協議實驗平臺的研究現狀

目前，針對地面互聯網的協議性能分析，特別是域間協議分析，已有大量研究者開展相關研究。由于地面網絡已經非常成熟且規模非常龐大，難以獲得全部互聯網數據，現有工作往往基于采集到的部分互聯網數據，通過數學建模來分析整個互聯網的協議性能。例如，Liu等[22]使用簡單K-means算法分析2011年日本海嘯對互聯網的影響；Livadariu等[23]在全球629個自治域中部署探測服務器來獲取互聯網數據，分析IPv6 （Internet protocol version 6）網絡的數據平面和控制平面的穩定性。互聯網協議性能分析往往需要大量網絡運營數據，更適合分析已建成的大規模網絡，不太適合建設初期的網絡。

針對空間衛星網絡的協議性能分析，已有工作主要考慮搭建網絡驗證平臺，直接進行協議性能分析。主流的網絡驗證平臺包括：數值仿真平臺、在軌運行衛星驗證系統和地面實驗驗證系統。

1) 數值仿真平臺是最容易部署的實驗工具，如 NS2[3]、Qualnet[4]、Omnet++[5]、Opnet[6]等。但該類工具的協議驗證往往是將網絡協議的行為轉化為一系列離散事件。這嚴重損耗協議驗證的真實性，且隨著網絡規模增大，網絡協議的驗證損耗越嚴重。

2) 在軌衛星驗證系統是最可靠的驗證工具，如思科在軌驗證路由器[7]。然而，衛星發射周期長、耗費大、實驗場景單一，使在軌衛星驗證系統難以滿足系統建設前期復雜多變的實驗驗證，以及難以開展大規模網絡場景的實驗驗證。

3) 地面實驗驗證系統是利用地面網絡設備模擬空間網絡環境，能充分發揮數值仿真平臺和在軌衛星驗證系統的優勢。目前，已有一些簡單場景下的實驗平臺。例如，Dubois等[8]針對DVB-RCS衛星系統（digital video broadcastingreturn channel via satellite）提出了OpenSAND實驗平臺。該平臺主要模擬衛星多波束和多地面站接入，并可通過網關設備接入互聯網。同樣針對DVB-RCS衛星系統，Alphand等[9]提出了一種支持IPv4/IPv6協議的SATIP6 衛星模擬平臺，并重點實現用戶接入和QoS （quality of service）保證的功能模塊。Marchese等[10]提出了一個基于數據分組交換的衛星平臺，其采用中央仿真器（elaboration unit）來模擬衛星支持 IP（Internet protocol）數據分組的轉發。但該衛星系統缺少路由協議部署，主要考慮的是衛星與地面網關之間靜態連接場景。Guo等[11]提出一種 Inter-planet emulator，通過網卡和 Linux的IP堆棧之間的仿真層來模擬空間鏈路質量，其主要考慮靜態鏈路質量的模擬，缺少空間鏈路的時變特性的考慮。Chertov 等[12]提出一個衛星模擬平臺 MSET，模擬衛星和多終端之間的時分多址接入。美國宇航局的Etefia等[13]通過搭建地面實驗床來分析一顆衛星路由器通過域間路由協議 BGP接入多個子網用戶時的性能。其主要考慮多個用戶子網絡接入單顆衛星的情景，如船、飛機接入高軌衛星場景；另外，其實驗場景中的用戶移動規律是隨機設置的，缺少網絡真實動態性的考慮。不同于上述實驗場景（衛星平臺或用戶子網接入場景），天地一體化信息網絡域間協議研究要考慮的網絡場景是各衛星系統間以及空間衛星系統與地面網絡間的域間互聯場景。

本文設計的實驗平臺與上述實驗驗證系統最主要區別是，本文的實驗平臺主要針對空間各衛星系統間互聯及空間衛星系統與地面網絡間互聯的協議驗證場景；現有地面實驗驗證系統主要針對衛星平臺、衛星鏈路或者簡單衛星接入場景。此外，現有實驗驗證系統尚未實現與地面網絡有效互聯，其實驗場景要么將空間網絡當做地面網絡的用戶子網，要么將空間網絡當做與地面網絡隔離的網絡系統而不進行兩者間的互聯。

為驗證天一體化信息網絡的協議性能，特別是數據傳輸的性能，課題組搭建了由 30多臺服務器組成的空間網絡實驗平臺[1]，并通過天地一體化互聯節點實現與真實地面網絡 CERNET2[24]進行主干級的互聯。但構建如此規模、純硬件設備組成的驗證環境，需要的時間周期長、耗資巨大。本文設計了輕量級的域間協議驗證平臺，可供廣大科研人員使用。相比較文獻[1]的實驗環境，本文優勢是低成本、規模大、高管控、易部署和易移植。從技術角度，本文提出的實驗平臺采用具有高管控特性的虛擬網絡技術，使實驗平臺在總體方案設計、空間網絡鏈路特征模擬，以及天地互聯系統設計等方面都具獨特性。

3 天地一體化信息網絡域間協議實驗平臺的設計與實現

為深入驗證現有域間協議在大規模天地一體化信息網絡中的工作性能，本文搭建了高可擴展的協議驗證平臺。

3.1 協議驗證平臺的總體方案

協議驗證平臺的核心設計思想是：利用衛星運動可預測性計算出空間網絡拓撲的動態特征，再將空間網絡動態拓撲實時映射到由虛擬化技術構建的地面靜態網絡中，通過自動編排后者的組網結構來模擬空間網絡，并利用天地互聯系統實現空間網絡與地面網絡之間的融合。另外，為支持多種網絡場景的驗證，本文對協議驗證平臺進行模塊化，使各模塊彼此間協同工作。

圖3為天地一體化信息網絡實驗驗證平臺的總體方案，其中包括空間網絡模擬環境、天地互聯系統、地面網絡及控制平面。各模塊的功能如下。

1) 在控制平面中，用戶可輸入實驗驗證的場景、天地互聯策略。根據用戶的配置參數，實驗系統編排相應的實驗環境、配置天地互聯策略、完成互聯網協議的實驗驗證。

圖3 協議驗證平臺的總體方案

2) 在空間網絡模擬環境中，實驗平臺將根據用戶輸入的實驗場景對空間網絡的拓撲特征進行抽象建模，刻畫出其動態鏈路連接關系和時變鏈路質量。通過聯動機制，再將空間網絡特征參數實時地配置到虛擬網絡設備中，構建空間網絡模擬環境。

3) 天地互聯機制實現空間網絡實驗環境與地面網絡的互聯。同時進行兩者的隔離，屏蔽空間動態特性對地面網絡的影響，以及抑制大量地面網絡路由信息頻繁向空間網絡宣告。

3.2 空間網絡實驗環境

空間網絡實驗環境包含網絡特征仿真器、聯動機制、空間網絡模擬平臺。

3.2.1 網絡特征仿真器

空間網絡特征仿真器主要進行空間拓撲特征建模，抽象出空間網絡的時變特征。本文主要建立STK（satellite tool kit）等衛星工具包[25]和 Matlab聯合構建仿真平臺，其工作流程如圖4所示，主要是根據用戶輸入Matlab的衛星參數（如衛星軌道高度、衛星軌道傾角、衛星升交點赤經、衛星平近點角等），利用STK等數值計算工具，采用牛頓萬有引力定律計算出衛星實時位置，進而計算出動態鏈路連接關系和時變鏈路質量。

鏈路連接關系的計算主要包括以下2個步驟。步驟 1：計算出衛星節點間的可見性關系。可見性關系是構建空間鏈路的基本條件，只有2個衛星節點間具有可見性關系時，衛星間才有可能建立空間鏈路。衛星間可見性關系的判定條件是空間鏈路是否被地球或地球上的障礙物阻擋。步驟 2：計算出鏈路連接關系變化的動態特性。當衛星節點飛離其互聯衛星節點的覆蓋區域時，會斷開與其互聯節點間的舊鏈路，并與其他具有可見性關系的節點建立新鏈路。鏈路連接動態特性主要依賴何時斷開舊鏈路和如何選擇新鏈路的計算。

圖4 空間網絡特征仿真器的工作流程

時變鏈路質量的計算主要利用3個典型的信道模型計算，即C. Loo模型[26]、Corazza模型[27]和Lutz模型[28]。 C. Loo模型用于純空間環境中的鏈路質量計算；Corazza模型和Lutz模型用以計算天氣和地面環境（如村莊、城市等）對星地鏈路質量的影響。鏈路質量可由一些直接影響網絡協議性能的參數來詳細描述，如鏈路延遲，分組丟失率和鏈路帶寬。

3.2.2 聯動機制

該機制的功能包括離散化空間網絡拓撲特征和分發離散后的網絡拓撲。聯動機制采用細粒度的時間片離散化緩慢變化的鏈路質量，即每隔固定時間生成一組的鏈路參數。同時，采用觸發方式離散化突變的鏈路質量，即當鏈路質量突變時直接進行記錄。此外，由于鏈路連接關系變化是離散的，聯動機制直接記錄離散的鏈路連接關系變化。當離散的網絡拓撲所攜帶的時間信息到達時，聯動機制通過集中控制器向各空間網絡模擬平臺的各節點分發拓撲信息。分發方式采用多線程并行方式，保證各空間網絡模擬節點幾乎同時收到信息。

3.2.3 空間網絡模擬平臺

空間網絡模擬平臺根據聯動機制發送的拓撲信息自動模擬動態空間網絡、部署網絡協議、輸出協議驗證結果。空間網絡模擬平臺的邏輯結構如圖5所示，包括實驗參數輸入模塊、網絡模擬模塊和實驗結果輸出模塊。

1) 實驗參數輸入模塊

該模塊通過建立與聯動機制之間通信管道，周期性接收聯動機制發送的鏈路連接關系和時變鏈路質量信息，再通過函數調用將接收的信息傳遞到空間網絡模擬模塊中。實驗參數傳遞過程是采用進程間管道模式和系統調用方式實現的。該實現方式是非常輕量級的，信息傳遞通信時延幾乎可以忽略。

圖5 空間網絡模擬平臺的邏輯結構

2) 網絡模擬模塊

該模塊利用開源虛擬化軟件Mininet和開源路由軟件 Quagga[29]構建虛擬網絡設備。網絡模擬模塊由大量虛擬路由器、虛擬網卡、虛擬鏈路和虛擬交換機組成。每個虛擬路由器相當于物理路由器的鏡像，彼此獨立運行，擁有普通路由器的幾乎所有功能。虛擬網卡、虛擬鏈路及虛擬交換機用來互聯虛擬路由器。主干網和接入網絡內部的虛擬路由器間采用靜態虛擬鏈路進行互聯。為便于模擬接入網絡與主干網之間的鏈路切換，采用虛擬交換機來互聯接入網與主干網之間的虛擬邊界路由器。每個主干網虛擬邊界路由器連接交換機的接口被分配不同網段地址，以實現虛擬邊界路由器間隔離。同時，接入網虛擬邊界路由器連接交換機的接口將根據其關聯主干網邊界路由器的接口地址進行分配，保證主干網和接入網間的2個虛擬邊界路由器接口地址在同一個網段內。

系統啟動時，空間網絡模擬平臺根據初始網絡拓撲和協議配置信息調用系統命令自動創建虛擬路由器、虛擬網卡、虛擬鏈路及虛擬交換機，并建立虛擬路由器間互聯關系和啟動相應的網絡協議。

系統自動運行時，每個虛擬路由器根據接收的輸入參數進行不同操作。

① 當收到時變鏈路質量的消息時，其調用虛擬網卡的流控機制，配置相應虛擬網卡出口流量的帶寬、排隊時間及分組丟失率，來模擬空間網絡鏈路的帶寬、時延及分組丟失。對于主干網或接入網內部鏈路（圖 5中實線表示），通過不斷配置虛擬路由器上的虛擬網卡來實現域內鏈路質量模擬。對于主干網和接入網之間的鏈路，通過配置交換機的虛擬網卡來模擬網間鏈路質量；同時，保證交換機與主干網之間鏈路質量不受限（鏈路帶寬為足夠大，鏈路時延為0，分組丟失率為0），即不影響多個接入網虛擬邊界路由器同時接入到同一個主干網虛擬邊界路由器的鏈路質量。

② 當收到主干網或接入網內部鏈路連接關系的變化信息時，虛擬路由器通過改變虛擬接口up/down來實現鏈路通斷的模擬。

③ 當收到主干網和接入網之間的鏈路切換信息時，通過改變接入網虛擬邊界路由器的接口地址來實現鏈路切換。例如，當圖5中的D0與A0斷開連接并與A4建立連接時，D0將刪掉對應A0的接口地址，并根據 A4的接口地址配置新接口地址和配置D0默認網關為A4，使D0和A4的2個接口在同一個網段。

④ 當收到網絡協議配置的信息時，虛擬路由器通過部署在虛擬路由器上的腳本與網絡協議進行交互，動態修改網絡協議配置。

3) 實驗結果輸出模塊

該模塊通過在各虛擬路由器上部署自動化運行的腳本來實時獲取實驗結果，包括部署周期性調用Linux系統命令的腳本來獲取路由表信息、路由器內存、CPU（central processing unit），以及捕獲網絡協議的控制分組。

3.3 天、地互聯機制

天、地互聯機制用于實現空間網絡模擬環境與地面網絡之間的互聯和隔離，其工作原理如圖6所示。圖中虛線右側主要為控制平面協議，左側主要為數據平面協議，箭頭表示模塊間的依賴/調用關系。通過 BGP協議實現模擬地面網絡和空間網絡模擬平臺間的互聯。同時，采用路由更新抑制機制和路由表壓縮機制在路由發布、路由引入、分組出入等方面進行策略管控。

圖6 天地互聯系統的工作原理

首先，BGP采用eBGP會話建立空間網絡模擬環境與地面網絡之間的互聯關系。天、地網絡間通過共享域間路由信息，實現彼此間網絡層融合。

然后，引入路由更新抑制機制和路由表壓縮機制來實現空間網絡實驗環境和地面網絡之間的隔離。空間網絡拓撲頻繁變化可能頻繁觸發全網絡路由更新，進而擴散至地面網絡，影響地面網絡穩定性。為抑制空間網絡頻繁路由更新，天地互聯系統可通過配置訪問控制列表（ACL, access control list）策略實現路由更新的抑制。同時，為了避免地面網絡的大規模路由信息沖擊空間網絡模擬環境，天、地互聯系統支持通過配置 ACL和路由策略將地面網絡宣告的多條路由前綴聚合成一個路由前綴。路由更新抑制機制和路由表壓縮機制可根據實驗驗證需求進行配置。

3.4 地面網絡

考慮到接入真實地面網絡的條件苛刻、代價高昂，實驗開展受地面網絡安全策略限制，許多實驗難以開展。本文利用虛擬路由器來模擬地面互聯網。通過腳本將地面網絡核心路由器的歷史路由信息[30]實時配置到虛擬路由器中，控制該虛擬路由器按照地面網絡核心路由器的歷史行為進行工作，實現地面網絡的模擬。該模擬過程可分為以下兩步。

第一步，實驗開始前，將實驗初始時刻的地面網絡核心路由器的路由表寫入虛擬路由器。虛擬路由器再將收到的地面網絡路由表信息向天、地互聯系統分發，進而擴散到每個空間路由器。

第二步，實驗自動運行過程，虛擬路由器將根據地面網絡核心路由器的歷史路由信息向空間網絡進行路由信息宣告或撤銷。如果地面網絡核心路由器的歷史路由信息表明要撤銷某條路由前綴，則虛擬路由器向天、地互聯系統發布相應路由前綴的路由撤銷分組；如果地面網絡核心路由器的歷史路由信息表明要宣告某條新的路由前綴，則虛擬路由器向天、地互聯系統發布相應路由前綴的路由宣告分組。虛擬路由器發布的路由撤銷或宣告分組將通過天、地互聯系統擴散到空間網絡，進而在空間網絡內部擴散。

4 協議實驗平臺的能力分析

協議實驗平臺能力分析是對實驗平臺支持的互聯網協議種類和網絡規模進行評估。

在協議實驗平臺中，虛擬路由器不僅包含傳統路由器中常用各類路由協議，還包含操作系統內核中的各層互聯協議，即虛擬路由器支持從網絡層到應用層各類 IPv4/IPv6互聯網協議的驗證，包括：網絡層 ICMP、ND、ARP、BGP[21]、OSPF[20]；傳輸層 TCP、UDP（user datagram protocol）、MPTCP（MultiPath TCP）[31]；應用層 HTTP（hypertext transfer protocol）、FTP（file transfer protocol）、SSH（secure shell）。

該實驗平臺支持的網絡規模可能受限于所使用服務器的內存和CPU。由于內存比較便宜、易擴展，內存資源可認為相對寬裕，而服務器 CPU限制著所有虛擬設備的總處理能力。對于不同網絡協議的驗證，服務器CPU限制表現有所不同。

1) 對應網絡層協議的驗證，服務器CPU資源可認為是無限制的，這主要由于網絡層協議傳遞消息主要是控制分組，分組處理消耗的 CPU資源相對地面服務器處理能力是非常小的。

2) 對于傳輸層協議而言，服務器CPU可能成為網絡規模的瓶頸。因為傳輸協議可能傳遞大量用戶數據，這會消耗服務器 CPU資源。一般而言，要求所有虛擬路由器瞬時帶寬的總和不大于服務器網卡總速率。對于域間協議依賴的TCP傳輸協議而言，傳輸域間協議的控制消息數據分組小，流量短，所消耗CPU資源有限。根據先前實驗結果[18]，在1 Gbit/s網絡處理的計算機上，驗證平臺可支持232個虛擬路由器以1 Mbit/s（Iridium Next提供的最大數據服務速率[32]，BGP控制分組傳輸速率遠小于此值）轉發分組。

總之，實驗平臺可支持現有域間協議及其所依賴的網絡層各類協議以及傳輸層TCP等協議，滿足現有域間協議在大規模場景下的實驗驗證。

5 天地一體化信息網絡域間協議性能驗證

5.1 天地一體化信息網絡實驗環境搭建

針對天地一體化信息網絡中不同層次衛星系統（如圖1所示），本文從在軌運行的Inmarsat系統中選出4顆GEO衛星，從在軌運行的Globalstar系統[33]中選出 15個地面站，構成主干網的邊界路由器。考慮到天地一體化信息網絡是逐步建成的，本文實驗給出了5種不同網絡規模的場景，保持主干網節點數量不變下，LEO類型接入網數依次為12、24、32、48、60，MEO類型接入網數依次為2、4、8、12、16、20（每個接入網選擇一個衛星作為邊界路由器）。

接入網與主干網邊界路由器間部署域間路由協議 BGP實現系統間路由信息共享，主干網內部部署OSPF實現域內路由學習，并部署域間協議依賴的網絡協議，如ARP、ICMP、TCP等。

實驗部署在一臺8 GB內存、1 Gbit/s轉發能力的ThinkPad T450，并隨機選取真實運行10 800 s的實驗數據進行分析，對域間協議在空間網絡中天地融合時的工作性能進行分析。

5.2 域間協議在空間網絡中的性能分析

本文選取幾個域間協議性能評價的關鍵指標，分別為協議分組開銷、路由收斂時間、網絡穩定性。其中，網絡穩定性定義為在實驗周期內所有路由器的路由信息與真實網絡拓撲保持一致的時間與實驗周期的比值。

1) 分組開銷

協議分組是域間路由協議的控制消息。圖7 顯示了open、notification、update、keep-alive等控制分組數量隨網絡規模的變化情況。隨著網絡規模增加，各分組數量快速增加。其中，update分組數量變化最大，增加了80倍；open和keep-alive消息占比最大，最大值分別為1 470 501條和183 936條。控制分組數量急劇增加，意味著域間協議在實際部署時將消耗大量的衛星資源。update分組數量對應著網絡拓撲變化頻率；keep-alive分組和open分組都是周期性發送的消息，發送間隔影響著控制分組的數量和重建網絡間互聯的時延。如何結合空間鏈路的廣播特性、拓撲變化可預測特性，在快速重建網絡間互聯關系的同時減少控制分組數量，成為一個關鍵問題。

圖7 不同場景下的各類分組開銷

2) 路由收斂時間和網絡穩定性

圖8顯示，隨著網絡拓撲增加，路由收斂時間發生緩慢變化，但網絡穩定性快速下降。這主要因為大多數路由更新的收斂時間（約40 s）大于路由更新的觸發間隔（在10 800 s的實驗時間內發生456次路由更新，路由更新的平均間隔為23.6 s），大量路由更新將在其前一個路由更新未收斂前被觸發，使全網的路由更新長時間無法收斂。此時，大量接入網將因缺少有效路由而無法互聯。

圖8 不同場景下的路由收斂時間和網絡穩定性

5.3 域間協議在天地互聯時的性能分析

5.3.1 空間網絡對地面網絡的影響

圖9給出了不同網絡場景下空間網絡對地面網絡的影響。從圖中可看出，隨著網絡規模增加，地面網絡收到來自空間網絡的路由更新分組數量會快速增加。同時，地面網絡將啟動自我防護措施，常用RFD（route flap damping）機制[34]，通過抑制空間網絡路由信息來拒絕相應空間接入網的互聯。

圖9 不同場景下空間網絡對地面網絡的影響

圖10給出了大規模場景下（4個GEO、15個地面站、60個LEO接入網、20個MEO接入網），各空間接入網被地面網絡拒絕互聯的時間。從圖10中可以看出，有28.7%的接入網路由信息被抑制超過0.5 h。在一些極端情況下，一些接入網路由信息被抑制超過1.5 h，約為實驗時間的50%。這主要因為這些接入網頻繁進行路由更新和撤銷，互聯網認為其是很不穩定的，進而多次延長其抑制時間。

圖10 大規模場景下各接入網路由信息被抑制的時間

5.3.2 地面網絡對空間網絡的影響

本節重點分析地面網絡路由信息變化對空間網絡的影響。相比空間網絡，地面網絡的主要特點是路由表規模龐大、路由前綴受網絡異常的影響會頻繁撤銷和宣告。地面網絡路由前綴頻繁變化不同于空間網絡頻繁路由更新，前者是接入網的某些路由信息因網絡異常而發生的變化，后者是接入網的全部路由信息受網絡拓撲變化影響而發生的變化。

實驗選取位于倫敦的互聯網交換節點[30]的域間路由信息來模擬地面互聯網。該互聯網交換節點為780個互聯網服務供應商提供彼此間的互聯服務，并間接互聯全球網絡。實驗選取了衛星上存儲消耗、路由更新分組數量、路由更新收斂時間這3個指標分別分析路由表規模和路由前綴變化對空間網絡的影響。同時通過限制地面網絡向空間網絡宣告的路由前綴最大長度，來壓縮地面互聯網路由表規模和路由抑制路由前綴，即只允許前綴長度小于最大長度的路由信息向空間網絡宣告。實驗分別限制向空間網絡宣告路由前綴的最大長度為8、16、20、24、32，開展多組實驗。

圖 11顯示，隨著允許向空間網絡宣告的網絡前綴最大長度的增加，空間網絡收到的地面網絡路由更新數量不斷增加，最后達到811條，比地面網絡收到的空間網絡路由更新分組數量（685條）還多了126條。另外，路由表開銷先增加后不變，最大達6.36 MB。這對資源受限衛星而言，是一個極大的存儲開銷。需要注意到，在路由前綴長度小于或等于16或者大于或等于24范圍內時，路由更新數量和路由表開銷基本不變。這是因為地面核心網絡上僅有少量路由信息其前綴長度處于該范圍內。

圖11 不同場景下的地面網絡對空間網絡的影響

圖 12詳細顯示了在不限制地面網絡向空間網絡宣告路由前綴（允許向空間網絡宣告的路由前綴長度小于或等于32）時，每次地面網絡路由更新在空間網絡中的路由收斂時間處于0～60 s范圍內，平均收斂時間為52.6 s。其中，少量路由更新的收斂時間為小于1 s，這類路由更新主要用以撤銷地面網絡路由信息，而其他路由更新是用以重新宣告地面網絡路由信息。

圖12 地面網絡路由信息在空間網絡中的收斂時間

6 結束語

域間協議是快速實現天地一體化信息網絡中多種衛星系統及天、地異構網絡間互聯的關鍵。本文提出了大規模、可擴展天地一體化信息網絡實驗驗證平臺，旨在測試現有域間協議在大規模天地一體化信息網絡中的性能。實驗驗證平臺采用虛擬網絡技術，利用少量物理設備高效模擬大規模、高動態空間網絡，具有低成本、高管控、易部署、易移植等特色。目前，該實驗驗證平臺可支持包含數百衛星節點的網絡規模下的域間協議驗證。

本文進一步開展天地一體化網絡域間協議實驗驗證。實驗發現，現有域間協議雖能快速實現空間各衛星系統間以及天、地網絡間互聯，但頻繁變化的空間網絡拓撲會觸發域間協議產生大量控制消息，頻繁進行路由更新，使整個空間網絡無法收斂，引起地面網絡不穩定，甚至導致地面網絡拒絕空間網絡的互聯。

未來，考慮將該協議驗證平臺與真實地面互聯網CERNET2進行互聯來擴展實驗范圍，以及考慮引入更多硬件設備來增強驗證平臺中的虛擬設備轉發能力，為域間協議優化提供可靠實驗依據。同時，根據空間網絡動態特性，開展協議優化工作，包括利用空間鏈路的廣播特性減少控制消息數量，利用空間拓撲變化的可預測性減少不必要的路由更新，利用天、地網絡特征設計天地網間的有效融合機制。