面向天地一體化信息網絡的動態聯動仿真技術

李乾治，王曉鋒，劉淵，葉海洋

（1.江南大學物聯網工程學院，無錫 214122；2.江南大學數字媒體學院，無錫 214122）

0 引言

隨著航天技術的發展，實現全球信息共享，特別是天地網絡融合的天地一體化信息網絡引起全球的廣泛關注[1-3]。空間網絡覆蓋面廣、組網靈活、不受地理環境限制，與地面網絡相互補充，實現天地信息共享是未來一體化網絡發展的目標。作為具有戰略意義的國家信息基礎設施，天地一體化信息網絡對于維護國家利益、促進經濟發展具有重大意義[4]。

天地一體化信息網絡由地基節點網、地面互聯網、天基骨干網、天基接入網、、移動通信網等多種異構網絡互聯融合而成，其網絡規模龐大、結構復雜、高度動態，技術體制多樣，解決大量技術難點耗時耗資巨大，因此，需要建立天地一體化信息網絡仿真實驗平臺，對各類新技術與安全防御策略進行試驗驗證[5-6]。伴隨著云計算、虛擬化、SDN等的技術發展，基于虛擬化的網絡仿真技術成為當前的主流[7-8]。基于虛擬化技術的天地一體化信息網絡仿真也得到了一定的研究[9-12]，可構建具有天地一體化衛星鏈路特性的仿真網絡。

有別于傳統網絡，天地一體化信息網絡的顯著特征是高度動態變化[4]，包括衛星軌道與姿態等實時變化等。文獻[9-12]通過衛星鏈路特性參數事先計算與設置，可實現衛星鏈路特性的仿真，但難以應對天地一體化信息網絡的動態變化。

針對上述問題，本文基于OpenStack云平臺[13]與衛星工具包 STK（Satellite Tool Kit）[14]，提出了一種面向天地一體化信息網絡的動態聯動仿真方法。該方法使用衛星工具包STK構建基于理論計算的衛星模型網絡，使用OpenStack構建基于云平臺的衛星仿真網絡，并研究了衛星模型網絡與衛星仿真網絡的動態聯動技術。動態聯動技術綜合了STK的衛星理論模型實時精確計算優勢與OpenStack云平臺（融合了虛擬化技術與SDN技術）的衛星鏈路仿真的高吞吐量與靈活切換優勢。一方面，通過衛星模型網絡實時精確測算各種衛星鏈路的特性參數，并將上述參數實時加載到衛星仿真網絡中，可實時仿真出具有衛星鏈路動態特性的天地一體化網絡；另一方面，當天地一體化信息網絡出現動態變化時（例如衛星軌道與姿態調整等），衛星仿真網絡可將動態變化加載到衛星模型網絡中，觸發其進一步實時計算并將動態結果傳導到衛星仿真網絡中，從而實現了天地一體化信息網絡的動態變化仿真。

1 相關工作

天地一體化信息網絡仿真與模擬的相關研究主要集中于面向衛星網絡的數學模型、基于離散事件模擬的衛星網絡數字仿真以及基于虛擬化的衛星網絡仿真3個方面：

（1）面向衛星網絡的數學模型

STK[14]是進行衛星各種性能分析的軟件包，在衛星網絡建模和分析方面具有優勢，可用于新理論模型的驗證[15]，航天器三維模型動畫演示[16]，衛星覆蓋測算[17]，以及衛星軌道機動結果評估[18]，但STK僅僅計算理論參數，并不能仿真實際協議與業務流量。

（2）基于離散事件模擬的衛星網絡數字仿真

基于離散事件模擬（Discrete Event Simulation）技術的數字仿真被廣泛應用于新型衛星網絡技術評測與驗證中。文獻[19]基于NS2模擬了衛星鏈路，并用于Abis接口的性能評估；文獻[20]基于OPNET模擬了MPLS衛星網絡，并用于評測服務質量；文獻[21]對天地一體化信息網絡中的“星-地”鏈路進行了建模，并基于OMNeT++軟件進行了特性仿真；文獻[22]基于離散事件模擬技術仿真了“星-地”混合網絡，并用于分析吞吐量、延遲與誤碼率等方面的性能。基于離散事件模擬的衛星網絡數字仿真，可以構建復雜的衛星網絡場景，并分析復雜網絡的性能，且具有成本低、可擴展性高的優點，但數字仿真并不具備加載真實業務系統與流量的能力，在仿真逼真性上具有一定的局限性。

（3）基于虛擬化的衛星網絡仿真

基于虛擬化、SDN等技術，可保證業務系統與流量的逼真性，并具有仿真規模的可擴展、仿真網絡可靈活構建等優勢，因此成為了天地一體化信息網絡的主流技術。

文獻[11]基于云計算平臺設計并實現了面向延時容忍網絡（Delay Tolerant Networks，DTN）的仿真平臺EmuStack，通過使用輕量級虛擬化技術提升了仿真規模，使用流量控制工具 TC（Traffic Control）對“星-地”鏈路的延時、通斷及丟包率進行了仿真；文獻[8]基于網絡功能虛擬化的思想，借助于KVM全虛擬化技術與SDN技術，設計了虛擬路由器、虛擬交換機、虛擬鏈路等組件，并通過研究符合衛星網絡、DTN網絡特性參數的處理組件，實現了對傳統互聯網、DTN網絡、衛星鏈路的仿真；文獻[9-10]基于云計算平臺設計并實現了天地一體化衛星網絡仿真場景，并重點研究了面向衛星鏈路性能特性（如帶寬、延遲及誤碼率等）的仿真技術；文獻[12]設計并實現了一種DTN網絡的測試平臺TUNIE，利用虛擬化技術與SDN技術來仿真DTN環境，通過控制數據傳輸來實現衛星鏈路時變比特率、誤碼率以及傳輸延遲的仿真。

文獻[8-12]的工作重點是基于虛擬化實現衛星鏈路性能特性的仿真，但所提的仿真方法僅僅是預先設置了仿真場景，并通過STK等工具對衛星鏈路特性參數事先計算與靜態設置[9-11]，因此，不能滿足天地一體化信息網絡的高度動態變化的仿真需求。

2 面向天地一體化信息網絡的動態聯動仿真架構

2.1 動態聯動仿真設計思路

STK的衛星網絡計算模型能夠有效刻畫網絡拓撲、鏈路特性等動態特性及衛星在軌運行、軌道機動、姿態變更等場景，可以準確分析復雜網絡的性能和行為，且具有成本低、管理簡單、可擴展性高的優點，但并不能仿真實際協議與業務流量。云平臺OpenStack融合了虛擬化、SDN等技術，基于OpenStack的網絡仿真，不僅能夠運行真實業務流量，而且仿真結果具有較高逼真度和可擴展性，但OpenStack缺乏相關的衛星網絡計算模型支持。為此，有必要綜合STK與云平臺兩者的優勢，研究兩者融合的天地一體化信息網絡仿真方法。

考慮到天地一體化信息網絡的高度動態變化，如何無縫融合STK與云平臺，實現衛星軌道機動、衛星姿態變化等場景的實時仿真是關鍵。為此本文提出了面向天地一體化信息網絡的動態聯動仿真方法，其基本思路如圖1所示。

圖1 動態聯動仿真設計思路

如圖1所示，動態聯動仿真設計思路是實現衛星模型網絡與衛星仿真網絡的動態聯動。衛星模型網絡由STK生成，包含了組成天地一體化信息網絡的各種要素，如天基骨干衛星、低軌衛星星座、各種航天器等，STK融合了衛星軌道模型、大氣吸收模型、雨衰模型及衛星通信信道模型等，可對天地一體化信息網絡的衛星軌道要素、衛星接收機天線、發射機天線參數及衛星通信品質等參數進行動態計算。衛星仿真網絡由云平臺OpenStack生成，主要是基于全虛擬化技術與輕量級虛擬化技術，構建天基骨干衛星、低軌衛星星座、各種航天器等虛擬化仿真單元，并基于SDN技術，構建虛擬化仿真單元間的基礎連接關系，形成了與衛星模型網絡對應的衛星仿真網絡。衛星模型網絡主要是用途是進行天地一體化信息網絡中各種參數的動態計算，衛星仿真網絡是天地一體化信息網絡的具體復現，是真正展開天地一體化信息網絡新技術驗證的環境。

衛星網絡特征參數處理與描述主要將衛星模型網絡中的星間可見性、衛星鏈路長度、衛星鏈路通信品質等參數，實時轉化為可實際進行虛擬化仿真的通斷性、鏈路延時、鏈路誤碼率等參數。衛星網絡特征參數差異化仿真主要使云平臺能夠逼真仿真出鏈路間歇性、延時及誤碼率等衛星鏈路動態特性。衛星網絡特征參數處理與描述方法以及衛星網絡特征參數差異化仿真主要采用文獻[9-10]中所提技術，這里不再贅述。

衛星網絡特征參數正向動態控制主要將衛星模型網絡計算獲得的天地一體化信息網絡中的各類衛星鏈路的通斷性、鏈路延時、鏈路誤碼率等參數實時加載到衛星仿真網絡中，借助于衛星網絡特征參數差異化仿真，實現衛星仿真網絡的各類參數的實時動態仿真。衛星網絡特征參數正向動態控制在第4節會重點展開介紹。

面向STK計算模型的反向實時調控主要監測衛星仿真網絡出現的各種可能動態變化（例如通信鏈路、飛行器軌道、衛星軌道、衛星姿態等），并將相應變化實時反饋到衛星模型網絡中，通過進一步實時計算并將動態結果傳導到衛星仿真網絡中，實現基于云平臺的天地一體化信息網絡的動態變化仿真。面向STK計算模型的反向實時調控在第5節會重點展開介紹。

2.2 動態聯動仿真體系架構

面向天地一體化信息網絡的動態聯動仿真體系架構融合了OpenStack云平臺分布式架構以及通過STKX接口實現的STK場景管控系統。如圖2所示，主要分為STK衛星模型計算節點及OpenStack云平臺兩部分，其中OpenStack云平臺主要包括控制節點、網絡節點、若干計算節點。所有節點均采用網絡時間同步協議NTP，選取控制節點時間作為統一時間參考，以保證各節點間的同步性與實時性。

圖2 天地一體化衛星網絡動態聯動仿真架構

STK衛星模型計算節點負責整個仿真平臺的數據層面，為OpenStack云平臺提供衛星網絡仿真源數據；OpenStack云平臺負責整個仿真平臺的控制層面，接收到仿真數據后，實時動態控制天地一體化仿真網絡拓撲及衛星仿真鏈路的鏈路特性，保持衛星仿真網絡與STK衛星模型網絡拓撲與鏈路特性的動態聯動。

天地一體化信息網絡由地基節點網、地面互聯網、天基骨干網、天基接入網、移動通信網等多種異構網絡互聯融合而成。天地一體化網絡高性能仿真架構采用多尺度融合仿真思想，融合全虛擬化技術KVM及輕量級虛擬化技術Docker，結合低軌與高軌衛星節點自身特性，采用不同的虛擬化技術，不僅提高了仿真性能還能避免物理資源浪費。高軌骨干衛星、信關站節點采用全虛擬化技術進行仿真，能夠滿足天基骨干衛星鏈路高通量需求；天基接入網節點則采用輕量級虛擬化技術進行仿真，能夠滿足天基接入節點快速轉發需求。基于圖2，天地一體化衛星網絡動態聯動仿真總體工作流程如下（圖中步驟1至步驟5）：

步驟1.首先STK場景管控系統利用STKX接口初始化與STK的連接；

步驟2.STK場景管控系統加載STK場景文件，并設定STK中仿真場景相關參數，主要包括STK場景星歷時間、雨衰模型及大氣吸收模型、場景運行步長等參數；借助STK中3D模型與2D地圖模型中的衛星網絡拓撲生成相應衛星場景的拓撲描述文件；利用STK中的計算模型進行鏈路計算分析，根據對對象間可見性建模計算出衛星鏈路通斷，根據對鏈路距離建模計算出衛星鏈路延時，根據對衛星對象接收機、發射機建模計算出衛星鏈路誤碼率；

步驟3.通過STK衛星模型計算節點與云平臺接口，推送衛星網絡拓撲描述文件，且按一定時間步長向云平臺上的計算節點實時推送衛星鏈路仿真源數據；

步驟4.衛星網絡拓撲聯動模塊負責解析拓撲描述文件，解析信息包括節點信息及網段信息，節點信息主要包括節點類型、節點大小、衛星鏡像類型；網段信息包括網絡名、網絡子網；

步驟5.衛星網絡聯動仿真模塊負責動態、實時控制云平臺中衛星鏈路特性，主要包括鏈路通斷、延時、延時抖動、數據分組丟失率及帶寬等。

步驟6.反向實時調控模塊負責實時監控仿真網絡中地面站針對衛星的調控指令，包括軌道機動、姿態調控、太陽帆板閉合等動態參數，虛擬衛星節點將調控指令發送到計算模型的反向調控模塊，并且指令將被發送到STK模擬節點中的MATLAB上，由MATLAB遠程控制STK對計算模型中相對應的衛星軌道參數、太陽能帆板形態或者衛星姿態的調整。

3 衛星網絡特征參數正向動態控制

天地一體化衛星網絡中，衛星鏈路特性多樣且具有時變性，仿真過程中對時變性要求最高的即為鏈路延時，原因在于衛星一直處于不斷運動中，衛星間鏈路長度也在時刻變化。為此，重點介紹鏈路延遲參數的正向動態控制過程，其他參數的正向動態控制過程類似。

3.1 鏈路延遲參數的正向動態控制

面向鏈路延遲參數的正向動態控制過程仿真流程如圖3所示。主要步驟如下：

步驟1.鏈路延遲參數的正向動態控制驅動引擎首先初始化與STK連接。

步驟2.完成初始化后驅動引擎開始工作，獲取當前時刻時間T。

步驟3.驅動引擎利用MATLAB并行計算優勢，使用STK接口函數stkAccReport獲取當前時刻T下衛星計算模型當中衛星鏈路長度。

步驟4.根據衛星鏈路長度計算鏈路延時數據。

步驟5.驅動引擎將鏈路兩端衛星名、延時數據封裝成XML格式的延時報告，具體格式見圖3，并將該報告上傳至云平臺。

步驟6.云平臺解析延時報告，獲取鏈路兩端衛星名、延時數據，根據衛星名匹配到相應的虛擬衛星鏈路，并行配置每條虛擬衛星鏈路延時。

圖3 面向鏈路延遲參數的正向動態控制

3.2 衛星仿真網絡鏈路延時并行動態仿真

在衛星仿真網絡部署完成之后，對于仿真節點及仿真拓撲信息，都將保存進數據庫，關鍵信息包括衛星名、實例名、網段名等，關鍵屬性表如表1所示。

表1 拓撲信息庫屬性表

云平臺解析延時驅動引擎上傳的XML格式的延時數據報告，將報告信息下發給圖2中鏈路延時聯動模塊，主要包括發送方衛星名、接收方衛星名以及延時數據，延時動態聯動流程如下：

步驟1.查詢拓撲信息庫，根據發送方衛星名sate_src與接收方衛星名sate_dst，確定鏈路網段名net；

步驟2.根據鏈路網段名，確定云平臺上發送方衛星sate_src的實例名Ins_name；

步驟3.根據鏈路網段名，確定云平臺上發送方衛星sate_src與接收方衛星sate_dst相連接的網卡MAC地址；

步驟 4.調用 Libvirt API，根據 Ins_name與 MAC地址，獲取發送方衛星sate_src在OVS上的虛擬網卡tap設備；

步驟5.在發送方衛星節點sate_src所在的計算節點上，使用TC流量限制策略在tap上建立網卡規則，若此前規則為空則直接建立netem隊列規則；若已存在則直接覆蓋當前規則。

4 面向STK計算模型的反向實時調控

實時仿真過程中，不同的衛星仿真行為往往導致對衛星模型網絡中的通信鏈路、飛行器軌道、衛星軌道、衛星姿態等參數出現不可預料的調整，為此，面向衛星虛擬網絡，通過實時監控仿真網絡中地面站針對衛星的調控指令，包括軌道機動、姿態調控、太陽帆板閉合等動態參數，研究實時狀態監控驅動的反饋技術，將上述變化反饋到衛星模型網絡中，通過進一步實時計算并將動態結果傳導到衛星仿真網絡中，實現基于云平臺的天地一體化信息網絡的動態變化仿真。

4.1 面向STK計算模型的反向實時調控流程

圖4詳細描述了面向STK計算模型的反向實時調控流程。OpenStack云計算平臺上的虛擬地面站節點能夠向虛擬衛星節點發送命令，要求衛星進行軌道機動操作、調整衛星姿態或太陽能帆板（形態控制）。在接收到命令后，虛擬衛星節點將調控指令發送到計算模型的反向調控模塊，然后調控指令將被發送到STK模擬節點中的MATLAB上，由MATLAB通過功能函數stkSetPropClassical、stkSetAttitudeCBI、AddArticlation 分別控制STK對計算模型中相對應的衛星軌道參數、衛星姿態和太陽能帆板（形態控制）進行調整。此外，天地一體化衛星仿真網絡中相應虛擬衛星鏈路的鏈路特性也將發生變化。

圖4 面向STK計算模型的反向實時調控流程

表2 衛星軌道參數

4.2 衛星三維模型的建立

逼真的三維模型對于提高系統的仿真效果，增強仿真可信度具有關鍵作用。衛星三維模型如圖5所示，基本圖元包括圓柱形、多邊形以及球形等。由基本圖元組成太陽能帆板、衛星天線等局部模型，再由局部模型共同構成衛星三維模型。衛星三維模型腳本是一個倒置的樹狀結構，每個圖元組件都需要一個父物體，衛星模型為所有組件的父物體。

圖5 衛星三維模型示例

5 實驗結果分析

5.1 天地一體化信息網絡場景

所構建的天地一體化信息網絡場景由天基接入網絡、天基骨干網絡以及地面網絡組成。天基接入網絡由120顆LEO衛星組成，天基骨干網絡由6顆GEO衛星組成。地面用戶可以通過天基接入網絡連接到天地一體化網絡，從而獲得衛星電話等服務。天基骨干網絡負責長途通信和信息交換。

天基接入網和天基骨干網的設計目標如下：天基骨干網絡能夠提供全球覆蓋，且能夠為我國提供不間斷連接服務；天基接入網能覆蓋中國及周邊地區，地面用戶易于從全球任何地方連接進天基接入網，包括高緯度地區。

圖6和圖7展示的分別是天地一體化網絡的全局和部分場景，衛星軌道參數如表2所示。場景方案主要包括120顆低軌道LEO衛星、6顆高軌道GEO衛星。低軌道LEO衛星分為12個軌道平面，每個軌道面10顆衛星，GEO星座分布在一個軌道面，負責為地面寬帶用戶接入衛星接入天基骨干網絡，為用戶提供網頁瀏覽、Ftp上傳下載、Email郵件以及即時通訊等寬帶服務，低軌道LEO衛星星座為地面用戶提供注冊、通話、短信等服務。

圖6 天地一體化信息網絡整體場景

圖7 天地一體化信息網絡局部場景

5.2 仿真場景的軟硬件環境

基于OpenStack Mitaka版本、STK11及MATLAB 2013a搭建了本文提出的天地一體化信息網絡的動態聯動系統，用于仿真5.1節中的天地一體化信息網絡場景，并進行相關的實驗驗證。

實驗所采用的計算資源為2臺機架式服務器，分別為計算節點1與計算節點2組成，如圖8所示。計算節點1采用Dell PowerEdge R830機架式服務器，處理器為Intel Xeon E5-4620 v4*2，內存64G；計算節點2采用Dell PowerEdge R730 2U機架式服務器，處理器為Intel Xeon CPU E5-2620 v3*2，內存 16G。OpenStack平臺的物理服務器，包括計算節點、控制節點與網絡節點均通過以太網交換機互連，操作系統均為Centos 7.2。

天地一體化仿真網絡拓撲部署情況如圖8所示，衛星網絡主要由天基接入網和天基骨干網組成。其中，120顆天基接入網衛星節點部署在計算節點1，衛星分布在12個軌道面，每個軌道面10顆衛星；6顆天基骨干網衛星節點部署在計算節點2上，衛星分布在同一軌道，呈雙環結構，臨近衛星節點互相備份。二層交換機負責天基接入網、天基骨干網內部通信，跨計算節點通信則通過Open vSwitch交換機，連接至物理交換機，實現天基接入網與天基骨干網的互聯互通。

圖8 天地一體化信息網絡仿真場景部署

5.3 衛星鏈路延時動態聯動仿真測試

在STK計算模型中構建圖8中的天地一體化衛星網絡場景。其中衛星網絡中的衛星鏈路主要分為兩類：一類是相同高度軌道星間ISL類型鏈路，包括軌道內鏈路及軌道間鏈路，另一類是不同高度軌道間IOL類型鏈路。星歷周期設置為16 Jan 2020 00:00:00.000到17 Jan 2019 00:00:00.000，仿真步長為60秒。

衛星靜態、動態鏈路延時動態聯動仿真測試結果分別如圖9、圖10所示。圖9表明，衛星靜態鏈路的延時動態聯動仿真具有很高的逼真性；圖10表明，衛星鏈路延時實際測試數據曲線與衛星鏈路長度曲線周期性及動態變化趨勢一致，表明也能夠支撐衛星動態鏈路的延時仿真，且同樣具有很高的逼真性。

圖9 天地一體化衛星靜態鏈路延時動態聯動仿真測試

圖10 天地一體化衛星動態鏈路延時動態聯動仿真測試

5.4 衛星網絡仿真拓撲時變測試

衛星與信關站間鏈路連接關系存在間歇性，因此衛星網絡拓撲時刻都在發生變化。為驗證OpenStack云平臺支持對衛星網絡拓撲的時變仿真，測試對象為leo_01和leo_02兩條鏈路組成的網絡拓撲，分別在T1時刻與T2時刻，查看該低軌衛星星座拓撲的連接關系，兩時刻測試拓撲如圖11（a）（b）所示。可見兩時刻各衛星網絡的連接關系發生了變化。將leo_unsec_01_01切斷與leo_unsec_02_01低軌衛星的連接的yy_net133網絡。拓撲切換前leo_unsec_01_01與leo_unsec_02_01間數據包路由途徑如圖11（c）所示，數據包經，拓撲切換后leo_unsec_01_01與leo_unsec_02_01間數據包路由途徑如圖11（d）所示，切換后由leo_unsec_01_01衛星的數據包將經過leo_unsec_01_02衛星和leo_unsec_02_02衛星的轉發到leo_unsec_02_01。

圖11 衛星網絡仿真拓撲時變測試

5.5 衛星姿態實時變化仿真測試

為驗證OpenStack云平臺對STK中計算模型反向狀態調控的有效性，反向調控實驗對象選用低軌天基接入衛星leo_unsec_01_01，在云平臺中反向調控模塊監控到仿真網絡中地面信關站對衛星的姿態調控指令，該指令傳輸到MATLAB中，MATLAB使用stkSetAttitudeCBI功能函數直接控制STK計算模型中該衛星的太陽能帆板打開。

表3 太陽帆板展開角/deg

太陽帆板展開角具體參數如表3所示。Panel_1、Panel_2、Panel_3、Panel_4、Panel_5 為衛星太陽帆板鉸鏈機構，通過改變鉸鏈展開角度從而控制太陽帆板閉合狀態。OpenStack云平臺向STK中衛星計算模型發送太陽帆板調控指令，開始執行衛星太陽帆板展開操作。衛星太陽帆板模型展開過程如圖12所示，可見能夠支持衛星計算模型的反向調控控制。

圖12 太陽能帆板的展開

6 結語

天地一體化衛星網絡作為信息時代的戰略性基礎設施，對于促進國家科技發展具有重要作用。在實際部署之前，天地一體化網絡拓撲結構、網間互聯安全網關及終端接入鑒權等必須經過嚴格的評估和驗證，因此仿真測試平臺的存在必不可少。基于STK計算模型與云平臺提出的一種面向天地一體化信息網絡的仿真衛星網絡動態聯動架構，融合STK與OpenStack仿真優勢，分別采用鏈路延時驅動引擎與星地鏈路切換引擎，由計算模型驅動仿真網絡，保持了延時與切換信息的動態聯動；此外，支持OpenStack云平臺對STK計算模型的反向調控。實驗結果表明，仿真平臺不僅能夠滿足天地一體化通信網絡中衛星鏈路延時時變仿真需求，而且支持對仿真衛星的反向調控，能夠支持各種實際應用的部署與性能評估。