實時云測控基帶池系統設計

王鈞慧，曾富華

(中國西南電子技術研究所，成都 610036)

0 引 言

隨著我國航天事業的發展，日益增多的航天發射任務和大量在軌運行的衛星對飛行器測控系統提出了越來越高的要求，特別是隨著載人航天技術的發展，空間站、空間運行系統等的探測任務也將逐漸在軌運行，預計未來數年將加速發展，這對測控和數據傳輸設備提出了更高更新的要求。

中頻信號數字化、IP 網絡傳輸和遠端波形重構技術能夠給衛星地面系統帶來顯著效益。對遠端地面站而言，這些效益包括降低成本和更靈活的軟件處理。美國 RT Logic 公司 2015 年推出了一項名為 SpectralNet的新系統，能夠對衛星下發的中頻信號進行數字化，并將數字化后的信號經過 IP 網絡傳輸，并保持信號波形特征不失真，可在遠端利用云計算平臺進行信號軟件化解調、記錄以及分發等操作。

雷達和通信領域也在積極推進“軟件化雷達”“軟件定義通信”等新技術。采用通用化和數字化特點的新型系統具有開放式體系架構，可以適應“面向實際需求，以軟件技術為核心”的開發理念，以軟件化開發模式靈活地實現系統擴展、更新和升級[1-3]。

針對第三代跟蹤與數據中繼衛星系統(Tracking and Data Relay Satellite System，TDRSS) ，NASA 提出了“天基網地面部分維護計劃”(Space Network Ground Segment Sustainment,SGSS)。SGSS 引入了數字光纖、硬基帶池、虛擬機等新概念和新技術，將提供一個靈活的可擴展、可升級的開放式地面測控系統。這種“池”式結構減少了設備量，提高了結構靈活性和硬件利用效率。目前我國在二代中繼地面終端站以及航天測控數傳一體化地面站也在積極推進射頻數字化以及硬基帶池技術[4-5]。

現有電信網絡設備在數量和性能上都無法滿足呈指數級增長的數據傳輸帶寬的需求，由此導致網絡設備的采購和運營成本有增無減。利用虛擬化技術，把原本分散的通用服務器集中起來統一進行管理分配，在通用計算平臺上采用高級編程語言開發方式實現網絡功能虛擬化(Network Functions Virtualization，NFV)，提高了計算和存儲的利用率，實現了應用軟件靈活部署并且不依賴于特定硬件，進而降低了管理、維護和運行成本[6-9]。微軟公司在2020年10月20日宣布，它將使用OpenSpace作為其Azure Orbital地面站即服務的一部分。OpenSpace由美國Kratos公司研制，該產品將軟件定義方法應用于地面站的虛擬產品系列。OpenSpace使用開放標準、基于云的系統，可以根據任務需求不斷調整而無需安裝新硬件，使之可有效通過數字轉換器連接到任何天線。

本文借鑒NFV理念，基于航天地面測控系統的特點，提出了測控功能虛擬化(TT&C Function Virtualization，TFV)的全新概念，同時闡述了一種基于實時云測控基帶池的實現方案，包括總體架構、關鍵技術解決方法以及原理樣機的測試驗證。

1 系統方案設計

1.1 總體架構設計

圖1所示為實時云測控基帶池總體架構。

圖1 實時云測控基帶池總體架構

實時云基帶主要包括計算資源池、射頻IP化前端資源池和管理與編排三部分。計算資源池分為基礎設施層和測控功能層。

(1)基礎設施層

主要提供系統運行的軟件、硬件環境，其中，軟件環境包括云平臺管理系統、操作系統、數據庫管理系統、虛擬化管理系統等；硬件環境包括物理服務器、分布式存儲設備、網絡設備和加速卡設備等，各類物理資源通過虛擬化形成通用的虛擬計算資源、存儲資源、網絡資源和加速資源，承載各類業務應用和服務。

(2)測控功能層

測控功能主要完成測控功能的軟件化實現，主要分為信號處理和信息處理兩大部分。信號處理主要完成測控信號捕獲跟蹤、位環、碼環、幀同步以及編譯碼等功能。信息處理主要完成測控信息處理及分發，包括遙測處理、遙控處理、測距測速處理、遙控處理等功能。

(3)射頻IP化前端資源池

將接收機接收到的射頻信號進行調理，分別經射頻數字化處理卡的AD采集、信號處理等操作后轉換為數字基帶信號，封轉成網絡數據包并發送給計算資源池。同理，計算資源池可將基帶信號傳輸到射頻數字化處理板上，通過DAC進行數字上變頻，和波形整形后傳輸到相應射頻通道。

(4)管理與編排

實現對基礎硬件、虛擬化資源和測控功能的全生命周期管理以及對網絡業務編排功能。同時，實現射頻IP化前端資源池的分配以及動態建立IP化設備與測控功能的數據鏈路。

1.2 測控信號 IP 化網絡傳輸

由于網絡特性以及網絡傳輸協議的影響，導致接收的信號時域波形中會出現隨機或連續的數據中斷、亂序、錯誤，更進一步地會影響到測距、測速與測角的零值及隨機差。

基于測控信號在頻域上的稀疏特性，可采用快速傅里葉變換得到信號的頻譜信息，根據實際信號的頻點信息對該頻域數據進行提取，得到實際傳輸的有效信息，從而達到減小傳輸數據量、充分利用網絡帶寬的目的。

針對利用現有網絡傳輸基帶信號波形失真的問題，應該從網絡協議入手，提高利用網絡傳輸基帶信號的可靠性。傳輸層協議建議選用TCP的方式來保證數據的可靠傳輸。應用層協議可選用自定義幀協議格式或者VRT(Vita Radio Transport)格式。VRT定義了一個在射頻收發機和信號處理設備之間的傳輸協議，用于提升射頻和信號處理單元之間的協同性，廣泛應用于頻譜監測、通信和雷達等領域[10]。VRT幀格式如圖2所示。

31 30 29 282726252423 2221 2019 18 17 1615 14 13 12 11 10 9 8 7 6 5 4 3 2 1 0包類型CT×MTSITSF序號含包頭在內的總長度流標識符時間戳負載數據尾部(僅限于數據包)

1.3 云實時性優化

1.3.1 操作系統優化

國產麒麟等Linux系統本身不是實時操作系統，需要進行內核實時性增強來進行優化，具體優化內容如下：用互斥鎖替代自旋鎖；采用“優先級繼承”策略避免優先級反轉；通過中斷線程化方式來保證測控算法可以作為最高優先級的執行單元來運行，即使在系統高負載下仍能保證實時性。

1.3.2 網絡I/O優化

采用SR-IOV(Singe Root I/O Virtualization)+DPDK(Data Plane Development Kit)來提高數據交換的性能。SR-IOV技術可以直接屏蔽虛擬層，采用多個虛擬機與物理網卡硬直通方式實現線速數據收發，比其他全虛擬化與半虛擬化的網卡虛擬化方案更加高效[11]。DPDK不僅實現了網卡緩沖區到用戶空間的零復制，還提供虛擬環境下的虛擬接口，兼容OpenvSwitch虛擬交換機,可以達到單核20 Mpacket/s(百萬分組/秒)的處理能力。

1.3.3 程序優化

主要通過如下手段來進行測控功能算法優化，以提高處理效率及實時性:減少線程調度開銷；提前分配需要的內存，避免在使用過程中臨時分配和釋放；將已分配和可能分配的內存鎖定在進程的地址空間中，避免因寫時拷貝(Copy on Write，COW)導致的缺頁中斷影響程序運行效率。

1.4 加速卡虛擬化

航天測控信號處理的實時性要求較高，需要引入物理層硬件加速器的方法，將計算復雜度較高的信號處理模塊(捕獲、編譯碼等)放在加速器上，使用專用的加速卡進行物理層加速。其他計算復雜度較低的信號物理層單元、數據鏈路及網絡層模塊可以放在服務器的虛擬機上，由 CPU進行處理。

現階段，所有云產品都不支持加速卡虛擬化功能，需要自主研發來滿足加速卡管理功能，圖3給出了加速卡虛擬化方案。

圖3 加速卡虛擬化方案

加速卡虛擬化主要由三部分組成。

(1)物理層

主要由配置了多塊加速卡的通用服務器組成，加速卡作為共用資源可以給所有的測控功能進行加速。CPU和加速卡通過40 Gb/s網絡互連，保證數據的快速交換。

(2)虛擬化層

在每一個虛擬機上運行一個 “加速卡虛擬模塊”，虛擬機上的測控功能認為自己獨占該卡，測控功能與該模塊進行直接通信。加速卡虛擬模塊向調度中心申請資源，由調度中心分配可用的資源給加速卡虛擬模塊，加速卡虛擬模塊與加速卡進行數據交互，完成一次運算。

(3)調度層

加速卡資源調度中心完成加速卡狀態監控、健康管理、加速任務創建及跟蹤閉環、資源管理與調度功能。加速卡資源調度中心屏蔽了加速卡的差異，可支持異構加速卡，不影響頂層應用。

1.5 管理與編排

1.5.1 任務編排

任務編排主要完成任務一鍵化自動調度及資源分配，實現任務重構、故障重構、靈活性好、可靠性高的目標。通過管控系統還可監視任務的運行狀態，包括資源狀態、測控算法狀態等信息。

提供可視化工具來對不同測控功能的應用模板進行編輯，包括軟件構件、構件連接關系，對CPU、內存、加速卡等資源的需求，以及對通信帶寬、實時性的需求。

由于射頻IP化前端與虛擬基帶不是固定連接，因此前后端設備的網絡通信參數作為一種資源也需要由任務編排進行管理及維護。在測控任務執行前，任務編排功能分配IP地址及端口，并發送給前端IP化設備和虛擬化測控基帶，這兩類設備根據通信參數完成鏈路建立；任務結束后任務編排功能控制設備拆除鏈路。

通過分配冗余的虛擬測控基帶，可對某些重大任務的數據處理節點進行主從備份來保證下行數據不丟失，同時當某個虛擬機出現故障時可快速切換到備份節點恢復上行功能。

1.5.2 測控功能管理

完成測控功能的生命周期管理，包括創建、釋放和日常運行；還可通過基礎設施管理來收集資源狀態信息，同時還能夠對測控功能的資源使用情況進行監控和故障預警。

1.5.3 基礎設施管理

能夠完成基礎設施的健康管理、資源調度和任務分配。其中，云平臺完成通用計算資源、存儲、網絡的管理，加速卡資源調度中心完成加速卡資源的管理。

利用云平臺提供的熱遷移功能，可快速將故障服務器的測控功能遷移到正常服務器上，實現故障自愈。

1.6 測控功能軟件化實現

軟件解調在實現過程中最為關鍵的指標是系統的實時性。首先，在軟件解調處理流程上將整個軟件解調過程分解為若干個功能上互相串接子模塊，把各個子模塊以流水線式部署在不同的處理器上，實現解調過程的空間并行化處理。其次，依照子模塊內部是否可以并行處理，分為如下兩種處理方式：將可以進行并行處理的子模塊(信號捕獲及信道譯碼操作)部署在加速模塊上執行，而將不能并行處理的各種解調環路部署在CPU上執行。將軟件解調過程分解為子模塊后，還需要保證各個子模塊正確分配和使用內存以及數據在各個子模塊間進行正確傳遞。

軟件化信號處理架構如圖4所示。

圖4 軟件化信號處理架構

1.7 復雜網絡環境下的測距功能實現

由于測量系統對相位非常敏感，因此利用通用服務器以軟件方式進行測距最大的實現難點在于數據包的隨機讀入、讀出以及處理時間的不確定會帶來測距值的隨機抖動。軟件測距系統中存在三個隨機時間，分別是發射時從服務器向射頻前端FPGA通過網絡輸出數據包的隨機讀出時間Tout、接收時從射頻前端FPGA向服務器通過網絡輸入數據包的隨機讀入時間Tin和數據包在軟件中的隨機處理時間Timp。為了實現準確的軟件測距，必須消除上述三種隨機時延對測距系統的影響。

本測距系統采用軟硬件協作方式進行測距，如圖5所示。

圖5 測距功能實現原理圖

硬件部分的具體工作流程如下：在調制端，如果在軟件中進行側音產生、上變頻操作并直接輸出，會造成讀出數據包長度加大、讀出時間隨機，導致不同數據包間發射最低側音時刻隨機抖動。因此，一種方式是在FPGA中進行側音產生以及上變頻操作，這樣不僅減少了PCIE總線傳輸壓力，而且消除了讀出時間Tout對測距系統的影響；另外一種方法是在軟件中進行側音產生以及上變頻操作，然后再送入硬件里面的一個FIFO中，通過FIFO的延遲讀取操作，只要軟件產生調制信號的速率高于硬件讀的速率則在FPGA中的信號就是連續的，從而消除Tout的影響。

通過在收發兩端設置合理的協作機制，可以消除Tin的影響。首先在FPGA內部將發射主音及最低側音時鐘與FPGA處理后降速的數據流進行復用；然后通過網絡傳輸計算機系統；接著在計算機中進行解復用，將數據流送入主音及分頻鏈進行處理，得到接收側音時鐘數組，而將發射主音及最低側音時鐘送入發側音時鐘恢復模塊恢復出發射側音時鐘數組；最后將這兩個數組信息送入距離提取模塊得到測距值輸出。由于發射時鐘信號同接收數據同時打包送入計算機，保證了時間上對齊，這樣隨機讀入時間Tin只會影響系統處理的實時性，而不會影響測距結果的正確性。

在分析軟件測距系統工作方式之前，首先分析軟件隨機處理時間Timp對測距系統的影響。由于服務器中的定時精度較差，無法像硬件系統那樣進行精確的時序分析，因此只能將軟件測距系統等效成一個異步系統。以主音環中的積分清洗操作為例，在每次工作時處理時間隨機抖動。即針對同樣長度的數據序列，硬件系統可以保證相同的處理延遲；另一方面，異步軟件系統針對同樣長度數據序列，軟件處理時間也會存在抖動。這種隨機抖動導致從時間上看，計算結果輸出時刻存在抖動，存在隨機誤差。但是從軟硬件測距的計算機理上分析可知，兩者計算方法相同，因此輸出的相位序列值也相同，只是軟件系統處理時間存在隨機抖動，導致等價到時間上被“拉伸”或“縮短”。軟件主音環在連續數據段間輸出的相位序列依舊保持連續性，并且與同步系統在數值上相同。通過上面的分析可知，軟件系統的測距值可保證計算結果的正確性。

2 實驗驗證

2.1 實驗平臺建立與實驗項目

實時云測控基帶池實驗平臺環境如圖6所示，主要由3臺射頻數字化前端、5臺通用計算服務器、1臺管控服務器和1臺萬兆網交換機組成。需要開展的實驗測試的項目主要包括多路測控信號并行處理能力、實時云平臺擴展能力及處理時延、云環境下的軟件化測控處理技術。

圖6 實驗平臺

2.2 實驗結果

上述實驗場景可滿足20路測控信號同時軟件解調與測量。其中，遙測解調性能較理論值惡化小于1.3 dB，擴頻體制下的測距隨機差可以達到0.3 m，擴頻體制測距零值開關機穩定性可以達到0.8 m。實驗結果表明，基于實時云測控基帶池架構的技術能夠滿足工程應用條件。

3 結束語

本文提出了一種航天測控功能虛擬化方法，闡述了總體架構以及關鍵功能實現路徑，同時搭建了實驗平臺對該方法的功能和技術指標進行了驗證，對于后續工程化應用具有一定的指導意義。

測控功能虛擬化是一項全新技術，是NFV架構在測控領域的一種應用場景，需要盡快開展工程化研究。此外，測控功能算法還需要進一步優化，以適應云架構場景并提升計算效能。