可重復使用飛行器地面系統超融合設計及應用

麻雨欣，曾 發，張耀磊，代 京，張 翔，梁 君

(1.航天材料及工藝研究所，北京 100076；2.中國運載火箭技術研究院，北京 100076)

0 引言

我國運載火箭、導彈傳統上各分系統各自獨立，由有關分系統的地面設備組成廣義的地面系統，主要由供配電設備、供配氣設備、電氣測控設備、動力測控設備、發射控制設備、信息采集設備、信息傳輸設備、計算機、應用軟件等組成，完成其測試、發射過程中的供配電、供配氣、信號激勵、狀態控制、參數測量等測試、發射控制功能[1-2]，因其核心功能為測試、發射控制，狹義的地面系統常常被稱為測發控系統，兩個概念常常互用。由于地面系統直接由各分系統的地面設備組成，因此并不存在獨立完整的地面系統設計環節，又由于各分系統獨立設計，各自為政，因此地面系統的各分系統測發控功能重復、系統復雜，很多設備被設計為專用設備、非標設備，存在資源浪費、兼容性差、數據分散、信息傳遞困難、測試效率低下、自動化程度低、設備重復配套等問題，且每個飛行器型號都有各自專用的地面系統，不能通用，使得其一直冠有“專家系統”的名聲，只有專家才能操作[1、3-4]，目前我國航天飛行器地面系統體積龐大、環節復雜，測發控周期長達20～30天[5]，并缺乏快速入場、搭建、撤場和便攜機動能力。地面系統的上述不足，使得航天飛行器的發射準備工作多、現場保障人員多、測試效率極低下[4]、發射周期極漫長，難以滿足高密度、高適應、低成本發射，已成為我國航天事業發展的一大制約因素。因此，航天飛行器地面系統需要轉向通用化、標準化、簡易化、便捷化、集成化、一體化、可配置化[1、3-4、6-13]，成為業內眾多專家的共識，特別是新一代航天飛行器在這方面提出了更高要求[1]。由于地面系統絕大多數設備是各種類型的廣義計算機設備或以計算機為核心，因此航天飛行器地面系統設計及應用的核心趨勢是實現其計算機的通用化、簡易化、便捷化、一體化、可配置化。近年來，隨著計算機技術發展，相關的虛擬化技術、云計算技術在靈活配置硬件、提升資源利用、優化數據存算能力、實現數據持續保護等方面取得良好應用效果，有航天業內人員將相關技術應用到航天飛行器地面系統進行研究，以期實現地面系統的一體化、易恢復、易擴容、可配置化[14-17]。由于地面系統通用化、標準化、集成化、一體化設計會觸動航天飛行器研制體系中總體和各分系統主體的傳統分工、責任和利益格局，因此其實施和應用相對緩慢，需要先以單個飛行器型號為試點，再逐步推進發展。

在航天領域，可重復使用飛行器特指一類既能像火箭一樣將有效載荷送入空間軌道，又能在任務完成后自行安全返回地面，并能重復使用的飛行器。相比傳統航天飛行器，可重復使用飛行器分系統眾多、在軌飛行時間長、任務隨時變更、多次重復使用，地面系統更為龐大復雜，包括測發控、總控網、電源及配電、測控通信、動力測控、加泄及供氣、發射支持、自主保障、運動機構等分系統的地面設備，測試、發射、控制流程多，且需多次轉場、長時間測控，隨時變更程序，數據計算、存儲任務重，計算機集群規模越來越大，后期系統升級需求強烈，并由此帶來高安全性、高可用性[18]、易擴容性的要求，并隨飛行器短隔間、高頻次重復使用，地面測試、發射控制周期要求1周內，部署、使用便捷化機動性要求極高。

1 各分系統獨立設計方案

某型可重復使用飛行器地面系統現行設計沿用運載火箭地面系統的設計思路，采用各分系統獨立設計方案，各分系統各自采用專業設備、接口設備、獨立物理計算機、交換機一起構建其地面系統，用到眾多服務器、工作站、工控機、普通臺式機、交換機等，使得在地面試驗、測試、發射、飛行遙測遙控時，地面系統部署極其復雜、成本高昂、更改麻煩，每次入場、搭建、撤場、轉場占用大量時間，拖累研制進度，低水平重復勞動使設計人員疲憊不堪，試驗數據管理、測試結果分析自動化程度低，安全性、擴容性要求更無法滿足，后期運維非常復雜，不同重復使用飛行器型號間地面系統通用化程度低，造成研制成本居高不下，其現行設計的總體架構如圖1所示。

圖1 地面系統各分系統獨立設計總體架構

從圖1可知，可重復使用飛行器地面系統總體架構為分前、后端的多網絡、多子系統協同工作的分布式系統，前端設備主要是儀器設備、交換機、顯控終端，后端設備則主要是服務器、工作站、工控機、交換機、顯控終端，承擔各自分系統數據計算、存儲、交換、顯示、操控功能，前、后端設備通過總控網光纖交換機互聯，網絡采用冗余環網架構，各分系統各自設計，各分系統各自部署多種形式的計算機，重要計算機采用雙機冗余工作，地面系統服務器、工作站、工控機、普通臺式機、交換機、顯示器眾多，網絡連接復雜，系統更改困難，難以滿足可重復使用飛行器要求。

2 超融合設計

2.1 需求分析

根據上文分析，可重復使用飛行器地面系統龐大復雜，終端用戶眾多、應用復雜多變、多地切換部署、長時運行維護，體現到其計算機系統需求，就是要具備強大的數據計算、存儲、吞吐、傳輸能力，支持高并發讀寫訪問，能夠快速、便捷、便宜地部署、變更和運維，采用通用化、標準化的硬件實現資源靈活配置，并具備高安全性、高可用性、易擴容性。

2.2 總體方案

針對可重復使用飛行器地面系統要求和傳統方案痛點，跳出各分系統各自設計的傳統思維，將其地面系統作為一個整體進行超融合設計，采用超融合架構[18-19]，將各分系統所有服務器、工作站、工控機、顯控臺式機、交換機等物理機提取出來抽象化，用云技術、虛擬化技術融合成一個整體，用軟件定義計算、存儲、網絡，形成服務器虛擬化、存儲虛擬化、網絡虛擬化，根據各自任務需要，實現計算機計算、存儲、網絡資源的靈活分配和動態調整，以承擔數據計算、存儲、交換工作，以虛擬服務器、工作站、工控機、云桌面的形式供各分系統使用，對各分系統而言，使用體驗跟采用物理機一樣，可繼續沿用傳統思路設計各自方案，但對整個地面系統而言，硬件上只有2臺超融合一體機和各分系統顯示、操作用的云桌面瘦終端，其他IT設施全部取消，且超融合一體機內部采用多個多核CPU、多內存、多緩存、多網卡、多電源，物理上具備冗余功能，可大大減少用戶終端和網線等，其總體架構見圖2，各分系統依舊采用前、后端設備，前端設備包括各分系統儀器設備和前端超融合一體機，后端設備包括后端超融合一體機和總體、各分系統用戶終端，前端儀器設備通過網線與前端超融合一體機相連，后端總體、各分系統用戶終端通過網線與后端超融合一體機相連，前、后端超融合一體機通過光纖相連，網絡采用冗余架構，在超融合一體機上可靈活更改網絡拓撲，前、后端超融合一體機用光纖連接，數據高速傳輸，可構成一個統一的虛擬云平臺，跨越前、后端，給整個地面系統提供數據的計算、存儲和交換服務。

圖2 地面系統超融合總體架構

2.3 超融合一體機

超融合一體機以軟件定義計算機系統架構，通過服務器虛擬化、存儲虛擬化、網絡虛擬化，實現在一套物理硬件上，靈活創建、配置、刪除不同分系統及其用戶所需的服務器、數據存儲、網絡，在管理平臺軟件平面上即可靈活構建不同的總控網拓撲結構，實現所畫即所得，后臺自動備份和即時掛載，各分系統用戶仍感覺跟傳統方案一樣，擁有相同的服務器、工作站、工控機、顯控終端、交換機，相同的操作系統和應用程序，無需更改自己現有設計方案。

超融合一體機由通用x86服務器、磁盤、網卡組成，采用服務器虛擬化、存儲虛擬化、網絡虛擬化技術，分別稱為vSV、vSAN、vNET，內部總體架構見圖3。

圖3 超融合一體機內部架構

服務器虛擬化，采用服務器虛擬化組件，將通用x86服務器硬件資源虛擬化，對最終用戶呈現標準的虛擬服務器，每臺VM(虛擬機)由虛擬化層提供高效、獨立的計算機系統，具有處理器、內存、網絡設備、存儲設備和BIOS，操作系統和應用程序在虛擬機上的運行與在物理機上的運行沒有區別，各分系統用戶感覺跟物理機一樣，實現一機多用，快速靈活創建、配置、刪除服務器，減少物理服務器數量。服務器虛擬化架構見圖4。VMM(虛擬機監視器)是一種運行在物理服務器和操作系統之間的中間軟件層，允許多個操作系統和應用程序共享一套硬件資源，可看作虛擬環境中的“元”操作系統，協調訪問服務器上的所有硬件資源和VM。物理服務器啟動并執行VMM時，會給每臺虛擬機分配適量的CPU、內存、網絡和磁盤，并加載所有VM的Guest OS(虛擬機操作系統)。VMM直接運行在裸機上，使用和管理底層的硬件資源，Guest OS對硬件資源的訪問都通過VMM完成，作為底層硬件的直接操作者，VMM擁有硬件的驅動程序。VMM基于Linux內核虛擬化，直接管理、調用硬件資源，無需底層操作系統，其相當于一個很薄的操作系統。VMM對物理資源的虛擬包括CPU虛擬化、內存虛擬化和I/O設備虛擬化，各自基本工作機理如下：Guest OS與VMM構成VM的兩級CPU調度框架，Guest OS負責線程或進程在vCPU(虛擬機CPU)上的調度，VMM負責vCPU在pCPU(物理CPU)上的調度，把各個VM中的vCPU按照一定的策略和機制分配物理資源；Guest OS與VMM構成VM的兩級內存映射，Guest OS負責VA(虛擬地址)到PA(物理地址)的映射，VMM負責PA到MA(總線上的機器地址)的映射，實現虛擬地址到機器地址的轉換；VMM通過截獲Guest OS對I/O設備的訪問請求，再通過軟件模擬真實的硬件來復用有限的外設資源。為確保地面系統的高可用性，VM采用熱遷移技術，當VM所在的物理服務器出現故障或硬件資源緊張時，可將整個VM運行狀態完整保存下來，快速恢復到運行良好的其他物理服務器上，并同步改變VM數據文件的存儲位置，整個過程平滑切換。

圖4 服務器虛擬化架構

存儲虛擬化，基于分布式文件系統GlusterFS，進行深度優化改進，通過軟件定義存儲，利用磁盤陣列構建物理存儲資源，基于底層VMM之上，通過主機管理、磁盤管理、緩存、存儲網絡、冗余副本等技術，統一管理前、后端超融合一體機上的所有硬盤，將其虛擬化為存儲資源池，劃分為一個個粒度可設置的數據塊，通過向vSV提供訪問接口，使VM可進行數據的讀寫，并利用SSD(固態存儲器)緩存文件數據塊，加速讀寫，虛擬化存儲可靈活增減存儲資源給各分系統用戶，并利用數據遷移、影子副本、快照技術實現數據自動備份和即時掛載，提高可重復使用飛行器地面系統的可用性，并可實現在線擴容。vSAN基于vSV集群獲取集群內主機信息，構建vSAN時，首先建立vSV集群，并至少需要2臺物理主機。vSAN默認將SSD當緩存使用，以加快讀寫速度。各分系統用戶在各自的VM上設置系統盤、數據盤等，實際數據以數據塊形式存儲到資源池中，并分散在不同的物理磁盤上，同一份數據在不同的物理磁盤上存儲3個副本，確保數據持久安全性，滿足高可用性。存儲虛擬化工作原理見圖5。

圖5 存儲虛擬化工作原理

網絡虛擬化，通過軟件定義網絡(SDN)，采用Overlay(物理網絡之上的邏輯網絡)實現地面系統網絡設備的控制層和數據層分離、以及不同分系統用戶間隔離，實現對網絡流量的靈活化、集中化、細粒度控制，獲得對網絡的可編程性、自動化和控制能力，建立可高度靈活配置的彈性網絡，再通過網絡功能虛擬化(NFV)，將傳統網元設備的網絡功能提取出來虛擬化，運行在x86服務器上，按需分配和靈活調度各類網絡功能資源，實現分布式虛擬交換機vSwitch、虛擬路由器vRouter、虛擬負載均衡vAD，在管理平臺上直接用拖拉連線，即可靈活構建不同的總控網拓撲結構，實現所畫即所得。vSwitch將分布于多臺物理主機的網卡替換掉交換機，并在邏輯上組成一個大的集中式交換機，減少傳統設計中每臺交換機需單獨分別配置過程，并為地面系統網絡連接提供集中控制點，使虛擬環境中的網絡配置不再以主機為單位，簡化虛擬機網絡連接的部署、管理和監控。vRouter提供虛擬路由功能，并提供VLAN子網口、ACL策略、DHCP地址池、DNS代理，并自帶HA功能，出現故障可自動遷移到正常主機上，實現故障恢復。vAD提供負載均衡功能。vAF是一道虛擬防火墻。vSSL是融合IPsec/SSL的VPN，提供數據網絡傳輸安全。相比現行設計，采用網絡虛擬化后，地面系統的總控網，其特征已不再明顯，只集中于超融合一體機，且主要為軟件，不再作為一個單獨的分系統。網絡虛擬化工作原理見圖6。

圖6 網絡虛擬化工作原理

可重復使用飛行器地面系統可在超融合一體機上，通過設置VM靈活按需配置多臺不同計算、存儲資源的計算機，采用畫圖方式靈活構建不同的總控網拓撲結構，使得地面系統使用非常便捷、簡易、可軟件配置，而且一套IT硬件可用于不同型號的可重復使用飛行器應用，只需重新在軟件上快速、簡易配置，使得地面系統實現通用化、標準化。超融合一體機組成單元為通用x86服務器，每套組成單元可通過網絡聚合，實現模塊化橫向擴展，只需增加x86服務器，就可實現地面系統擴容。在超融合一體機上部署超融合云平臺軟件，配置、管理vSV、vSAN、vNET，并集中部署各分系統應用軟件，通過賬戶設置和授權，供各分系統用戶使用。

2.4 云桌面瘦終端

依賴于超融合一體機的服務器虛擬化、存儲虛擬化，再利用桌面虛擬化技術和ARM架構的云終端，形成地面系統桌面云，各分系統用戶端顯控采用云桌面瘦終端，實現用戶端硬件瘦身。各分系統應用軟件集中部署到超融合一體機上，桌面云通過賬戶設置和授權，各分系統用戶在瘦終端上經總控網隨意訪問，各應用軟件無論是C/S或B/S架構、Java或Net開發環境，均可在桌面云上運行。超融合一體機自適應接入瘦終端的數量和顯示需求，采用RAP遠程虛擬交付協議，通過高效流壓縮、動態圖過濾、多媒體重定向、智能緩存優化等優化算法，提高數據傳輸效率，將各分系統應用軟件顯控位圖發送到各自瘦終端，實現對各自業務的顯示和操控。云桌面的顯控方式，硬件上只要采用瘦終端、顯示器和鼠標，瘦終端通過網線連接到超融合一體機上，其中瘦終端采用ARM架構，運行效率高、功率小，使用穩定，尺寸規格小，提高各分系統顯控的簡易性、輕便性、快速性、靈活性。對各分系統用戶而言，其應用軟件開發和用戶操作沒有任何變化，可實現用戶層面上的無縫轉移，沒有改變現行分工、責任，不存在抵制情緒。

3 超融合應用與測試

3.1 設備配置

前端超融合一體機承擔的數據計算、存儲較少，采用低配置，主要利用其虛擬化網絡實現數據交換，后端超融合一體機承擔大量的數據計算、存儲、交換，采用高配置，CPU、內存、緩存、網口都較多，硬件配置分別見表1、表2。云桌面瘦終端選用深信服公司aDesk-AIR-200H型貨架產品，硬件配置見表3。

表1 前端超融合一體機配置

表2 后端超融合一體機配置

表3 云桌面瘦終端硬件配置

3.2 應用對比

可重復使用飛行器地面系統采用各分系統獨立設計和超融合設計的硬件配套見表4，其中超融合設計配套2臺超融合一體機，相當于2*2臺x86服務器+2*2塊網卡，相比各分系統獨立設計減少硬件24臺套，對比表4數據可算得，采用超融合設計后，相比各分系統獨立設計，其IT設施減少32%，整體成本節省40%，搭建、拆卸、搬運時間縮短52%，運維、擴容復雜度降低60%，明顯提升設計、部署、運維簡易度，降低成本。

表4 地面系統各分系統獨立設計與超融合設計硬件配套對比

3.3 性能測試

針對可重復使用飛行器地面系統數據服務、長時間使用要求其高可用性這兩個重要指標作為考核測試項。

數據服務主要測試在不同虛擬主機數時的服務響應時間、吞吐量。將虛擬主機數分別設置為10臺、15臺、20臺、25臺、30臺，每臺虛擬主機平均并發線程數為40，處理文件大小為5～200 kB不等，寫數據、讀數據、刪數據操作比例分別為10%、85%、5%，持續運行10 min。表5為服務響應時間和吞吐量。測試結果表明，持續增加并發數量時，服務響應時間逐漸增強，但都在300 ms以下，吞吐量隨并發數增加有所增加，但不明顯，基本維持在4 800 op/s。

表5 不同虛擬主機數服務性能

高可用性主要測試在不同數據量和不同虛擬主機數的數據恢復時間、服務延遲率。將數據保護塊設備大小設為32 kB，虛擬機恢復數據量分別設為10 MB、20 MB、50 MB，恢復模式分別采用增量恢復、全量恢復[20]，增量恢復模式基本思路：設數據保護初始時刻為tc，指定目標恢復時間點為th，當前時刻t，先查找出th時刻到t時刻發生改變的扇區，再查找這些扇區從tc到th分支上所有寫操作記錄，最后在相同扇區號的多個寫操作記錄中，取時間最接近th的那個記錄；全量恢復模式基本思路：設數據保護初始時刻為tc，指定目標恢復時間點為th，找出從tc到th分支上所有寫操作記錄，最后在相同源地址的多個寫操作記錄中，取時間最接近th的那個記錄。表6為單臺虛擬機2種恢復模式的數據恢復時間；表7為多臺虛擬機并發恢復性能；表8為多臺虛擬機平均恢復時間和恢復延遲率。測試結果表明地面系統數據可用性達到99.9%以上，服務延遲率低于44%。

表6 單臺虛擬主機不同恢復模式性能對比

表7 多臺虛擬主機不同恢復模式性能對比

表8 多臺虛擬主機平均恢復性能及服務延遲率

4 結束語

針對可重復使用飛行器地面系統通用化、簡易化、便捷化、可配置化、高可用性的要求，進行超融合設計和應用，通過服務器虛擬化、存儲虛擬化、網絡虛擬化、顯控桌面化，設計集成化、一體化超融合一體機，簡化地面系統配置，實現其可軟件配置，具有如下特點：

1) 相比傳統設計，IT設施減少32%，整體成本節省40%，整體部署時間縮短52%，運維復雜度降低60%，明顯提升部署、使用簡易度，降低成本；

2) 實現軟件定義硬件、地面系統靈活配置、硬件標準化，應用通用化，適用不同型號的可重復使用飛行器地面測試、發射控制應用；

3) 可用性高達99.9%以上，服務延遲率低于44%，且無需停機就可在線擴容，適應需長期在軌型可重復使用飛行器長期測控應用。