航天員艙外活動虛擬現實訓練系統研究

陳學文， 張 炎， 黃 鵬， 趙 陽， 孔祥杰， 晁建剛

(中國航天員科研訓練中心人因工程重點實驗室， 北京 100094)

1 引言

航天員在執行航天任務前需要進行大量的訓練，針對不同的訓練內容，采用合適的訓練設備非常重要。 出艙任務艙外作業訓練目前多在模擬失重水槽中進行，是國際上普遍采用的主要訓練手段[1-4]。 其可近似模擬人在太空的失重運動特性，使航天員在模擬失重環境、著艙外服工況下，認知艙體、航天員、機械臂的相對關系，并完成實物操作訓練。 訓練時，地面保障人員把空間站部分艙體、機械臂放入水槽中，航天員穿著水下艙外訓練服，依據作業需求調整服裝使其接近在軌作業姿勢的懸浮狀態(重力與浮力相等)。 受水槽尺寸限制、重力等影響，為了便于操作，需要保障人員轉動艙體，作業點始終在艙體的兩側或正上方。 當需要從一個作業點轉移到另一個作業點時，機械臂上的航天員和艙壁上航天員，轉移路徑與在軌任務差異較大。 整個訓練過程一般需要按照作業剖面對航天員的操作進行分解，分場景片段式進行，很難連續不間斷地進行一次完整的艙外作業任務，且訓練過程需要大量人力物力保障，耗時時間也非常長。

除了模擬失重水槽外，虛擬現實(Virtual Reality，VR)技術在應用到航天領域時，具有獨特的優勢，能夠突破物理環境限制，可以在地面條件下逼真模擬失重環境下三維太空作業場景，快速構建各種應急場景，有效彌補實物、半實物等地面訓練設備的不足，可作為實物訓練方式的補充，同時，也可應用于科學研究及工程驗證。

20 世紀80 年代以來，NASA 首先開展了虛擬現實技術及在載人航天任務中的應用研究，研發了6 代虛擬現實頭盔及虛擬現實仿真系統，用于外太空環境適應與空間站環境熟悉訓練、哈勃望遠鏡維修訓練、艙外自我營救的SAFER(Simplified Aid for EVA Rescue)訓練以及其他艙外活動任務訓練[5-7]；20 世紀90 年代俄羅斯、歐空局、日本、加拿大等相繼開發了虛擬現實訓練系統，包括空間站艙內環境熟悉和空間定向訓練[8]、國際空間站艙內外設備布局訓練[9]、機械臂操作訓練[10]等。 陳學文等[11-12]也進行了虛擬現實相關技術研究，建立了面向SZ-7 任務航天員出艙活動的虛擬現實仿真系統和面向空間實驗室階段天宮實驗艙的艙內外環境熟悉系統。

面向空間站航天員艙外作業訓練需求，本文利用虛擬現實技術，創建逼真的空間站艙外作業任務場景和空間站、機械臂及地球星空等運動仿真，實現艙外作業虛擬現實交互操作仿真，形成一個與真實艙外作業任務視覺感知一致、操作感知近似、聽覺感知一致、運動感知近似、人在回路的多人虛擬現實訓練系統。

2 系統仿真架構

航天員艙外作業是高風險任務，通常一個乘組包含3 名航天員，其中2 名航天員在艙外由機械臂輔助和自主爬行至作業點，1 名航天員在艙內負責監視和操控機械臂，3 名航天員協同完成艙外作業任務。 利用虛擬現實技術實現3 名航天員出艙活動仿真及協同訓練。

虛擬現實訓練系統組成如圖1 所示，包括生成各視角圖像的虛擬現實仿真、工程數據仿真、訓練進程控制、訓練信息數據庫、提供虛擬場景觀察及交互的虛擬現實頭盔和手柄、實現訓練信息顯示及通話的視頻通話系統、實現機械臂操控與監視的機械臂操作臺等。

圖1 虛擬現實訓練系統組成原理Fig.1 Composition of virtual reality training system

艙外航天員佩戴虛擬現實頭盔(已集成耳麥)和手持手柄，實現虛擬場景的觀察和交互操作。 艙外活動虛擬場景由虛擬現實仿真軟件生成，包括空間站及艙外作業設備、機械臂、地球、星空和虛擬航天員等，虛擬場景中空間站的飛行數據、飛行軌道、飛行姿態、帆板轉動角度、機械臂運動等數據由工程數據仿真提供。 為逼真模擬航天員艙外作業過程中聽覺，由虛擬現實仿真軟件實現艙外服風機噪聲、報警聲等模擬，并實現訓練時教員與航天員之間通話傳輸，或任務演練時地面指揮、機械臂操作者和出艙航天員之間通話傳輸。由視頻、通話系統實現音視頻的傳輸。

虛擬現實仿真軟件根據虛擬現實頭盔和手柄的跟蹤數據，為每名虛擬現實頭盔佩戴者實時生成各自第一視點圖像，包括航天員1VR 視角、航天員2VR 視角和輔教VR 視角；為方便在顯示器上任意視角觀察三維場景，由虛擬現實仿真軟件生成一個輔教第三視角圖像，通過鼠標鍵盤控制視點位置和觀察方向。

艙內航天員使用機械臂操作臺對機械臂監視和操作，該設備與虛擬現實訓練系統通過網絡實現遠距離數據、語音和視頻互聯。 整個訓練過程統一由訓練控制軟件實現過程控制，包括訓練開始、訓練結束等，并把相關訓練數據存儲到訓練系統數據庫中。

3 關鍵技術

3.1 基于空間站任務的三維場景建模與渲染

空間站艙外作業虛擬場景對象包括空間站、機械臂、艙外作業工具和設備、著艙外服航天員、地球、太陽及星空等，空間站及太陽的方向、相對地球和太陽的位置關系以及機械臂按照任務實際進行動態運動。 為了實現逼真在軌視覺畫面效果，且滿足實時性要求，使用基于物理的渲染方法(Physically Based Rendering， PBR)創建和渲染場景對象，即把渲染流程和基于材質物理屬性的離線渲染貼圖結合起來，有效解決了交互實時性與畫面渲染耗時的矛盾。

根據素材建立尺寸、結構準確的三維幾何模型，為了減少面片數量，降低虛擬場景渲染負擔，提高渲染速度，采取以下措施:

1)只建立表面視覺可見的幾何結構，對于獨立運動部件單獨建立幾何結構；

2)建立低精度和高精度兩套模型，高精度模型用于烘焙高精細的貼圖。 在虛擬現實仿真中使用低精度模型，并貼上高精細貼圖，實現視覺上高精度。 例如，對于無需操作的螺釘、孔洞等結構，可以使用高精度貼圖體現。

對低精度模型進行UV 紋理坐標展開、編輯優化處理，對高精度模型按照各部分材質的物理屬性離線烘焙出表面紋理，逼真體現物體表面結構細節、高光、金屬度和遮罩陰影等，用顏色圖、環境遮擋貼圖(AO 圖)、法線圖和金屬度4 張貼圖表示。 在渲染引擎中使用低精度模型，設置高精度模型生成的紋理和材質，并設置空間環境中太陽光和環境光，實時生成逼真的虛擬場景圖像，仿真效果如圖2 所示，畫面逼真，渲染幀速率超過60 FPS，可滿足交互實時性要求。

圖2 三維場景仿真Fig.2 Simulated 3D scene

3.2 出艙復雜設備的交互操作仿真

出艙任務不同，需要操作的對象也不同，但是每次出艙都需要操作的設備或工具包括腳限位器、艙外操作臺、各種把手、航天服安全繩及便攜式安全帶等，仿真時需要按照實際功能實現每個設備的所有操作，才能逼真模擬出艙過程。 在這些設備中，安全繩和安全帶不同于其他由剛體組成的設備，由可變形的繩體和特殊結構的掛鉤組成，操作包括抓掛鉤、往扶欄上掛掛鉤、從扶欄上取掛鉤、抓拽繩體等。 柔性繩體的表達與實時變形仿真方法采用質點-直線-彎曲彈簧模型和基于位置的實時變形計算方法[11]。

3.2.1 柔性繩體交互操作仿真

柔性繩體的形狀根據交互操作情況不斷變化，同時對其所連接的物體位置和姿態產生影響。例如，掛鉤上的物體能夠隨著安全繩的拖拽而運動、虛擬航天員人體也能夠沿著繩體移向扶手等。

柔性繩體交互操作原理如圖3 所示。 ①抓取繩索:根據虛擬手與安全繩/安全帶繩體節點之間的最小距離，判斷是否抓取繩體，如果滿足抓取繩體條件，對安全繩/安全帶生成固定節點，并與手綁定在一起； ②拖拽繩體:根據繩體節點之間的距離變化，判斷繩體是彎曲狀態，還是拉長狀態，實現繩體的拖拽功能。 繩體創建后記錄初始距離，在抓住繩子后，計算實時距離。 如果該距離大于初始距離，則認為繩體已經拉直(如圖3 安全繩拉長狀態)，繼續拉扯，需要移動人物；如果該距離小于初始距離(如圖3 安全繩彎曲狀態)，則認為繩索并未拉直，處于彎曲狀態，繼續拉扯，并移動繩索節點位置。

圖3 安全繩距離判斷原理Fig.3 Principle of safety rope distance judgment

掛鉤自由態、掛鉤束縛態、繩體纏繞在扶欄上的仿真效果如圖4～6 所示。

圖4 掛鉤自由態下抓取繩體變形效果Fig.4 Deformation of grabbing rope for free hook

圖5 掛鉤束縛態下抓取繩體變形效果Fig.5 Deformation of grabbing rope for restraint hook

3.2.2 安全掛鉤交互操作仿真

圖6 繩體在扶欄上運動受阻后纏繞變形效果Fig. 6 Twisted and deformed rope after being blocked on the handrail

1)掛鉤碰撞檢測算法和掛鉤在扶欄上約束狀態判斷算法:對掛鉤前端離散化結構如圖7 所示，邊界用規則的方盒子代替，方盒子與扶欄等進行實時碰撞檢測。 判斷掛鉤是否在扶欄內，把4個盒子同時設為限制觸發器，中間圓柱代表扶欄即障礙物，中空區域為狀態觸發器。 每個限制觸發器設計一個朝外的z軸方向，當立柱觸碰到某一條邊時，無法再朝外運動。 在運動過程中計算運動趨勢矢量與z軸方向夾角，判斷掛鉤哪條邊與扶欄接觸，為碰撞檢測后續運動限制提供信息。如果立柱在狀態觸發器內，則表示掛鉤被束縛。在交互操作過程中，只要掛鉤前端開口打開，掛到扶欄上后，就使用該規則判斷掛鉤與扶欄的約束關系。

圖7 觸發器設置示意Fig.7 Diagram of trigger setting

2)掛鉤被扶欄約束后交互操作過程運動處理:算法流程設計如圖8 所示，包括物體約束狀態的確定、抓取物體判斷、運動趨勢計算、趨勢有效性判斷、虛擬手位置和姿態設定等。

圖8 掛鉤操作處理流程Fig.8 Flowchart of hook operation processing

解決了虛擬與現實交互操作過程中時而一致、時而不一致的問題，既保證了虛擬場景中視覺上一致性，又保證了交互操作自然性，實現了視覺和交互操作的統一。

圖9 為掛鉤交互操作結果示意圖，圖9(a)為虛擬手抓住束縛態下的掛鉤時虛擬手和手柄重合時情形，圖9(b)為虛擬手抓住束縛態下的掛鉤往外移動手柄時虛擬手柄和虛擬手脫離、虛擬手保持抓住掛鉤時情形。

圖9 掛鉤交互操作效果Fig.9 Effect of hook interactive operation

3.3 多人協同操作仿真

2 名出艙航天員、輔教等在同一個虛擬場景中工作，出艙航天員需要完成艙外設備的各種操作，操作后物體的位置、姿態、狀態、教鞭指向等信息需要在同一個虛擬場景的各個客戶端(VR1 客戶端、VR2 客戶端、輔教VR 客戶端、輔教第三視角客戶端)進行同步，保證每個設備被任何客戶端操作改變后，能夠及時、無差錯地更新到其他客戶端。 各客戶端之間的同步方法是建立虛擬現實仿真C/S 服務器模式，即各客戶端的操作結果數據實時輸出到服務器，由服務器把結果數據再輸出到其他客戶端，同時把結果數據輸出到機械臂操作臺圖像仿真軟件中，最終實現虛擬現實仿真各客戶端及其他圖像軟件狀態同步。

為了實現設備有序操作，設計控制權并對其統一管理，先操作的航天員擁有該設備的控制權，直至放下該設備并被另外的航天員操作后，才失去該設備控制權，同時另外的航天員擁有該設備的控制權，一個設備不能被2 名航天員同時擁有控制權。

4 應用及評價

該系統已實現了SZ-12、SZ-13 任務全部艙外活動仿真，并應用于航天員訓練、艙外協同指揮程序聯合演練等。 根據SZ-12 任務實際出艙視頻和航天員的調查問卷結果，比對分析感知一致性和虛擬現實訓練系統的應用價值。

4.1 艙外作業感知一致性比對分析

選擇SZ-12 任務出艙活動2 個典型操作:安裝擴展泵組和航天員相互拍照，比對在軌操作與虛擬現實仿真效果，部分截圖如圖10、圖11所示。

圖10 安裝擴展泵組(左:在軌圖像，右:仿真圖像)Fig.10 Installation of the extension pump set(Left:Image from orbit camera，Right:Image from simulation)

圖11 安裝擴展泵組后2 名航天員相互拍照(左:在軌圖像，右:仿真圖像)Fig.11 Taking pictures of each other(Left:Image from orbit camera，Right:Image from simulation)

1)視覺感知:虛擬現實仿真中航天員所觀察的對象、數量、各對象大小形狀、場景中各對象之間位置關系按照工程實際構建，與在軌一致，實現了虛擬現實仿真視覺感知的一致性。

2)操作感知:虛擬現實仿真實現了被操作設備所有操作步驟，操作動作簡單，只需食指扣動扳機的簡單動作控制虛擬手完成設備操作，而虛擬手在虛擬環境中操作動作由計算機動態生成，生成的虛擬動作與實際一致。 在沉浸式的虛擬環境下，最終實現了視覺主導下的一致性和操作綜合感知的近似性。

3)聽覺感知:虛擬現實仿真實現了服裝的噪聲、報警聲的逼真仿真，同時具備教員與航天員之間通話功能，在任務演練時承擔了地面指揮、機械臂操作者和出艙航天員之間的通話，整體實現了地面訓練時聽覺感知的一致性。

4)運動感知:在虛擬現實訓練中，一名航天員在虛擬場景中搭乘機械臂運動到作業點，一名航天員自主攀爬到作業點，地球、太陽與空間站運動關系按照實際工程逼真仿真，機械臂的運動軌跡、運動速度和控制方式與實際任務一致，實現了空間飛行器運動一致、機械臂運動一致，航天員艙外攀爬運動一致。 通過虛擬現實逼真的三維場景渲染和頭盔立體三維成像，航天員實現了視覺主導下運動一致性，運動綜合感知的近似性。

4.2 航天員調查問卷分析

虛擬現實訓練系統研制完成后，由13 名航天員在執行任務前使用并開展問卷調查，部分問卷結果見圖12～16。

圖12 是艙外作業流程步驟仿真覆蓋性的問卷調查，包括4 個選項，8 人選擇了“步驟完全覆蓋，非常滿足訓練需求”，5 人選擇了“步驟覆蓋較好，滿足訓練需求”。

圖12 流程步驟仿真覆蓋性問卷結果Fig.12 Results of questionnaire for step simulation coverage

圖13 是熟悉艙外作業環境作用的問卷調查，11 人選擇“幫助較大”，1 人選擇“幫助非常大”，1人選擇“有幫助”。

圖13 熟悉艙外作業環境問卷結果Fig.13 Results of questionnaire for familiarization of extravehicular operation scene with VR

圖14 是艙外作業訓練優勢的問卷調查，包括5 個選項，8 人選擇“空間站、機械臂、航天員等可以按照真實的工程狀態在三維空間移動”，10 人選擇“作業視覺場景逼真”，10 人選擇“安全繩、便攜式安全帶能夠按照真實任務流程參與其中”，9 人選擇“參與訓練的出艙設備多，且出艙設備視覺和操作真實”，10 人選擇“能夠實現訓練的步驟多”。

圖14 艙外作業訓練優勢問卷結果Fig. 14 Results of questionnaire for advantages of extravehicular operation training with VR

圖15 是機械臂協同訓練優勢的問卷調查，包括2 個方面的多項選擇問題，11 人選擇“01、02、03 崗位角色認同度高”，10 人選擇“語音、圖像、操作要素全、逼真”。

圖15 機械臂協同訓練優勢問卷結果Fig.15 Results of questionnaire for advantages of space robotic arm collaborative training with VR

圖16 是虛擬現實訓練系統重要性評價的問卷調查，12 人選擇“重要”，1 人選擇“非常重要”。

圖16 虛擬現實訓練系統重要性問卷結果Fig.16 Results of VR importance questionnaire

從評價結果看，虛擬現實訓練系統在艙外作業、機械臂協同、艙外熟悉等方面得到了航天員的認可和較高的評價，并成功應用于SZ-12 和SZ-13任務航天員訓練、艙外協同指揮程序聯合演練等。虛擬現實訓練系統訓練場景如圖17 所示。

圖17 SZ-12 任務航天員虛擬現實訓練Fig.17 VR training of SZ-12 astronaut

5 結論

1)基于虛擬現實技術，以人的感知為焦點，面向航天員訓練提出了一種多人協同虛擬現實訓練系統組成結構，突破了逼真的三維場景渲染、安全繩/安全帶交互操作仿真、多人協同操作仿真等技術，實現了視覺感知一致、操作感知近似、聽覺感知一致、運動感知近似、人在回路的多人協同虛擬現實訓練系統。

2)基于空間站及艙外作業工程狀態和操作流程，創建了逼真的艙外作業三維場景，開發了SZ-12、SZ-13 任務艙外作業工具/設備的逼真交互操作仿真系統，實現了虛擬現實訓練系統首次在航天員艙外作業訓練的成功應用，并得到航天員肯定評價。

3)航天員訓練應用實踐表明:在艙外作業全流程沉浸式操作訓練中無異樣感覺，系統的逼真性和可用性得到驗證。

4)虛擬現實訓練系統在應用于艙外作業方面是目前模擬任務要素全面、訓練代價小、多人參與的地面模擬設備，不僅在航天員訓練上發揮作用，在機械臂聯合演練、艙外協同指揮程序演練和艙外操作工效綜合評價等工程驗證方面發揮了作用。

高逼真實時云渲染、非手柄自然交互操作仿真以及柔性繩體實時力學仿真等技術將是未來研究的主要方向。