應用于艙外航天服的增強現實顯示技術

張海軍， 龍 尤， 耿云飛， 孫路通

（1.天津大學精密測試技術及儀器國家重點實驗室，天津大學微納制造實驗室， 天津 300072； 2.中國航空工業集團公司洛陽電光設備研究所， 洛陽 471009； 3.光電控制技術重點實驗室， 洛陽 471009）

1 引言

隨著載人航天技術的發展，出艙活動任務越來越復雜，出艙時間也越來越長，航天員需要完成維修、考察和探索性試驗等工作。 為同時滿足出艙活動和在軌生活的雙重需求，航天員操作程序的復雜度也越來越高，需要在平時訓練和出艙活動中快速掌握操作過程。 頭盔顯示器作為一種近眼顯示設備，能夠將航天員需要的信息直接顯示在其視野范圍內，解放航天員雙手，進而對航天員模擬訓練和出艙活動提供幫助。

20 世紀80 年代，NASA 便對可安裝在航天服上的頭盔顯示器開展了相關研究，美國洛克希德工程與科學公司研究并交付給NASA 一套樣機，受限于當時的技術水平，無法滿足低功耗需求，且安裝體積較大，給航天員頭部活動帶來限制，因此該方案并未正式應用。 之后，包括ESA 在內的多家國外航天機構也對航天員頭盔顯示器開展了探索研究。

隨著近年太空出艙活動的增加，基于增強現實顯示技術的頭盔顯示器在航天領域的應用越發得到研究人員的重視。 朱秀慶等提出在未來星際航行和長期在軌任務中，由于通訊延遲和在軌時間延長的影響，地面指控系統對航天員的支持受到不同程度制約，需要提高航天員自主獲取信息支持的能力，而增強現實技術被認為是解決這一問題的可行手段。

本文介紹了增強現實顯示技術的發展及類型，分析對比了袖口清單、身體顯示模塊和頭盔顯示器等艙外航天服顯示技術，對艙外航天服頭盔顯示器在未來的發展做出了展望。

2 增強現實顯示技術

2.1 技術簡介

增強現實顯示技術是隨著虛擬現實的發展而產生的，與傳統的虛擬現實不同，增強現實顯示所呈現的環境主體是真實的，計算機產生的虛擬信息疊加于真實環境中，具有虛實融合、實時交互和輔助增強等特點，是對真實環境的一種補充和增強。 虛擬現實是一種完全浸入狀態，視覺甚至聽覺感知都來源于系統輸入，而增強現實可以保持使用者對真實環境的感知，因而具備更優的感知優勢。 增強現實顯示技術最早可追溯到20 世紀20 年代末，為了滿足當時士兵們對作戰的需求，基于三點一線原理將槍械瞄準鏡和小型槍械集成在士兵頭部，并通過嘴部進行扳機發射，圖1（a）為其構想圖，這也被認為是現代增強現實頭戴顯示設備的雛形。 除了軍事領域外，增強現實顯示技術在裝配操作、設備維修、娛樂和民用航空等領域也有廣泛的應用前景，如圖1（b）、（c）所示。

圖1 增強現實技術的應用Fig.1 Application of augmented reality technology

2.2 增強現實顯示系統類型

常見的增強現實顯示技術按照顯示方式的不同分為以下幾類：

1）護目鏡式。 增強現實型頭盔顯示器于20世紀60 年代首先出現在美國，軍用機載頭盔顯示器是增強現實顯示技術的典型應用，近些年被廣泛應用于戰斗機中，能夠為飛行員提供瞄準顯示信息，是一種先進、高效的機載瞄準顯示設備，如圖2（a）所示。 其光學原理是利用準直光學系統，將飛行和武器瞄準信息投影到頭盔護目鏡上，實現與外景疊加顯示。 由于具有觀察瞄準范圍大、瞄準迅速、增強現實顯示等優點，越來越受到各國空軍的重視。 大量的模擬和飛行試驗表明，使用頭盔顯示器能大幅度減少導彈截獲目標的時間，能提高飛行員態勢感知和全天候作戰能力，能顯著提高飛機的近距作戰效能。 這種機載頭盔顯示器目前絕大多數均采用護目鏡式投影結構，如圖2（b）所示。

圖2 頭盔顯示器及光路示意圖Fig.2 Helmet?mounted display and diagram of opti?cal system

2）半透半反棱鏡式。 早期初代的增強現實顯示器通過在人眼前放置一個半透半反棱鏡，使用微型投影儀發出圖像光束，經過棱鏡反射至人眼，同時外部環境光可以通過半透的棱鏡折射后直接進入到人眼，從而達到增強現實顯示的目的。Google Glass 采用的便是此類光學系統，如圖3所示。

圖3 基于半透半反棱鏡的AR HMD 光學系統Fig.3 Optical system of AR HMD based on semi?transparent and semi?reflective prism

3）自由曲面棱鏡式。 為了進一步減小光學系統體積并提高顯示質量，1998 年Okuyama 等最早提出一種基于自由曲面的棱鏡式光學結構。得益于自由曲面出眾的像差校正能力，實現了單片自由曲面元件產生4 個有效光學面的緊湊布局。 這種自由曲面棱鏡形式的光學系統也是當今主流增強現實顯示設備中常用的一種類型，圖4是其光路示意圖。

圖4 自由曲面棱鏡光路示意圖Fig.4 Optical path of freeform prism

4）波導式。 除了以上傳統的光學系統類型之外，還有一類應用于增強現實顯示的顯示系統——波導式顯示系統，其基本原理如圖5 所示。 微型投影光機發出光束，從耦入區域耦合至波導板，并以全反射形式在其中傳播至耦出區域，最終投射至觀察者眼中。 其中，耦入耦出區域根據具體技術路線的不同可以采用反射鏡、棱鏡、表面浮雕光柵和體全息光柵等。 根據波導基底與耦合區實現方式的不同，波導顯示又分為幾何光波導和衍射光波導2 種類型。 幾何光波導原理簡單，且設計思路、制備技術均較為成熟明確，是目前市場增強現實波導顯示技術的主流之一。 衍射光波導更多依賴于光的衍射效應，設計過程更為復雜，該技術需要具備更為成熟的微納加工制造與大批量制造技術，是近年來較為新型的技術之一，其成熟度相較于幾何光波導也存在一定差距。對比于傳統的幾何光學顯示，波導顯示可以做到更輕、更薄，體積更小。 但對比基于自由曲面的顯示系統，波導顯示在顯示畫面質量上還有一定差距，且受限于材料和工藝的要求，制造成本高昂，良品率低，這使其在性能和大規模制造上存在一定差距。 表1 對以上幾種顯示方式進行了總結與優缺點比較。

圖5 波導式顯示系統Fig.5 Optical waveguide display system

表1 增強現實顯示方式對比Table 1 Comparison of augmented reality displays

隨著航天員艙內外活動日益復雜，除了基本的太空行走，還涉及航天設備的維修以及以后的火星登陸等太空活動，按照目前的方式通常需要邊翻閱操作手冊邊進行作業，這種方式效率低、容易出錯，對人員的能力素養和經驗技巧要求較高，因此亟需一種新的顯示方案。 增強現實顯示技術被認為是最具潛力的解決方案，增強現實顯示技術在現有顯示方式的基礎上將信息與真實外景疊加，極大地簡化了原有的操作方式。 憑借此優勢可進一步提升航天員太空作業時的效率和安全性。 增強現實型頭戴顯示設備是增強現實技術中產生時間早、發展速度快且適用范圍廣的一類典型應用，當今許多基于現實實景與虛擬信息相疊加的顯示都屬于增強現實頭戴顯示設備的范疇。

3 艙外航天服顯示技術

3.1 袖口清單

當前航天員主要通過紙質飛行手冊、電子手冊或與地面控制中心通話的方式獲得在軌任務操作指導信息。 前2 種方式使得航天員視線必須在操作設備和手冊之間來回切換，且至少有一只手翻頁，對于失重狀態下的航天員，這增加了身體的不穩定性，也增加了眼和手的操作負擔，從而使工作效率降低；而通訊設備普遍存在通訊延遲，影響航天員的實時操作，以上方式均不能滿足復雜任務需求。

基于上述現狀，各國開展了相應的研究工作，其中NASA 采用在航天服左臂上佩戴袖口清單，如圖6（a）所示，清單中攜帶相關操作信息。 但由于顯示信息有限，使用繁瑣，作用有限，同時還需要航天員手臂加以輔助才能顯示，不能實現信息顯示和工作同時進行，限制了其應用。 為了支持NASA 的下一代航天服開發工作，Honeywell 公司開發集成了OLED 的下一代手腕顯示器，如圖6（b）所示，但仍然沒有解決視野頻繁切換、觀察不便等問題。

圖6 袖口清單顯示設備Fig.6 Display device for cuff checklist

3.2 顯示控制模塊

顯示控制模塊（Display and Control Module，DCM）是一種可實現艙外航天服信息顯示的設備。 該裝置放置在航天員身體胸部前上方，含少量數字、字母信息，僅用于特定操作。 這種方式存在觀看角度不舒服、字體小、對比度低、透過頭盔罩遠距離觀看外面的信息較難分辨、容易受到環境眩光影響等缺點，應用也較受限，如圖7 所示。

圖7 顯示控制模塊［11］Fig.7 Display and Control Module （DCM）［11］

3.3 航天服頭盔顯示器

基于袖口清單、OLED 腕表、身體顯示控制模塊的固有缺陷，NASA 始終在尋找更優的解決方案，并最終將目光鎖定在頭盔顯示器（Helmet?Mounted Display， HMD ） 上。 1984 ～1991 年，NASA 開展了多型航天服頭盔顯示器的研究，并完成了4 種頭盔顯示器原型樣機的研制，如圖8 所示。 但由于4 種方案均采用了艙外航天服盔體外部投影顯示方式，導致頭盔體積大、顯示易受外部極端環境影響等問題，這4 種設計最終未能實施應用。 但通過研究認為，頭盔顯示方式完全可以實現無需人手參與的信息顯示與控制，同時也對頭盔顯示器提出了如下需求：

圖8 早期HMD 樣機示意圖［12-14］Fig.8 Picture of early HMD prototype［12-14］

1）顯示：固定視角觀察；

2）圖像源：高分辨率彩色LCD；

3）圖像位置：相對水平視線45°上方；

4）分辨率：不小于640×480；

5）視場：不小于12°對角線；

6）成像距離：約0.9 m；

7）體積：小巧。

2001 年，Carr 等提出了一種將微型顯示系統安裝在普通眼鏡上，實現近眼顯示的方案，該方案整體功耗小于15 W，并考慮到純氧環境的安全性，提出了最大電流限制的要求，即在29.6 kPa氣壓下最大電流不可超過500 mA。 顯示方式為右目單目顯示，且整個顯示區域位于正常目視前方水平向上10°～20°的范圍內，如圖9（a）所示。但是由于安裝在頭盔內部靠近人眼的位置，使得頭部右轉方向受限。

2002 年，Hanmilton Sundstrand 公司的艙外航天服頭盔顯示器采用了Micro?Optical 公司640×480 分辨率的彩色VGA 顯示，視場為16°的眼鏡式顯示器，如圖9（b）所示。 顯示器位于頭盔內部，可繞旋轉軸，根據不同航天員的眼位進行環繞式旋轉，但因過于貼近眼睛部位，同樣存在對頭部轉動限制的問題。

圖9 顯示方案Fig.9 Display scheme

2004 年，NASA 聯合馬里蘭大學進行了人機界面領域的研究，在I?Suit 航天服內頭盔支架上安裝了一個頭盔顯示器，如圖10 所示。 該顯示器擁有640×480 的分辨率，其視場大小相當于在距離人眼50 ～70 cm 的視野前方有一副17 in的顯示器。 相比眼鏡式不再需要佩戴，只有在需要時才去觀看，不影響正常的主視野。 NASA 對其進行了測試和評價，試用者認為頭盔顯示器顯示比袖口清單或者通過語音方式傳達信息更加有效，進一步確認了在未來艙外航天服上采用先進信息系統的必要性。

圖10 I?Suit 頭盔顯示器［17］Fig.10 I?Suit helmet?mounted display［17］

2006 年，ESA 提出了一種單目頭戴顯示方案，采用OLED 為圖像源，10 mm 厚的聚碳酸酯自由曲面光學棱鏡作為中繼光學系統，如圖11 所示。 該系統視場為20°×14.5°（對角線視場約25°），分辨率為852×600，重量小于100 g，出瞳直徑為7 mm，眼距為30 mm，彩色顯示，亮度為400 cd／m。 這種方案顯示器距離人眼太近，且會影響前方視野，與輔助顯示而不影響正常觀察視角的需求存在矛盾。

圖11 ESA 設計的HMD 示意圖［1］Fig.11 Schematic diagram of HMD designed by ESA［1］

2010 年，NASA 重新啟動了艙外航天服頭盔顯示器的開發，提出了可供太空飛船駕駛艙使用的顯示器。 抬頭顯示器（Head up Display， HUD）和頭盔顯示器作為一類別被列入規劃中，如圖12所示。 NASA 并給出2 種顯示技術方案：①按照之前的設想，頭盔顯示器安裝在航天服內，只負責顯示一些重要通知內容，并且得益于技術的發展，此種方案的頭盔顯示器可以非常小巧，亦不會遮擋航天員正常使用時的視野；②將整個頭盔顯示器置于航天服面罩外，采用不可透視的顯示方式，此方案要求頭盔顯示器將包括通訊信息在內的外景圖像同步顯示到航天員眼前。 第2 種方案更像是一種虛擬現實顯示技術，但無論哪種方案，NASA 特別強調未來頭盔顯示器將側重于登月活動探索時的操作。

圖12 NASA 對航天顯示器的規劃［18］Fig.12 NASA’s plan for displays［18］

2011 年，NASA 和Honeywell 聯合研發一套可以對航天服頭盔顯示器進行測試的設備系統，該系統可模擬太空環境，對包括頭盔顯示器的生命支持信息顯示、圖片顯示、視頻顯示和導航畫面信息顯示等功能進行模擬測試，如圖13 所示，目的是進一步推動在艙外活動上使用頭盔顯示器技術。 2013 年，NASA 提出開發的下一代航天服采用頭盔顯示器，將為航天員提供更加豐富的信息，使乘員更加自主。

圖13 HMD 測試平臺［19］Fig.13 Testbed platform for HMD［19］

2019 年，NASA 為了解決未來在月球上停留時間延長，提高航天員自主權的問題，通過了在未來航天服的頭盔中加入中眼距顯示（Heads?in Display， HID）的初步設計審查，明確了一種適用于航天服的顯示技術，以區別于近眼顯示和平視顯示。 2020 年，NASA 發布了航天員健康和艙外活動路線圖，其中明確了聯合增強現實視覺信息系統（Joint Augmented Reality Visual Informatics System， JARVIS）、頭盔顯示器和潛水員增強視覺設備等技術發展的需求。

中國在艙外航天服頭盔顯示器方面也開展了一些研究工作，第1 代艙外航天服采用了OLED微顯示器，并根據頭盔內部空間布局設計了緊密貼合盔體包絡的光學系統。 姚麗坤等研究了一款應用于艙外航天服的折反式單目頭盔顯示系統，可為航天員提供清晰的文字和圖像顯示，OLED 顯示分辨率為852×600，視場23°，出瞳距離為45 mm，出瞳直徑為10 mm，畸變4.87%，亮度≥150 cd／m，如圖14 所示。 該光學系統布置在航天員右目的前上方，航天員通過右眼觀察光學系統投射的顯示畫面，需要觀察時微微抬起頭部即可，不需要觀察時可以平視外面罩。

圖14 裝配效果圖［23］Fig.14 Diagram of mounted effect［23］

為了適應未來更加復雜和繁重的太空任務需求，需要新技術來支持和優化航天員工作，特別是開發新的信息顯示系統，改善上述航天服頭盔顯示器存在的缺點和問題，提高航天員在太空中的工作能力。 表2 是當前艙外航天服顯示方式的優缺點比較。

表2 艙外航天服顯示技術對比Table 2 Comparison of display technologies in EVA space suits

航天與航空許多技術同源，尤其是在顯示技術方面。 如圖15 所示，航天員身著航天服，戰斗機飛行員佩戴頭盔，航天服的面罩相當于戰斗機飛行員的護目鏡，航天員大部分也是飛行員出身，可以快速適應護目鏡頭盔顯示方式，同時航空頭盔顯示器是一種中眼距顯示系統，符合NASA 對頭盔顯示器的論證需求。 因此將航空頭盔顯示器技術應用于艙外服顯示具備技術轉化潛力。

圖15 頭盔顯示器對比示意圖Fig.15 Comparison diagram of helmet?mounted display

4 小結

未來空間飛行在探索月球、火星或其他目標的過程中通過頭盔顯示器提供彩色文字、圖片、視頻等信息，將具有更好的態勢感知能力和更直觀的顯示體驗。 為了滿足月球／火星人居艙、漫游車以及采礦作業等各種應用需求，未來的頭盔顯示器將采用模塊化的設計思路，易拆卸安裝，實現便攜通用，從而減少發射總質量，降低發射成本。 同時，為了使航天員長時間使用具備更好的人機工效體驗感，未來將繼續在顯示模塊小型化設計方面努力，使其存在于無形之中，實現對頭部任意轉動無妨礙。

增強現實型頭盔顯示器將是未來艙外航天服的關鍵部件，在載人航天工程中的太空維修、太空輔助顯示等領域有著廣闊的應用前景。 眼鏡式顯示方案的顯示部件距離人眼太近，使得頭部轉動受限，同時還存在安全風險，會分散主顯示或外目標信息注意力。 基于航天服的面罩顯示是一種中眼距顯示方案，頭部轉動空間更大，安全性得到提升，是未來艙外航天服顯示技術的發展趨勢。

航空機載頭盔顯示器與艙外航天服頭盔顯示器技術同源，通過技術移植可實現艙外航天服頭盔顯示器的快速研制，可為中國下一代載人航天工程實踐提供技術支撐。