增強現實技術最新研究進展及航空航天領域應用*

劉 遠 孟少華 陳暢宇 樊啟帆

（1.北京衛星環境工程研究所 北京 100094）（2.北京市航天產品智能裝配技術與裝備工程研究中心 北京 100094）

1 引言

增強現實（Augmented Reality，AR）是將數字虛擬信息與真實世界環境巧妙融合的技術。它廣泛地應用了多媒體、三維建模、實時跟蹤、智能交互和傳感器等技術手段，將計算機生成的圖像、文字、三維模型和音視頻等虛擬信息模擬仿真后再疊加到真實世界中，虛實信息互為補充，進而實現對真實世界的增強［1］。

工業領域上的工業真實世界與數字信息文件之間的差距，使得工業用戶在理解、認知、執行、監控和優化流程上，變得困難重重并阻礙了整體的生產力。而基于AR技術的解決方案可以消除這些差距。利用各種移動式的增強現實軟硬件系統，可以將現場數字數據和三維數字文件的數據進行精確地融合比對。大幅縮短了數字世界和現場實際世界之間的認知距離，創造了強大的協同作用，并提高了效率。因此有望在工業領域獲得廣泛應用［2～3］。

為了降低工業企業的生產成本、加強產品性能、提高生產效率，本文對AR技術的最新研究趨勢進行綜述，并調研AR 技術在國內外航空航天領域的應用，為我國在相關領域開展工作提供參考。

2 增強現實技術原理

如圖1 所示，AR 技術實現原理主要分為輸入、虛實融合和輸出三部分。首先，通過對真實世界的圖像數據進行采集并結合人機交互技術發布指令到增強現實終端完成輸入。然后，通過虛實融合技術使場景具有良好的虛實融合渲染效果。最后，通過顯示技術輸出可視化結果到設備終端。

圖1 增強現實技術原理

如圖1 所示，增強現實技術實現流程主要分為輸入、虛實融合和輸出三部分。1）輸入：增強現實終端用戶采用語音、手勢和體感等人機交互技術控制增強現實終端通過采集真實世界場景信息，并將真實信息輸入虛實融合處理；2）虛實融合：分別采用計算機視覺技術處理采集到的真實圖像信息和計算機圖形學技術渲染出虛擬信息，最終在3D 環境中完成虛實信息的疊加；3）輸出：可采用3D立體技術、全息顯示技術和光場顯示技術顯示輸出虛實融合信息。因此，增強現實技術的關鍵是如何將虛實信息無縫融合，根據Ronald Azuma［4］對增強現實技術的定義，為了確保真實世界和虛擬對象的無縫融合必須要解決好三大關鍵問題和三項關鍵技術。

其中三大關鍵問題是如何解決虛實信息在幾何、光照和時間方面的一致性問題。1）幾何一致性：所謂的幾何一致表示虛實信息在空間中保持一致，需重點關注遮擋處理策略。正確的遮擋關系可以增強觀察者在視覺體驗上場景真實感，比如在增強裝配場景中，不同的裝配零件存在著前后遮擋關系，因此，正確反映虛實零件間的遮擋關系，對增強裝配系統的實際工程應用具有重要意義。一般遮擋處理策略主要有基于深度信息的虛實遮擋［5］和基于模型的虛實遮擋［6～7］兩大類。2）光照一致性：繪制具備真實感的虛實融合場景需解決光照一致性問題。3）時間一致性：實現實時人機交互則需解決時間一致性問題。三大問題中，幾何、時間一致性是光照一致性的基礎，實時、高效地還原真實幾何場景后才可以進一步實現形象逼真的光照渲染。

AR實現需要用到的三項關鍵技術分別是虛實融合技術、人機交互技術以及顯示輸出技術［8］。

1）虛實融合技術

虛實融合技術實現的關鍵是跟蹤注冊精度，跟蹤注冊方法分類如表1 所示。最初，主要采用二維碼人工標識物的方法實現目標定位跟蹤［9］，但是該方法成功使用需滿足如下條件：1）標識物避免被遮擋，應出現在圖像采集裝置視野內，否則會導致跟蹤失敗；2）避免受強光照射，導致無法辨識；3）選擇適合放置標識物的工程環境。上述條件限制了有標識物的定位跟蹤方法進一步發展，隨著計算機計算能力的提升，學者們將研究重心轉移至無標識物的定位跟蹤方法，主要分為基于模型［10］、基于圖像自然特征［11］和基于機器學習［12］等方法。

表1 跟蹤注冊方法分類與對比

增強裝配作為裝配工藝可視化手段，采用穩定的虛實融合技術，根據采集裝置實時感知真實裝配操作空間環境信息，將文字、標識、模型等虛擬工藝信息精準地疊加在真實環境中，通過生成虛實融合的工藝引導視圖，指導裝配操作人員完成零件安裝［13～14］。

2）人機交互技術

隨著AR 時代的來臨，采用新型的人機交互方式將成為主流。因此，模仿人類本能的人機交互技術成為AR技術的重要基礎。人機交互技術實現用戶和物理環境中虛擬對象之間更自然的交互，主要包含動捕、眼動追蹤、語音交互、觸覺交互和腦機交互等，圖2 列舉了典型的面向AR 的人機交互技術方式［15］。

圖2 人機交互技術

3）顯示技術

顯示技術以人眼的立體視覺原理為依據。因此，研究人眼的立體視覺機制、掌握立體視覺的規律，對設計立體顯示系統是十分必要的。如果想在虛擬世界看到立體的效果，就需要知道人眼立體視覺產生的原理，然后再用一定的技術通過顯示設備還原立體效果。主要包括頭戴顯示技術、全系投影技術和光場成像技術。

3 增強現實產業發展情況

目前，AR 產業正處于市場啟動期到高速發展期的過渡階段，產業發展主要由技術創新和應用拓展驅動，未來有望吸引更多廠商進入AR 市場。隨著技術體系的成熟、產業鏈構建的完善以及產品形態和內容平臺的豐富，AR 有望在更多場景實現落地。未來AR 產業有望發展成為一個軟硬結合，且匯集大量優質內容的平臺，屆時也將迎來真正的高速增長期。

AR 產業鏈上游硬件部分主要包括光學設備、顯示設備、芯片、傳感器等，軟件部分包括數據采集（環境渲染、視頻捕獲、SLAM）、數據處理（3D 渲染、渲染引擎等）和系統平臺（操作系統、SDK）。中游的硬件部分包括3D Sensing、處理器模組、顯示模組等，軟件部分包括動作捕捉、眼動追蹤和語音處理等功能的開發；下游則主要是各種AR 終端產品以及各種AR 技術應用的服務。IT 巨頭在AR 領域積極布局，在軟硬件技術和應用生態方面均有所建樹。海外廠商憑借著技術先發優勢和平臺優勢，切入了AR 底層技術研發、終端產品制造和垂直領域應用等全產業環節，逐步建立起完善的產業生產，競爭優勢顯著。

1）谷歌

2013年的Google Glass，是AR 的另一款里程碑式的產品，它也是第一款消費級別的AR 產品。用戶佩戴谷歌眼鏡在路途中查詢地圖導航、拍照，并與朋友通訊的場景讓大眾印象深刻。在過去數年的應用和沉淀中，不少企業已經借助Google Glass提升工作效率，比如DHL 快遞的員工會通過Google Glass 頭顯提升揀貨速度；農機制造商AG?CO、機械制造商GE通過頭顯操作指南提高裝配效率（圖3）。

圖3 谷歌眼鏡應用

2）Magic Leap

Magic Leap［16］于2011 年在美國成立，采用技術難度極大的光場技術研發新一代增強現實產品，并于2017 年推出Magic Leap 1，該產品作為谷歌眼鏡與Oculus Rift［17］的結合體，在眼鏡與真實世界中疊加一個虛擬的數字圖像層，進而實現虛擬信息與真實世界的融合，包含了輕質頭顯裝置、內置處理器的輕質攜帶裝置以及6自由度遙控裝置。

3）微軟

HoloLens 1 是微軟公司于2015 年發布的首款全息眼鏡，不同于頂級虛擬現實設備Oculus Rift 和HTC Vive［18］，其本身就是一臺搭載Windows 10的獨立運行的全息計算機設備。該裝備基于LCoS投影顯示技術，內置CPU、GPU和HPU（全息處理器），集成慣性傳感器、環境光傳感器、混合現實捕捉傳感器等，并采用即時定位與地圖構建（Simultaneous lo?calization and mapping，SLAM）技術。HoloLens 1 內含六個攝像頭，分別是一個深度信息采集裝置、四個環境灰度信息采集裝置以及一個高像素的攝像頭。其中深度信息采集裝置采用紅外線測距技術進行深度信息采集；四個環境感知攝像頭用于環境地圖構建；高像素攝像頭用于拍攝圖片以及錄制視頻。

4）Meta

Meta［19］采用獨特的技術，可以使用戶通過雙手控制3D 內容，將自身構建成比Macintosh 容易使用100 倍的操作系統。其目標是讓用戶和虛擬物體之間的互動成為真實世界體驗的一個無縫擴展。

5）蘋果

蘋果公司［20］在AR 領域積極展開布局，自2010年起收購了多家AR 技術相關領域公司，分別是位于瑞典的人臉識別技術公司PolarRose；位于以色列的人體3D 實時動捕公司PrimeSense；人臉識別公司FaceShift；位于德國的增強現實技術公司Me?taio以及初創企業FlybyMedia。

4 增強現實技術在航空航天等工業領域應用現狀

航空航天領域產品存在著系統設計復雜、安裝精度要求高、裝配質量無差錯等特點，給裝配操作人員帶來了極大得挑戰。隨著AR技術的在裝配領域推廣，增強裝配新技術成為了新的引擎，助力實現更高效率、更直觀以及更安全的操作，進而被應用于國內外航空航天企業。

1）波音公司

如圖4（a）所示，AR技術最早于20世紀90年代初被波音公司提出，并被擴展開發為AR 輔助鋪線系統［21～22］。該系統采用了視頻透視式顯示裝置，將虛擬的鋪線路徑以及接線點的位置信息疊加到真實的安裝環境中，引導操作人員高效率完成鋪線操作，并大大降低了安裝錯誤率。隨后，針對飛機電纜裝配場景，波音公司開發了“Skylight”AR 裝配工藝引導系統，引導海量電纜裝配。操作人員通過該系統不僅能夠在真實裝配場景中看到電連接器位置信息，還能夠看到虛擬的裝配工藝指令等提示信息，進而快速準確地完成電纜安裝操作，如圖4（b）。波音公司已經在生產線上大規模使用AR 眼鏡以輔助線纜的裝配，如圖4（c），該系統能夠為技術人員提供實時在線、交互式的三維接線圖。數據統計，波音公司采用AR技術后，將線束的錯漏裝比率降低了近50%，效率提升了25%。

圖4 波音公司采用增強現實技術指導裝配作業

2）空客軍用飛機公司

空客軍用飛機公司（AIRBUS Military）［23］將AR技術應用在飛機車間裝配指令中以替代傳統的紙質工藝文件。最早在A400M 飛機鋪線中通過研發的“月亮”AR 裝配輔助系統，以智能平板電腦為虛實信息展示平臺，顯示電纜走向、電連接器代號等工藝提示信息，進而引導操作人員高效、精準地完成數百千米的電纜和電連接器的安裝任務，并進行安裝質量的快速檢驗。進一步，空客公司還通過“智能增強現實工具”系統開發了設計驗證模塊、裝配引導模塊和裝配質量檢測模塊［24］。其中裝配質量檢測模塊為A350等機型的管路支架的安裝正確性提供輔助檢驗功能，通過比對原始三維設計模型數據和實際裝配結果采集圖片數據，進而實現管路支架的錯漏裝檢驗，將檢驗時間縮減了近85%，如圖5。

圖5 空客公司基于增強現實的“MiRA”系統應用

3）歐空局

歐空局（ESA）［25］早期開發的增強現實應用系統為國際空間站宇航員提供“精準”的裝配操作信息。ESA 通過EdcAR 項目定義了AR 的通用體系結構和工作流程（從空間工程數據到最終AR 應用），以便將其應用到空間領域，最終為增強現實的概念驗證實施了三個具有代表性的用例：1）有效載荷同軸電纜組件的組裝［26］，2）國際空間站集中式機艙過濾器的更換［27］，3）國際空間站維護工作的遠程支持。

4）國家航空航天局

國家航空航天局（NASA）［28～29］早在2016 年的Sidekick 項目中已在國際空間站測試了微軟的Ho?lolens 設備，旨在更加有效地維護和保養空間站上的設備。宇航員Scott Kelly借助HoloLens增強現實眼鏡的實時過程指導對國際空間站進行了操作和維修［30］。

5）Diota

Diota 公司成立于2009 年，作為一家致力于增強現實解決方案行業的歐洲領先供應商。研制了多種基于AR 技術的產品，如投影系統（圖6（a））、平版電腦系統（圖6（b））、手柄相機（圖6（c））和檢驗相機（圖6（d））［31］。

圖6 Diota公司研制基于增強現實技術的產品

其中投影系統適合在寬大的表面上對復雜、精細的作業流程信息進行可視化。通過AR增強現實技術，在現實作業區實時疊加顯示逐步式數字作業指令，并與步驟中的任務、零件、工具設置的指令進行交互，可有效降低任務復雜度，幫助工人減少錯誤，降低作業錯誤風險。同時，能夠解放工人的雙手，支持多個工人同時作業，可以大幅減少作業時間。

平版電腦系統適用于與信息系統頻繁交互的生產作業或需要高質量圖形渲染的操作工況，對于由不同性質的零部件（機械、液壓、化學、電子）組成的復雜系統，通過參考標準的數字模型定位控制點檢測不合格品。另外，可在現場拍攝待集成系統的照片，設計師收到圖片后，可以通過檢測系統配置如固定裝置、支架和配件的位置、高度和方向，進而驗證各種設備（儲罐、增壓器、料倉等）的設計合格性。

檢驗相機可以搭載在機械臂上，通過基于模型的檢驗路徑規劃方法，實現對產品裝配質量的自動化檢驗，如圖7。

圖7 基于增強現實的檢驗相機系統應用

具體場景與檢驗方法主要分為以下方面：

1）基于三維模型，檢測線纜兩端、螺絲切齊區、托架邊緣、鏡蓋位置等判斷其是否存在；

2）基于顏色過濾器，判斷紅夾、蓋子、便帽、平滑帽、藍帽、藍色墊圈等是否存在；

3）通過對線束三維重構，按線束線序近似，判斷線束是否交錯混裝；通過三維模型與點云測量數據之間的三維點云對準判斷線束是否在束線夾內；

4）其它：基于形狀檢測油表油位；基于高梯度和高亮度區域檢測白色螺旋頂端是否存在。

隨著發展前景認識的不斷加強，國內的各高校和科研機構相繼展開了對增強可視化技術的研究。

華中科技大學的李世其［32］等針對飛機座艙裝配空間狹小、設計復雜度高、裝配過程繁瑣且安裝精度要求高等特點，將AR 技術應用到了座艙裝配操作中；北京郵電大學孫桂川等［33］設計并開發了網絡環境下基于特征的AR裝配原型系統；同樣，北京郵電大學宋荊洲等［34］提出一種將層次著色Petri 網與圖靈機模型相結合的方法，建立了基于AR 技術的增強裝配系統。

進一步，為提升AR 系統的三維跟蹤注冊的精確度和魯棒性，西北工業大學王月等［35］基于點云和機器視覺特征結合的方法，研制具備虛實融合計算處理能力的增強裝配工藝引導原型系統（CPILab-AAPS，Cyber-Physical Interaction Lab-Assembly As?sistance Prototype System），并在無人機發動機上進行系統測試驗證。深圳增強現實技術有限公司0glass 設計的裝配輔助系統PSS（Performance Sup?port & Training System）［36］，內置了實時指導、透明管理、個人教練、知識沉淀四大模塊。早在2017年，中國空間技術研究院北京衛星環境工程研究所基于三維渲染引擎Unity3D，構建基于增強現實的電纜裝配引導系統，給出了系統總體技術框架，闡述了虛實跟蹤注冊模塊、智能交互模塊、三維工藝導引信息可視化方法及虛實一致性控制方法等內容的技術流程、實現方法及實驗結果。并將原型系統應用于實際航天器電纜裝配場景，對系統功能和各技術方法進行了驗證，證明基于增強現實的電纜工藝可視化方法對手工作業效率的提升達40%以上。該技術應用于我國航天器產品總裝［37］的成功案例獲得了行業內廣泛關注，并被央視報道，如圖8。

圖8 增強現實輔助航天器總裝

除此之外，國內北京理工大學、南京航天航空大學等都在增強現實與裝配引導的結合上做了很多優秀的研究及嘗試，不斷充實了未來增強現實充分落地工業復雜裝配場景的理論及應用基礎。

5 結語

從應用行業來看，航空制造領域對增強可視化技術的關注度與嘗試比其他制造子行業更多，這一方面是由飛機制造的復雜性直接決定的，另一方面也與需要大量人工操作有密切關系。因此，這對具有相同特點的航天器總裝研制具有良好的借鑒意義。

從應用水平來看，國內外增強可視化技術在制造各個子領域的應用均不成熟，大部分公開報道的增強可視化系統以關鍵技術研究、應用模式研究、演示教育等為主要目的。在市場尚未成熟的當前時期進行相關技術布局，有利于及早獲得核心競爭力。

從應用模式來看，增強可視化技術主要在有實物對象的現場進行應用，主要類型有以下三種：1）對現有產品、設施、場地等進行改進設計，可以不破壞環境，并現場快速出圖；2）引導操作者進行復雜系統的裝配與維修，替代厚重難懂的技術文件；3）對非專業人士進行快速培訓，使用真實場景取代傳統紙質資料。這些也是航天器研制中出現頻率最多的場景，因此，增強可視化技術在航天器裝配過程中具有巨大應用價值。

我國正處于工業轉型升級的關鍵時期，AR 技術的發展，既是重大機遇，又是挑戰。加快推進AR技術研發及產業化，對于提升我國制造業的整體創新能力，取得在數字化制造、智能制造方面發展的主動權，搶占先進制造業發展制高點，加快工業轉型升級和經濟發展方式轉變具有重要意義。因此，相關技術的研究、應用將會是一項長期而持續的工作。本文通過調研國內外AR 技術的應用現狀，可為我國在相關領域開展工作提供參考。