增強現實技術在單兵設備中的應用研究*

程天人 徐 騰

（上海船舶電子設備研究所 上海 201100）

1 引言

增強現實技術（Augmented Reality，AR）是將計算機生成的虛擬信息合成到用戶感知的真實世界中的一種技術，通過利用視覺、聽覺、觸覺等人類的各種感知方式，將真實世界與虛擬世界融合起來，實現對真實世界的增加和強化，提升用戶對現實世界的感知［1］。真實的環境和虛擬的物體實時疊加到同一個畫面或空間同時存在，不僅展現了真實世界的信息，而且將虛擬的信息同時顯示出來，兩種信息相互補充、疊加，提供了在一般情況下，不同于人類可以感知的信息。2012年6月28日，在I/O 開發者大會上，谷歌公司推出了穿戴式增強現實產品Google Glass，被《時代》雜志評為2012年最佳發明。微軟2015年展示了HoloLens 增強現實眼鏡，可以利用手勢進行交互，戴上眼鏡后，可通過手指在空中點選、拖動、拉伸來控制虛擬物體和功能菜單界面，進一步激發了全球增強現實技術研發與應用的新熱潮。

當前，從城市規劃、教育科研、設計研發、維修保障到軍事訓練、作戰指揮，增強現實技術均能大顯神通，展示出超強的發展潛力，隨著研究和應用的日趨深入和成熟，必將對未來各領域應用產生深遠和顛覆性的影響。

2 增強現實系統組成

增強現實技術發展與虛擬現實技術發展密切相關，二者又明顯不同，虛擬現實是模擬真實世界，用戶完全沉浸在虛擬世界中，與虛擬物體進行交互，增強現實是在用戶感知的真實世界上，疊加虛擬場景，來提升用戶的感知能力，用戶與合成的場景進行交互，并不改變對真實世界的各種感受［2］。增強現實是一個多學科交叉的研究領域，融合了包括多媒體、計算機視覺和圖形學、人機交互、圖像處理等多種技術。一個典型的AR系統由虛擬模型生成、虛擬場景渲染、跟蹤定位、虛實融合顯示、操控信息捕獲與處理等部分組成，如圖1所示。

圖1 增強現實系統結構示意圖

模型、圖片、文字等虛擬場景元素一般由計算機生成，模型可根據場景應用需求預先加載或在應用過程中根據用戶要求實時加載［3］。

虛擬場景渲染主要是對虛擬場景進行繪制、渲染，生成虛擬場景中的虛擬物體，形成虛擬場景。

真實場景通過透鏡或攝像機采集，疊加虛擬場景后，形成增強現實場景，供用戶體驗。

跟蹤定位是通過對真實場景量測、計算，獲取虛擬場景中物體的信息，實現虛擬場景在真實場景中的疊加和融合顯示。

用戶需要可以通過語音、手勢等，由麥克風、攝像頭、跟蹤器和計算機等設備進行捕獲處理，生成操控指令進行虛擬場景元素的加載及制作，從而實現對增強現實場景的控制。

3 增強現實系統主要關鍵技術

增強現實系統的主要任務是進行真實世界和虛擬物體的無縫融合，需要解決真實場景和虛擬物體在幾何空間、色彩空間和時間維度的合成一致性問題。根據增強現實技術的定義，實現一個AR 系統必須要具備三種關鍵技術，分別是成像顯示技術、跟蹤與定位技術、人機交互技術，其中，跟蹤與定位技術實現幾何空間一致性，成像顯示技術實現色彩空間一致性，人機交互技術實現時間維度一致性。

3.1 增強現實跟蹤與定位技術

跟蹤定位技術一般分兩類，一類是基于傳感器的跟蹤定位技術，這類技術無需使用復雜的算法來獲取虛擬信息呈現的位置，而是通過北斗、GPS、陀螺儀等各種硬件傳感器來得到位置、姿態信息；另一類是基于計算機視覺的跟蹤定位技術，該類技術無需借助傳感器等硬件設備，它通過攝像設備采集真實場景視頻圖像，采用圖形圖像處理技術對采集的環境信息進行分析，獲取攝像機在真實環境中的位置、角度等信息，從而實現跟蹤定位［4～5］。跟蹤定位技術的主要分類如圖2。

圖2 三維場景跟蹤定位技術

由于兩種跟蹤定位技術在使用中各有優勢和不足，目前單一的跟蹤技術不可能很好地解決增強現實應用系統的跟蹤定位問題。因此采用混合跟蹤的方法進行跟蹤定位是增強現實系統的重點研究方向［6］。混合跟蹤定位技術主要是將基于視覺的跟蹤定位與基于傳感器的跟蹤定位相結合，以達到更加精確的跟蹤定位效果。

3.2 增強現實成像顯示技術

增強現實系統成像顯示技術主要包括傳統普通顯示器顯示、便攜移動設備顯示、投影顯示設備顯示、頭盔顯示設備顯示、眼鏡顯示、裸眼3D 顯示等技術，如圖3。其中，單兵設備的頭盔顯示方式已廣泛應用于增強現實系統中，一般分為光學透視式和視頻透視式兩類，光學透視式頭盔顯示技術由加裝在眼前的光學融合器完成虛實場景的融合，再將融合后的場景呈現給用戶。光學透視式增強現實系統具有簡單、分辨率高、沒有視覺偏差等優點，但同時也存在著定位精度要求高、延遲匹配難、視野相對較窄等缺陷。視頻透視式頭盔顯示技術由頭盔上的攝像機獲取真實場景的視頻圖像，并將該視頻圖像與虛擬場景進行疊加，實現虛實場景的融合呈現給用戶。視頻透視式增強現實系統具有景象合成靈活、視野較寬、跟蹤誤差小、定位精度高等優點，但由于人眼的視點與攝像機視點無法重合，會導致用戶看到的景象與真實景象之間存在偏差［7］。

圖3 增強現實成像顯示技術

圖4 增強現實人機交互技術

3.3 增強現實人機交互技術

增強現實系統中的交互方式主要有四類：傳統的鍵盤、鼠標人機交互、基于便攜設備的人機交互、基于手勢的人機交互和基于語音的人機交互，基于手勢和語音的人機交互更接近于人類本身的交互方式，一般稱為自然人機交互［8～9］。

基于手勢動作的人機交互技術通過視覺檢測實時捕獲、分析操作者動作，實現對操作者意圖的識別，并自動匹配和生成相應的操作指令，實現人機交互［10］。動作捕獲技術主要由光學捕獲和視覺捕獲技術兩部分組成，光學捕獲通過捕獲穿戴設備特定位置光點，并綜合多個光點位置信息分析出操作者所作的動作，實現對操作的識別；視覺捕獲技術通過提取視頻中捕捉對象，通過特定的三維模型匹配動作，實現對操作的識別。

4 增強現實技術在單兵設備中的應用

隨著信息技術在軍事領域的深度應用，以信息網絡為基礎，引入人工智能、增強現實等前沿技術，世界各國都在大力發展單兵系統，對系統的綜合效能、人機交互特別是視覺增強等方面進行深入研究，從而提升單兵設備的智能感知、多任務協同和人機交互的能力。

單兵設備一般采用頭盔式裝備，其裝備方便，便于使用。在頭盔式裝備中，穿透式大視角增強現實（AR）顯示設備是主流的顯示方式。新的設備形態需要新的人機交互方式與之相適應。

4.1 雙目戰術AR裝置設計技術

雙目戰術AR 提供了一個全新的人機交互方式［11］，具有較佳的近眼顯示效果，使用者能夠輕松、便捷地觀看顯示信息，主要功能是提供一個雙目的可視覺穿透式的近眼顯示功能，透過屏幕可以看到實際的物理世界，同時還可以在屏幕上疊加顯示一部分虛擬信息，從而達到虛擬現實增強的效果。頭盔顯示器采用隱藏式雙目戰術AR結構設計。

隱藏式雙目戰術AR 通過增加頭盔前沿的寬度，采用阻尼滑軌，使用時可將AR眼鏡端向下輕拉便可定位于眼前，通過微調便可清晰顯示，同時可以佩戴全面罩式風鏡。不使用時可將AR眼鏡端向上輕推，便可完全隱藏在頭盔內部，不遮擋視線，同時不影響制式風鏡等裝備的使用。隱藏式雙目戰術AR 包括盔體、盔體附件、AR 眼鏡裝置、連接裝置，如圖5所示。

圖5 隱藏式雙目戰術AR示意圖

圖6 眼動追蹤目標選擇

4.2 基于高精度輕型穩定視覺SLAM 的頭盔定姿定位技術

單兵設備的顯示功能將融合所觀察到的實際場景和對場景中的目標增強和輔助信息顯示的功能，其中虛擬對象的顯示要與真實對象的位置保持固定的空間關系，這就要求頭盔的定姿定位具有高精度、高效和持久穩定性。同時定位與地圖構建是增強現實設備與真實場景之間交互和顯示的核心支撐技術。

研究基于高精度輕型視覺SLAM 的定姿定位技術，是為單兵提供獲取周圍環境空間關系數據的技術手段，也為虛實融合顯示提供支撐，為單兵視覺提供輔助與指示。傳統的激光SLAM 由于需要額外的激光設備不能滿足頭盔的輕便、低功耗需求，而視覺SLAM作為是以可見光/微光相機為主要輸入源的SLAM 技術則成為可行的方案。該技術成本低廉，紋理、顏色信息豐富，更適合識別追蹤場景中的動態變化，檢測周邊場景語義內容，給出豐富場景描述信息。

通過對視覺SLAM 與多感知信息融合處理技術的研究，能夠得到更精確的單兵場景定位，同時實現單兵行動軌跡記錄功能，為單兵提供實時周邊信息反饋，幫助其判斷當前場景局勢。同時，單兵的傳感器信息匯總到指揮中心后，可利用中央處理器對所有信息進行匯總整合，進行全局的地圖重建，從而得到更豐富的場景實時情況。

4.3 基于眼動追蹤的目標選擇與人機交互技術

當單兵設備協同時，多維度差異化的觀察視角與視距，復雜場景不同時延信息的同步融合，以及由戰場環境、偵察打擊目標和運動平臺所構成的動態場景，都是影響單兵節點實現人人協同的難題。

由于單兵設備體積小，任務融合度高，為了滿足交互過程特殊性需求、最小化或無需手的參與，提升單兵使用狀態下的信息交互能力，最適合的交互方式為以眼動交互為主的交互方案。因為只有眼部動作的幅度最小，而且其他人無法單獨從眼部動作判斷動作的意圖。

眼動追蹤作為一種新型交互方式，在單兵頭盔中應用可以幫助單兵進行態勢感知和交互，它可以通過跟蹤人眼球的角度來找到人的注意力，選擇增強現實圖像的目標［12］。基于眼動追蹤的目標選擇，是最快最直接的方式，眼動追蹤技術是通過檢測眼球運動過程中的一些特性，來追蹤眼睛運動和視線的變化。眼動追蹤測量設備又叫眼動儀，它能測量眼動頻率、瞳孔大小變化、平均注視駐留時間、注視點序列、目標興趣區時間、眼震等參數。為此，需要重點突破眼動追蹤復雜光照防干擾算法、眼動追蹤深度學習神經網絡算法等關鍵技術。

4.4 虛實融合多坐標轉換技術

虛實融合是增強現實技術的主要實現手段，虛實融合的效果直接影響著增強現實技術的真實感。虛實融合中的最重要的問題就是多坐標轉換問題。

三維配準與虛實映射定位融合技術是增強現實系統中非常重要的部分，該技術完成的主要操作是把計算機生成的虛擬物體及信息等準確地疊加到真實場景之中。其核心是根據相機的移動，計算相機當前的位姿，由當前位姿信息就能夠得到當前虛擬物體疊加的位置，實現虛實融合。

在AR 系統中，三維配準技術主要解決的問題是怎樣準確的將虛擬物體放置在真實場景中。要將虛擬物體準確放置在真實場景中需要涉及相機的標定以及兩個轉換過程。其中，相機標定的主要目的是獲得相機的內參，兩個轉換過程包括從世界坐標到相機坐標的轉換，以及從相機坐標到成像坐標系的轉換，要經過這兩個過程的轉換，重點實現計算機在眼鏡屏幕上生成的目標檢測框（虛擬物體）準確地框選目標，才能使目標對象準確的顯示在屏幕上。

5 結語

經過多年的發展，增強現實相關技術取得了顯著的進步，展示出強勁的發展前景。本文簡要介紹了增強現實系統的基本組成，分析了增強現實系統涉及的主要關鍵技術，提出了增強現實技術在單兵設備中的重點應用研究內容，對相關研究人員系統地了解增強現實系統和技術有一定的參考意義。隨著增強現實技術的快速發展，其應用領域特別是在軍事方面的應用前景將十分廣闊。