基于圖像識別跟蹤的增強現實電子沙盤電磁態勢展示技術

賀媛媛，何 歡，竇雪倩，徐 晶

（中國電子科技集團公司第二十九研究所，四川 成都 610036）

0 引言

隨著傳感器、軍事通信、信息網絡技術的發展，雷達、紅外、光電、偵察、干擾等各種傳感器在陸、海、空、天多維空間立體化部署，戰場電磁環境日益復雜［1-2］。高效地匯集處理各方資源、為指揮員展示直觀的戰場態勢，輔助指揮員做出有效決策是態勢系統面臨的首要任務［3］。而數據量、數據屬性與數據維度的不斷增加，數據關系的愈加復雜使得傳統的平面可視化面臨巨大的危機和挑戰［4］，這些危機與挑戰主要是平面可視化呈現形式難以表達復雜、高維的數據集，傳統桌面端受到設備尺寸限制使得平面可視化協作性大大降低［5］。近年來，沉浸式技術的發展為態勢可視化分析提供了一類新的交互設備，所提供的交互界面具有沉浸感和參與感［6］，如更加廣闊的視野和具象化的交互設計，沉浸式技術正逐步向著為用戶提供更加接近真實物理環境的虛擬交互空間邁進［7］。美軍高度重視戰場環境仿真和可視化技術，戰場三維環境可視化技術給訓練帶來“實境式”體驗，并且在地形分析研究與部隊訓練中發揮著越來越重要的作用［8］。2021 年美軍與微軟簽訂4.8 億美元合同，打造基于混合現實的戰略決策、戰役規劃、戰術實施三層協同作戰決策與訓練系統［9］。2022 年3 月美軍宣布“數字孿生全息實驗室”在空軍基地建成并啟用，該實驗室能夠以數字模型的形式展示空軍基地，使飛行員在虛擬環境中測試各種技術，并將成果轉化為可實戰的技術［10］。

當前的混合現實技術欠缺對戰場電磁態勢的建模與顯示。常規的電子沙盤一定程度上能展現出戰場的三維態勢與軍事部署，但缺乏對大規模作戰環境電磁維度信息的展示，缺少對多用戶以不同全局視角同時觀察戰場態勢的研究，限制了指揮人員的協同作戰能力與指揮效率。

因此，本文針對400 km×400 km 超大規模復雜戰場環境，提出了基于增強現實顯示技術的電子沙盤電磁態勢展示技術解決方案，結合圖像識別定位、視覺跟蹤與重定位技術展開研究，嘗試解決多人以不同視角實時協同作戰情境下戰場復雜電磁態勢的多維、分層同屏展示。

1 典型需求分析

電磁態勢建模要素數量多、種類豐富、電磁維度信息復雜多變，為支持不同用戶以不同視角同時觀察電磁態勢，對增強現實三維地圖識別與跟蹤能力提出了較高的要求。基于圖像識別跟蹤的增強現實電子沙盤電磁態勢展示技術，通過對二維地圖模板進行局部特征提取、匹配，定位增強現實數字內容的位置，采用視覺信息和慣性測量單元（IMU）緊耦合優化策略進行持續的6DOF 跟蹤定位，采用重定位技術消除因累計誤差造成的增強現實內容定位偏移問題，從而準確地將三維戰場環境地形和電子沙盤上的二維地圖模板對應，并保證精確跟蹤。

基于圖像識別跟蹤的增強現實電子沙盤電磁態勢展示技術有2 個核心技術點，分別為：三維地圖識別能力和位移變換后的視覺準確性跟蹤能力。通過對以上技術點的突破，實現對大規模地形環境的準確識別定位，為向用戶提供新穎的、沉浸式的作戰體驗奠定基礎，從而將各類戰場要素準確、形象地展現在三維增強現實虛擬模型中，超越了傳統二維/三維態勢系統的人機交互體驗。

2 架構設計

基于圖像識別跟蹤的增強現實電子沙盤電磁態勢展示技術，對大規模戰場環境中敵對雙方海、陸、空、天各型裝備作戰能力作用下的復雜電磁環境進行研究，對雙方各型裝備及其獨立作戰能力和聯合作戰能力進行三維立體建模，以二維和增強現實相結合的方式分層、多維全景展示戰場環境中分布的各維度信息。并結合指揮員作戰需求，研究多人以不同全局視角同時觀察增強現實電子沙盤或某一指揮員與增強現實電子沙盤交互時增強現實電子沙盤的實時切換與電磁態勢展示能力。

本文的研究架構如圖1 所示，主要包括電子沙盤、增強現實眼鏡與增強現實管理服務。其中，圖像識別跟蹤技術通過對二維電子沙盤地圖模板圖像進行局部特征提取、匹配，定位增強現實數字內容的位置，采用視覺信息和慣性測量單元（IMU）緊耦合優化策略進行持續的6DOF 跟蹤定位，采用重定位技術消除因累計誤差造成的增強現實數字內容定位偏移問題，從而持續準確地將三維虛擬電磁態勢和電子沙盤上的地圖地形對應，保證精確跟蹤。增強現實管理服務后臺程序通過數據的接入、二三維轉換、圖層管理與通信等實現對電子沙盤端與增強現實眼鏡端數據的推送。本技術通過圖像識別跟蹤定位技術支持用戶直接與電子沙盤進行交互，支持用戶通過增強現實眼鏡與電子沙盤進行交互，支持多用戶圍繞電子沙盤移動觀察增強現實電磁態勢。

圖1 增強現實電磁態勢實現框架

3 關鍵技術實現

為滿足多人同時觀看大規模電磁態勢虛擬內容需求并保證各增強現實眼鏡中呈現的數字內容的位置保持一致，需要實時定位跟蹤虛擬內容在真實空間中的具體位置。三維地圖AR 圖像識別跟蹤過程如圖2 所示，首先計算電子沙盤與虛擬內容的相對位置，確定虛擬內容在真實環境的準確初始位置，以保證多人在不同視角下觀察數字內容的初始位置具備一致性。初始位置確定后，采用VIO 跟蹤技術，解決當用戶圍繞電子沙盤大尺度自由移動觀察電磁態勢時虛擬內容能持續穩定地定位在初始位置的問題。最后針對系統長時間運行導致的位置偏移問題，采用重定位技術修正累積誤差，確保用戶長時間移動觀察增強現實電磁態勢時虛擬內容定位的準確性。

圖2 圖像識別跟蹤過程

3.1 三維地圖識別能力

增強現實三維地圖識別技術基于局部特征匹配算法對電子沙盤的二維地圖進行識別定位，核心過程如圖3 所示，依次包括生成多分辨率高斯差分金字塔、DOG 局部極值檢測、特征點主方向確定及描述子的生成。

圖3 AR 圖像識別過程

1） 生成多分辨率高斯差分金字塔

首先定義圖像的尺度空間L(x，y，σ)為原始圖像I(x，y)與可變尺度的二維高斯函數G(x，y，σ)的卷積。二維高斯函數G(x，y，σ)中（x，y）表示圖像像素的位置：

則尺度空間表示為：

為實現不同的尺度空間搜索且保障尺度體系連續性，對圖像做不同尺度的高斯模糊和降采樣。為有效提取穩定的關鍵點，利用不同尺度的高斯差分核與卷積生成DOG 高斯差分金字塔，即將圖像在不同參數下的高斯濾波結果相減，得到DOG圖像，從而觀察圖像上的像素值變化情況。DOG 函數為：

2） DOG 局部極值檢測

為確保在圖像空間和尺度空間都能檢測到極值點，DOG 局部極值點檢測不但包括與本層臨近同尺度的8 個相鄰點像素之間相互比較，還需要和上下兩層相鄰尺度對應的9×2 個像素點相互比較，一共需要比較 8+2×9 =26 個像素。然后通過擬合三維二次函數來精確確定關鍵點的位置和尺度，同時因為DOG 算子會產生較強的邊緣效應，所以需要去除對比度低的關鍵點和不穩定的邊緣響應點。

3） 特征點主方向確定

通過高斯差分金字塔、DOG 極值檢測算法已經找到了在不同尺度下都存在的特征點，為了實現圖像旋轉不變性，需要對特征點的方向進行賦值。本文利用特征點鄰域像素的梯度來確定其方向參數，再利用圖像的梯度直方圖求取關鍵點局部結構的穩定方向。首先使用有限差分，計算以特征點為中心，以3×1.5σ為半徑的區域內圖像梯度的幅值m(x，y)和方向θ(x，y)。然后使用梯度方向直方圖統計鄰域內像素對應的梯度方向和幅值，當存在一個相當于主峰值能量80%的峰值時，將這個方向認為是該特征點的輔方向。一個特征點可能檢測到多個方向，這可以增強匹配的魯棒性。獲得圖像特征點主方向后，每個特征點有3 個信息：位置、尺度、方向，由此可以確定一個特征區域。

4） 生成描述子

對關鍵點周圍圖像區域分塊，計算塊內梯度直方圖，生成具有唯一性的該區域圖像信息的描述子。假設將關鍵點的尺度空間劃分為d×d個子區域，每個子區域作為一個種子點，每個點有8 個方向的梯度信息，最終共有d×d×8 個數據，形成d×d×8 維特征矢量。除去光照變化影響，進一步對特征向量門限化、歸一化，生成描述子。

在AR 圖像識別定位技術中，預先將電子沙盤呈現的戰場二維地形圖通過電子沙盤與虛擬內容定位技術生成可供識別的模板描述子集合。當用戶佩戴AR 眼鏡或者手持設備對電子沙盤呈現的戰場二維地形進行圖像識別時，通過當前電子設備Camera 圖像數據的輸入實時計算當前設備鏡頭圖像的實時描述子，并建立實時描述子集合，然后通過匹配兩集合內關鍵點描述子的相似性完成目標識別。具體模板描述子與實時描述子匹配算法為：

模板圖中關鍵點描述子：

實時圖中關鍵點描述子：

任意兩描述子相似性度量：

配對的關鍵點描述子需滿足：

本文采用平衡二叉樹數據結構完成關鍵點匹配算法搜索，搜索的內容以目標圖像的關鍵點為基準，搜索與目標圖像的特征點最鄰近的原圖像特征點和次鄰近的原圖像特征點。然后對特征點匹配集合利用隨機抽樣一致（RANSAC）濾除錯誤匹配。最后通過特征點準確的匹配關系進行三維位姿估算，計算出AR 內容應該呈現的正確位置。

3.2 位移變換后的視覺準確性跟蹤

通過增強現實三維地圖識別技術可以正確計算出AR 眼鏡與電子沙盤的相對初始位置，但增強現實展示內容以86 寸沙盤為基礎，作戰單元種類多、分布廣，電磁覆蓋展示范圍大，用戶在固定位置無法全方位、直觀地觀看整個增強現實電磁態勢，需要圍繞電子沙盤移動式觀看電子沙盤，會存在走近、走遠，仰視、俯視等多種觀察方式。因此本文采用視覺信息和慣性測量單元（IMU）緊耦合的6DOF 優化策略，實現位移變換后增強現實虛擬內容的準確性跟蹤與重定位。實現過程如圖4 所示，包括數據預處理、后端非線性優化和重定位檢測。

圖4 位移變換后的準確性跟蹤過程

1） 數據預處理

利用KLT 稀疏光流法對每一個地理環境新圖像存在的特征點進行跟蹤。同時，檢測新的角點特征以保證每幅圖像特征的最小數目，利用基本矩陣模型的RANSAC 算法進行外點剔除。為獲得每個圖像幀對應的IMU 數據，對2 個圖像幀之間的IMU 數據進行積分，實現圖像幀和IMU 數據的意義配對。同時，使用IMU 預積分，當圖中某個狀態量發生變化時，直接通過預積分的值更新之后的每個關鍵幀的狀態量。

2） 后端非線性優化

基于滑動窗口的緊耦合后端非線性優化：在目標函數中對視覺約束、IMU 約束、閉環約束進行非線性優化，求出滑動窗口中所有幀的PVQ、bias，得到最后姿態的最優解。狀態向量共包括滑動窗口內的n+1個所有相機的狀態（包括位置、朝向、速度、加速度計bias 和陀螺儀 bias）、相機到 IMU 的外參、m+1 個3D點的逆深度：

目標函數如式（13）所示，其中三個殘差項分別為邊緣化的先驗信息、IMU 測量殘差、視覺的重投影殘差。

3） 重定位檢測

采用 BRIEF 描述子的DBOW2 詞袋進行重定位檢測，前端識別的 Harris 角點數量通常只有70 個，對于閉環檢測遠遠不夠，因此會對新來的幀即后端非線性優化剛處理完的關鍵幀再重新閉環檢測500 個FAST 角點，同時對所有新、老特征點進行 BRIEF 描述。然后計算當前幀與詞袋的相似度分數，并與關鍵幀數據集合中所有幀進行對比，通過閉環一致性檢測得到閉環候選幀。最后利用 BRIEF 描述子對閉環中老幀的500 個FAST 角點和當前幀的70 個Harris 角點進行基于描述子的鄰域匹配并利用 RANSAC 算法剔除誤配點，當剔除后的匹配點仍超過閾值時，判定該候選幀是一個正確的重定位幀，即可將當前的姿態更新為重定位姿態。

通過采用視覺信息和IMU 信息緊耦合的優化方案，大幅提升了位移變換時AR 圖像跟蹤的穩定性、準確性，滿足了多用戶以不同視角同時移動觀看增強現實電磁態勢需求。

4 工程應用驗證

4.1 三維地圖識別能力

三維地圖識別能力的試驗原理和驗證過程如圖5所示，通過對識別模板虛擬模型的準確位姿與虛擬模型的識別位姿進行對比，計算得出多用戶、多視角觀察前提下電子沙盤戰場地圖的識別誤差。

圖5 三維地圖識別能力驗證過程

首先輸入待識別地圖圖片，使用open cv 的slove-PNP 方法利用圖片四個角的位置計算出增強現實相機識別的初始模型的位姿POSE，記錄此時人工識別的位姿信息POSE 為準確位姿。使用識別算法對待識別地圖圖像進行三維地圖識別，得到三維地圖虛擬模型的識別位姿。隨意選取4 張識別地圖模板，分別進行試驗計算地圖模板的識別位姿與準確位姿的誤差（識別位姿的位置與準確位姿的位置做算術平方根，識別位姿的姿態與準確位姿的姿態做算術平方根），分別得到4 張地圖模板的位移誤差在1%～2%之間，旋轉誤差（姿態的歐拉角誤差）在1%度～2%度之間，如表1 所示。實驗證實，本技術使用的增強現實三維地圖識別算法能夠準確地對地圖模板進行識別定位，同時用戶佩戴增強現實眼鏡觀察電磁態勢時能夠看到準確識別定位的虛擬內容，用戶體驗良好。

表1 識別定位誤差表

4.2 位移變換后的視覺準確性跟蹤

用戶在觀察增強現實電子沙盤時會不斷變化自己的位置，為了使用戶能持續看到精準定位的增強現實虛擬模型，虛擬世界與現實世界坐標系之間的轉換關系要不斷地根據用戶的觀察位置和角度來做出相應的、實時的改變，即要同時確定不同用戶觀察的位置和角度并改變坐標系之間的轉換關系。

本實驗通過日志方式，記錄用戶佩戴AR 眼鏡圍繞電子沙盤移動觀察增強現實電磁態勢時三維虛擬電磁態勢模型的識別位置和用戶的位移，計算相對用戶位移的識別誤差。如表2 所示，計算用戶在不同位置的觀察時模型的算術平方根，用該算術平方根除以用戶在這2 個觀察點之間的位移，得到三維識別模型的視覺跟蹤與重定位誤差在0.008%～1%之間，位移變換后的視覺準確性跟蹤精度較高，用戶佩戴增強現實眼鏡圍繞電子沙盤移動觀察電子沙盤電磁態勢時能夠看到準確識別定位的虛擬內容，用戶體驗良好。

表2 位移變換誤差表

4.3 效果驗證

基于圖像識別跟蹤的增強現實電子沙盤電磁態勢展示技術效果如圖6 所示。經驗證，本技術在三維立體層次分層、多維、直觀地展示了戰場電磁態勢，支持多用戶以不同全局視角移動、協同觀察大規模復雜戰場電磁態勢，用戶體驗新穎。

圖6 增強現實電磁態勢效果圖

5 結束語

本文提出了一種基于圖像識別跟蹤的增強現實電子沙盤電磁態勢展示技術，依托400 km×400 km 真實戰場環境探索了電磁態勢的三維全景增強現實表現手段。實驗證明，該技術的識別定位精度、位移跟蹤進度準確，更直觀地表現了三維電磁信號在空間的分布，用戶體驗新穎、視覺效果顯著。■