裝甲裝備增強現實維修引導系統設計

查晨東，袁博

?

裝甲裝備增強現實維修引導系統設計

查晨東，袁博

（陸軍裝甲兵學院，北京 100072）

裝甲裝備增強現實維修引導系統的設計目的是為了能夠使其在實際的維修中具有輔助維修的作用，通過虛擬模型和真實維修場景的實時融合，幫助維修人員快捷、方便地獲取維修過程中需要的提示信息。根據某型號裝甲裝備維修保障工作實際需要，設計并實現了裝甲裝備增強現實維修引導系統；根據系統各模塊的功能，詳細介紹了該系統工作流程。

裝甲裝備；增強現實；維修引導；模塊

典型的增強現實系統[1]通過計算圖像采集設備的位姿信息，將計算機生成的虛擬模型實時疊加到真實場景中，通過頭戴顯示器、手機或平板電腦等顯示設備將虛實融合后的疊加圖像呈現在用戶眼前。增強現實技術實現了真實場景與虛擬模型共存，可以在復雜裝備維修中為維修人員提供直觀靈活的操作流程，并且對于不熟悉復雜裝甲裝備檢測維修的用戶也可以通過裝甲裝備維修引導系統對裝甲裝備零部件進行維修。可以看出，增強現實維修引導系統對于縮短裝甲裝備的維護周期、提高維修效率具有重要意義。

1 增強現實維修引導系統模塊化設計

文中的增強現實維修引導系統，設計了以下基本功能：圖像采集、維修目標的識別和跟蹤、虛擬信息三維模型、虛實融合顯示和人機交互功能。圖像采集功能需要實時獲取真實的維修作業場景中的視頻圖像，然后將視頻序列圖像逐幀送入其他模塊進行處理。維修目標識別和跟蹤功能需要識別場景中待維修部件的位置，實時跟蹤并獲取目標在視頻圖像幀中的精確位置，由此解算攝像機的位姿矩陣。維修過程中需要的虛擬引導信息以數據的形式存儲在數據庫中，通過維修目標識別的結果判定需要的信息，從數據庫中調用與當前目標對應的虛擬模型和維修引導信息，并通過在目標跟蹤過程中得到的攝像機的位姿矩陣進行實時的三維注冊，疊加至真實維修作業場景中，實現實時的維修引導。顯示功能指為了使虛擬模型與真實維修場景融合后更加符合用戶的真實視覺，需要將真實維修場景中的光照、陰影等元素加入到待渲染的虛擬模型的環境中。人機交互功能指根據維修人員的需求對疊加的虛擬信息進行更換。系統整體框架如圖1所示。

如1圖所示，可將系統工作流程模塊化演示如下：①通過圖像采集模塊對局部維修場景進行視頻圖像采集，并將視頻序列圖像傳輸至目標識別模塊中，利用目標識別模塊對場景中的維修目標進行識別定位，通過滑動窗口檢測出維修目標的ROI區域并將其送入跟蹤模塊處理，同時通過人眼觀察判斷當前目標的故障狀態；②在跟蹤注冊模塊中對維修目標特征點進行跟蹤并實時計算出攝像機的位姿矩陣，同時從數據庫中調用與該維修目標所對應的虛擬維修引導信息，對維修人員給予虛擬維修信息提示；③在虛實融合模塊中形成虛實疊加圖像并將其傳輸至顯示模塊使用計算機顯示終端。另外，人機交互模塊可在跟蹤注冊成功后根據當前維修狀態對疊加的虛擬維修引導信息加以選擇或變更。下面對各個模塊的具體結構和功能進行介紹。

圖1 系統框架

1.1 圖像采集模塊和顯示模塊

圖像采集模塊主要由智能設備的攝像頭組成，攝像頭除了采集圖像，將序列圖像送入系統處理之外，其本身的各項參數也是增強現實系統中的重點。需要從序列圖像中解算攝像機的各項參數，所以序列圖像不能出現模糊的現象。

顯示模塊主要由系統的載體決定，系統的載體可以是筆記本電腦、手機或平板等具有顯示功能的移動載體，可以將真實場景與虛擬模型以視頻圖像的方式呈現。增強現實有多種顯示設備來滿足各種各樣增強現實系統的不同需求，常用的有平透視式頭盔顯示器、手機和平板電腦、其他便于攜帶的設備等。然而就本文的實際應用來看，采用移動設備來進行顯示，移動設備具有便攜的優勢，對工作環境的限制較小，使用范圍較廣。

1.2 目標識別模塊

目標識別模塊主要功能是根據系統發出的維修指令，選擇場景中的某個裝甲裝備零部件進行維修，然后快速識別出該部件在場景的位置，并將其位置發送至跟蹤注冊模塊。

1.3 跟蹤注冊模塊

跟蹤注冊模塊的主要功能是通過對維修目標實時跟蹤，以不同圖像中維修目標的位置來計算出攝像機相對于維修目標的位置和姿態[2]。

1.4 數據庫和虛實融合模塊

數據庫是裝甲裝備維修引導系統的基礎內容，它的主要功能是在離線階段建立三維虛擬模型以及維修信息，并將其以數據的形式儲存。

通過系統的目標識別模塊和跟蹤注冊模塊可以確定維修目標的類型和攝像機實時的位姿信息，在虛實融合模塊中可以根據這些信息從已建立好的數據庫中選擇相應的虛擬模型和維修引導信息并將其準確疊加到視頻圖像中指定的位置。在進行虛擬模型渲染時，調用了OpenGL底層單元，通過搭建模型和紋理貼圖完成虛擬模型的構建。

1.5 人機交互模塊

人機交互模塊是為了方便維修人員對系統提供的功能進行選擇，在增強現實系統中常用人機交互方式有語音交互、基于視覺的手勢交互等，這些交互方式通常是通過操控增強現實系統中的功能菜單來實現的。由于本文設計的裝甲裝備增強現實系統的載體是平板電腦等具有硬件顯示功能的移動設備，因此本文采用GUI界面的交互形式進行人機交互。

2 系統實現

本文中的裝甲裝備修引導系統以操縱臺為對象。操作平臺為Windows7系統，使用羅技c920攝像頭為圖像采集設備。利用Qt[3]設計程序運行界面，如圖2所示，界面中顯示窗口用于實時顯示圖像，其大小為640×480；系統狀態欄用于顯示系統的狀態，系統有空閑、識別和跟蹤3種狀態；攝像機位置包括6個參數，在跟蹤狀態下將實時計算出這6個參數；故障列表欄用于選擇操縱臺的故障類型，從而導入不同的維修操作模型。

圖2 系統實現

3 結論

本文設計并實現了增強現實裝甲裝備維修引導系統。對增強現實技術在裝甲裝備維修的應用方面進行了探索，對系統的整體框架進行了模塊化設計，并對各模塊的功能進行了介紹，在實際維修環境中對系統的功能進行了展示。本文設計的增強現實系統一定程度上實現了增強現實技術與裝甲裝備維修保障工作的結合，具有一定的實用價值。

［1］趙新燦，左洪福.增強現實維修誘導系統交互技術研究［J］.中國機械工程，2008，19（11）：1312-1316.

［2］張志禹，劉耀陽.基于SURF與光流法的增強現實跟蹤注冊［J］.計算機工程與應用，2015，51（3）：166-170.

［3］方世煙，林東.基于Qt的電紙書圖形用戶界面設計［J］.計算機系統應用，2012，21（3）：216-219.

2095－6835（2018）24－0017－02

TP391.9

A

10.15913/j.cnki.kjycx.2018.24.017

查晨東（1993—），男，研究方向為增強現實。

〔編輯：嚴麗琴〕