基于增強現實的動態紅外視景生成技術

徐吉輝，奚曉梁，范紹里

（海軍航空工程學院 a.科研部；b.七系，山東 煙臺 264001）

紅外視景生成可以為紅外成像制導半實物仿真提供各種不同的戰場環境，是仿真的關鍵技術。紅外視景生成技術可以分為動態模式和“電影”回放模式[1]，前者是指在閉環系統中，生成的紅外視景根據探測系統視場的變化，及時提供相應的場景圖像，使場景與探測系統對投影圖像的反應相一致。后者是在仿真運行前，非實時地計算出一系列2D圖像，然后再以“電影”回放的形式將這一圖像序列顯示給被測系統。顯而易見，動態模式下的紅外視景生成更能充分模擬紅外制導武器的真實作戰環境，是紅外視景生成技術的主要發展方向。

增強現實（AR）技術[2-6]是借助計算機圖形技術和可視化技術產生現實環境中不存在的虛擬對象，并通過傳感技術將虛擬對象準確放置。在真實環境中，借助顯示設備將虛擬對象與真實環境融為一體，并呈現給用戶一個感官效果真實的新環境。因此，增強現實系統具有虛實結合、實時交互、三維注冊的新特點。

1 基于增強現實的動態虛擬視景生成步驟

AR系統雖不需要顯示完整的場景，但需要通過分析大量的定位數據和場景信息來保證由計算機生成的虛擬物體可以精確地定位在真實場景中。因此，AR系統中一般都包含以下4個基本步驟，如圖1所示：① 獲取真實場景信息；② 對真實場景和相機位置信息進行分析；③ 生成虛擬景物；④ 合成場景或直接顯示，即圖形系統首先根據相機的位置信息和真實場景中的定位標記來計算虛擬物體坐標到相機視平面的仿射變換；然后按照仿射變換矩陣在視平面上繪制虛擬物體；最后直接通過S-HMD顯示或與真實場景的視頻合并后，一起顯示在普通顯示器上。AR系統中，成像設備、跟蹤與定位技術和交互技術是實現一個基本系統的支撐技術。

圖1 AR系統基本流程

2 虛擬物體與實景空間的合成方法

為了使計算機生成的虛擬物體與實景紅外圖像真實地結合在一起，需要解決虛擬物體與實景空間合成的一致性問題，主要包括幾何一致性和輻射一致性兩個方面。其中幾何一致性的關鍵在于對實景相機進行精確校準，也就是確定實景相機的外部參數（空間位置、方向）和內部參數（焦距、光心、縱橫比、畸變系數等），這樣才能將計算機生成的虛擬物體以合適的大小加入到真實場景中合適的位置上，同時還需要確定虛擬物體與真實場景之間的遮擋關系；輻射一致性則首先需要恢復出真實場景的輻射模型，然后計算真實場景輻射模型對虛擬物體的影響，例如熱交換、反射等。

2.1 熱像儀的幾何標定

這里考慮采用理想的小孔相機模型，而不考慮相機鏡頭的畸變。考慮到實際環境的復雜性，用如圖2所示的定標模板來幫助進行相機的校準。具體的做法是：在拍攝實景圖像時，除了拍攝用于拼接的圖像之外，將定標模板放入到實際環境中，在某一個拍攝方向用相同焦距多拍攝一張含有定標模板的圖像；用不含有定標模板的圖像來合成全景圖像，用含有定標模板的圖像進行相機校準。為了簡單起見，以定標模板的兩個平面分別作為XOwY 平面和ZOwY 平面，建立如圖2所示的世界坐標系。這里定標模板上矩形各角在世界坐標系中3D坐標已知，可用拐角提取算法提取它們在圖像中的坐標，這樣就得到了一系列3D 空間與2D圖像平面的對應點。

圖2 定標模板與世界坐標系

設3D 空間中的一點 M (Xi,Yi,Zi)在2D圖像平面中的對應點為m(ui,vi)，則 M (Xi,Yi,Zi)與 m (ui,vi)滿足如下關系：

這里λ是比例因子，P為3×4的透視投影矩陣，根據小孔相機模型，矩陣P可以表示為：

式中：[R T]是相機坐標系相對于世界坐標系的旋轉和平移矩陣；K是小孔相機模型的內部參數，它可以表示為：

這是一個含有5個參數的上三角矩陣。其中：f是焦距，(u0,v0)是主點坐標，α是像素縱橫比，s是傾斜因子。通常情況下，可以簡化內部參數模型，令α=1，s=0，這樣就只剩3個內部參數。

要求解式(1)，至少需要知道6 對三維空間與二維圖像空間的對應點，然后可以用最小二乘法求解P，使得下面的匹配誤差最小：

得到了透視投影矩陣P，還需要對其進行分解得到相機的內部參數和外部參數。我們知道P的子矩陣可以表示為：

K是上三角矩陣，R是正交矩陣，可以使用QR分解來得到內部參數矩陣K 和旋轉矩陣R，進而可以求得平移矩陣T。視點空間是用全景圖像表示的，對于構成一個全景圖像的若干幅原始圖像來說，它們的相機位置、焦距和內部參數都是相同的，而且相機的方向也存在一定的空間關系（即由一幅圖像的相機方向可以計算出另一幅圖像的相機方向），因而對于每一個視點，只需要對其中的一幅原始圖像進行校準即可。而對于不同的視點，就需要分別進行相機校準。通過相機校準我們得到了相機的位置、方向和焦距等參數，而要將虛擬物體以合適的大小加入到場景中的合適位置，并使得二者在交互漫游時保持實時一致，就需要使虛擬相機與實景相機在方向、位置、焦距上保持實時一致，這樣才能使用戶感覺到虛擬物體融入到真實環境中。

2.2 熱像儀的輻射標定

在數字圖像中，圖像的灰度或偽彩色代表的是某一電平值，在進行輻射量的定量測量與計算時，就需要將儀器的輸出信號（電平電壓）與目標的輻射量一一對應起來。因此，需要用標準輻射源對熱像儀的輸出信號進行定標。

標定的方法是在熱像儀工作波段（λ1～ λ2）內，對給定的熱像儀工作狀態（濾光片、量程和電平），測定熱像儀輸出電平 V (T)與黑體溫度T 間的關系。

式中：V (T)表示熱像儀的輸出電平；L (λ,T)表示黑體光譜輻射亮度；R ()λ表示熱像儀光譜相應度。

其中黑體光譜輻射亮度 L (λ,T)為：

式中：λ為波長，單位μm；T為黑體溫度，單位K。

當 λ1? λ2=?λ同 λ1或 λ2相比很小時，也就是熱像儀工作波段?λ很窄時，熱像儀輸出電平 V (T)同黑體溫度T的關系為：

式中：0λ 等于

也就是說，熱像儀輸出電平 V (T) 同黑體溫度T的關系是指數關系。對于熱像儀工作波段不是很窄時，熱像儀輸出電平 V (T) 同黑體溫度T的關系利用下述指數函數可得到最佳擬合效果：

測量不同的黑體溫度1T、2T、3T …、熱像儀對應的輸出電平V (T1)、V (T2)、V (T3) …、（通常為5組或5組以上），利用最小二乘法即可求出A、B、C。

利用熱像儀測量目標（或背景）紅外輻射特性的過程是與熱像儀定標過程相反的過程：由熱像儀測量目標得到的輸出電平 V (T)，經式（9）所示的定標函數，得到目標表觀的等效黑體溫度T。目標表觀的等效黑體溫度是使熱像儀測量目標時的輸出電平等于利用黑體標定時熱像儀的輸出電平。

式中：Lta表示目標紅外光譜輻射亮度，積分后值的單位為W?m-2?sr-1?μm-1。等式左邊代表測量目標時熱像儀的輸出電平，右邊代表標定時熱像儀的輸出電平。

將定標結果輸入紅外圖像處理軟件，即可對目標紅外圖像進行輻射溫度的定量與處理。

1）目標輻射源的輻射面積計算

根據一起的視場、測量距離和像素，計算出目標輻射源像素所占的實際面積。

假設儀器水平視場為4.5°，水平像素為320，則單個像素實際長度為：

式中：l為單個像素實際長度，單位m；L為測量距離，單位m。

則輻射源像素所占的面積為：

式中：A為輻射面積，單位為m2；n為輻射像素數。

由式(11)、(12)計算出目標輻射源的輻射面積。

2）目標表觀輻射量計算

根據上述的目標輻射溫度和輻射面積計算結果，由式(13)普朗克公式和式(14)、(15)即可計算出目標的表觀輻射亮度和表觀輻射強度：

式中：M (λ,T)為黑體光譜輻射出度，單位 W?m-2；C0表示光速；k表示波爾茲曼常數；h表示普朗克常數；T表示輻射溫度，單位為K。

式中：L3～5μm表示3 ～5 μm表觀輻射亮度，單位為W?sr-1；A表示輻射面積，單位為m2。

式(13)任意波長范圍內的積分和式(14)已編了專門的計算軟件進行計算。只要輸入輻射起始波長λ1和終止 λ2及輻射溫度T，即可計算出 λ1～ λ2內的輻射出射度和表觀輻射亮度，再由式(15)計算出表觀輻射強度。表觀輻射強度進行大氣吸收修正后，即可得到目標有效輻射強度。

3 視頻檢測方法

用視頻檢測方法進行定位不需要其他設備，且定位精確。因此，是AR系統中最常見的定位方法。在視頻檢測方法中，系統常通過匹配事先定義好的多種圖形模板來標記各種物體和基準位置。簡單的模板匹配不僅可以提高圖像識別的效率，而且可以達到實時性的要求。視頻檢測中使用的標記一般由黑色封閉的矩形框和內部的各種圖形或文字這兩部分構成，其中黑色封閉的矩形框可以使程序在視頻場景中快速識別是否存在標記，其內部的圖形或文字可以表示標記的具體信息，如表示何種目標或在此應顯示何種虛擬物體。這樣當系統場景中的定位標記被識別后，根據圖形的仿射不變性原理，就可以重建從預定義標記到當前場景中標記的坐標轉移矩陣；然后系統就可以根據這個轉移矩陣來繪制虛擬物體并進行渲染。

4 紅外視景的實時生成問題

生成具有高逼真度的動態紅外場景的計算量較大，紅外圖像的生成和顯示的實時性就成為首要要求。動態紅外場景的實時性體現在：運動體的位置、姿態的實時計算和動態繪制，畫面更新即幀頻必須達到一定要求，對于人的交互動作相應時間不能大于0.1 s。場景生成的實時性與紅外場景生成的軟硬件有關，取決于系統運算速度、算法的有效性、目標模型的復雜程度。

1）在保證系統要求逼真度情況下減少建模的復雜程度。目標模型面元數越多，所生成的模型越逼真，但輻射度的計算和實時繪制速度大大減慢，因此提高實時性與真實感存在矛盾。通常的做法是保證系統要求逼真度的情況下，建立幾何模型時進行合理簡化，對于遠近距離不同、紅外特征不同等情況分別進行考慮、簡化；也采用單元分割以及內存管理技術來提高系統運行速度。

2）離線和在線相結合的計算方式。將目標的紅外光譜圖像等計算量大的部分先離線計算好，而將合成和傳輸等計算量相對較小的或必須動態計算的部分采用在線計算。

3）提高算法的有效性。目前的實時圖形繪制算法主要在實時消隱技術、場景簡化技術和圖形繪制技術三方面展開，其中消隱是實時圖形繪制中最費時的部分。為保證實時性，在不影響逼真度的前提下，優化三方面算法，減少計算時間，提高算法的有效性。

4）盡量采用圖形加速卡等硬件加速模式，OpenGL的大部分功能可以由硬件實現，僅有少量功能由操作系統完成，能極大提高實時性。

5 結束語

增強現實技術已成為虛擬現實技術的一個重要的發展方向，基于實景圖像的虛擬現實技術隨著全景圖像生成、縱平移平滑過渡、狀態相關的預測路徑全景圖像緩沖機制等關鍵技術的逐漸解決成熟，也將是值得研究的論題。而將這些先進技術引入動態紅外視景生成領域，將有著深遠的應用前景。

[1]BUFORD JR J A,et al.Low cost real-time infrared scene generation image projection and signal injection[C]//SPIE.1997:48-56.

[2]SEITZ S M,DYER C R.View morphing[C]//Proceeding of the ACM SIGGRAPH Conference on computer graphics.LA:New Orleans,1996:21-42.

[3]AZUMA R.Survey of augmented reality[J].Teleoperators and Virtual Environments,1997,6(4):355-385.

[4]LONGUET HIGGINS H C.A computer algorithm for reconstructing a scene from two projections[J].Nature,1981,293:133-135.

[5]KATO H,BILLINGHURST M,POUPYREV I,etal.Virtual object manipulation of a table-top AR environment[C]//Proceedings of International Symposium on Augmented Reality 2000(ISAR00).Los Alamitos,CA,USA,2000:111-119.

[6]BILLINGHURST M,KATO H,BILLINGHURST M,et al.The Magic Book:Moving Seamlessly between reality and virtuality[J].IEEE Computer Graphics and Applications,2001,21(3):24-26.