激光照射監測系統可見光和紅外圖像融合方法

鄒歡歡，趙海麗，景文博，徐向鍇，劉健

（1.長春理工大學 電子信息工程學院，長春 130022；2.長春理工大學 光電工程學院，長春 130022）

在軍事領域中，激光制導武器在現代戰爭中占據著重要的地位，此種武器根據激光照射目標并隨之用彈藥打擊目標，因此激光制導武器的激光照射命中精度以及命中精度決定著激光武器能否準確打擊目標［1］。激光制導武器的激光照射命中精度以及命中精度的測量由激光照射性能監測系統進行，其系統示意圖如圖1：由激光照射器發射激光照射在靶板上，在轉臺上搭載有激光探測器和光學系統，光學系統由紅外傳感器和可見光傳感器以及濾波片和透鏡等光學元件組成，用于跟蹤靶板、采集靶板圖像以及光斑圖像，并將圖像傳輸至PC機存儲和處理。

圖1 激光照射性能監測系統

激光照射性能監測系統采用了雙傳感器采集圖像［2］。在紅外傳感器前安裝有紅外窄帶濾波片1064nm±2nm，并使用短爆光采集圖像，因此在紅外圖像中不存在背景信息。在此情況下，高精度顯示激光照射的真實場景有很大難度。為了解決這一問題，本文提出了一種雙路圖像融合方法，首先對可見光圖像與紅外圖像使用透視變換法進行圖像配準，然后對紅外圖像使用閾值分割等技術進行激光光斑提取，最后使用自適應加權融合方法將可見光圖像和紅外圖像融合為一，實現了激光照射真實場景的重現。

1 可見光紅外圖像融合

1.1 圖像配準

在采集圖像時，以目標為中心的世界坐標系Oxyz中，兩傳感器所處坐標不同，相對而言，以可見光傳感器為中心的傳感器坐標系O1x1y1z1與以紅外傳感器為中心的傳感器坐標系O2x2y2z2兩空間坐標系相交而不平行，建立模型如圖2［3］，因此兩傳感器成像空間坐標系不同，反應在圖像中為世界坐標系中的事物在兩個圖像的圖像坐標系中形狀、大小、位置不同，即成像時，事物關于兩傳感器的透視投影不同。

若世界坐標系Oxyz中存在一點P(x,y,z)，透視投影在坐標系O1x1y1z1與坐標系O2x2y2z2中的點分別為P1(x,y,z)、P2(x,y,z)，則三點間的關系可由下式表示：

圖2 世界坐標系與傳感器坐標系關系模型

式（1）中，TOO1、TOO2分別為世界坐標系Oxyz到坐標系O1x1y1z1、坐標系O2x2y2z2的透視變換因子，透視變換因子為3?3的矩陣，可用式（2）表示，并可分解為式（3）：

式中，T1表示線性變換，包括空間旋轉與放縮變換，T2表示空間透視變換，T3表示空間平移變換［4］。將（2）式代入（1）式任一方程有：

對式（4）展開得：

對式（5）改寫如下：

由式（6）可知，對透視變換因子進行比例放縮而不會影響結果的準確性，對于傳感器坐標系與世界坐標系之間的變換，通常將元素z、a3,3設為1［5］。因此矩陣未知數個數為8。求解8個未知數，只需要8個方程，即只需要4對點即可計算，當存在n(n≥4)對對應點時，有式（7）：

式中，X、Y為兩個坐標系中的對應點對，T為透視變換因子。

圖3 坐標系變換

根據式（7），已知三個條件中的任意兩個即可求第三者。如圖4所示，已知兩個坐標系中的對應的4對點，即可計算透視變換因子，也可將某一坐標系中的點使用透視變換因子變換至另一坐標系。

根據上文中的透視變換原理，本文對紅外圖像使用了透視法與逆透視法相結合的方法對圖像進行校正，如圖4和式（8），可實現由紅外傳感器坐標系到世界坐標系再到可見光傳感器坐標系的變換，得到成像空間、事物投影效果以及分辨率與可見光圖像一致的紅外配準圖像。

圖4 紅外圖像透視校正

式中，S(·)表示原紅外圖像，F′(·)表示逆透視紅外圖像，D′(·)表示透視紅外圖像，D(·)表示紅外配準圖像，·(a,b,c)表示空間坐標系中的坐標，IIPF（Infrared inverse Perspective Factor）為紅外逆透視因子，VPF（Visible Perspective Factor）表示可見光透視因子。

1.2 激光光斑提取

對于紅外傳感器，由于紅外高通濾波器的使用，在此圖像中除激光光斑外沒有背景信息，并且由于大氣湍流、自然光等外界因素影響［6］，光斑分布不均勻，需使用圖像處理技術對紅外圖像進行處理從而完成激光光斑的識別和提取，具體方法如圖5：

圖5 光斑提取流程圖

（1）首先對紅外圖像進行閾值分割和二值化。閾值分割是一種經典的圖像分割方法，用于圖像中目標和背景的分割，閾值分割和二值化的優劣的關鍵在于閾值的選取。本文中，紅外圖像的采集環境為自然環境，為抑制自然光以及大氣湍流的影響，達到激光光斑更準確的識別與提取，首先使用基于最大類間方差法（OTSU）得到圖像的最佳分割閾值［7］，其原理為：求取圖像的灰度直方圖，并把直方圖分為目標和背景兩類，當被分成的兩類之間的方差最大時，決定閾值，如式（9）：

式中，μ為整體圖像灰度平均值，μ(T)為閾值為T時，背景圖像灰度平均值，ω(T)為背景產生的概率。當δ（2T）取最大值時，閾值T即為所求閾值。

求得閾值T后，使用公式（10）紅外圖像進行閾值分割得到閾值分割圖像，使用公式（11）對紅外圖像進行二值化得到二值化圖像。

式（10）、（11）中，f(x,y)為原圖像在點(x,y)處像素值，為進行閾值分割或二值化后圖像。

（2）形態學處理，形態學的基本操作包括腐蝕、膨脹、開運算和閉運算等，廣泛應用于圖像邊緣的平滑、圖像內部的填充、圖像物體的連接或斷開［8］。本文中為了平滑光斑邊緣的凸起、凹陷，對使用公式（12）、（13）對二值化圖像進行閉運算處理，即先膨脹后腐蝕；

式中，?表示腐蝕，⊕表示膨脹，f表示圖像，K表示結構元素，.c表示補集，l表示結構元素的大小。

（3）連通域分析是圖像處理技術中區域分析的常用且重要的技術，分為四鄰域連通域分析和八鄰域連通域分析等等，連通域定義如圖6。為準確定位光斑區域，引入了八鄰域連通域分析。對二值化圖像進行八鄰域連通域分析，對所分析出的連通域進行面積特征提取，找出面積最大的通域即為光斑區域；

圖6中，P表示其中圖像中一個像素點，箭頭指向即為P的鄰域；

（4）圖像相乘。將二值化圖像中光斑區域的圖像像素重定義為1，將光斑區域外的圖像重定義為0，即在二值化圖像中只保留光斑區域。二值化圖像中的光斑不是真實采集紅外圖像中的光斑，為求得真實光斑圖像，將重定義后的二值化圖像與閾值分割紅外圖像做乘法操作，表達式為（14），得到的圖像即為真實光斑圖像。

式中，(x,y)表示圖像坐標索引，B表示二值化圖像，G表示閾值分割紅外圖像，表示真實光斑圖像；

（5）圖像填充。為防止真實光斑圖像中光斑區域出現空洞，對圖像空洞區域進行填充：在圖像的光斑區域內，使用連通域分析以及最鄰近插值法，根據光斑內空洞邊緣的像素值對空洞進行填充，以得到完整光斑提取圖像。

1.3 圖像融合

由于光斑提取圖像中所采集的為光斑、可見光圖像中為所采集的目標，因此二者合二為一才能反映真實的激光照射在目標上的情景，可用圖像融合技術對二者進行融合處理。

因可見光圖像與紅外圖像由兩個傳感器采集所得，因此兩圖像之間存在因傳感器曝光、增益等參數不同造成的圖像對比度不一致，視覺上即為圖像亮暗效果不一致，為了避免融合后圖像對比度失衡，本文使用自適應加權融合法對可見光圖像與光斑提取圖像進行融合，其原理如下：根據光斑提取圖像和可見光圖像相對應位置的圖像像素值自動計算二者加權值，再進行加權相加，具體方法如下：

遍歷光斑提取圖像，提取激光光斑所在區域的圖像像素值及其坐標，根據所得坐標提取可見光圖像對應位置圖像像素值，并找到二者在該區域的最大像素值，根據二者最大像素值計算加權系數，所用公式如式（15）；

式中，α為光斑提取圖像加權系數，β為可見光圖像加權系數，Lmax(x,y)、Vmax(x,y)分別為在光斑區域R(x,y)上光斑提取圖像和可見光圖像像素最大值；

在光斑區域，對可見光圖像與紅外圖像對應位置像素值使用加權相加法進行加法操作，公式如（17）：

式中，P(x,y)為光斑區域融合圖像；

對光斑區域外的圖像保持原有像素不變，即使用所得光斑區域融合圖像P(x,y)替換可見光圖像光斑區域對應圖像，所用公式為式（18）；

最終所得圖像V即為融合圖像。

2 實驗和結果

2.1 圖像配準

以金鹵燈做為全光譜光源、以間隔2mm的星點板作為目標，調節平行光管模擬遠距離目標，采集星點圖像，如圖7所示：

圖7 星點圖像（左側為可見光圖像，分辨率為1392*1040；右側為紅外圖像，分辨率為640*512）

根據所采集圖像，在分別在可見光星點圖像和紅外星點圖像中選取白色矩形框中四個點X(X1(x,y)X2(x,y)X3(x,y)X4(x,y))和Y(Y1(x,y)Y2(x,y)Y3(x,y)Y4(x,y))，選取星點板上對應星點坐標Z(Z1(x,y)Z2(x,y)Z3(x,y)Z4(x,y))。根據公式（9）使用Y與Z計算得紅外逆透視因子（IIPF），使用X和Z計算可見透視因子（VPF），如式（19）；根據式（8），對紅外星點圖像進行配準，得到配準圖像如圖8所示；

圖8 圖像配準（左側為可見光星點圖像，右側為紅外配準星點圖像，分辨率均為1392*1040）

2.2 圖像融合

實驗中所采用的靶板尺寸的長為145.5cm、寬為84.5cm，光源為波長1064nm的強功率激光，使用激光測距儀測得靶板中心距光學系統824.52m。采集圖像時同步并實時采集連續圖像500幀，所采集圖像如圖9所示：

圖9 原圖像（左側為可見光圖像，分辨率為1392*1040；右側為紅外圖像，分辨率為640*512；同步采集圖像，圖像右下角時間信息均為：15：31：44）

（1）根據式（8），對圖9中紅外圖像使用式（16）中的IIPF和VPF對紅外圖像配準，配準結果如圖10所示：

圖10 圖像配準（左側為原紅外圖像，分辨率為640*512；右側為紅外配準圖像，分辨率為1392*1040）

（2）使用圖4所示的光斑提取方法對配準后紅外圖像進行光斑提取，所得結果如圖11所示：

圖11 光斑提取（左側為紅外配準圖像，右側為光斑提取圖像）

此時所得光斑提取圖像與可見光圖像即為待融合圖像，如圖12所示：

圖12 待融合圖像（左側為可見光圖像，右側為光斑提取圖像，二者分辨率均為1392*1040）

（3）使用章節（2.4）的圖像融合方法對圖12所示圖像進行自適應加權融合，融合結果如圖13所示：

圖13 融合圖像

對融合圖像的效果好壞，有多種方法進行評價［9，10］，本文使用融合圖像與原圖像關系評價方法中的交叉熵方法對圖像融合的效果進行評價，交叉熵公式為式（20）：

式中，P和Q分別為原圖像和融合圖像的灰度分布；使用式（21）計算融合圖像與原圖像的綜合交叉熵：

對圖13所示融合圖像以及圖12所示可見光圖像以及光斑提取圖像使用公式（20）分別進行交叉熵的計算結果如下：

由式（22）可分析得：融合圖像中在可見光圖像的基礎上融合了紅外圖像中的光斑信息，而且對本身的目標以及背景信息沒有過多的損失，圖像對比度沒有失衡。

3 結論

對紅外圖像使用圖像配準方法進行紅外與可見光圖像配準，極大地消除了事物投影的不一致，得到視場范圍、分辨率與可見光圖像一致的紅外配準圖像，使用光斑提取方法對配準后紅外圖像進行光斑提取，極大的抑制了自然光對光斑的影響，極大的消除了因事物透視引起的光斑形變，得到近似于真實光斑的光斑提取圖像；對光斑提取圖像與可見光圖像進行融合，得到同時顯示光斑、目標以及背景的實時顯示圖像；本文實現了不同光譜下所采集不同目標、不同分辨率、不同視場范圍的圖像融合。