紅外與微光圖像開窗配準融合處理方法

楊 釩,錢立志,劉 曉,張 強

(1.陸軍軍官學院 高過載彈藥制導控制與信息感知實驗室,安徽 合肥 230031；2.陸軍軍官學院 偏振光成像探測技術安徽省重點實驗室,安徽 合肥 230031)

1 引 言

紅外與微光融合是分別利用兩種不同成像手段的探測器組成融合系統獲取目標在不同波段的反射或輻射信息進行融合,由于目標在不同波段的信息反映上具有互補性及冗余性,因此通過融合可以有效增強場景理解和目標的可探測性。為使融合系統在隱藏和偽裝的戰爭場景中的應用更加廣泛,圖像的實時融合尤為關鍵,目前解決圖像實時融合的突出障礙是處理速度。對于像素級融合,圖像的融合算法及待融合圖像分辨率的高低直接影響融合圖像質量和融合速度,圖像越精細,需要處理的數據量就越多,且不同探測器分辨率的不同也為融合帶來了困難,為此,我們研究紅外與微光圖像開窗融合處理,在減小圖像融合處理數據的同時,保留重要的細節融合信息,這將大大提高實時處理速度,在一定程度上解決融合速度與質量的矛盾。

2 圖像融合開窗處理

2.1 開窗融合定義

根據人眼的視覺模型可知,人眼觀察目標時,在視野范圍內看到的景物并不是完全清晰,其正視部分要比余光部分明了,我們感興趣的部分大多集中在某一區域,如圖1所示。可以認為觀察者需要看清楚的是區域目標的細節信息,而對非目標的大面積背景區域要求則比較低,如圖2所示。傳統的圖像融合方法耗費了較多的時間對背景融合,而目標區域融合的時間只占整體時間的一小部分。因此,在硬件速度和軟件算法不能再優化的情況下,可以將圖像中感興趣的區域看作一個窗口,取另一幅圖像(已與前圖像配準)相同區域與之進行融合增強處理,我們稱之為開窗融合,由于開窗的子窗口信息量相比較源圖像要小很多,因此,通過開窗融合可以大大減少融合處理時間,提高融合算法的實時性。

圖1 人眼視覺模型Fig.1 Human visual model

圖2 人眼目視區域的景物Fig.2 Visual field of human eyes

2.2 圖像開窗適用條件

通常在源圖像光學系統相同的情況下,采集到的圖像比較容易進行配準融合,但在實際應用中,一些紅外與微光圖像采集設備的光學系統視場相差比較大,且成像形式也不同。例如同一場景的待融合的紅外與微光圖像來自不同類型的傳感器,因此其獲取到的圖像分辨率大小不一定相同。目前紅外圖像大多是由紅外非制冷焦平面探測器來獲取,由于受技術和加工工藝限制,探測器面陣規模有限,而微光探測器主要是由CCD或CMOS加裝像增強器組成,通過MCP增強電子信號,圖像分辨率由CCD或CMOS決定,其通常比紅外圖像要高,因此在獲取同一場景目標時,紅外圖像只對應于微光圖像中一部分,不能直接進行融合,為此可以采用開窗融合的方法,將低分辨率紅外圖像作為窗口與高分辨率微光圖像中相對應的部分區域配準后再進行窗口融合。

2.3 圖像窗口大小選擇

圖像開窗融合是以損失窗口外圖像信息為代價,突出需要的目標信息,目的是保證圖像的實時處理速度,因此,在保證實時性的前提下,相對于背景圖像所開窗口越大越好,盡可能多的保留窗口信息。假設背景圖像面積為S1,開窗的最大面積是S2,系統CPU處理速度為k,軟件融合算法的總運算量為m,完成一幀圖像融合的時間為t,則:t=m/k。若要圖像滿足實時性要求則處理速度需要25 f/s,那么開窗最大面積S2=S1/25t,即S2=kS1/25m,從S2可以看出,圖像開窗的最大面積取決于CPU的處理速度k和軟件融合算法的總運算量m,k越大,m越小,開窗的面積也就越大,反之面積就越小。

3 紅外與微光圖像開窗配準與融合

由于紅外與微光圖像成像機制、成像分辨率的不同且光學系統光軸不一致,獲取到的紅外與微光圖像需要配準后方能融合。對于同一目標區域圖像信息,由于小視場紅外圖像的像素數量大于大視場微光圖像開窗區域的像素數量,這會使小視場圖像相鄰四個甚至更多的像素點信息僅代表大視場待融合區域對應的一個像素點,因此,在小視場圖像向大視場圖像匹配的過程中,通過雙線性插值[1]來計算小視場紅外圖像中對應的大視場微光圖像的像素值,雙線性內插是用4個已知點的雙曲拋物面來擬合1個未知點,這樣將可以得到配準后大視場微光圖像每個像素在待配準小視場紅外圖像中對應的四個點的地址和相應權值。最后,選擇至少兩對參考點來實現圖像的配準。

在匹配過程中,由于紅外圖像通常獲取目標輻射信息而微光圖像則反映目標微弱的反射信息,圖像的灰度存在較大的差異,通常采用的基于灰度信息的配準方法不適合紅外與微光圖像配準,因此,本文提出的開窗配準方法是利用圖像的邊緣特征點計算各個像素點對應的仿射變換參數,將該參數建立一套像素匹配存儲表,通過直接查表的方式,調用仿射地址和對應的權值完成紅外與微光圖像的配準。

如圖3所示,以大視場微光圖像A為基準,對小視場紅外圖像B進行對正,圖像B只對應于圖像A中一部分,圖像C是圖像A和圖像B的融合結果,實際上圖像C中只有虛線部分才是融合圖像,而其余部分只有圖像A的信息。

圖3 兩個不同視場圖像融合示意圖Fig.3 Schematic diagram of image fusion in two different field of view

因此,為確定兩圖像間對應點的匹配關系,以大視場微光圖像為基準,利用仿射變換模型對小視場紅外圖像進行配準計算:

X*=KRX+T

(1)

式中,X為原始紅外圖像;X*為紅外圖像經過仿射變換后的圖像;K為尺度縮放因子;R為旋轉角度;T為平移量,因此,紅外圖像上的坐標點經過平移、旋轉、縮放后的坐標可用對應的仿射變換表示為:

式中,(x,y)、(x*,y*)分別是變換前后紅外圖像中對應點的坐標。兩幅圖像的坐標轉換關系由平移量Δx和Δy,旋轉角度θ(光軸平行為零)以及行、列縮放因子k(雙線性插值的相應權值)等4個參數所決定[2]。平移量參數計算方法如下:

假設目標M(x,y,z)點在紅外與微光探測器中所成的像點分別為M1(x1,y1,z1),M2(x2,y2,z2),如圖4所示。

圖4 雙探測器目標成像示意圖Fig.4 Schematic diagram of dual detector target imaging

經過光學微調可使兩個探測器處于同一平面上且其坐標系統所對應的光軸精確平行,以紅外探測器為基準,通過三角幾何關系可得:

式中,f1、f2分別為兩個探測器鏡頭的焦距;Gx、Gy為兩探測器中心之間在x軸和y軸方向上的連線,則目標M(x,y,z)在兩個探測器中的像點視差即為兩幅圖像的坐標平移量Δx和Δy,Δx=x1-x2,Δy=y1-y2。由此可見,目標在紅外與微光探測器中均能找到相對應的匹配點,該匹配點具有確定的仿射變換參數。

為提高運算速度,在大視場微光圖像與小視場紅外圖像中,采用一種利用局部差分尋找邊緣的Sobel算子[3]提取兩幅圖像的各個邊緣特征點,利用前述方法計算這些特征點對應的空間幾何關系的仿射變換參數,將其制作成一套像素匹配存儲表進行存儲,在圖像配準時,通過直接查表的方式,調用小視場紅外圖像對應的大視場微光圖像像素值的仿射變換地址及對應的權值完成配準,然后再采用經典的拉普拉斯金字塔融合[4]方法進行融合,從而大大提高系統速度。

4 開窗融合實驗與分析

實驗采用研制的平行光軸共視場光學系統,通過紅外與微光雙探測器雙鏡頭同時獲取目標的紅外與微光圖像。圖像采集時的環境照度大于10-2lx,實驗目標距離探測器約為10 m,實驗樣本為操場上隱藏在草叢中的金屬板的紅外與微光圖像,其中,紅外圖像大小為640×480,微光圖像大小為800×600,如圖5所示。

圖5 實驗源圖像Fig.5 Source experimental image

圖5(a)為微光圖像,圖5(b)為紅外圖像,從圖中可以看出,在微光圖像中,景物的細節特征比較明顯,敏感于目標場景的反射,但放置在草叢中金屬板很難看見,具備一定的隱藏效果。而在紅外圖像中則能較清晰的看到金屬板的輻射信息,圖中道路、樹叢等也具有較強的紅外特征,但對整個場景的反射亮度變化不敏感,看不到路面、草叢等背景的細節信息,由此可見兩者均存在不足之處。為增強場景理解,在隱藏、偽裝和迷惑的背景下更快更精確地探測目標,采用本文提出的圖像開窗配準融合方法對兩幅圖像進行處理,實驗結果如圖6所示。

由于紅外圖像視場小于微光圖像,因此,首先需要對圖像進行配準,然后以紅外圖像大小為窗口進行開窗融合,圖6(a)為紅外圖像相對于微光圖像,經過平移和雙線性插值縮放后的配準圖像。圖6(b)為經過配準后的開窗融合圖像,從圖中我們可以直觀的看出開窗融合圖像中原微光圖像細節特征得到了保留,而原紅外圖像中我們感興趣的金屬板目標也得到了體現,窗口融合區域明顯改善了人眼的識別性能,提高了圖像分辨效果和人眼對場景目標的發現和識別概率。為客觀評價圖像融合后的效果,我們采用反映圖像細節信息的信息熵[5]、標準灰度差[6]以及反映圖像清晰度的二維直方圖信息容量[7]的評價方法對融合前后的圖像進行評價,圖像的信息熵和標準灰度差越高,反映的圖像細節信息越豐富。而相同的場景下,圖像灰度比較集中,邊緣模糊時,圖像的灰度沒有拉開適當的距離,信息容量較大,反之,圖像較清晰時,信息容量較小,信息容量和清晰度具有反比的關系。實驗結果如表1所示。

圖6 配準融合結果Fig.6 Registration and fusion experiment表1 實驗評價結果Tab.1 Experimental evaluation results

樣本信息熵標準灰度差信息容量紅外圖像7.84632.9646.346微光圖像9.75230.5745.274窗口融合圖像12.43836.2864.582

從表1可以看到,融合后的窗口圖像相對于原始微光和紅外圖像,信息熵和標準灰度差都得到了較大的提高,信息容量也相應減小,說明融合后的圖像在圖像細節和清晰度方面均有一定程度的提高,客觀地說明了融合圖像包含更多的信息,這也驗證開窗融合的可行性。

為驗證開窗融合的實時性,在配準和融合算法一定的情況下,我們采用不同的開窗面積對開窗融合的時間進行了測算,結果如圖7所示。

圖7 開窗面積與融合時間關系曲線Fig.7 Relationship between window area and the time of fusion

由圖中曲線可以看出,隨著開窗面積的增加,圖像的配準和融合運算量均有不同程度的增加,隨之開窗融合的時間也明顯增多,窗口越小,開窗融合速度就越快,基本達到實時融合效果,但如果增加融合算法的復雜度,在系統運算能力一定的情況下,只有減小窗口面積,取得算法與窗口大小關系的平衡性才能保證融合的實時性。

5 結 論

針對不同視場的紅外與微光圖像融合問題,提出了開窗融合技術。該技術可應用于視場大小不同的紅外與微光圖像,通過開窗提取圖像中人眼感興趣的區域信息進行融合來滿足觀察要求,圖像開窗的尺寸取決于系統的硬件速度和融合算法的運算量,窗口的大小是平衡不同復雜度融合算法與實時性之間的矛盾的重要指標,這對兼顧圖像融合質量和速度要求的圖像融合系統具有較高的應用價值。