DRF紅外雙波段彩色圖像融合算法

趙 玲,周 寬,喻松林,崔躍剛

(華北光電技術研究所,北京 100015)

1 引 言

紅外探測中,容易受到光照、氣候以及目標自身隱蔽性等干擾因素的影響,使得復雜環境下的目標識別存在一定困難,其中,單波段探測無法滿足需求是重要原因之一[1]。長波紅外(LWIR)較適于探測常溫目標并工作在低溫干燥環境下,而中波紅外(MWIR)更適于探測高溫目標并工作在高溫潮濕氣候條件下。如果能利用雙波段或多波段同時進行紅外探測就可以獲得更多有效信息,通過圖像融合技術實現多波段圖像差異信息的互補,從而獲得更加精確、全面的圖像信息,可有效提高系統效能[2]。

圖像融合按照處理層次的不同,可以劃分為像素級、特征級和決策級三種融合方式。像素級融合保留了場景的原始信息,準確性高但是處理的信息量較大；特征級融合保留了重要圖像特征但有一定的信息壓縮,有利于實時處理；決策級融合在源圖像和特征提取的基礎上進行聯合判決,該方法的容錯能力高,實時性好,但是信息量的損失較大。本文的圖像融合屬于像素級融合。

一般像素級圖像灰度融合的方法[3]包括基于多尺度分解、基于稀疏表示等方法。多尺度分解常用的方法包括傳統金字塔變換[4]、離散小波變換以及剪切波、輪廓波等多尺度變換[5],該類方法能夠挖掘圖像中不同方向不同尺度的細節信息,但是方向性越好,計算復雜度越高,不易在嵌入式設備上實現；基于稀疏表示的方法主要是在稀疏域中測量源圖像的像素水平,有各種稀疏表示模型和相應的融合策略可供進一步選擇,該類方法計算量大,很難滿足目標檢測對圖像融合實時性和工程化的需求。

通過對中、長波紅外成像的特點對比發現,僅利用常規灰度域的融合算法無法很好的體現不同波段的差異信息,若引入彩色域算法則可以很好地解決這個問題[6],因此有必要對紅外雙波段融合技術進行深入研究。

本文在總結傳統8 bit彩色圖像融合思路的基礎上,提出基于16 bit的DRF偽彩色融合方法,采集16 bit原始中、長波紅外圖像,劃分差值區域,突出表現不同波段的成像差異,得到更利于工程應用,更適合人眼視覺特性,更突出目標特性的偽彩色融合圖像。

2 傳統偽彩色融合算法基本思路

常見的雙波段偽彩色融合算法主要包括NRL算法、TNO算法等。

NRL算法早期主要應用于紅外圖像和微光圖像的偽彩色融合算法,后來推廣到中長波紅外雙波段[7],算法的主要思路如圖1所示。

圖1 NRL算法流程圖

該算法得到的效果在于:若某點像素在中波的灰度級高于長波,融合圖像中該點呈青色；若某點像素在長波的灰度級高于中波,融合圖像中該點呈紅色；若在中、長波的圖像中灰度均高則最終呈白色,均低則呈黑色,NRL算法融合效果圖如圖2所示。

(a)長波紅外圖像

分析該方法得到的融合圖像,由于中長波圖像差異較大,靠近樹叢的車輛能夠利用紅色和青色很好的辨別不同,但是針對差異部分的強弱狀態,沒有明顯的顏色變化；另外對于垃圾桶、后車尾等中長波差異相對較小的位置,色差無法將細節表現清晰。

TNO算法主要針對中長波紅外圖像中不同波段的差異部分進行增強賦色[8-9],主要算法思路如圖3所示。

圖3 TNO算法流程圖

先求中波圖像A和長波圖像B的共有部分C,C取A和B的最小值,如下式:

C=min{A,B}

(1)

然后各自減去共有部分獲得特有部分,如下式:

Aspecial=A-C

(2)

Bspecial=B-C

(3)

其中,Aspecial表示中波圖像A的特有部分,Bspecial表示長波圖像B的特有部分。

最后用原圖像減去另一圖像的特有部分進行增強,獲得特性圖像,如下式:

Afinal=A-Bspecial

(4)

Bfinal=B-Aspecial

(5)

其中,Afinal是中波圖像A的特性圖像;Bfinal是長波圖像B的特性圖像。

將中波特性圖像和長波特性圖像分別送入B和R通道,共有部分圖像送入G通道,TNO算法效果如圖4所示。

分析該方法得到的融合圖像,對于汽車車身、車窗等中長波差異較大的位置,有明顯的色彩區分,且根據差異的強弱程度,顏色的變化也更加豐富；對于垃圾桶、后車尾中長波圖像差異相對較小的部分,在保持灰度的同時也能夠看出顏色的變化,但是對于地面等中長波幾乎沒有差異的部分,融合圖像仍舊存在大面積色偏的情況。

(a)長波紅外圖像

3 基于16 bit圖像的中長波紅外雙波段偽彩色融合算法

本文提出一種差值區域融合(Difference regions fuse,DRF)思路,在突出中長波紅外波段差異的基礎上,直接利用16 bit原始紅外圖像進行數據處理,增強細節信息；通過差值區域判斷進行區域調整,改善大面積明顯色偏的問題。

如果融合圖像直接在RGB顏色空間上處理,圖像色彩變化不夠自然,且細節信息的彩色表征缺乏可預見性[10]；而在YCbCr顏色空間中,Y表示亮度分量,Cb表示藍色的偏移量,Cr表示紅色的偏移量,與其他顏色空間相比,YCbCr顏色空間的表現形式跟中長波波段表征的差異特征較為契合。因此,本文提出的DRF算法將提取16 bit圖像信息進行處理分析,通過差值區域判斷,在YCbCr顏色空間中完成差異賦色,最后完成直方圖均衡化,將16 bit圖像壓縮圖像為8 bit并轉換至RGB顏色空間進行顯示,主要算法思路如圖5所示。

圖5 DRF算法流程圖

圖像預處理主要包括圖像去噪、圖像銳化、迭代歸一化圖像亮度和對比度等基礎圖像處理操作。圖像去噪主要去除可能影響圖像質量的噪聲,各類噪聲的去噪方法各有不同,但是去噪的同時會影響圖像質量,應根據具體情況進行選擇；圖像銳化主要是針對紅外圖像邊緣細節不夠清晰等問題,通過銳化處理更好地凸顯圖像中的細節信息,改善圖像邊緣模糊狀態；歸一化圖像亮度和對比度主要改善融合圖像的色偏問題。本文為了更好的消除色偏,對歸一化進行剔除異常值反復迭代的操作,確保中、長波紅外圖像的狀態一致。

通過計算中波紅外圖像A和長波紅外圖像B對應點的差值,標定中波區域、長波區域和過渡區域,如下式:

diff(i,j)=B(i,j)-A(i,j)

(6)

k=diffmax+diffmin

(7)

(8)

YCbCr顏色空間中,若圖像無顏色偏移,僅僅顯示Y通道的亮度信息,則Cb和Cr通道賦值0.5。于是,本文設計的賦色思路是若中長波灰度值差異明顯則分別賦色,若差異不大,則以參考圖像的亮度信息為主,不賦色；設置Cb通道和Cr通道的賦色規則如下式(9):

當k>0時,

(9)

其中,sp為顏色因子,可根據需要調節數值(sp>0)。

同時,計算中波和長波圖像的邊緣強度ES,如下式:

(10)

其中,ΔIx=f(x,y)-f(x-1,y);ΔIy=f(x,y)-f(x,y-1)。

根據邊緣強度所占比例設置參考圖像的權值系數,最終的參考圖像D等于加權后中長波圖像之和,如下式:

(11)

(12)

D=ωlong×A+ωmid×B

(13)

其中,ESlong、ESmid分別代表長波的邊緣強度和中波的邊緣強度。

送Y通道的圖像主要反映圖像的亮度信息,將參考圖像D送入Y通道。

賦色完成之后對圖像進行直方圖均衡化處理,將圖像從16 bit壓縮至8 bit。與直接在8 bit圖像中設計賦色方案相比,獲取的有效信息更多,更利于提升的融合圖像效果,最后轉換至RGB顏色空間,完成圖像融合,YCbCr空間與RGB空間轉換公式見式(14),具體融合效果圖見圖6。

Y=0.299×R+0.587×G+0.114×B

Cr=(R-Y)×0.713+128

Cb=(B-Y)×0.564+128

(14)

(a)長波紅外圖像

相較于NRL和TNO等傳統算法,該方法得到的融合圖像,細節信息凸顯的更加明顯,尤其是紅框標出來的位置,在中長波差異的位置顏色區分明顯,且具有顏色強弱變化；地面部分不僅紋理變化更加清晰,大面積色偏的問題也得到了改善。

4 圖像評價

目前針對彩色圖像的圖像質量評價仍然處于起步階段[11],圖像融合評價主要分為主觀評價和客觀評價,主觀評價由人眼直接做出評價,容易由于主觀判斷出現偏差,客觀評價通過計算指標因子,做出比較。

本文選取5幅中長波差異明顯的紅外圖像,具體圖像見圖7,從左到右依次為長波圖像、中波圖像,NRL算法融合圖像、TNO算法融合圖像和DRF算法的融合圖像。

圖7 實驗圖片

以第5幅為例,放大圖片進行主觀視覺比較,如圖8所示,圖8(a)為長波圖像,圖8(b)為中波圖像,圖8(c)為NRL算法融合圖像,圖8(d)為TNO算法融合圖像,圖8(e)為DRF算法融合圖像。

圖8 融合圖像的主觀評價

小框位置處,長波幾乎看不清細節,而中波的紋理變化較為清楚,NRL和TNO算法得到的融合圖像邊緣模糊,無法準確地體現差異,DRF算法中長波差異細節表現清晰,且變化邊緣處過渡自然,效果更好。

大框位置處,由于長波對高溫不敏感,顯示的火焰焰尾短,焰心亮度較低；中波顯示的火焰焰尾長且細節變化豐富,焰心亮度較高,NRL算法得到的融合圖像焰心處亮度較高且保持了中波的火焰細節,但是未體現中波和長波的火焰差異；TNO算法得到的融合圖像火焰狀態更偏向長波,對于中波火焰邊緣的細節變化表征不清晰； DRF算法的融合圖像焰尾邊緣清晰、細節明顯,焰心處亮度較高且有顏色凸顯差異,更利于人眼快速辨別。

整體來看,基于8 bit圖像融合算法都有一定的色偏,實際工程應用中,可能會影響人眼判斷,而基于16 bit的圖像融合算法可以很好地改善這一問題。

為了進一步驗證算法的有效性和客觀性,本文結合幾種灰度圖像融合的指標進行評價,主要包括平均梯度(AVG)、圖像互信息(MI)[12]、邊緣保留系數(Q)[13-14]等三個指標因子；平均梯度反映圖像表達細節和紋理變化的能力,互信息能夠衡量融合圖像從源圖像中繼承的信息量,邊緣保留系數則表征融合圖像保留源圖像中的邊緣信息量。

選取客觀評價因子對3種算法進行比較,具體評價結果見表1。

表1 不同算法的融合評價結果

由指標評價結果可以看出,本文提出的DRF算法的客觀評價因子均高于其他算法。結合主觀視覺觀察分析,DRF算法不論從人眼觀察的細節還是客觀評價因子呈現的圖像融合結果均效果顯著。

5 結 語

本文提出了一種基于16 bit紅外原始圖像的中長波雙波段偽彩色融合算法,考慮到實時性和簡潔性的原則,根據中長波波段差異特點,總結傳統融合算法的優缺點,各取所長,結合YCbCr顏色空間,判斷差值區域,完成融合算法設計。實驗結果表明,該算法不論從人眼觀察的細節信息還是客觀評價結果,圖像融合效果顯著,能夠為后續的工程應用提供思路。