結合目標提取和壓縮感知的紅外與可見光圖像融合

王　昕，吉桐伯，劉　富

(1.長春工業大學 計算機科學與工程學院，吉林 長春 130012；2.吉林大學 通信工程學院，吉林 長春 130022；3.中國科學院 長春光學精密機械與物理研究所，吉林 長春 130033)

?

結合目標提取和壓縮感知的紅外與可見光圖像融合

王昕1，2，吉桐伯3，劉富2*

(1.長春工業大學 計算機科學與工程學院，吉林 長春 130012；2.吉林大學 通信工程學院，吉林 長春 130022；3.中國科學院 長春光學精密機械與物理研究所，吉林 長春 130033)

針對紅外與可見光圖像融合易受噪聲干擾從而使目標信息減弱的問題，提出了一種基于目標區域提取和壓縮感知的融合算法。首先，在頻率域上對紅外圖像進行顯著區域檢測得到其對應的顯著度圖，并在顯著圖指導下結合區域生長法提取紅外圖像的目標區域，有效抑制噪聲與復雜背景的干擾。然后，用非下采樣剪切波變換對待融合的圖像進行分解，采用不同的融合策略分別對目標與背景區域的高、低頻子帶進行融合。針對背景區域提出一種新的基于多分辨率奇異值分解和壓縮感知的融合規則，最后，進行非下采樣剪切波逆變換得到融合圖像。與其他算法的對比實驗結果表明，本文算法能更好地突出目標區域，保留圖像細節信息，抑制噪聲干擾；圖像質量評價指標中的信息熵、標準差、互信息、邊緣保持度分別提高了3.94%，19.14%，9.96%和8.52%。

圖像融合；紅外圖像；可見光圖像；顯著度圖；非下采樣剪切波變換；目標提取；壓縮感知；多分辨率奇異值分解

1　引　言

多傳感器融合可以增強圖像的可信度，提高系統的可靠性，降低對單一傳感器性能的要求。融合后的圖像可以更準確、更全面地展示出目標或場景的相關信息，更適合人眼觀察以及計算機的相關后續處理。紅外與可見光圖像融合是圖像融合的重要分支，也是目前圖像融合研究的重點。紅外傳感器是通過熱輻射成像，有利于突出場景中的目標區域，但不能很好地表征場景細節特征；而可見光傳感器通過物體反射成像，能夠提供目標所在場景的細節信息。因此，紅外與可見光融合不僅具有良好的紅外圖像的目標特征，而且還能很好地保留可見光圖像的細節信息。

目前有一種主流的紅外與可見光融合算法是基于變換域的方法，如小波變換，金字塔變換，Curvelet變換，Contourlet變換等，但上述方法不具備平移不變性，容易導致圖像邊緣細節模糊。還有一種基于變換域的方法是非下采樣Contourlet變換(Non-subsampled Contourlet Transform，NSCT),其雖然具備平移不變性，融合效果好，但算法復雜度偏高[1]。為了克服此缺陷，文獻[2]提出了非下采樣剪切波變換(Non-subsampled Shearlet Transform，NSST)，它不僅繼承了NSCT的所有優點， 而且提高了計算效率，近年來受到國內外學者們的普遍關注。Kong等人基于NSST變換，并與空間頻率及PCNN(Pulse Coupled Neural Network)相結合實現了紅外與可見光圖像融合[3]。該算法雖然效果好，但復雜度偏高；周強等人將NSST成功應用在紅外偏振圖像融合中[4]；除了變換域方法外，學者們還相繼提出基于壓縮感知的融合算法[5-8]，這種方法也是目前的研究熱點。壓縮感知作為信號處理的新技術，用在圖像融合領域可以極大地降低采樣數據量，提高融合效率，減輕存儲壓力。

在紅外與可見光圖像融合領域普遍存在的問題是：在光照不足、目標和背景顏色接近時，容易出現目標信息丟失或減弱的現象。此外，由于紅外圖像的信噪比較低，噪聲的干擾會影響圖像的融合質量。考慮到由于現有的多數算法都很難正確區分噪聲和原始圖像的特征，從而導致融合結果產生模糊和虛假信息，本文提出了一種新的基于目標提取和稀疏表示的圖像融合算法，算法流程如圖1所示。首先生成紅外圖像的顯著度圖，利用顯著度圖指導紅外目標分割。這樣對具有復雜背景干擾及低信噪比的紅外圖像，依然能準確提取紅外目標區域。然后對紅外和可見光源圖像分別進行NSST變換，對兩幅源圖像中的目標區域和背景區域分別采用不同的融合策略進行融合。仿真實驗表明，本文算法在克服噪聲干擾的同時，有效避免了目標信息丟失和弱化的問題。

圖1　本文算法流程圖

2　基于顯著度圖的紅外目標區域分割

在紅外目標區域分割過程中，主要存在兩個問題：(1)當紅外圖像背景復雜度高，且存在背景干擾時，易導致誤分割；(2)自然界分子的熱運動會導致紅外圖像的信噪比較低，背景噪聲的存在會干擾目標區域的正確提取。目前紅外目標提取方法，有基于閾值的分割[9]、區域生長法分割、模糊聚類分割方法[10]等。上述方法僅對某些固定場景的紅外圖像有較好的分割效果，當背景干擾發生變化時，分割效果也會隨之改變。對于紅外圖像的背景噪聲問題，多數算法都采用去噪預處理解決。而去噪很容易導致目標區域邊緣模糊，而且噪聲很難完全去除。針對此問題，本文利用顯著度圖指導下的區域生長法來解決復雜背景干擾及低信噪比下的紅外圖像目標分割問題。

2.1顯著度圖

顯著性區域檢測就是找出圖像中人類視覺注意焦點的區域，再用顯著度圖進行表示。紅外成像取決于景物的溫度分布，因此在紅外圖像中，目標區域相對背景區域來說是顯著的。Achanta利用圖像的顏色和亮度信息，針對自然景物的彩色圖像，提出了基于頻率域的顯著區域提取方法[11]。選擇高斯帶通濾波器來抽取圖像的顯著特征。高斯帶通濾波器定義如下：

G(x,y,σ1)-G(x,y,σ2)，

(1)

其中：σ1，σ2(σ1>σ2)是高斯濾波器的標準方差。定義σ1=ρσ，σ2=σ，則高斯帶通濾波器的帶寬由ρ來控制。對具有不同ρ的高斯帶通濾波器求和，能夠獲取更寬頻帶范圍內的圖像特征。求和后的表達式如下：

G(x,y,σρN)-G(x,y,σ).

(2)

低頻截止頻率ωlc由σ1決定，高頻截止頻率ωhc由σ2決定。通過選擇合適的σ1與σ2的值，就得到能夠保持期望空間頻率特征的顯著度圖。為了盡可能地獲得低頻段的所有頻率值，σ1設置為無窮大；為了去掉圖像的高頻噪聲和紋理信息，選擇先用小高斯核濾波器擬合離散的高斯值，然后利用下式來計算圖像的顯著度圖S：

S(x,y)=‖Iμ-Iwhc(x,y)‖，

(3)

式中：Iμ為平均圖像特征相量；Iwhc為經高斯濾波后的像素值；‖‖為歐式距離。利用上式分別計算亮度分量L和顏色分量A、B，得到最終的顯著度圖。該算法實時性好，能準確保留顯著區域的邊緣信息，還能有效抑制噪聲的影響。

對于紅外灰度圖像，不能直接利用該模型，因此采用式(4)獲取相應的顯著度圖：

S(x,y)=|Iμ-Iwhc(x,y)|，

(4)

式中：Iμ為紅外圖像灰度平均值；Iwhc為紅外圖像經高斯濾波后的圖像。||是L1范數。

圖2為一幅紅外圖像及其顯著度圖。由圖2可見，在顯著度圖中，紅外圖像的顯著區域(目標區域)變得更加顯著，不顯著區域(背景和噪聲)得到了有效的抑制。

(a) 紅外圖像(a)Infrared image　

(b)顯著度圖(b)Saliency map

2.2紅外圖像的目標區域分割

由于區域生長法對紅外目標的分割效果較理想，因此被廣泛采用。區域生長法的正確性依賴種子像素點的選取，當紅外圖像背景區域復雜，且存在干擾(如噪聲等)時，容易選錯種子點而導致誤分割。而在紅外圖像的顯著度圖中，背景區域被抑制，目標區域相對噪聲是顯著的，因此可以在顯著度圖的指導下選擇正確的種子像素點，得到更準確的分割結果。具體過程如下：(1)在顯著度圖中選擇灰度值最大的點作為種子點；(2)以種子點為中心，考慮其4鄰域像素點，如果滿足生長規則，則將其合并。以鄰域像素點與已分割區域灰度均值的差作為相似性測度，把差值最小的鄰域像素點合并到分割區域；(3)當相似性測度大于分割閾值t時，則停止生長。本文算法選擇閾值t=50。

為進一步驗證本文算法的分割效果及抗噪性能，設置了實驗，結果如圖3所示。對圖3(a)添加高斯噪聲得到圖3(b)，對圖3(b)進行目標區域分割。圖3(b)具有復雜的野外背景，且信噪比更低。圖3(c)為顯著度圖，圖3(d)～(h)分別為Otsu算法，文獻[9]中的最大熵法，文獻[10]中的K均值聚類算法，傳統區域生長法(區域生長過程與本文算法相同，唯一不同之處是在圖3(b)中直接選擇種子點。由于噪聲干擾，誤選了噪聲點作為種子點)及本文方法的結果。

(a) 紅外圖像(a)Infrared image

(b) 加噪圖像(b)Noisy infrared image

(c) 顯著度圖(c)Saliency map

(d) Otsu算法(d)Otsu

(e) 最大熵法(e)Maximum entropy

(f) K均值聚類(f)K-means clustering

(g) 傳統區域生長法(g)Region growing method

(h) 本文算法(h)Proposed method

實驗結果表明，本文算法對于有復雜背景干擾的圖像及低信噪比圖像仍然能得到正確分割結果。提取紅外目標區域后將其映射至可見光圖像中，完成對源圖像目標區域與背景區域的分割。

3　基于區域分割和NSST的圖像融合

3.1NSST分解

由于NSST的整個分解過程中沒有下采樣環節，從而保證了平移不變性。NSST變換可以根據融合的實際需要選擇分解的方向數，故克服了NSCT分解方向數受限制的缺陷，能更好地表達圖像各方向上的邊緣和細節特征。

(a) NSST二層分解流程(a)Two level decomposition of NSST

(b) 原始圖像(b)Original image

(c) 低頻子帶圖像(c)Low-frequency subband

(d) 4個高頻子帶圖像

3.2目標區域融合規則

為了盡可能地保留紅外圖像的熱目標信息，將紅外圖像的低頻子帶系數作為融合圖像的低頻子帶系數：

LF(x，y)=Li(x，y)，(x,y)∈T.

(5)

為了使目標區域的輪廓和細節特征更清晰，高頻子帶系數選擇“模極大值”法，即：

(6)

3.3背景區域的融合規則

3.3.1低頻子帶的融合規則

基于混合多分辨率的思想[12]，本文對于經過NSST變換后的背景區域的低頻子帶采用多分辨率奇異值分解(Multi-resolution Singular Value Decomposition，MSVD)進行融合。多分辨率奇異值分解與小波變換非常相似，它也是在分解過程中對信號分別用低通、高通濾波器進行濾波，區別是小波變換是通過有限脈沖響應(FIR)濾波器進行濾波，而MSVD是用奇異值分解(SVD)進行濾波。圖像的一層MSVD分解過程如下：

(1)將大小為m×n的圖像分成互不重疊的2×2的子塊，然后把每個子塊按照先列后行的順序整理成4×1的列向量；再將所有子塊的列向量進行組合，形成一個大小為4×(m×n/4)的矩陣R。

(2)對R進行奇異值分解：R=USVT，U和V均為4×4的正交矩陣。

(3)對R左乘UT，得A=UTR=SVT。

(4)A的第一行包含了最大的奇異值，代表了原圖像的概貌，對應著圖像的低頻信息；A的其他行包含的是小的奇異值，對應著圖像的細節，即高頻信息。

對低頻子帶Φ1繼續重復步驟(1)～(5)可進行下一層分解，以此類推，完成多層MSVD分解。圖像的重構可由上述各分解步驟的逆過程實現。MSVD三層分解結構如圖5所示。

圖5　MSVD三層分解結構圖

文獻[13]對比分析了MSVD和小波融合的性能，實驗結果表明，兩者的融合效果非常接近，由于MSVD不像小波變換需要固定的基向量，其融合效果有時甚至超過小波。從融合時間上來看，MSVD的計算過程簡單，實時性遠高于小波融合方法。

NSST變換具有高度靈活的方向表達特性，在圖像的各向異性表達上優于MSVD，非常適合表示圖像的邊緣特征，但對于某些局部細節特征區域，融合效果不如MSVD；而MSVD在圖像邊緣區域的融合誤差較大。基于以上分析，本文提出一種新的融合規則，采用 MSVD分別對Li和Lv(Li，Lv∈B)進行二次分解，得到相應的低頻和高頻系數。由于可見光圖像中包含的背景信息更豐富，選擇MSVD分解后的可見光低頻系數作為融合圖像的低頻系數，而高頻系數選擇“模極大值”的融合策略進行融合，最后利用 MSVD逆變換得到融合后的背景區域的低頻子帶LF(LF∈B)。

3.3.2高頻子帶的融合規則

由于圖像的目標區域是更受關注的區域，如監控場景中的行人和車輛等。而由于壓縮感知(Compressive Sensing，CS)能以較低的采樣率高效地重構原信號，它已成為圖像融合領域的研究熱點。為了提高融合效率，對背景區域采用基于壓縮感知的融合算法。目前主要的圖像稀疏表示方法有DCT和正交小波變換及NSCT變換。DCT變換的時頻分析性能不好；小波變換的方向選擇性差；NSCT計算復雜度高，而且分解方向數受限。由于NSST可以根據融合需要選擇任意的分解方向數，能更好地表達圖像各方向的細節信息，比NSCT運算效率高，可以更好地進行圖像的稀疏表示。因此，本文將NSST應用在壓縮感知域，融合具體流程如圖6所示。

圖6　背景區域高頻子帶融合流程圖

圖7　星形采樣模式

星形測量矩陣中，白色區域，即值為“1”的點是被采樣的點。紅外圖像背景噪聲主要存在于高頻子帶，故對高頻子帶進行壓縮測量可以去除一部分噪聲的影響。測量完成后，融合規則采用基于空間頻率(Spatial Frequency， SF)加權的融合方法。SF越大代表圖像細節信息越豐富，而且SF對噪聲不敏感。圖像I(i，j)的空間頻率SF定義為：

(7)

(8)

(9)

設Φ為測量矩陣：

(10)

(11)

zi=wxxi+wyyi，i=1，2，…，M.

(12)

按照公式(9)計算X與Y的空間頻率，記為SFx與SFy，則：

wx=SFx/(SFx+SFy)，

(13)

wy=SFy/(SFx+SFy).

(14)

最小全變分算法對于二維信號的重構效果是最突出的，可以更好地保留圖像細節[14]。全變分就是對圖像x的梯度幅值求和。最小全變分重構的目標函數為：

(15)

式中：φ為測量矩陣，y=φx+n，n為噪聲，x代表圖像信號，‖x‖TV為圖像x的全變分，x′為重構信號，λ為正則因子。式(15)中第一項中通過求l2范數使能量差最小來抑制噪聲的干擾。第二項中的λ用來權衡圖像的稀疏性能與噪聲的抑制作用。

最后將融合后的目標和背景區域的高、低頻子帶進行NSST逆變換，即得到最終的融合圖像。

4　實驗與結果

為了驗證本文算法的性能，與文獻[15]中的離散小波變換融合法，文獻[16]中的基于小波稀疏的壓縮感知融合算法，文獻[17]中的基于離散傅里葉變換的壓縮感知融合算法，文獻[18]中的基于目標區域分割的圖像融合算法及基于NSST變換的圖像融合算法(分別記為：DWT，DWT+CS，DFT+CS，RS，NSST)做了對比實驗。本文算法NSST的尺度分解層數與方向數均為1。文獻 [16]中的小波分解層數也為1層。文獻[16]與[17]中的采樣率和本文算法的一致，均為30%。基于NSST變換的圖像融合算法采用文獻[19]中的融合規則，分解層數為3層，方向分解級數依次為2，3，4(與文獻[18]中采用的NSCT變換層數和分解級數相同)。3組已配準的紅外與可見光源圖像分別命名為：“Dune”、“Fieldcamp”和“UNcamp”，圖像大小均為256×256。算法編程所用平臺為MATLAB R2011a。融合實驗的結果如圖8～10所示。

(a)可見光圖像(a)Visible image

(b)紅外圖像(b)Infrared image

(c)DWT方法(c)DWT method

(d)DWT+CS方法(d)DWT+CS method

(e)DFT+CS方法(e)DFT+CS method

(f)NSST方法(f)NSST method

(g)RS方法(g)RS method

(h)本文方法(h)Proposed method

(a)可見光圖像(a)Visible image

(b)紅外圖像(b)Infrared image

(c)DWT方法(c)DWT method

(d)DWT+CS方法(d)DWT+CS method

(e)DFT+CS方法(e)DFT+CS method

(f)NSST方法(f)NSST method

(g)RS方法(g)RS method

(h)本文方法(h)Proposed method

由上面的兩組對比實驗結果可以看出：DWT，DWT+CS和DFT+CS 3種算法得到的融合圖像細節信息均很模糊，如圖8中的山丘、道路的輪廓模糊不清，圖9中的人物和車輛的輪廓及樹木的邊緣及細節也都有不同程度的模糊。而且3種算法融合圖像中的目標(人物或車輛)幾乎被“淹沒”在背景區域中。分析可知，DWT算法由于只對點目標物體能很好表達，所以融合結果的邊緣輪廓信息易模糊。DWT+CS算法由于采用DWT做稀疏基，捕捉邊緣能力差，而且其采用隨機測量矩陣會導致測量值無法正確反映原圖像的結構信息，而本文選擇星形矩陣測量高頻子帶，使測量值與結構信息相關聯；DWT+CS算法的融合規則為直接取最大，從而產生了條紋痕跡和噪聲。而且DWT與DWT+CS兩種算法的低頻均采用簡單的加權平均規則導致紅外目標信息被削弱。DFT+CS算法對整幅圖像用DFT做稀疏，星形矩陣主要采集位于圖像中心區域的低頻分量，高頻系數只采樣了少數點，所以造成了邊緣細節信息模糊。而本文只對高頻子帶進行壓縮感知，對高頻子帶的采樣數目遠多于DFT+CS，所以融合圖像質量要好于后者。與NSST算法相比，本文算法的目標區域更突出，目標相對背景具有更高的對比度，更好地保留了紅外圖像的熱目標信息。RS算法雖然和本文一樣具有很好的目標指示特征，但就目標輪廓而言，本文算法的紅外目標與背景之間的邊界更清晰。

(a)可見光圖像(a)Visible image

(b)紅外圖像(b)Infrared image

(c)DWT方法(c)DWT method

(d)DWT+CS方法(d)DWT+CS method

(e)DFT+CS方法(e)DFT+CS method

(f)NSST方法(f)NSST method

(g)RS方法(g)RS method

(h)本文方法(h)Proposed method

為了驗證本文算法的抗噪性能，對紅外圖像添加了高斯白噪聲，加噪圖像如圖10(b)所示。由加噪融合結果可以看出，本文算法對噪聲的抑制能力最佳。其他算法的融合圖像都不同程度地受到了噪聲的污染，導致圖像細節模糊，融合質量下降，尤其是DWT算法，NSST算法以及RS算法受到噪聲的干擾最大。而本文算法即使對低信噪比圖像進行融合，其目標區域仍能呈現高亮顯示，道路，柵欄，房頂輪廓及房后的樹木邊緣仍清晰可見，可視效果最佳。

采用信息熵(E)[20]，標準差(SD)，互信息[21](MI)及邊緣保持度(QAB/F)[22]對各算法的融合圖像質量進行客觀評價，結果如表1所示。本文算法除了對圖8中的個別指標略低于NSST算法和RS算法外，其他指標在每一組實驗圖像中均為最大值，客觀評價結果進一步證實了本文算法的優越性。此外，挑選融合效果較好的NSST算法和RS算法做了算法運行時間的對比，結果顯示，本文算法的運行時間約為NSST算法的35.79%，是RS算法運行時間的17.02%。因此無論在融合質量上，還是在算法執行效率上，本文算法均占有一定優勢。

表1　不同算法的客觀評價

5　結　論

本文提出了一種新的紅外與可見光圖像融合算法。該方法中，通過高斯帶通濾波器抽取紅外圖像的顯著特征得到顯著度圖，根據顯著度圖完成紅外目標的分割，以有效抑制紅外背景噪聲等干擾。鑒于NSST的多方向性，平移不變性，良好的實時性，本文將其應用在壓縮感知域，并結合所提出的壓縮感知融合方案實現了背景區域的融合，提高了融合效率；基于混合多分辨率分析的思想，提出了新的基于多分辨率奇異值分解的融合規則。仿真結果表明，與其他5種主流算法相比，本文算法的熵、標準差、互信息量和邊緣保持度分別至少提高了3.94%，19.14%，20.15%和8.52%，既突出了紅外圖像的目標指示特性，也很好地保持了可見光圖像的細節信息。

[1]張蕾，金龍旭，韓雙麗，等. 采用非采樣Contourlet變換與區域分類的紅外和可見光圖像融合[J]. 光學 精密工程， 2015， 23(3)：810-818.

ZHANG L， JIN L X， HAN SH L，etal.. Fusion of infrared and visual images based on non-sampled Contourlet transform and region classification [J].Opt.PrecisionEng.， 2015， 23(3)：810-818.(in Chinese)

[2]EASLEY G， LABATE D， LIM W Q. Sparse directional image representation using the discrete Shearlet transforms [J].Appl.Comput.Harm.Anal， 2008， 25(1)： 25-46.

[3]KONG W， ZHANG L， LEI Y. Novel fusion method for visible light and infrared images based on NSST-SF-PCNN [J].InfraredPhys.Technol.， 2014， 65： 103-112.

[4]周強，趙巨峰，馮華君，等. 非下采樣剪切波的紅外偏振圖像融合[J]. 浙江大學學報(工學版)， 2014， 48(8)： 1508-1516

ZHOU Q， ZHAO J F， FENG H J，etal.. Infrared polarization image fusion with NSST [J].JournalofZhejiangUniversity(EngineeringScicnce)， 2014， 48(8)： 1508-1516.(in Chinese)

[5]DING M， WEI L， WANG B. Research on fusion method for infrared and visible images via compressive sensing[J].InfraredPhys.Technol， 2013， 57： 56-67.

[6]WANG R， DU L. Infrared and visible image fusion based on random projection and sparse representation [J].Int.J.RemoteSens， 2014， 35(5)： 1640-1652.

[7]何國棟，石建平，馮友宏，等. 基于壓縮感知的紅外與可見光圖像融合算法[J]. 激光與紅外， 2014， 44(5)： 582-585.

HE G D， SHI J P， FENG Y H，etal.. Fusion algorithm for infrared and visible image based on compressive sensing [J].Laser&Infrared， 2014， 44(5)： 582-585.(in Chinese)

[8]周渝人，耿愛輝，張強，等. 基于壓縮感知的紅外與可見光圖像融合[J]. 光學 精密工程， 2015， 23(3)： 855-863.

ZHOU Y R， GENG A H， ZHANG Q，etal.. Fusion of infrared and visible images based on compressive sensing[J].Opt.PrecisionEng.， 2015， 23(3)： 855-863.(in Chinese)

[9]杜峰， 施文康， 鄧勇， 等. 一種快速紅外圖像分割方法[J]. 紅外與毫米波學報， 2005， 24(3)： 370-373.

DU F， SHI W K， DENG Y，etal.. Fast infrared image segmentation method[J].JournalofInfraredandMillimeterWaves， 2005， 24(3)： 370-373.(in Chinese)

[10]云廷進， 郭永彩， 高潮.K-均值聚類中心分析法實現紅外人體目標分割[J]. 光電工程， 2008， 35(3)： 140-144.

YUN T J， GUO Y CH， GAO CH. Human segmentation algorithm in infrared images based onK-means clustering centers analysis[J].Opto-ElectronicEngineering， 2008， 35(3)： 140-144.(in Chinese)

[11]RADHAKRISHNA A， SHEILA H，FRAN-CISCO E，etal.. Frequency-tuned salient region detection [J].ComputerVisionandPatternRecognition， 2009： 1597-1604.

[12]SHU T L， YANG B. Hybrid multiresolution method for multisensor multimodal image fusion [J].IEEESensorsJournal， 2010， 10(9)： 1519-1526.

[13]NAIDU V P S. Image fusion technique using multi-resolution singular value decomposition [J].DefenceScienceJournal， 2011， 61(5)： 479-484.

[14]CANDéS E， ROMBERG J， TAO T. Stable signal recovery from incomplete and inaccurate measurements [J].CommunicationsonPureandAppliedMathematics， 2006， 59(8)： 1207-1233.

[15]QU G H， ZHANG D L， YANG P F. Medical image fusion by wavelet transform modulus maxima [J].OpticsExpress， 2001， 9(4)： 184-190.

[16]孫永明，吳謹，劉勁，等. 基于DWT的高頻系數壓縮感知圖像融合[J]. 紅外技術， 2014， 36(9)： 714-718.

SUN Y M， WU J， LIU J，etal.. Image fusion based on compressed sensing of DWT high frequency coefficients [J].InfraredTechnology， 2014， 36(9)： 714-718.(in Chinese)

[17]LI X， QIN S Y. Efficient fusion for infrared and visible images based on compressive sensing principle [J].IETImageProcessing， 2011， 5(2)： 141-147.

[18]LIU K， GUO L， LI H H，etal.. Fusion of infrared and visible light images based on region segmentation [J].ChineseJournalofAeronautics， 2009(22)：75-80.

[19]陳小林，王延杰.非下采樣變換的紅外與可見光圖像融合[J]. 中國光學，2011，4(5)：489-496.

CHEN X L， WANG Y J. Infrared and visible image fusion based on nonsubsampled contourlet transform [J].ChineseOptics， 2011，4(5)： 489-596.(in Chinese)

[20]LEUNG L W， KING B， VOHORA V. Comparison of image data fusion techniques using entropy and INI [C].Proceedingsof22ndAsianConferenceonRemoteSensing，Singapore， 2001： 152-157.

[21]QU G H， ZHANG D L， YAN P F. Information measure for performance of image fusion [J].ElectronicLetters， 2002， 38(7)：313-315.

[22]XYDES C S， PETROVI V. Objective image fusion performance measure [J].ElectronicsLetters， 2000， 36(4)： 308-309.

王昕(1972-)，女，遼寧大連人，博士，副教授，2003年于長春理工大學獲得碩士學位，2007年于中國科學院長春光學精密機械與物理研究所獲得博士學位，現為吉林大學博士后，主要從事圖像融合，圖像處理與機器視覺的研究。E-mail： wangxin 315@ccut.edu.cn

導師簡介：

劉富(1968-)，男，吉林農安人，博士生導師，教授，1994年、2002年于吉林大學分別獲得碩士、博士學位，2004年香港理工大學博士后，主要從事計算機視覺與模式識別研究。E-mail：liufu @jlu.edu.cn

(版權所有未經許可不得轉載)

Fusion of infrared and visible images based on target segmentation and compressed sensing

WANG Xin1，2， JI Tong-bo3， LIU Fu2*

(1.SchoolofComputerScience&Engineering，ChangchunUniversityofTechnology，Changchun130012，China;2.CollegeofCommunicationEngineering，JilinUniversity，Changchun130022，China;3.ChangchunInstituteofOptics，FineMechanicsandPhysics，ChineseAcademyofSciences，Changchun130033，China)

*Correspondingauthor，E-mail：liufu@jlu.edu.cn

The image fusion of infrared and visible light is susceptible to noise and the target information is weakened easily. Therefore, a new fusion algorithm based on target area extraction and compressed sensing was proposed. Firstly, the infrared image was detected in a salient region at frequency-tuned domain to obtain a corresponding salient map. Under the guidance of the salient map, the infrared target area was extracted together with region growing method to effectively overcome the effects of noise and complex background interference on target segmentation. Then, non-subsampled shearlet transform was adopted to decompose the source images and the high and low frequency sub bands in the target and backgound regions were fused respectively. Finally, a new fusion rule was proposed based on multi-resolution singular value decomposition and compressed sensing, and the fused image was reconstructed by the non-subsampled shearlet inverse transform. As compared with the other algorithms, experimental results show that the algorithm highlights the target area, preserves the details of the source images and suppresses the noise interference. The image fusion quality evaluation indexes including information entropy, standard deviation, mutual information and transferred edge information have increased by 3.94%，19.14%，9.96% and 8.52%, respectively.

image fusion; infrared image; visible image; saliency map; non-subsampled shearlet transform; target segmentation; compressed sensing; multi-resolution singular value decomposition

2015-07-07；

2015-08-20.

國家自然科學基金資助項目(No.61303132)；吉林省科技廳自然科學基金資助項目(No.201215127)

1004-924X(2016)07-1743-11

TP751

Adoi:10.3788/OPE.20162407.1743