結合方向邊緣檢測的紅外與可見光圖像融合算法

李偉林

(中山大學新華學院，廣東廣州510520)

1 引言

隨著數字多媒體技術的發展，使得傳統的單源探測器無法滿足人們的需求。為了克服單源探測器所具有的局限性與頻段的單一性，使得多探測器技術得以快速的發展;其中紅外與可見光探測器是典型的組合方式之一。因此，近幾年人們根據紅外圖像與可見光圖像各自的特性提出了很多紅外與可見光的融合算法，如 Contourlet變換［1］、金字塔變換法［2］以及小波變換法［3］等。本文通過對傳統的邊緣檢測算法的研究，發現在對邊緣進行檢測的過程中未能有效的利用小波變換所收集回來的方向特性，而且由于小波變換本身的局限性，使得圖像的方向特性未能得到充分的調用，給邊緣檢測的精度提高帶來了很大的問題。因此，根據小波變換的這一特性先對圖像進行小波分解，并在此基礎上提出了一種基于邊緣檢測的紅外與可見光的融合算法，該算法對傳統的邊緣檢測算法［4－5］進行改進，通過引入一個方向因子來提高算法的邊緣檢測精度，并對圖像進行邊緣檢測。而由于各子帶間小波系數的不同特性［6］，其中圖像的低頻子帶中儲存有圖像大體能量，因此對其采用基于能量與邊緣檢測的融合規則，而在圖像的高頻子帶中，主要存放著圖像的細節信號，因此對其采用基于邊緣模值比的融合規則。實驗結果表明，該算法能夠有效的提取圖像中的邊緣信號，而且能夠較好的對目標信號進行突出。

2 本文算法

2.1 方向特性

通過對傳統的二維小波變換的研究我們可以發現，小波變換分解能夠有效地將高頻子帶分解為水平方向、垂直方向以及對角線方向［7］。而在現實采集回來的圖像中，其圖像不是簡單的由這三個方向的信號組成，其實質是有多方向的圖像信號組成的。這使得傳統的二維小波變換具有一定的局限性。因此，為了有效地彌補小波變換在方向上的這一缺點，本文在其小波函數中引入了一個方向因子θ，其方法如下:

對于R2中的任一條直線來說，均可以選取適當的(x，y，θ)，即:

因此，設f(x，y)是N中的任一函數，通過引用一個方向角度θ變量，來反映圖像的方向性質，即

根據函數 f(x，y，θ)∈ L2(R2)，令其方向小波函數為:

即:

該方向小波函數用來說描述函數f(x，y，θ)沿直線xcosθ+ysinθ－γ=0，其代表著小波變換的方向，而s是小波變換方向的尺度，此時用θ來描述Wψsf(x，y，θ)的變化情況。設 θ(x，y，θ)為平滑函數，則:

因此，可得到小波函數的模函數表述式:

使方向小波變換具備傳統小波變換良好的時頻局部化分析能力和方向分析特性。而圖像中的邊緣方向特性在圖像的局部變化與沿著某一方向上的全局中體現，傳統的小波變換無法體現這一特性，而方向小波變換卻能反映圖像邊緣信號的這一特性。

2.2 在邊緣檢測算法的基礎上提出新的邊緣點檢測算法

研究發現閾值的選取對圖像中的邊緣信號進行分離效果造成很大的影響。而傳統的邊緣檢測算法的閾值選取是通常是通過令閾值λ=T×μ，其中，T 為權值，并且通過采用雙重閾值法來保證所檢測出所有邊緣像素。

為了更好地將雙重閾值法與本文的邊緣檢測算法相結合，對其進行如下定義:

根據雙重閾值的定義，令閾值λ1=T1×μ，閾值λ2=T2×μ，且滿足λ1≥λ2。

當 M2jf(x，y，θ)≥ λ1時，則表明該像素點為邊緣點;當 M2jf(x，y，θ)≤λ2時，則表明該像素點不是邊緣點;當 λ2＜ M2jf(x，y，θ)＜ λ1時，則此時對其進行再判斷，此時令 M2jf(x，y，θ)=1，由于本文采用的是3×3的搜索框，則有當 M2jf(x，y－1，θ)∨M2jf(x，y+1，θ)=1時，則判定該像素點為邊緣點;當 M2jf(x，y － 1，θ)∨ M2jf(x，y+1，θ)=0 時，則判定該像素點不是邊緣點。

2.3 低頻子帶的融合規則

通過對小波變換其能量分布進行研究與分析［8］，可以發現圖像的能量主要集中在最低低頻子帶LL3上，其能量總數占整體能量高達93%，而圖像的高頻子帶中所含有的能量不足7%;因此，針對低頻子帶中的能量分布特點，本文提出一種基于能量與邊緣檢測的融合規則。

根據小波變換的區域能量計算公式:

即可得到圖像A的能量為:

圖像B的能量為:

其中，其圖像邊緣點的判斷采用本文改進后的邊緣檢測算法進行判斷。

當為邊緣點時，則采用基于能量的融合算法;

根據小波變換區域能量的計算公式，比較圖像A與圖像B間的能量大小進行融合;

當為非邊緣點時，則采用基于能量的加權融合算法:

為了獲得視覺特性更佳、細節更豐富的融合效果，定義R(x，y)為以圖像變換系數(x，y)位置為中心領域的匹配度，其函數表達式如下:

而為了更好地與本文方向小波變換相結合，則采用上述的方向小波系數f(x，y，θ)，即本文對算法中的能量公式進行改進，其改進后的區域能量計算公式如下:

其中本文采用的搜索框的大小為3×3;

當為邊緣點時，則采用基于能量的融合算法;

根據小波變換區域能量的計算公式:

當為非邊緣點時，則采用基于能量的加權融合算法;

其中MMAX、MMIN分別為能量的加權系數;

其中匹配度:

2.4 高頻子帶的融合規則

通過對小波分解的研究不難發現，圖像中的細節信號大多都存儲在圖像的高頻子帶，因此本文采用的是邊緣檢測算法來對圖像A與圖像B的邊緣信號進行邊緣檢測，設MJ1f(x，y)與MJ2f(x，y)為圖像A、B的邊緣信號模值，MJFf(x，y)為融合后的邊緣模值，則圖像A的邊緣模值為:

圖像B的邊緣模值:

即可得邊緣信號的模值比:

為了提高算法對邊緣信號的處理速度，對其進行分類，即引入判斷邊緣強度的閾值λ3，其中λ3∈(0，1);通過對檢測后的所得到的圖像邊緣信號的模值比進行判斷，來獲得融合后的邊緣信號，其具體函數定義為:

其中，閾值λ3取0.85;基于圖像邊緣檢測的融合方法通過針對高頻分量中的邊緣信號來重構生成融合圖像，比較兩幅圖像中的邊緣信號的強弱來實現對強邊緣信號的保護，并將圖像的重構誤差控制在一個合理的范圍內，進而有效的減少參加融合算法的像素點個數。

3 仿真實驗

為了驗證算法的可行性，本文采用 MATLAB7.10.0對算法進行仿真，其中采用兩組不同類型圖像作為仿真圖，一組是多聚焦圖像，大小為512×512;另一組是同一場景的可見光和紅外圖像，大小為480×640;通過采用基于小波變換的融合算法、基于邊緣檢測算法的融合算法以及文獻算法［9］進行算法的比較。

實驗一:多聚焦類圖像的融合實驗。

采用兩幅聚焦變化的圖像來檢驗算法的邊緣融合效果，其目的主要是為了檢測算法的目標檢測效果與融合效果。其中圖1(a)為右聚焦待融合圖像，圖1(b)為左聚焦待融合圖像。通過采用上述幾種算法進行融合實驗，得:

圖1 各算法的仿真效果圖

通過觀察所得的仿真效果圖可以看到，本文算法所得融合圖像的圖像優于其他算法。通過與文獻算法相比，可以看到雖然文獻算法所得的圖像的亮度比本文算法高，但其融合圖像的邊緣的保持程度弱于本文算法;而為了更清楚地證明本文算法的邊緣保護優勢，采用方差、信息熵以及清晰度這幾種評價參數對算法進行評價。

方差σ2的定義:

信息熵的定義:

其中，pi為灰度值等于i的像素數與圖像總像素數之比;L為灰度級總數。

圖像清晰度采用圖像的梯度法衡量，即:

其中方差越大表示圖像灰度級分布越分散，說明包含的信息量越大;圖像信息熵反映了圖像攜帶信息量;熵值越大，則表明仿真后圖像所包含的圖像信息量越大;圖像的平均梯度越高，說明其空間的分辨率越高，即圖像越清晰。經實驗得表1為各算法的融合性能評估表。

表1 各算法的融合性能評估表

由表1可以看到，本文算法的方差、信息熵以及清晰度都優于其他算法。與文獻算法相比，本文算法的方差高出1.75，信息熵高出1.43，以及清晰度高出1.09，有效地證明了本文算法的在邊緣保護以及信息保留方面的優勢。

實驗二:紅外與可見光圖像的融合實驗。

采用由荷蘭TNO Human Factors Research Instiute拍攝的“UNCamp”紅外與可見光序列圖，其中圖2(a)為紅外圖像，能夠清晰看到一個人，但其他景物比較模糊;而圖2(b)的可見光圖像雖然能夠分辨出道路、灌木以及柵欄，卻很難看到人。通過采用上述幾種算法對圖像進行融合實驗，得圖2為各算法的仿真效果圖。

圖2 各算法的仿真效果圖

通過觀察融合圖像可以看到，本文算法在圖像的邊緣信號方面與紅外目標信號的保護方面都優于其他算法。通過采用信息熵、標準差、空間頻率［10］以及綜合指標這幾種評價參數進行檢測。其中綜合指標是采用信息熵、標準差、空間頻率分別進行歸一化處理，即各列數據分別除去各列中的最小值，求其和所得到的數。經測試得表2為各算法的融合性能評價表。

表2 各算法的融合性能評價表

通過觀察表2可以看到，本文算法所側得的信息熵、標準差、空間頻率以及綜合指標都是最大的;其中與文獻算法相比，本文所測得的信息熵高出0.49，標準差高出0.98，空間頻率高出0.78，而綜合指標高出0.14;有效的證明了本文算法的有效性。

4 結束語

提出一種基于方向邊緣檢測的紅外與可見光圖像融合算法，該算法首先對傳統的邊緣算法進行改進，再通過利用改進后的方向邊緣檢測算法，對低頻子帶系數進行基于能量與邊緣檢測的融合規則的融合處理，而對于高頻子帶則是采用基于邊緣信號模值比的融合規則進行融合處理。實驗結果表明，本文所提出的融合算法能夠在保留圖像邊緣信號的同時保留圖像的光譜信息;且所得融合效果遠優于基于小波變換的融合算法與基于邊緣檢測的融合算法。

［1］ Kong W，Lei Y，Lei Y，et al.Fusion technique for greyscale visible light and infrared images based on non-subsampled contourlet transform and Intensity-hue-saturation transform［J］.2011，5(1):75 －80.

［2］ ZHANG Qiang，WANG Long，LI Huijuan，et al.Similaritybased multimodality image fusion with shiftable complex directional pyramid［J］.Pattern recognition letters，2011，32(13):1544－1553.

［3］ Shah Parul，Merchant S N，Desai U B.Fusion of surveillance images in infrared and visible band using curvelet，wavelet and wavelet packet transform［J］.International Journal of Wavelets multi resolution and information processing，2010，8(2):271 －292.

［4］ HU Xiangyun，SHEN Jiajie，SHAN Jie，et al.Local edge distributions for detection of salient structure textures and objects［J］.IEEE geoscience and remote sensing letters，2013，10(3):466 －470.

［5］ WU Degang，ZHANG Yubo，CAO Li bo.Improved algorithm of fuzzy edge-detection［J］.Laser＆ Infrared，2010，40(12):1374 －1377.(in Chinese)吳德剛，張宇波，曹立波.一種改進的模糊邊緣檢測算法［J］.激光與紅外，2010，40(12):1374 －1377.

［6］ Roy Sanjit，Howlader Tamanna，Rahman S M Mahbubur.Image fusion technique using multivariate statistical model for wavelet coefficients［J］.Signal，Image and Video Processing，2013，7(2):355 －365.

［7］ Saeedi Jamal，Faez Karim.Infrared and visible image fusion using fuzzy logic and population-based optimization［J］.Applied soft computing，2012，12(3):1041 －1054.

［8］ Dua Sumeet，Acharya U Rajendra，Chowriappa Pradeep，et al.Wavelet-based energy features for glaucomatous image classification［J］.IEEE transactions on information technology in biomedicine，2012，16(1):80 －87.

［9］ Han Jungong，Pauwels Eric J，de Zeeuw Paul.Visible and infrared image registration in man-made environments employing hybrid visual features［J］.Pattern recognition letters，2013，34(1):42 －51.

［10］ Shutao Li，Bin Yang.Multifocus image fusion using region segmentation and spatial frequency［J］.Image and Vision Computing，2008，26(7):971 －979.