角點(diǎn)和邊緣結(jié)合的紅外與可見(jiàn)光圖像匹配*

葛 雯，何 博

(沈陽(yáng)航空航天大學(xué) 電子信息工程學(xué)院，遼寧沈陽(yáng) 110136)

0 引言

目前，異源圖像的匹配問(wèn)題一直是一個(gè)難點(diǎn)，紅外圖像與可見(jiàn)光圖像的匹配更是其中更難解決的一個(gè)問(wèn)題。近年來(lái)，國(guó)內(nèi)外學(xué)者提出了許多關(guān)于圖像匹配的算法，大致可分為兩大類(lèi)。一類(lèi)是基于圖像區(qū)域的匹配，另一類(lèi)是基于圖像特征的匹配。基于區(qū)域的匹配是將整幅圖或局部的灰度或者梯度信息加以統(tǒng)計(jì)作為匹配度量，例如改進(jìn)的SIFT[1]匹配是先運(yùn)用多尺度Harris提取特征點(diǎn)，再統(tǒng)計(jì)各特征點(diǎn)鄰域的梯度分布作為特征描述子，然后加以匹配。文獻(xiàn)[2]中改進(jìn)的歸一化互相關(guān)(Normalized Cross Correlation，NCC)匹配利用了序貫相似性檢測(cè)技術(shù)與NCC匹配度量結(jié)合，實(shí)現(xiàn)基于區(qū)域的目標(biāo)檢測(cè)。文獻(xiàn)[3]提出了一種基于互信息的匹配算法。由于紅外圖像與可見(jiàn)光灰度差異大，以灰度作為匹配因子往往不容易成功，紅外圖像在一定程度上近似等于可見(jiàn)光的負(fù)像，因此存在同一點(diǎn)像素的梯度方向相反的可能，導(dǎo)致以統(tǒng)計(jì)梯度為描述子的匹配算法失效，因此基于區(qū)域的匹配算法魯棒性差。基于特征的匹配算法通過(guò)提取兩幅圖的特征然后加以匹配，特征有：點(diǎn)，線，邊緣，輪廓等。文獻(xiàn)[4]是利用物體的形狀上下文進(jìn)行匹配。文獻(xiàn)[5]是利用局部二值模式(Local Binary Patterns，LBP)作為特征，再對(duì)圖像進(jìn)行分塊處理得到LBP聯(lián)合直方圖，進(jìn)而進(jìn)行異源圖像的匹配。異源圖像匹配一直是圖像匹配領(lǐng)域的難題，提出一個(gè)魯棒性強(qiáng)的匹配算法意義重大。

本文對(duì)傳統(tǒng)的加權(quán)Hausdorff距離測(cè)度進(jìn)行改進(jìn)，并將邊緣細(xì)分為普通邊緣點(diǎn)以及角點(diǎn)，不舍棄任何邊緣點(diǎn)，分別推導(dǎo)各部分權(quán)值，最后將兩部分的Hausdorff距離相結(jié)合得到最終的改進(jìn)Hausdorff距離匹配度量。相比于其他Hausdorff距離匹配算法該算法更為精確。

1 圖像增強(qiáng)

圖像增強(qiáng)[6]是圖像預(yù)處理中的一部分，是后續(xù)圖像處理必不可少的環(huán)節(jié)。圖像增強(qiáng)的主要目的是：改善圖像視覺(jué)效果，盡量提高清晰度，抑制一些無(wú)用信息，方便機(jī)器進(jìn)行處理等。而圖像去噪是圖像增強(qiáng)的范疇，眾所周知，紅外圖像一直有背景復(fù)雜和噪聲嚴(yán)重的缺點(diǎn)，這給后續(xù)邊緣信息提取帶來(lái)很大的未知性，傳統(tǒng)的濾波算子例如中值濾波、高斯濾波雖然能濾去噪聲，但也容易濾去圖像的一些邊緣細(xì)節(jié)，這可能會(huì)使后續(xù)匹配誤差很大甚至失敗，如果直接對(duì)紅外圖像進(jìn)行邊緣提取，則提取到的邊緣會(huì)摻雜很多噪聲，導(dǎo)致邊緣不完整甚至斷裂。

近年來(lái)，小波變換[7]不斷發(fā)展，在圖像處理方面，由于其不僅運(yùn)算方便，對(duì)邊緣的保留能力強(qiáng)，而且具有多分辨率、速度快等優(yōu)點(diǎn)，不僅在圖像融合[8]中廣泛應(yīng)用，還經(jīng)常被用來(lái)進(jìn)行圖像去噪處理。這里用小波的軟閾值去噪[9]對(duì)原始紅外圖像進(jìn)行處理。實(shí)驗(yàn)中選用SYM4小波基作為小波分解的基函數(shù)，對(duì)原始紅外圖像進(jìn)行2層小波分解，使用軟閾值函數(shù)進(jìn)行圖像去噪，選擇小船船桿紅外圖像進(jìn)行測(cè)試，紅外圖像與去噪后的紅外圖像如圖1所示，圖2給出了小波閾值去噪基本過(guò)程圖。

圖1 小波去噪

圖2 小波去噪過(guò)程圖

經(jīng)過(guò)小波去噪后，發(fā)現(xiàn)船體輪廓細(xì)節(jié)部分基本沒(méi)丟失，印證了此方法的有效性。

2 邊緣提取

圖像的邊緣一直是圖像處理的重要信息，更是異源圖像匹配所要用到的重要特征。由于異源圖像成像機(jī)理不同，同一幅圖的灰度信息會(huì)有很大差別，但邊緣特征經(jīng)過(guò)處理后卻有一定的相似性，如何提取到一個(gè)好的邊緣直接影響后續(xù)的圖像匹配效果。常用的邊緣檢測(cè)方法有Robert算子、Sobel算子、LOG算子、Prewitt算子、Canny算子等，具體介紹參見(jiàn)文獻(xiàn)[10]。邊緣檢測(cè)希望提取的邊緣盡可能細(xì)而且連續(xù)，而Canny算子提取的細(xì)節(jié)較多且自帶降噪預(yù)處理，因此選擇以此算子作為匹配圖和待匹配圖的邊緣檢測(cè)算子。圖3給出了直接用Canny算子檢測(cè)邊緣以及經(jīng)過(guò)小波去噪再用Canny檢測(cè)邊緣的兩種結(jié)果，再次驗(yàn)證了紅外圖像增強(qiáng)的重要性。

圖3 直接Canny邊緣檢測(cè)和先去噪再Canny檢測(cè)

3 角點(diǎn)提取與混合Hausdorff匹配度量

Hausdorff距離主要用來(lái)衡量?jī)蓚€(gè)點(diǎn)集的不匹配程度，在這里作為匹配度量，實(shí)質(zhì)上是求解Hausdorff距離最小的位置。傳統(tǒng)的Hausdorff距離只是利用了點(diǎn)集的位置信息，忽略了各點(diǎn)之間穩(wěn)定性和差異性。為了得到更精確的匹配效果，加權(quán)的Hausdorff距離(Weighted Hausdorff Distance，WHD)[11]應(yīng)用廣泛，定義如下：

H(A,B)=max(hWHD(A,B),hWHD(B,A))

(1)

這里

(2)

(3)

A,B為點(diǎn)集，w(a)為權(quán)值，Na為點(diǎn)集A中點(diǎn)的個(gè)數(shù)，d(a,B)為點(diǎn)集A中一點(diǎn)到點(diǎn)集B的最短距離。

前面幾步已經(jīng)對(duì)模板圖像以及參考圖像提出了比較良好的邊緣輪廓，這里選擇在邊緣輪廓的基礎(chǔ)上進(jìn)一步提取角點(diǎn)。角點(diǎn)[12]是邊緣輪廓上曲率極大值點(diǎn)，包含的信息比較豐富，相比其他的非角點(diǎn)類(lèi)邊緣點(diǎn)魯棒性更好，通過(guò)自適應(yīng)閾值的曲率尺度空間(Curvature Scale Space，CSS)角點(diǎn)[13]提取來(lái)提取角點(diǎn)，得到角點(diǎn)點(diǎn)集，記為C，由于篇幅有限，僅給出一組船只輪廓角點(diǎn)提取結(jié)果，結(jié)果見(jiàn)圖4。在SIFT算法提取特征點(diǎn)中，特征點(diǎn)方向的確定是基于鄰域的梯度統(tǒng)計(jì)得來(lái)的，由于角點(diǎn)也是特征點(diǎn)，映射到原圖中，也可以統(tǒng)計(jì)角點(diǎn)周?chē)徲虻奶荻确植紒?lái)得到方向響應(yīng)。但是，考慮到紅外圖像在一定程度上類(lèi)似于可見(jiàn)光的負(fù)像[14]，同一特征點(diǎn)的鄰域梯度信息相差很大，甚至可能呈現(xiàn)180°的極端，這對(duì)基于鄰域梯度的方向統(tǒng)計(jì)將帶來(lái)很大的誤差，并且基于鄰域的梯度統(tǒng)計(jì)耗時(shí)很大，不利于實(shí)現(xiàn)快速匹配。在這里將邊緣輪廓上角點(diǎn)的切線方向作為角點(diǎn)的方向：設(shè)曲線上某一角點(diǎn)A(i)的坐標(biāo)為(xi,yi)，距其距離為k(極小)的兩點(diǎn)分別為A(i-k)，A(i+k),坐標(biāo)分別為(xi-k,yi-k)和(xi+k,yi+k)，角點(diǎn)A(i)切線方向角如下：

(4)

圖4 角點(diǎn)檢測(cè)結(jié)果

在模板圖像與參考圖像完全匹配時(shí)，匹配邊緣點(diǎn)之間不僅有最小的Haudorff距離，而且對(duì)應(yīng)邊緣上的角點(diǎn)的方向角也應(yīng)該有最小的方向差異響應(yīng)，為此，定義參考圖與模板圖角點(diǎn)之間的方向差異響應(yīng)如下：

ΔO=1-cos(Oa-Ob)+c

(5)

Oa，Ob分別為點(diǎn)集A與點(diǎn)集B中某角點(diǎn)的方向角，c為極小的常數(shù)，為防止△O過(guò)小，本文取c值為0.15，將邊緣角點(diǎn)的方向差異響應(yīng)信息加入Hausdorff距離，則用d*(a,B)代替式(2)中的d(a,B)，d*(a,B)定義如下：

d*(a,B)=ΔO×d(a,B)

(6)

由式(6)可知，當(dāng)d(a,B)值一定時(shí)，ΔO越小，d*(a,B)越小，匹配點(diǎn)之間相似性越大。

將邊緣點(diǎn)集A中的點(diǎn)分為三大類(lèi)，普通邊緣點(diǎn)、邊緣上的角點(diǎn)、不匹配的邊緣點(diǎn)，設(shè)各自權(quán)值為w1、w2、w3，為消除一些無(wú)用噪聲點(diǎn)的干擾，將點(diǎn)集A中所有點(diǎn)到點(diǎn)集B的距離(邊緣點(diǎn)之間距離為d(a,B)，角點(diǎn)之間距離為d*(a,B))從小到大排列，距離比較大的點(diǎn)一般是噪聲點(diǎn)和漏檢點(diǎn)，取前面k(k=fxN,0

(7)

其中C為角點(diǎn)點(diǎn)集，在點(diǎn)集A中已經(jīng)排除了Na-k個(gè)點(diǎn)，經(jīng)過(guò)前面一系列的預(yù)處理，可以認(rèn)為邊緣上提取出的角點(diǎn)基本不是噪聲點(diǎn)，角點(diǎn)包含在前k個(gè)匹配點(diǎn)之中，并且角點(diǎn)在三類(lèi)點(diǎn)之中對(duì)匹配的貢獻(xiàn)最大，其對(duì)應(yīng)的權(quán)值也應(yīng)該大些，設(shè)檢測(cè)出的角點(diǎn)個(gè)數(shù)為N0，則可得如下角點(diǎn)權(quán)重的公式：

(8)

通過(guò)前面的角點(diǎn)權(quán)值公式可得出角點(diǎn)點(diǎn)集之間對(duì)應(yīng)的Hausdorff距離，定義如下：

(9)

其中C為角點(diǎn)點(diǎn)集,結(jié)合式(7)、(9)得到混合加權(quán)Hausdorff距離CSS-EDGE-WHD，定義如下:

hausdorffCSS-EDGE-WHD=hausdorffedge+hausdorffCSS

(10)

CSS-EDGE-WHD方法充分考慮了邊緣點(diǎn)的位置信息以及兩幅匹配圖像邊緣點(diǎn)上角點(diǎn)的方向差異性，而且不舍棄邊緣點(diǎn)，并將兩者相結(jié)合得到新的高魯棒性的匹配度量，也能夠極大地消除噪聲和漏檢點(diǎn)所帶來(lái)的影響。

4 匹配算法仿真

為驗(yàn)證本文匹配算法的有效性，圖5給出了兩組實(shí)驗(yàn)圖像，編程工具選擇MATLAB2014a，在主頻為3.2 GHz、內(nèi)存為504 MB的PC上進(jìn)行測(cè)試。在測(cè)試中，參考圖(可見(jiàn)光圖像)的參數(shù)fvs=0.85，模板圖(紅外圖像)的參數(shù)fIR=0.8，為了驗(yàn)證本算法的準(zhǔn)確性和魯棒性，在匹配之前，增加環(huán)境因素，對(duì)實(shí)測(cè)圖像添加不同大小零均值高斯噪聲的噪聲(信噪比依次為100,8,6,4單位：dB)以及將實(shí)測(cè)圖像變換不同的旋轉(zhuǎn)角度(2°、4°、6°、8°)，并與其他兩種不同的匹配方法作比較，實(shí)驗(yàn)

圖5 兩組實(shí)驗(yàn)圖像

一組模板圖像是106×119的紅外圖像，參考圖像是510×505的可見(jiàn)光圖像，實(shí)驗(yàn)二組模板圖像是383×263的紅外圖像，參考圖像是800×533的可見(jiàn)光圖像，匹配仿真實(shí)驗(yàn)結(jié)果數(shù)據(jù)統(tǒng)計(jì)見(jiàn)表1。這里把匹配區(qū)域中心點(diǎn)作為匹配點(diǎn)坐標(biāo)，根據(jù)不同的算法以及不同的環(huán)境因素得到不同的匹配點(diǎn)坐標(biāo)，與正確匹配點(diǎn)坐標(biāo)相比，判斷各種算法的有效性和準(zhǔn)確性。從表1看出，針對(duì)實(shí)驗(yàn)圖像組Image1的匹配結(jié)果，在旋轉(zhuǎn)角度較小時(shí)，分支算法[15]和本文算法精確度都很高，在旋轉(zhuǎn)角度到達(dá)8°時(shí),本文算法雖也有偏差，但明顯比其他兩種算法偏差小，當(dāng)存在噪聲時(shí)，本文算法具有更好的魯棒性。在準(zhǔn)確度方面，固定加權(quán)算法[16]，即傳統(tǒng)部分Hausdorff距離，由于它不需要更新權(quán)值，算法帶來(lái)的匹配偏差很大。由于本文算法結(jié)合了邊緣點(diǎn)與角點(diǎn)，并且聯(lián)合了兩種類(lèi)型點(diǎn)的Hausdorff距離，魯棒性更好。由表1可以看出，在增加旋轉(zhuǎn)角度和信噪比因素時(shí)，本文算法匹配結(jié)果也較精準(zhǔn)，這是由于CSS-EDGE-WHD不僅考慮了邊緣點(diǎn)的位置信息，還充分將邊緣角點(diǎn)的方向差異響應(yīng)加入其中，在較大程度上克制了因旋轉(zhuǎn)角度以及噪聲對(duì)Hausdorff有向距離計(jì)算帶來(lái)的負(fù)面影響，從而確保算法具有一定的抗噪性以及小的抗旋轉(zhuǎn)性。

表1 三種匹配算法仿真數(shù)據(jù)

圖6 三種算法對(duì)不同實(shí)驗(yàn)圖像組的匹配結(jié)果

為了進(jìn)一步探究分支算法與本文算法的魯棒性優(yōu)異，選擇用圖像組Image2進(jìn)行實(shí)驗(yàn)，從表1匹配結(jié)果中看出，由于Image2圖像組背景復(fù)雜，本文算法在旋轉(zhuǎn)角度較小時(shí)偏差并不太大，而分支算法則偏差很大，這是因?yàn)榉种惴▋H僅利用圖像的邊緣分支點(diǎn)，可利用的信息太少，Image2圖像組背景復(fù)雜，匹配較容易出錯(cuò)，特征信息越多越有利，不同源的圖像提取出的邊緣雖有差異，但本文算法并沒(méi)有舍棄非角點(diǎn)類(lèi)的邊緣點(diǎn)，而是將其與角點(diǎn)結(jié)合起來(lái)一起當(dāng)做匹配特征，進(jìn)而增加了匹配成功率。圖6給出了三種算法分別對(duì)兩組實(shí)驗(yàn)圖像得出的部分匹配結(jié)果圖。

5 結(jié)論

紅外圖像與可見(jiàn)光圖像匹配一直是難點(diǎn)，由于紅外圖像成像復(fù)雜，因此以往算法實(shí)現(xiàn)效果并不太好，本文提出的CSS-EDGE-WHD匹配算法，在實(shí)測(cè)圖存在零均值高斯噪聲和少量旋轉(zhuǎn)角度時(shí)依舊能得出較為準(zhǔn)確的結(jié)果，并且在背景復(fù)雜的圖像中，匹配精度也很高，唯一不足是算法運(yùn)行時(shí)間稍長(zhǎng)，其他兩種算法抗噪性也不錯(cuò)，傳統(tǒng)加權(quán)算法速度一般而且不適應(yīng)背景復(fù)雜的圖像，分支算法提取特征少，速度快，但對(duì)于復(fù)雜圖像匹配精度也很低。如何充分結(jié)合幾種匹配算法的優(yōu)點(diǎn)正是今后需要研究的問(wèn)題。

[1] 許佳佳,張葉,張赫.基于改進(jìn) Harris-SIFT 算子的快速圖像配準(zhǔn)算法[J].電子測(cè)量與儀器學(xué)報(bào),2015,29(1):48-54.

[2] 邢藏菊，溫蘭蘭，何蘇勤.基于序貫相似性檢測(cè)的NCC目標(biāo)跟蹤快速匹配方法[J].電子設(shè)計(jì)工程,2015,23(3)：187-190.

[3] JOSIEN P W P, ANTOINE M J B, Max A V. Mutual-information-based registration of medical images: a survey[J].IEEE Transactions on Medical Imaging, 2003,22(8):986-1004.

[4] SERGE B, JITENRA M, JAN P,et al. Shape Matching and object Recognition using shape contexts[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(24):509-522.

[5] 胡俊杰,雍揚(yáng),徐倩,等.改進(jìn)型LBP在異源圖像匹配的應(yīng)用[J].兵工自動(dòng)化,2014,33(10):63-67.

[6] Zhang Linlin，Zhao Yuejin，Dong Liquan. Infrared image enhancement based on the edge detection and mathematical morphology[C].Proceedings of SPIE-The International Society, 2010,7854:785429-785429-8.

[7] Huang Kui. Overview of image processing based on wavelet transform[J]. Value Engineering, 2015,41(2):69-75.

[8] 陳樹(shù)越，劉金星，丁藝.基于小波變換的紅外與X光圖像融合[J].激光技術(shù),2015,39(5):685-688.

[9] 李曉飛,邱曉暉.基于小波變換的改進(jìn)軟閾值圖像去噪方法[J].計(jì)算機(jī)技術(shù)與發(fā)展,2016,26(5):76-78.

[10] GONZALEZ R C, WOODS R E. Digital image processing[M].北京：電子工業(yè)出版社,2010.

[11] DONG G, OH K K, RAE H P,et al.Object matching algorithms using robust hausdorff distance measures[C].IEEE Transactions on Image Processing a Publication of the IEEE Signal Processing Society,1999,8(3):425-429.

[12] 何凱.角點(diǎn)特征提取及匹配方法研究[D].南京：河海大學(xué)，2005.

[13] HE X C, YUNG N.Curvature scale space corner detector with adaptive threshold and dynamic region of support[C].Proceedings-Internation Conference on Pattern Recognition, 2004:791-794.

[14] 田裕鵬.紅外檢測(cè)與診斷技術(shù)[M].北京：化學(xué)工業(yè)出版社，2006.

[15] 冷雪飛,劉建業(yè),熊智. 基于分支特征點(diǎn)的導(dǎo)航用實(shí)時(shí)圖像匹配算法[J].自動(dòng)化學(xué)報(bào),2007,33(7):679-682.

[16] DANIEL P H, WILLIAM J R, GREGORY A K.Comparing images using the hausdorff distance under translation[J].IEEE Computer Society Conference on Computer Vision & Pattern Recognition, CVPR, 1992,15(9):654-656.