基于多尺度紅外與可見光圖像配準研究

閆鈞華，朱智超，孫思佳，杭誼青

(南京航空航天大學航天學院，江蘇南京210016)

1 引言

紅外圖像具有很好的煙霧穿透能力及特殊識別偽裝能力;可見光圖像能提供背景信息，有較高的空間分辨率，獲取的圖像含有豐富的幾何與紋理細節信息，將二者融合后可以綜合利用兩種不同信息，定位目標隱藏的位置。紅外與可見光傳感器的視場角、空間分辨率及空間成像位置差異使紅外圖像與可見光圖像間產生平移、旋轉、比例縮放等差異，因此紅外與可見光圖像不能直接進行融合，在圖像融合之前必須對紅外與可見光圖像進行幾何和灰度上的嚴格配準。基于特征的圖像配準方法計算量小、速度較快且精度較高［1］，本文對此展開深入的研究，提出利用多尺度分析的方法，對不同尺度下的紅外與可見光圖像進行配準。

2 紅外與可見光圖像配準方法流程

紅外圖像分辨率低，整體圖像較為模糊，整體尺度較大，而同一區域的可見光圖像的高分辨率決定了其整體尺度較紅外圖像小。因此本文將尺度空間理論應用于可見光與紅外圖像配準中，采用多尺度分析對圖像的特征點和邊緣進行處理，利用LTSHausdorff距離作為測度尋找空間變換的參數，利用RANSAC進行參數的優化。紅外與可見光圖像配準方法流程圖如圖1所示。

圖1 紅外與可見光圖像配準方法流程圖Fig．1 flow chart of infrared and visible image registration method

3 紅外與可見光圖像配準方法

本文選取高斯尺度空間對紅外與可見光圖像進行配準。

3．1 多尺度Harris特征點提取

Harris角點［2］不具有尺度不變性。對于同一個角點，大尺度可能將該角點檢測為邊緣，在相同的閾值條件下，多尺度角點檢測方法［3］比單尺度角點檢測方法提取的角點更加全面。

二維高斯核函數定義如下:

令 σD=sσI，σI為積分尺度，σD為微分尺度，s為常量且s＞1，s為尺度因子。令t=σ2

I為方差，其沿x與y方向梯度為:

圖像上某點I沿x，y方向的一階偏導為:

則圖像位置空間的多尺度自相關函數為:

獲取 Cm的兩個特征值 λ1，λ2，并建立度量函數:

其中，det(Cm)=λ1λ2，trace(Cm)=λ1+λ2，k為經驗常數且取值范圍為 0．04 ～0．06。

根據Rm的閾值判斷提取的是否為特征點，獲取多尺度下位置空間的特征點候選位置，然后在每個候選點的鄰域內搜索響應值最大的點(非最大抑制)，對每個尺度都進行如上搜索。在位置空間中提取的多尺度Harris特征點在尺度空間中不一定仍然為候選特征點，同時在不同尺度下，同一個特征點可能有多個極值，因此需要在尺度空間上進行篩選，獲取最穩定的尺度不變特征點。對于二維高斯核函數，其LoG(高斯拉普拉斯)變換為:

根據其函數特性可知，函數值隨尺度的增加呈階梯衰減，因此，在進行尺度空間篩選時應對其進行標準化。標準化高斯拉普拉斯變換為:

通過比較位置空間中候選點在標準化LoG金字塔圖像中響應的峰值及其上下尺度對應位置的值，如果該候選點為局部極大值點，則選擇該點為尺度空間特征角點，否則，剔除該點。對于從i=1，2，…，N的尺度圖像分成三種情況討論:

(1)如果i=1，則分析所有分別在i=1與i=2尺度的候選特征點規范化LoG響應，比較某點與其下層的鄰域內17個點的響應值，當i=1時該點的響應大于i=2時其響應，則判斷該點為同時滿足位置空間及尺度空間的Harris特征點。

(2)如果2≤i≤N －1，則分析 i－1，i及 i+1 三個不同尺度圖像下的規范化LoG響應，比較某點與其上下兩個尺度中鄰域內26個點的響應值，如果該點在尺度i的圖像取得極值，則判斷為滿足條件的特征點。

(3)如果i=N，則分析i=N－1與i=N尺度的候選特征點規范化LoG響應，比較某點與其上層的鄰域內17個點的響應值，當i=N時某個特征點的響應大于i=N－1時其響應，則判斷該點為滿足條件的特征點。

紅外與可見光圖像在單尺度下與多尺度下特征點提取效果圖如圖2和圖3所示。

圖2 原始紅外與多尺度紅外圖像特征點提取對比圖Fig．2 feature points detection images of original and multi-scale infrared image

圖3 原始可見光與多尺度可見光圖像特征點提取對比圖Fig．3 feature points detection images of original and multi-scale visible image

圖中黑色十字為特征點所在位置，白色圓圈為該特征點的特征尺度對應區域。由圖2和圖3可以發現，相比單一尺度Harris特征點提取算法，多尺度特征點提取算法不僅提取的特征點更全，而且每個特征點對應的特征尺度也能獲取，大尺度的特征點對應的特征區域(白色圓域)覆蓋范圍大，小尺度特征點對應特征區域覆蓋范圍小。每個特征點對應的特征尺度將用于后續相似度檢測。

3．2 多尺度Canny邊緣提取

本文利用Canny算子［4］進行多尺度邊緣檢測。首先采用多尺度Harris特征點提取獲取的特征尺度作為Canny邊緣提取算法第一步中的高斯模板的標準差，采用可變高斯模板對圖像進行模糊濾波，然后再計算每個特征尺度圖像的梯度和幅角，根據梯度值與幅角的方向進行非極大抑制，最后對可能為邊緣的點篩選，區分邊緣和非邊緣。基本步驟為:

(1)統計可見光與紅外圖像中每個特征點對應的特征尺度，選擇出現次數最多的特征尺度對原始可見光與紅外圖像進行高斯模糊處理，獲取可見光與紅外特征尺度圖像。

(2)選取可見光與紅外特征尺度圖像，計算梯度的大小M和方向O。使用2×2大小的模板作為x和y方向偏微分的一階近似。局部梯度M(x，y)=邊緣方向

(3)對梯度進行非極大抑制:將每個像素點的8鄰域分為4個扇形區域，將梯度方向在－22．5°～22．5°和 － 157．5°～ 157．5°，22．5°～ 67．5°和－157．5°～ －112．5°，67．5°～112．5°和 － 112．5°～－67．5°，112．5°～157．5°和 － 67．5°～ －22．5°分成這四個扇區編號為0～3。設中心區域像素的灰度值為S［i，j］，將此像素梯度值與0～3號扇區內的兩個像素的梯度值進行比較，若此像素的梯度值不比這兩個像素的梯度值大，則令S［i，j］=0;否則，S［i，j］的值不變。將 S ［i，j］存儲于 N (i，j) 中，N(i，j)則為非極大抑制后的圖像。

(3)使用兩個閾值T1和T2對N(i，j)做閾值處理，其中T1＜T2，值大于T2的邊緣像素稱為強邊緣像素點，則該點為邊緣點，T1和T2之間的邊緣像素稱為弱邊緣像素點，再根據邊緣連通性進一步判斷其是否為邊緣點。如果弱邊緣像素點的鄰接像素中有邊緣點，則認為該弱邊緣像素點也為邊緣點，否則，認為該點為非邊緣點。獲取到的可見光與紅外圖像的邊緣圖像點分別存入A，B兩個點集中。

原始紅外圖像單尺度Canny邊緣提取與本文特征尺度下Canny邊緣提取對比圖如圖4所示。由圖4可以發現，多尺度Canny邊緣提取出的邊緣相比單尺度下邊緣，噪聲更小，邊緣響應更強。

圖4 原始紅外與特征尺度紅外圖像Canny邊緣提取對比圖Fig．4 Canny edge images of original and characteristic scale infrared image

3．3 相似性度量采用LTS-Hausdorff距離匹配方法

給定兩個有限集合 A={a1，a2，…，ap}與 B={b1，b2，…，bq}，則 A，B 之間的 Hausdorff距離定義為:

Hausdorff距離度量了兩個點集間的最大不相似程度，對遠離中心的噪聲點、漏檢點都非常敏感。為了克服這一缺點，需要對Hausdorff距離基本形式進行擴展。Sim 等［5］結合 Huttenlocher［6］提出的PHD(partial hausdorff distance)與 Dubuisson［7］提出的MHD(modified hausdorff distance)提出了 LTSHausdorff距離。它是用距離序列線性組合定義的:

在進行圖像特征點集匹配過程中，由于匹配的點集是變化的，因此不能采用固定的k值，而采用以下形式:

其中，＜·＞表示向下取整運算;p表示計算距離點的總對數。

LTS-Hausdorff距離把點集A中所有點到點集B的距離按照由小到大的順序排序，將序號為1～k的k個距離求和，然后再求平均。因此，該算法不僅能消除遠離中心的錯誤匹配點影響，有效比較有嚴重遮掩或退化的圖像，而且對零均值高斯噪聲消除能力明顯。

3．4 隨機抽樣一致性法(RANSAC)求取空間變換的參數

RANSAC(random sample and consensus)算法是一種從一系列包含外點的數據集合中估計正確的數學模型的迭代算法。假設需要判斷模型參數的點集為P，其中所有的點稱為數據點，在這些數據點中，有一些滿足參數未知的模型的稱為內點，剩下的不滿足的稱為外點。RANSAC的目的就是從參數空間中找出模型的參數，使得定義的代價函數取得最大值。通過迭代去除外點對解算模型的影響，僅僅使用內點參與計算，可以得到更精確的估計結果。Ransac用于配準的流程圖如圖5所示。其中，T為仿射變換參數矩陣;A為參考圖;B為浮動圖;e為誤差值;Num為滿足‖BT－A‖＜e時匹配對的個數;M為隨機抽樣的次數;Nmax為所有滿足‖BT－A‖＜e最大匹配對的個數。‖BT－A‖＜e表示將浮動圖像經過仿射變換后與參考圖像進行比較，匹配點的距離在誤差值范圍內。

圖5 RANSAC算法流程圖Fig．5 flow chart of the RANSAC algorithm

如圖6所示，圖6(a)為紅外與可見光圖像中經過Hausdorff距離篩選后，利用最小二乘法將所有對應的點參與計算求出的仿射變換參數，通過變換后融合的效果圖，圖6(b)直接利用RANSAC算法求出其中三對點計算出仿射變換參數，變換后融合的效果圖。

圖6 不同的參數估計算法配準融合圖Fig．6 registration and fusion images of different parameter estimation algorithm

從圖6可以發現，由于參與最小二乘法計算參數的點對中，有一些為錯誤的匹配點，最小二乘法求出的參數會盡可能滿足所有參與計算的點對，錯誤的匹配點對對計算結果造成很大影響，圖6(a)中上部窗戶配準效果較差。RANSAC算法通過迭代，求出了最適合的三對點計算的參數，當錯誤的匹配點較多時，用RANSAC算法能獲取較好的配準參數。

4 紅外與可見光圖像配準實驗結果

紅外與可見光圖像配準算法的程序在VC6．0編譯環境下編寫，CPU是 pentium D 3．0 GHz，內存為1 GB。紅外與可見光圖像源由克羅地亞薩格勒布大學Tomislav_Hrka提供。圖7為分辨率320×240的－36°～36°紅外熱像儀成像和原始分辨率為3264×2448，經過采樣分辨率變為320×240的普通相機圖像。原始紅外圖像由于對比度較低，為了更好提取特征點，需要對其進行中值濾波及直方圖均衡處理。處理后的紅外圖像與可見光圖像由本算法進行配準的效果圖如圖8、圖9所示。

圖7 原始紅外與可見光圖像Fig．7 original infrared and visible images

圖8 紅外與可見光圖像特征點匹配點對Fig．8 infrared and visible images feature pointsmatching pairs

圖9 配準后的紅外與可見光圖像融合圖Fig．9 infrared and visible image fusion image after registration

5 結束語

多尺度Harris特征點提取算法比單尺度算法提取出的正確的特征點數量更多，在配準過程中能盡可能保證兩幅圖像中相對應位置特征點都能提取出來。多尺度邊緣提取算法提取的邊緣相比單尺度邊緣，參與相似度計算時更加精確。RANSAC算法能濾除錯誤的匹配點對。實驗表明，基于多尺度的圖像配準方法能有效對紅外與可見光圖像進行配準，配準結果取決于紅外圖像預處理的結果與特征點位置的精度，后續可考慮利用頻域分析理論對紅外圖像濾波以及進行亞像素特征點檢測。

［1］ Peng Yiyue，et al．Visible and infrared image registration algorithm based on feature points［J］．Laser ＆ Infrared，2012，42(6):713 －717．(in Chinese)

彭逸月，等．基于特征點的紅外與可見光圖像配準研究［J］．激光與紅外，2012，42(6):713 －717．

［2］ Harris C，Stephens M．A combined corner and edge detector［C］．In Alvey Vision Conference，Manchester，1988:147－152．

［3］ Mikolajczyk K，Schmid C．Scale ＆ affine invatiant interest point detectors［J］．International Journal on Computer Vision，2004，60(1):63 －86．

［4］ Canny J．A computational approach to edge detection［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，1986，PAMI－8(6):679 －698．

［5］ Sim D G，Kwon O K，Park R H．Object matching algorithms using robusthausdorff distancemeasures［J］．IEEE Transactions on Image Processing，1999，8(3):425－429．

［6］ Huttenlocher D P，Klandeman G，Rucklidge W J．Comparing images using the hausdorff distance［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，1993，15(9):850 －863．

［7］ Dubuisson M P，Jain A K．A modified hausdorff distance for objectmatching［C］．Proceedings of 12thInternational Conference on Pattern Recognition，Jerusalem，Lsrael，1994:566－568．