基于多尺度結構特征的快速異源圖像匹配

張 皓，李 娜，王 陸

〈圖像處理與仿真〉

基于多尺度結構特征的快速異源圖像匹配

張 皓1，李 娜1，王 陸2

（1. 河南工學院 計算機科學與技術學院，河南 新鄉 453000；2. 北京郵電大學 電子工程學院，北京 100876）

針對異源圖像提出一種基于多尺度密集結構特征的快速匹配算法。算法首先利用Gabor濾波器逐像素提取圖像中的結構響應，再根據主方向響應對多尺度結構特征融合，然后使用快速傅里葉變換在頻域計算各特征分量圖像之間的卷積，最后將卷積生成的系數矩陣求和計算出圖像之間的相似性并選擇相似性最大位置作為匹配結果輸出。本文算法能有效適應異源圖像間的非線性灰度變化和噪聲干擾問題。測試使用可見光、紅外、雷達圖像組成的異源圖像數據集對本文算法和現有算法進行測試比較，結果表明：本文算法的平均誤匹配率最低，并且計算速度有明顯優勢。

異源圖像匹配；卷積定理；快速傅里葉變換；密集特征；Gabor濾波器

0 引言

異源圖像匹配是指匹配的兩張圖像由不同類型圖像傳感器獲取。異源圖像匹配在導航制導[1]、目標定位[2]、圖像融合[3]等視覺任務中被廣泛應用。由于不同傳感器的成像特性不同導致圖像間存在明顯的輻射畸變，這使得異源圖像匹配成為一項非常具有挑戰性的任務。一方面，輻射畸變可能導致一幅圖像中出現的視覺特征不會出現在另一張圖像中，從而增加特征匹配的難度。另一方面，輻射畸變引起的非線性灰度失真，使得異源圖像之間的灰度映射非常復雜，這將嚴重降低直接基于灰度的圖像匹配算法的性能。

遙感異源圖像匹配還可能遇到噪聲干擾帶來的挑戰。噪聲通常在遙感影像中不可避免的，特別是紅外影像和合成孔徑雷達（Synthetic Aperture Radar, SAR）影像常常包含嚴重的噪聲。由于噪聲削弱了異源圖像間相同對象的灰度之間的關聯性，直接基于灰度的相似性測量準則將會受到影響。此外，結構特征提取方法往往對噪聲非常敏感，這會降低基于圖像結構信息的圖像匹配的性能。

現有的圖像匹配算法往往無法有效適應異源圖像間的非線性灰度畸變或圖像噪聲的干擾。對此，本文提出一種基于多尺度密集結構特征的快速異源圖像匹配算法。本文算法是屬于模板匹配算法，如圖1所示。這類模板匹配算法在導航和目標定位中常常使用。匹配前，拍攝圖像（作為模板圖）可以根據導航信息進行矯正，消除旋轉和縮放后，模板圖與基準圖之間主要存在平移差別。

圖2給出了本文算法的流程圖。算法首先利用Gabor核提取圖像結構特征，以適應異源圖像間的非線性灰度畸變；然后對結構特征進行多尺度融合以提升抗噪聲能力，最后利用快速傅里葉變換（fast Fourier transform, FFT）實現快速匹配。

圖1 基于模板的異源圖像匹配

圖2 本文匹配算法流程

現有異源圖像匹配算法大致可以分為兩類，一類通過改進差別/相似性測量準則來提高算法對非線性灰度畸變的適應能力。另一類通過提取圖像結構信息來避免灰度畸變對匹配的不利影響。

改進測量準則的算法通常是假設成像條件造成的灰度畸變滿足某種變換模型，若使測量準則忽略符合變換模型的灰度畸變，可以獲得不受成像條件影響的相似性或差別測量方法，代表算法包括基于歸一化互相關（normalized cross correlation, NCC）[4]、互信息（mutual information, MI）[5-6]和非線性調色原理（matching by tone mapping, MTM）的圖像匹配算法[7]。其中，NCC是一種能夠適應線性灰度畸變的測量準則。對屬于單調非線性函數的灰度畸變，NCC也具有一定的適應性（因為非線性的灰度畸變往往可以看作局部線性的），并且可以采用Log-NCC提升適應能力[8]。MTM是一種能適應非單調非線性灰度畸變的圖像匹配算法，但是仍然要求灰度畸變滿足函數映射關系（不同灰度級不能映射到相同灰度級）。MI算法則基于信息熵的原理，它可以適應不滿足函數映射關系的非線性灰度畸變，但是一些研究指出MI算法計算速度太慢，并且不適用于樣本量較小的情況（即圖像較小）。

僅僅改進匹配的測量準則并直接對灰度圖像進行匹配，效果往往不太理想，因為這忽略了圖像的紋理結構信息。鑒于此，一些匹配算法先使用密集特征描述（dense feature descriptor, DFD）提取圖像中的紋理結構信息得到本征圖像（intrinsic image），然后再對本征圖像進行匹配。由于圖像中的結構特征通常能夠相對成像條件變化保持穩定并且密集特征描述一般不需要對灰度畸變的模型進行假設，基于本征圖像提取的異源圖像匹配算法往往在適應灰度畸變的能力上具有優勢。現有的本征圖像提取算法可以分為基于梯度[9-10]的和基于相位[11-12]的兩類算法。基于梯度的提取算法能夠適應圖像對比度和照度的變化，并能有效提取適應圖像的結構方向信息，但是灰度反映射（常常發生在異源圖像間）會導致方向反轉，影響相似評價[12]。基于相位的提取算法，能適應各種灰度畸變，但是無法準確提取圖像的結構方向信息，并且可能導致混淆效應[13]。除此之外，兩類提取算法都對噪聲比較敏感，對于極具挑戰性的異源圖像匹配（如SAR圖像和可見光圖像之間的匹配），這兩類算法往往都無法取得較高的匹配正確率。

1 多尺度結構特征提取

圖像中對象的結構信息通常不因傳感器類型和參數變化而改變，因此，結構可以作為異源圖像間的共性特征。但是基于梯度和相位的結構特征提取算法對圖像噪聲的適應性不佳，很難穩定地提取結構特征。

算法首先利用Gabor濾波器逐像素提取圖像中的結構響應，再根據主方向響應對多尺度結構特征融合，可以有效適應異源圖像的非線性灰度畸變和圖像噪聲問題。

1.1 密集結構特征

Gabor濾波器可以分為奇濾波器和偶濾波器，其中奇數濾波器近似一種平滑的求導濾波器。比較常用的sobel求導算子[13-14]，使用Gabor奇濾波器對圖像求導具有更好的噪聲適應能力。本算法使用8個方向的Gabor奇濾波器對圖像求導，公式(1)給出了圖像求導計算過程：

式中：是原圖像；*代表卷積；是方向為的Gabor奇濾波器；是方向的導數。其中?{0,p/8,p/4,p/2,5p/8, 3p/4,7p/8}。

求導后，圖像每個像素對應一個8值的特征向量為F￠，將該特征向量取絕對值再按公式(2)進行歸一化，可以消除灰度畸變對特征提取結果的影響：

1.2 多尺度結構特征融合

噪聲會對基于求導的結構特征提取造成不利影響。多尺度特征融合，可以有效增強結構特征對噪聲的適應能力。多尺度特征融合分為兩個主要步驟。

首先對歸一化結構特征按公式(3)進行均值處理，均值窗口可以選擇以為中心，大小為×的窗口，即是特征尺度：

然后按公式(4)根據主方向響應強度，融合多個尺度的特征：

式中：w是主方向響應強度，可以按公式(5)計算：

當一個方向的Gabor奇濾波器的響應明顯大于其他方向時，主方向響應強度越大。

2 結構特征匹配

得到模板圖像和基準圖像的多尺度結構特征后，將模板圖像與基準圖像的每個窗口進行比較，選擇相似性最大的窗口作為匹配結果。其中相似性計算是根據每個像素對應的特征向量計算，而不是圖像灰度。設模板每個像素對應的特征向量為TN2，窗口每個像素對應的特征向量為WN2，則相似性按如下公式計算：

式中：模板圖與窗口大小為×；×代表向量之間的點乘。

公式(6)可以按照兩種過程計算，一是先計算特征向量之間的點乘再逐像素累加，二是先計算模板與窗口特征分量圖之間的相關，再累加相關結果。兩種計算方法的計算量都非常大。設基準圖大小為×，則這兩種計算方法的復雜性為：

為了減少計算量，可以使用卷積定理對匹配過程進行計算優化。根據卷積定理，基準圖像和模板圖像之間的卷積可以通過它們在頻域的乘積的反傅里葉變換得到，過程如下：

式中：*號代表卷積運算，FFT和IFFT分別代表正反快速傅里葉變換。計算基準圖每個窗口與模板圖像之間的相關，即是計算基準圖與模板圖像之間的卷積。假設基準圖的特征分量圖為2，模板圖的特征分量圖為TN2，則可以按下列公式計算8個特征分量的卷積和，即是計算模板圖與基準圖所有窗口的相似性：

基于FFT的卷積計算的復雜性為：

表1將空域匹配計算（按照公式(6)）與頻域匹配計算（按照公式(9)～(11)）進行了比較。可見利用FFT優化的頻域匹配能大幅提升計算速度。

3 測試比較及計算性能分析

3.1 測試比較

本文匹配算法與以下4種異源圖像匹配算法進行了比較，包括：

1） PQ-HOG（histogram of orientated gradient, HOG）[10]：該方法是一種基于圖像結構特征的匹配算法。該算法先逐像素提取梯度直方圖，然后將HOG通過投影矩陣二值化，再利用海明（Hamming）距離計算相似性。

2） HOPC（histogram of orientated phase congruency, HOPC）[12]：該方法也是一種基于圖像結構特征的匹配算法。該算法先逐像素提取相位一致性方向直方圖，然后使用歸一化互相關（NCC）計算相似性。

表1 比較空域匹配計算和頻域匹配計算

3） MTM[4]和MI[6]：這兩種方法都是直接基于圖像灰度的匹配算法。MTM算法能夠適應滿足函數映射關系的非線性灰度畸變，MI算法能夠適應滿足非函數映射關系的非線性灰度畸變。

本文使用了地圖、紅外、可見光和SAR圖像作為測試數據，圖3給出了3組測試圖像示例。

比較測試結果如圖4(a)所示，可見隨著模板圖尺寸增加，算法的匹配錯誤率都在降低。基于特征的3種匹配算法普遍優于直接基于灰度的兩種匹配算法。兩種灰度算法中，MI的匹配錯誤率更低，平均低3.67%。3種基于特征的匹配算法中，本文算法（proposed algorithm, PA）和HOPC算法要優于PQ-HOG。HOPC在模板尺寸為32×32和64×64時，匹配錯誤率比本文算法低，而在模板尺寸為96×96，128×128時，匹配錯誤率比本文算法高。本文算法的平均誤匹配率為30.45%，為5種測試算法中最低。圖4(b)給出了比較算法在添加高斯噪聲干擾圖像上的測試結果，圖5給出了對測試圖像增加不同級別高斯噪聲的例子。噪聲圖像匹配測試結果顯示，隨著噪聲增強，算法匹配的錯誤率，都在增加，整體上，本文算法的匹配結果優于其它算法，說明本文算法對噪聲有較好的適應能力。

本文算法可以有效實現紅外、可見光、以及SAR圖像之間的匹配，圖6給出了本文算法的匹配結果示例。

3.2 計算性能分析

本節對PQ-HOG、HOPC、MI、MTM和本文算法的計算時間進行了測試，實驗機CPU為Intel core i5-4300U 2.50GHz。表2給出了5種算法對不同尺寸模板和基準圖像匹配的計算時間。其中MTM和本文算法都是通過頻域卷積實現匹配。這兩種算法的計算速度明顯快于其他3種算法。本文算法計算速度略快于MTM，是5種算法中計算速度最快的算法。MI則是5種算法中計算速度最慢的算法。

圖7給出了本文算法使用空域匹配和使用頻域匹配計算時間的比較。對給定大小的搜索空間，空域匹配的計算時間隨模板尺寸成指數級增長。而頻域匹配的計算時間主要由基準圖大小決定，因此基本不隨模板尺寸變化而變化。

圖3 異源圖像對示例

圖4 異源圖像匹配算法測試結果

圖5 原圖像和增加了噪聲的圖像