基于自適應(yīng)混合多項(xiàng)式變換的圖像配準(zhǔn)

閔超波

河海大學(xué)常州校區(qū) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 常州 213000

1 引言

近年來，紅外與可見光圖像融合在機(jī)器視覺[1]、輔助駕駛[2]與夜視偵查[3]等領(lǐng)域得到了廣泛的應(yīng)用。而圖像融合中首要前提為圖像配準(zhǔn)。配準(zhǔn)的目的在于精確估計出待配準(zhǔn)圖像之間的空間變換模型，以使圖像所有像素對齊。如果沒有高精度圖像配準(zhǔn)，多模圖像融合無法實(shí)現(xiàn)。但是，多模圖像采集相機(jī)參數(shù)的不同以及圖像灰度分布的差異，大大增加了圖像配準(zhǔn)的難度，因此多模圖像配準(zhǔn)一直是研究的熱點(diǎn)。本文主要研究紅外與可見光圖像配準(zhǔn)。

圖像配準(zhǔn)可以等價為數(shù)據(jù)擬合問題。待配準(zhǔn)圖像之間對應(yīng)特征是已知數(shù)據(jù)點(diǎn)，空間變換模型為擬合函數(shù)，待配準(zhǔn)圖像之間的距離度量為擬合準(zhǔn)則。在已知數(shù)據(jù)點(diǎn)的基礎(chǔ)上，只要尋找可以使距離度量達(dá)到最小值的擬合函數(shù)參數(shù)，即可估計出最優(yōu)變換模型，實(shí)現(xiàn)配準(zhǔn)。因此，圖像配準(zhǔn)主要有兩個關(guān)鍵點(diǎn)：（1）距離度量準(zhǔn)則；（2）空間變換模型。

距離度量準(zhǔn)則用于測量待配準(zhǔn)圖像之間的距離，本質(zhì)上是無先驗(yàn)知識地量化配準(zhǔn)精度。互信息（Mutual Information，MI）[4]是一種常用的度量準(zhǔn)則。但是，由于基于MI的度量準(zhǔn)則所依賴的假設(shè)是待配準(zhǔn)圖像具有相似的灰度統(tǒng)計概率分布，因此使得MI 準(zhǔn)則無法在具有很大灰度分布差異的紅外與可見光圖像上獲得良好的度量精度。為克服上述缺陷，出現(xiàn)許多基于特征的度量準(zhǔn)則，例如2 范數(shù)損失準(zhǔn)則[5]、最小2 范數(shù)估計準(zhǔn)則（L2E）[6]和正則高斯場準(zhǔn)則（RGF）[7]。這些度量準(zhǔn)則需要提取圖像中點(diǎn)、線或面作為匹配特征，以測量圖像之間距離[8]。因此，紅外與可見光圖像中匹配點(diǎn)提取的準(zhǔn)確性直接決定了特征度量精度。

空間變換模型其本質(zhì)是坐標(biāo)映射函數(shù)，主要用于表示待配準(zhǔn)圖像之間形變模式。仿射變換[9]是典型的線性模型，但無法處理實(shí)際應(yīng)用中圖像之間形變的各向異性問題。所以學(xué)者們提出了許多非線性變換模型，例如B樣條（B-spline）模型[8]、薄板樣條（Thin-Plate Spline，TPS）模型[10]以及基于再生核希爾伯特空間（Reproducing Kernel Hilbert Space，RKHS）的變換模型[7]。這些模型可以利用控制點(diǎn)局部特征描述非線性形變的模式，但是缺點(diǎn)在于過分依賴控制點(diǎn)的選擇，導(dǎo)致性能不夠穩(wěn)定，模型泛化能力不強(qiáng)[11]。

針對上述問題，本文主要工作分為兩個方面。首先，提出了一種多模圖像之間相似性的特征表達(dá)——高斯加權(quán)形狀上下文（Gaussian Weighted Shape Context，GWSC），旨在提升多模圖像之間點(diǎn)匹配精度。其次，提出了自適應(yīng)混合多項(xiàng)式變換（Adaptive Polynomial Mixture Transformation，APMT），用于描述紅外與可見光圖像之間非線性形變的全局規(guī)律性，降低非線性空間變換對控制點(diǎn)的依賴，增強(qiáng)變換效果的穩(wěn)定性。本文所提出的配準(zhǔn)方法（GWSC-APMT）其核心思路為：從由GWSC提取出的紅外與可見光圖像之間匹配點(diǎn)集中，估計出最優(yōu)的APMT模型參數(shù)，實(shí)現(xiàn)圖像全局配準(zhǔn)。實(shí)驗(yàn)表明：相比于同類配準(zhǔn)方法，GWSC-APMT 在配準(zhǔn)精度與速度上都具有一定優(yōu)勢和競爭力。因此，可以有效提升圖像融合系統(tǒng)的可靠性。

2 基于GWSC的匹配點(diǎn)提取

2.1 配準(zhǔn)問題描述

空間變換模型表示為φc，c是相應(yīng)的變換參數(shù)向量。配準(zhǔn)目的是從匹配點(diǎn)集F中估計出最優(yōu)的變換參數(shù)c，而這一過程可以看成是解優(yōu)化問題，因此建立能夠在無先驗(yàn)知識情況下量化配準(zhǔn)精度的目標(biāo)函數(shù)非常重要。

由于高斯場模型始終連續(xù)可微，并且可以較快地收斂于全局最優(yōu)解。因此，利用高斯場來構(gòu)建如下目標(biāo)函數(shù)：

其中，(rk,sk)∈F，‖ ? ‖ 表示2范數(shù)，σe是目標(biāo)函數(shù)尺度參數(shù)，S(c)是用于控制空間變換幅度的穩(wěn)定項(xiàng)，λ∈? 是歸一化權(quán)重系數(shù)，用于調(diào)節(jié)目標(biāo)函數(shù)中第二項(xiàng)的比重。

2.2 GWSC

從式（1）可以看出，匹配點(diǎn)集的精度決定了目標(biāo)函數(shù)的性能，錯誤的點(diǎn)匹配會增加目標(biāo)函數(shù)度量待配準(zhǔn)圖像之間距離的誤差。紅外與可見光圖像之間灰度分布差異與特征的不對應(yīng)性也會大大增加點(diǎn)匹配的難度，因此針對以上問題，提出一種可以用于描述多模圖像之間結(jié)果相似性的特征——GWSC。

傳統(tǒng)的基于形狀上下文（Shape Context，SC）特征[12]的相似度定義如下：

其中，q和bi都表示同一幅圖像中的邊界點(diǎn)，q,bi∈?2×1。Cs實(shí)質(zhì)是可以表示紅外與可見光圖像邊界點(diǎn)之間對應(yīng)關(guān)系的屬性矩陣，其中元素值越低，則表示相應(yīng)的紅外與可見光邊界點(diǎn)越相似。

SC 在紅外與可見光圖像之間點(diǎn)匹配上經(jīng)常失效，究其原因在于紅外與可見光圖像之間存在畸變或者丟失的邊界，如圖1所示。可見光圖像中邊界點(diǎn)A的實(shí)際匹配點(diǎn)為C，但是利用SC卻錯誤地將B點(diǎn)認(rèn)作A點(diǎn)的匹配點(diǎn)。從圖1中A、B和C點(diǎn)的局部放大圖中可以看出原因：與點(diǎn)A鄰域中邊界結(jié)構(gòu)相比，點(diǎn)C周圍的兩條邊界間距更寬，出現(xiàn)了明顯的形變；而與點(diǎn)C相比，點(diǎn)B鄰域的邊界結(jié)構(gòu)與A點(diǎn)更為相似。在SC計算半徑為10個像素的情況下，點(diǎn)A與B之間的SC相似度為0.241 2，而點(diǎn)A與C之間的SC相似度為0.270 9。因此，認(rèn)為SC度量的結(jié)構(gòu)相似性是符合點(diǎn)的局部特征的。但正是由于其只關(guān)注點(diǎn)的局部特征，導(dǎo)致了圖1中出現(xiàn)的誤匹配。

圖1 利用SC在紅外與可見光邊界圖中進(jìn)行點(diǎn)匹配

要解決上述問題，就要進(jìn)一步增加具有一定相似度但不是真正匹配的點(diǎn)對（類似圖1 中的點(diǎn)A與點(diǎn)B的情況）之間差異。有兩種解決方法：（1）擴(kuò)大SC 特征的度量范圍，但是如果提高SC 特征計算半徑會增加很多計算量；（2）在SC 相似性度量中加入全局特征，避免局部特征的局限性。

因此，在SC的基礎(chǔ)上，定義了新的結(jié)構(gòu)相似性特征GWSC的屬性矩陣：

其中，Wr、Wv和Wrv稱為歸一化高斯加權(quán)矩陣，其定義如下：

其中，i,l∈ {1,2,…,I} ，j,u∈ {1,2,…,J} ，εs,εrv∈ ?+分別是控制鄰域大小的尺度系數(shù)，ωr、ωv和ωrv分別為三個高斯加權(quán)矩陣的歸一化系數(shù)：

Dr=分別為Wr和Wv的對角度矩陣。?表示矩陣哈達(dá)瑪積（Hadamard product）。

式（4）括號項(xiàng)用于計算紅外與可見光圖像中多有邊界點(diǎn)對鄰域之間的平均SC相似度，在不增加SC計算半徑的情況下，利用高斯模型擴(kuò)大SC 特征的度量范圍。Wrv表征了所有的邊界點(diǎn)對之間的相對距離，其作用是引入假設(shè)：紅外與可見光圖像中實(shí)際匹配的兩點(diǎn)相距不會太遠(yuǎn)。而在實(shí)際應(yīng)用中，只需粗略地調(diào)整紅外與可見光相機(jī)的光軸使其盡量平行并靠近，就可以使上述假設(shè)成立。因此Wrv目的是在結(jié)構(gòu)相似性度量中引入全局特征，避免只考慮局部特征所導(dǎo)致的誤匹配。Cg為反映邊界點(diǎn)對應(yīng)性的屬性矩陣，Cgij越低，表示兩個邊界點(diǎn)和越相似。

2.3 匹配點(diǎn)集的提取

對于點(diǎn)匹配算法而言，將屬性矩陣抽象為二部圖，就可以利用二部圖匹配算法（如匈牙利算法）來確定點(diǎn)集之間最大匹配。但是，傳統(tǒng)的點(diǎn)匹配不適用于圖像配準(zhǔn)。首先，實(shí)際圖像中邊界點(diǎn)數(shù)量很大，會使二部圖匹配算法計算量大大增加。其次，圖像配準(zhǔn)也不需要紅外圖像中所有邊界點(diǎn)都找到其對應(yīng)的可見光邊界點(diǎn)，只需提取其中一部分匹配點(diǎn)對，使目標(biāo)函數(shù)可以準(zhǔn)確度量配準(zhǔn)精度即可。基于以上分析，設(shè)計了一種利用GWSC的點(diǎn)集快速匹配算法，如算法1所示。

算法1基于GWSC的點(diǎn)集快速匹配

輸入：待配準(zhǔn)的紅外與可見光圖像，參數(shù)εs和εrv

輸出：匹配點(diǎn)集F

1.利用Canny 邊緣檢測器提取紅外與可見光圖像中邊界，生成邊界點(diǎn)集；

3.找出Cg每一行最小值，將對應(yīng)下標(biāo)放入集合Mv，進(jìn)而生成初步匹配點(diǎn)集；

4.找出Cg每一列最小值，將對應(yīng)下標(biāo)放入集合Mr，進(jìn)而生成初步匹配點(diǎn)集；

算法1結(jié)構(gòu)簡單，提取相似度相對最高的點(diǎn)作為匹配點(diǎn)對，可以有效降低誤匹配出現(xiàn)的概率。另外，算法1中從屬性矩陣中提取匹配點(diǎn)（即步驟3～5）的時間復(fù)雜度為O(IJ)，而較為高效的匈牙利算法時間復(fù)雜度為O((I+J)IJ)。

3 APMT模型估計

3.1 APMT模型

平行光軸是目前紅外與可見光圖像融合系統(tǒng)最常用的光機(jī)結(jié)構(gòu)。因此，造成紅外與可見光圖像之間形變的可能原因包括：相機(jī)之間的相對距離、紅外與可見光鏡頭參數(shù)差異、探測器參數(shù)不同等。事實(shí)上，上述這些因素都具有規(guī)律性，即服從某種規(guī)律模式。所以，假設(shè)待配準(zhǔn)紅外與可見光圖像之間形變模型是由多個規(guī)律模式混合而成。

令rk=[x,y]T表示匹配點(diǎn)集中紅外邊界點(diǎn)的二維坐標(biāo)，表示rk經(jīng)過空間變換的映射坐標(biāo)，APMT模型可以寫為如下形式：

其中，αi,j，βi,j∈? 為變換系數(shù)，n∈?+表示APMT模型的階數(shù)。所有的αi,j和βi,j分別組成np×1(np=n(n+3) 2)維的系數(shù)向量α(n)和β(n)。

由式（7）可以看出，APMT 模型由多個多項(xiàng)式變換混合而成，因此可以在不使用控制點(diǎn)的情況下有效表征圖像形變復(fù)雜的非線性規(guī)律模式。并且將多項(xiàng)式的階數(shù)進(jìn)行參數(shù)化，使APMT模型可以根據(jù)圖像形變非線性程度的不同進(jìn)行調(diào)整，以表征多樣的形變模式，提高變換模型的魯棒性和泛化能力。

APMT模型變換方程的矩陣形式如下：

將式（8）代入目標(biāo)函數(shù)（1）中，就得到目標(biāo)函數(shù)最終形式：

其中，tr(?)表示矩陣的跡。式（10）中穩(wěn)定項(xiàng)可以描述變換系數(shù)變化幅度，當(dāng)幅度過大時，對目標(biāo)函數(shù)給予懲罰，以此防止變換模型出現(xiàn)突變。

3.2 優(yōu)化

很明顯，基于高斯場的目標(biāo)函數(shù)（10）關(guān)于變換系數(shù)是連續(xù)可微的，因此可以寫出對應(yīng)的導(dǎo)數(shù)：

利用目標(biāo)函數(shù)的一階導(dǎo)數(shù)，目標(biāo)函數(shù)的解優(yōu)化就可以通過擬牛頓法來實(shí)現(xiàn)。同時，希望APMT模型的階數(shù)也可以通過循環(huán)優(yōu)化而確定。因此，一種分段優(yōu)化策略被用于模型參數(shù)的估計，具體流程如算法2所示。

算法2APMT模型估計

輸入：匹配點(diǎn)集F，參數(shù)σe和λ

輸出：最優(yōu)階數(shù)n，最優(yōu)變換系數(shù)矩陣c(n)

1.初始化n=1，c(n)=0；

2.對F中構(gòu)建混合多項(xiàng)式向量集合；

3.以c(n)為初值，利用擬牛頓法對目標(biāo)函數(shù)(10)解優(yōu)化，解出現(xiàn)階段最優(yōu)參數(shù)向量cs；

4.令n=n+1，并利用cs初始化c(n)；

5.重復(fù)步驟2至5，直到目標(biāo)函數(shù)值開始上升為止；

6.當(dāng)前階數(shù)n就是最優(yōu)階數(shù)，當(dāng)前cs即為最優(yōu)變換系數(shù)矩陣c(n)。

由于圖像配準(zhǔn)可以被看成為數(shù)據(jù)擬合問題，因此算法2 本質(zhì)就是近似逼近的過程。由于APMT 模型實(shí)質(zhì)是多個不同階數(shù)多項(xiàng)式的自由組合，如果直接使用高階的APMT 模型進(jìn)行優(yōu)化，則有可能出現(xiàn)龍格現(xiàn)象，即擬合出的高階變換模型出現(xiàn)很大偏差。出現(xiàn)龍格現(xiàn)象的原因在于高階APMT模型會放大初始誤差，導(dǎo)致由目標(biāo)函數(shù)導(dǎo)數(shù)（11）所確定的優(yōu)化方向產(chǎn)生較大偏差。但是，低階的APMT 模型常常無法準(zhǔn)確表征待配準(zhǔn)圖像之間復(fù)雜的非線性形變規(guī)律。

算法2 可以很好地解決上述問題。根據(jù)APMT 模型的階數(shù)將整個優(yōu)化過程分段，先使用低階模型對目標(biāo)函數(shù)進(jìn)行擬牛頓法的優(yōu)化，然后逐步提高模型階數(shù)，令低階模型優(yōu)化所得的變換參數(shù)作為下一階段高階模型優(yōu)化的初值，這樣就降低了高階模型優(yōu)化時的初始誤差，可以減弱龍格現(xiàn)象的影響。上述過程不斷迭代優(yōu)化，直到目標(biāo)函數(shù)值開始上升，則表明此時的APMT 模型階數(shù)已到達(dá)最佳值，如果再增加就會使模型出現(xiàn)較大偏差，因此終止優(yōu)化過程。所以針對不同的待配準(zhǔn)圖像，利用算法2可以解出最適合表征其形變非線性程度的階數(shù)，同時確定最優(yōu)的變換系數(shù)。

為了得到紅外圖像中所有像素的變換映射坐標(biāo)，需要首先對所有像素計算其對應(yīng)的混合多項(xiàng)式向量，組成向量集（U為紅外圖像像素總數(shù)）。然后將和算法2 所得的最優(yōu)變換系數(shù)矩陣代入式（8），就得到圖像全局變換的結(jié)果。另外，由于變換圖像中可能會出現(xiàn)一些空白區(qū)域，因此還需使用圖像插值算法（例如雙線性插值）進(jìn)行填補(bǔ)，以獲得最佳的變換圖像。

3.3 計算復(fù)雜度分析

從目標(biāo)函數(shù)（10）與其對應(yīng)導(dǎo)數(shù)（11）可知，其時間復(fù)雜度為O(Knp)，利用擬牛頓法解2×np維系數(shù)矩陣c(n)的時間復(fù)雜度為，因此APMT模型估計總的時間復(fù)雜度為由于在計算時需要存儲和c(n)，因此空間復(fù)雜度為O(Knp+np)。

4 實(shí)驗(yàn)與分析

4.1 數(shù)據(jù)集

本文使用真實(shí)的紅外與可見光圖像對方法進(jìn)行測試。這些圖像選自CVC 數(shù)據(jù)庫[13]。從后續(xù)定性實(shí)驗(yàn)中可以看出，本文使用的紅外與可見光測試圖像具有很大的灰度分布差異，這增加了匹配點(diǎn)對提取的難度。并且，為了測試配準(zhǔn)性能，還增加了紅外與可見光圖像之間非線性形變的程度。因此，使用本文中的測試圖像可以充分評估GWSC-APMT 的效果。另外，本文所使用數(shù)據(jù)集圖像平均分辨率為424×384。

圖2 利用SC、RISC和GWSC進(jìn)行點(diǎn)匹配的定性結(jié)果

4.2 參數(shù)設(shè)置

本文所提出GWSC-APMT 方法共包含4 個設(shè)置參數(shù)：εs、εrv、σe和λ。εs和εrv是GWSC中控制鄰域大小的尺度系數(shù)。εs用于調(diào)節(jié)平均SC 相似度作用范圍，而εrv可以控制紅外與可見光邊界點(diǎn)之間相對距離對相似度計算的影響程度。σe用于調(diào)節(jié)目標(biāo)函數(shù)中距離度量的尺度，λ用于控制穩(wěn)定項(xiàng)在目標(biāo)函數(shù)中所占比重。經(jīng)過反復(fù)實(shí)驗(yàn)，確定了最佳參數(shù)配置：εs=80，εrv=300，σe=6和λ=0.02。這組參數(shù)配置在本文實(shí)驗(yàn)中保持不變。

另外，本文實(shí)驗(yàn)是在具備4核CPU（3.9 GHz）、4 GB內(nèi)存的計算機(jī)上運(yùn)行，且所有方法都使用Matlab 實(shí)現(xiàn)。需要特別指出的是，參與對比的其他方法的源代碼由其作者提供，相應(yīng)參數(shù)設(shè)置與原論文中一致。

4.3 GWSC點(diǎn)匹配測試

為了評估GWSC的有效性，將其用于紅外與可見光圖像中點(diǎn)匹配，并與原始SC 和旋轉(zhuǎn)不變SC（Rotation Invariant SC，RISC）[14]進(jìn)行對比。手動選取21組紅外與可見光圖像之間的匹配點(diǎn)，構(gòu)建真實(shí)匹配點(diǎn)集，在此基礎(chǔ)上使用不同方法對其進(jìn)行點(diǎn)匹配。另外，為了更準(zhǔn)確地測試相似性特征的性能，對SC、RISC 和GWSC 所生成的屬性矩陣，統(tǒng)一使用匈牙利算法進(jìn)行二部圖匹配。需要指出的是本文中SC特征的計算半徑為10個像素。

部分點(diǎn)匹配的定性實(shí)驗(yàn)結(jié)果如圖2 所示。由于在真實(shí)匹配點(diǎn)集上進(jìn)行點(diǎn)匹配，因此可以將點(diǎn)匹配結(jié)果的召回率作為定量評價準(zhǔn)則，如圖3 所示，其中SC、RISC和GWSC 分別表示三種特征+匈牙利算法的點(diǎn)匹配方法。可以看出，SC、RISC 和GWSC 平均召回率分別為0.541 1、0.404 6 和 0.871 4，GWSC 具有最高的召回率，這與定性實(shí)驗(yàn)結(jié)果非常吻合。實(shí)驗(yàn)說明了GWSC 的有效性，相比于SC，GWSC可以提升約61%的匹配精度。

圖3 利用SC、RISC和GWSC進(jìn)行點(diǎn)匹配的定量結(jié)果

也測試了三種特征進(jìn)行點(diǎn)匹配的運(yùn)算時間。在本文數(shù)據(jù)集上，SC和RISC的平均運(yùn)算時間分別為2.33 min和2.68 min，而GWSC 的運(yùn)算時間為0.47 min。這說明了相比于SC和RISC，GWSC屬性矩陣所對應(yīng)二部圖中增廣路徑的數(shù)量最小，從而使匈牙利算法的運(yùn)行時間最短。增廣路徑數(shù)量少代表GWSC 屬性矩陣中不同點(diǎn)對之間相似度差異大，證明了GWSC可以增大不匹配點(diǎn)對和匹配點(diǎn)對之間的區(qū)別。

另外，還將GWSC+匈牙利算法的點(diǎn)匹配召回率與GWSC+快速匹配算法（即算法1，GWSC-fast）的結(jié)果進(jìn)行對比。從圖3可以看出，快速匹配算法非常接近匈牙利算法的點(diǎn)匹配精度，平均召回率為0.870 1，且快速匹配算法平均運(yùn)算時間僅為0.061 1 min。因此可以說明與匈牙利算法相比，快速匹配算法可以在保證匹配精度的同時，大大降低運(yùn)算時間。

圖4 展示了使用算法1 從邊界點(diǎn)中提取匹配的實(shí)例，可以看出所提取出的匹配中絕大部分是符合真實(shí)情況的。因此利用算法1 所提取的匹配點(diǎn)集可以保證目標(biāo)函數(shù)量化配準(zhǔn)效果的準(zhǔn)確性。

圖4 利用算法1提取匹配點(diǎn)集的實(shí)例

4.4 圖像配準(zhǔn)對比測試

為了評估GWSC-APMT 配準(zhǔn)方法的性能，在真實(shí)的紅外與可見光圖像上進(jìn)行配準(zhǔn)測試，并且與目前公認(rèn)效果較好的基于特征的配準(zhǔn)方法進(jìn)行對比，包括CPD[15]、MR-RPM[14]、RGF[7]、RPM-L2E[6]和 SC-TPS[12]。需要特別指出的是，上述方法都是采用基于控制點(diǎn)的空間變換模型。為了公平，所有方法都是在由算法1提取出的匹配點(diǎn)集上進(jìn)行模型參數(shù)的估計。定性配準(zhǔn)效果如圖5 所示，其中為了更好地展現(xiàn)圖像配準(zhǔn)效果，每組配準(zhǔn)結(jié)果第一行為邊緣配準(zhǔn)圖，藍(lán)色為紅外邊界，紅色為可見光邊界，第二行為經(jīng)算法配準(zhǔn)之后的紅外與可見光圖像的融合圖。

另外，為每組待配準(zhǔn)紅外與可見光圖像手動建立了真實(shí)匹配集，計算配準(zhǔn)結(jié)果的召回率，實(shí)現(xiàn)量化評價。考慮一個真實(shí)匹配(rt,st)，邊界rt經(jīng)空間變換之后映射點(diǎn)為r?t。如果歐拉距離小于設(shè)置的精度閾值（例如4個像素），則認(rèn)為邊界點(diǎn)rt與st被正確配準(zhǔn)。因此，召回率其實(shí)質(zhì)是被正確配準(zhǔn)的真實(shí)匹配數(shù)量與真實(shí)匹配總數(shù)之比。定量對比結(jié)果如圖6所示。

圖5 圖像配準(zhǔn)定性對比結(jié)果

圖6 圖像配準(zhǔn)定量對比結(jié)果

首先，因?yàn)樗信錅?zhǔn)都是基于算法1 所提取的點(diǎn)集，所以定性實(shí)驗(yàn)結(jié)果說明算法1可以提取出足夠的特征來實(shí)現(xiàn)準(zhǔn)確的圖像配準(zhǔn)，同時也再次證明了GWSC的有效性。

其次，從定性對比實(shí)驗(yàn)結(jié)果可以明顯看出，相比于其他方法的配準(zhǔn)效果，GWSC-APMT的配準(zhǔn)中畸變與誤差都明顯減少，并且配準(zhǔn)的整體精度更高，這些與定量實(shí)驗(yàn)的結(jié)果非常一致。從圖6 可以看出，多數(shù)情況下，本文方法召回率曲線都在其余方法之上，總平均誤差為2.56像素，而SC-TPS、RPM-L2E、RGF、MR-RPM 和CPD的平均誤差分別為10.08、6.22、3.91、12.13、5.55 像素。本文方法具有較高配準(zhǔn)精度的原因在4.6節(jié)中詳細(xì)討論。

在數(shù)據(jù)集中測試了本文方法所需的4 個配置參數(shù)對配準(zhǔn)精度的影響，結(jié)果如圖7所示。對其進(jìn)行分析可知：當(dāng)GWSC的尺度系數(shù)εs和εrv較小時，由于SC的作用范圍沒有得到明顯擴(kuò)大，點(diǎn)集之間相對距離對GWSC特征的影響也很小，因此導(dǎo)致配準(zhǔn)精度不高；而當(dāng)SC作用范圍過大，或點(diǎn)集相對距離的影響過度時，也會增加相似性度量的干擾，降低GWSC 的精度，進(jìn)而影響配準(zhǔn)效果。從圖中可以看出，εs=80、εrv=300、σe=6 和λ=0.02 的參數(shù)配置可以使圖像配準(zhǔn)精度達(dá)到最優(yōu)。

4.5 算法運(yùn)行時間測試

首先，測試?yán)肎WSC提取匹配點(diǎn)的計算時間。對于分別包含1 000 個點(diǎn)的兩個點(diǎn)集，利用GWSC 與匈牙利算法的組合從中提取匹配點(diǎn)需要約10 min，而同樣條件下，使用算法1 則只需1.31 min，結(jié)果與2.3 節(jié)中兩種方法時間復(fù)雜度分析是吻合的。這說明了與匈牙利算法相比，本文所設(shè)計的快速匹配方法可以降低86.9%的點(diǎn)匹配運(yùn)算時間。顯然，正因?yàn)镚WSC 特征足夠精確，所以使用較為簡單快速的算法就可以實(shí)現(xiàn)高精度的點(diǎn)匹配。

圖7 不同參數(shù)配置對圖像配準(zhǔn)精度的影響

其次，比較RGF 和本文方法的模型估計時間。在本文數(shù)據(jù)集上，RGF 中模型估計平均時間為36.81 s，本文方法中APMT模型估計時間為5.91 s。RGF中模型估計的時間復(fù)雜度為O(K2N0)[7]，其中N0為控制點(diǎn)數(shù)量，一般N0=15。根據(jù)3.3 節(jié)，APMT 模型估計時間復(fù)雜度為O(Knp+)，從本文實(shí)驗(yàn)結(jié)果來看，所解出的最高階數(shù)為3，因此np最大取值為9。所以，運(yùn)行時間測試結(jié)果與時間復(fù)雜度分析一致。并且從中可知，RGF中使用所有的邊界點(diǎn)對去定義目標(biāo)函數(shù)，而本文方法使用匹配點(diǎn)對來建立目標(biāo)函數(shù)，因此大大降低了目標(biāo)函數(shù)的計算量。

在本文數(shù)據(jù)集上，本文方法配準(zhǔn)分辨率424×384圖像需要約1.44 min的運(yùn)算時間。

4.6 分析與討論

從定性與定量實(shí)驗(yàn)結(jié)果可以看出，所提出APMT模型與目前常用的非線性變換模型最大區(qū)別為：APMT模型可以在不使用控制點(diǎn)的情況下，精確地描述圖像之間非線性形變規(guī)律。現(xiàn)有的基于控制點(diǎn)的非線性模型（如TPS模型、B-spline模型和基于RKHS模型等）是利用分布在圖像不同區(qū)域的控制點(diǎn)來描述待配準(zhǔn)圖像之間復(fù)雜的非線性形變模式，因此其變換參數(shù)是在各個控制點(diǎn)鄰域內(nèi)部進(jìn)行優(yōu)化，對于圖像中遠(yuǎn)離控制點(diǎn)的像素來說，相應(yīng)的配準(zhǔn)效果可能出現(xiàn)退化，所以控制點(diǎn)的數(shù)量與分布都會影響這些變換模型的配準(zhǔn)精度。針對不同圖像場景，最優(yōu)控制點(diǎn)的選擇也可能不同，這種不確定性會限制這些模型的魯棒性與泛化能力。本文所提出的APMT模型不需要使用控制點(diǎn)，其變換參數(shù)是在圖像全局范圍內(nèi)進(jìn)行優(yōu)化，因此具有更高的魯棒性與泛化能力。同時，APMT模型其本質(zhì)為多種非線性模型的自由組合，因此能夠表征圖像之間非線性形變的整體規(guī)律，并且應(yīng)對不同程度的非線性形變。

其次，低階多項(xiàng)式可能無法表征復(fù)雜的非線性形變模式，高階多項(xiàng)式也有可能導(dǎo)致龍格現(xiàn)象的出現(xiàn)。而APMT模型與分段優(yōu)化策略配合，可以針對不同圖像形變程度解出最優(yōu)的多項(xiàng)式階數(shù)，避免了多項(xiàng)式階數(shù)過低或過高的情況，這也大大提高了所提出方法配準(zhǔn)效果的穩(wěn)定性。

另外，本文提出方法缺陷在于對邊界特征的依賴，對于邊界紋理很少的場景配準(zhǔn)效果可能會退化。因此下一步研究方向?yàn)閷ふ腋郁敯舻钠ヅ涮卣鳎蕴岣咚惴ㄟm用范圍。

5 結(jié)論

本文針對紅外與可見光圖像配準(zhǔn)，提出了GWSCAPMT 方法。首先針對SC 的缺陷，設(shè)計了一種可以度量多模圖像之間結(jié)構(gòu)相似性的特征GWSC。其次，建立APMT 模型以準(zhǔn)確描述圖像之間非線性形變的規(guī)律模式。最后，利用分段優(yōu)化策略，從由GWSC 提取出的紅外與可見光圖像之間匹配點(diǎn)集中，估計出最優(yōu)的APMT模型。各項(xiàng)實(shí)驗(yàn)表明，與同類配準(zhǔn)方法相比，所提出方法能使配準(zhǔn)精度提高34.5%，并降低83.9%的運(yùn)行時間。