融入曲率尺度空間算法的圖像配準(zhǔn)方法

章 盛,李培華,錢名思,劉玉莉

(1.中航華東光電有限公司,安徽 蕪湖 241002；2.安徽省現(xiàn)代顯示技術(shù)重點實驗室,安徽 蕪湖 241002；3.國家特種顯示工程技術(shù)研究中心,安徽 蕪湖 241002；4.特種顯示國家工程實驗室,安徽 蕪湖 241002)

1 引 言

圖像配準(zhǔn)普遍應(yīng)用在遙感圖像配準(zhǔn)[1]、醫(yī)學(xué)圖像配準(zhǔn)[2]和全景顯示[3]等領(lǐng)域,其中2006年Herbert Bay等人提出的加速穩(wěn)健特征(Speeded Up Robust Features,SURF)算法[4]是經(jīng)典的圖像配準(zhǔn)算法,其以尺度不變特征變換(Scale Invariant Feature Transform,SIFT)算法[5-6]為基礎(chǔ)對圖像特征的提取和描述進行了優(yōu)化,結(jié)果是在保持了平移、旋轉(zhuǎn)與尺度等變化不變性的前提下提升了執(zhí)行效率。近年來,科研者根據(jù)SURF算法存在實時性問題,提出了將角點提取算法融入傳統(tǒng)SURF算法的想法,互取優(yōu)勢,例如葛盼盼等人于2014年提出的Harris-SURF算法[7],彭勃宇等人于2015年提出的SUSAN-SURF算法[8],張敬麗等人于2016年提出的MIC-SURF算法[9],產(chǎn)葉林等人于2019年提出的FAST-SURF算法[10],四種改進算法最終得到的結(jié)論是在圖像配準(zhǔn)實時性方面得到了改善；同時由于SURF算法具備很好的穩(wěn)健性,許金鑫等人于2017年使用形態(tài)學(xué)邊緣檢測算法對待配準(zhǔn)圖像進行預(yù)處理,然后利用SURF算法進行異源圖像的配準(zhǔn),并將優(yōu)化SURF算法應(yīng)用于電氣設(shè)備圖像的配準(zhǔn),為異源圖像的配準(zhǔn)提供了一種途徑[11]；2018年,王民等人利用壓縮感知原理[12]對SURF算法生成的描述子向量進行降維處理,提升了實時性并應(yīng)用于手語關(guān)鍵幀的配準(zhǔn)[13]。

針對實時性要求比較高的應(yīng)用場景,傳統(tǒng)SURF算法表現(xiàn)出其在實時性方面的不足,本文首先針對圖像角點特征提取耗時長的問題,使用曲率尺度空間(Curvature Scale Space,CSS)算法[14]提取圖像角點特征,然后針對圖像角點特征匹配耗時長的問題,使用改進SURF描述子、改進相似性距離算法和隨機采樣一致性((Random Sample Consensus,RANSAC)[15]算法對圖像角點特征描述子的形成和匹配進行改進,最終得到CSS-SPP-SURF算法。

2 CSS-SPP-SURF算法

CSS-SPP-SURF算法按照實現(xiàn)流程分成三個步驟:①圖像角點特征的提?。虎趫D像角點特征描述子向量的生成和降維；③圖像角點特征的匹配。CSS-SPP-SURF算法的實現(xiàn)流程框圖如圖1所示。

2.1 圖像角點特征的提取

Mokhtarian和Suomela團隊于1998年提出的一種基于曲線曲率的圖像角點特征提取算法,即CSS算法,其是在Canny算法[16]的基礎(chǔ)上延伸的算法,該算法提取圖像角點特征分為三步:

圖1 CSS-SPP-SURF算法的實現(xiàn)流程框圖

①采用Canny算法生成邊緣輪廓圖像；②在尺度空間的低尺度上使用局部曲率極大值提取圖像角點特征,并向高尺度跟蹤定位這個圖像角點特征；③與T型角點特征作比較剔除相近的角點特征中一個。曲線的曲率κ的函數(shù)表達式的如式(1)所示:

κ(μ,σ)=

(1)

其中,κ(μ,σ)表示曲線的曲率；Xμ(μ,σ),Xμμ(μ,σ)分別表示X(μ,σ)的一階、二階導(dǎo)數(shù)；Yμ(μ,σ),Yμμ(μ,σ)分別表示Y(μ,σ)的一階、二階導(dǎo)數(shù)；μ表示弧長參數(shù)；σ表示尺度因子。

針對公式(1),X(μ,σ)和Y(μ,σ)的一階、二階導(dǎo)數(shù)的表達式分別如式(2)～(5)所示:

=x(μ)?gμ(μ,σ)

(2)

=x(μ)?gμμ(μ,σ)

(3)

=y(μ)?gμ(μ,σ)

(4)

=y(μ)?gμμ(μ,σ)

(5)

其中,Xμ(μ,σ),Xμμ(μ,σ)分別表示X(μ,σ)的一階、二階導(dǎo)數(shù)；Yμ(μ,σ),Yμμ(μ,σ)分別表示Y(μ,σ)的一階、二階導(dǎo)數(shù)；x(μ)和y(μ)分別表示曲線上點的橫坐標(biāo)和縱坐標(biāo)；g(μ,σ)表示以尺度因子σ為參數(shù)的高斯函數(shù);μ表示弧長參數(shù);σ表示尺度因子;?表示卷積運算;gu(μ,σ),guu(μ,σ)分別表示g(μ,σ)的一階、二階導(dǎo)數(shù)。

2.2 改進SURF描述子

CSS-SPP-SURF算法生成圖像角點特征描述子向量分為兩個階段,階段一是利用Haar小波生成64維圖像角點特征描述子向量,階段二是利用稀疏投影原理將64維圖像角點特征描述子向量降維到24維,仿真實驗中發(fā)現(xiàn)降維到12維,圖像角度特征的匹配速度有一定提升,但匹配效果不太理想,綜合考慮選擇降維到24維。

針對階段一得到64維圖像角點特征描述子向量,假定其為K,首先利用小波變換基矩陣Ψ將64維描述子向量轉(zhuǎn)換為64維稀疏矩陣Y,然后利用稀疏投影矩陣R∈R24×64將64維稀疏矩陣Y轉(zhuǎn)換為24維測量向量K′,最后將得到的24維測量向量K′作為圖像角點特征描述子向量,如式(6)所示:

K′=RY=RΨK

(6)

其中,K′表示24維測量向量;R表示24×64維的稀疏投影矩陣;Y表示64維的稀疏向量;Ψ表示64×64維的小波變換基矩陣;K表示64維的圖像角點特征描述子向量。

2.3 圖像角點特征的匹配

圖像角點特征的匹配分為兩個階段,階段一使用改進的相似性距離算法進行粗匹配；階段二使用RANSAC算法進行精匹配。

階段一假設(shè)對圖像L與圖像R的圖像角點特征進行粗匹配實驗,設(shè)定圖像L的圖像角點特征描述子向量為Ui(x1,x2,x3,…,x22,x23,x24),圖像R的圖像角點特征描述子向量為Vj(y1,y2,y3,…,y22,y23,y24),整個匹配實驗過程分為三個步驟:

步驟1:圖像L到圖像R采用曼哈頓距離進行相似性距離度量,曼哈頓距離定義式如式(7)所示,同時相似性距離的最小值和次最小值的比值滿足公式(8),遍歷圖像L的圖像角點特征集U,得到匹配圖像角點特征集A。

(7)

其中,d(Ui,Vj)表示圖像角點特征之間的相似性距離;xm表示圖像L中圖像角點特征描述子向量的元素;ym表示圖像R中圖像角點特征描述子向量的元素。

(8)

其中,d(Ui,V1j)、d(Ui,V2j)分別表示特征集U中的特征Ui與特征集V中的最近鄰特征V1j、次最近鄰特征V2j的相似性距離;Th1表示閾值,本文設(shè)定Th1的值為0.75。

步驟2:圖像R到圖像L采用歐式距離進行相似性距離度量,歐式距離定義式如式(9)所示,同時相似性距離的最小值和次最小值的比值滿足式(10)所示,遍歷圖像R的圖像角點特征集V,得到匹配圖像角點特征集B。

(9)

其中,d(Vj,Ui)表示圖像角點特征之間的相似性距離;ym表示圖像R中圖像角點特征描述子向量的元素;xm表示圖像L中圖像角點特征描述子向量的元素。

(10)

其中,d(Vj,U1i)、d(Vj,U2i)分別表示特征集V中的特征Vj與特征集U中的最近鄰特征U1i、次最近鄰特征U2i的相似性距離;Th2表示閾值,本文設(shè)定Th2的值為0.75。

步驟3:比較匹配圖像角點特征集A與B,選取完全相同的匹配圖像角點特征組成備用的匹配圖像角點特征集M。

階段二采用RANSAC算法對階段一得到的備用匹配圖像角點特征集M進行進一步提純,得到最終的匹配圖像角點特征集F。

3 仿真實驗

實驗仿真軟件為MATLAB R2014a,實驗仿真硬件為計算機,計算機的中央處理器配置是Intel Core i3-3240 CPU @ 3.40GHz (4 CPUs)、內(nèi)存配置是4096MB RAM、操作系統(tǒng)配置是Windows 7 旗艦版32位。

仿真實驗分為兩個階段,第一階段選用立體匹配庫中的Venus可見光圖像、異源融合庫中的Jeep_in_Smoke紅外圖像和Normal Medical Database庫中的手部CT醫(yī)學(xué)圖像作為仿真實驗一圖像,其中圖2(a) ～ (d)是立體匹配庫中的Venus源、右視、形變和旋轉(zhuǎn)圖像,像素大小為434×383；圖2 (a2) ～ (d2)是異源融合庫中Jeep_in_Smoke紅外源、右視、形變和旋轉(zhuǎn)圖像,像素大小為580×450；圖2 (a3) ～(d3)是Normal Medical Database庫中的手部CT醫(yī)學(xué)源、右視、形變和旋轉(zhuǎn)圖像,像素大小為240×256；以驗證CSS-SPP-SURF算法對不同源圖像的可行性。第二階段選用立體匹配庫中不同規(guī)模的圖像庫作為仿真實驗二圖像,立體匹配庫中每對待配準(zhǔn)圖像僅有源、右視兩張圖像,以驗證CSS-SPP-SURF算法的普遍適應(yīng)性。

圖2 實驗一的待配準(zhǔn)圖像

仿真實驗一使用傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、Forstner-SURF算法、Harris-SURF算法、Trajkovic-SURF算法與CSS-SPP-SURF算法對實驗一圖像進行圖像配準(zhǔn)實驗,實驗步驟分為三步:①圖2(a)分別與圖2(b)～(d)進行圖像配準(zhǔn)實驗；②圖2(a2)分別圖2(b2)～(d2)進行圖像配準(zhǔn)實驗；③圖2(a3)分別與圖2(b3)～(d3)進行圖像配準(zhǔn)實驗,最終得到圖像角點特征的檢測結(jié)果圖如圖3(a)～(r4)所示,圖像角點特征的匹配結(jié)果圖如圖4(a)～(i6)所示。

仿真實驗一為了比較CSS-SPP-SURF算法與傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、Forstner-SURF算法、Harris-SURF算法、Trajkovic-SURF算法之間的效率,選取待配準(zhǔn)圖像的角點特征數(shù)目、角點特征匹配數(shù)目、角點特征正確匹配數(shù)目、圖像配準(zhǔn)準(zhǔn)確率、圖像配準(zhǔn)時間與圖像配準(zhǔn)時間下降率共六個指標(biāo)作為評價依據(jù),其中圖像配準(zhǔn)準(zhǔn)確率和圖像配準(zhǔn)時間下降率的計算公式如式(11)、(12)所示,仿真實驗數(shù)據(jù)對比分析圖如圖5(a)～(f)所示,通過圖5(d)可知,CSS-SPP-SURF算法與傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、Forstner-SURF算法、Harris-SURF算法、Trajkovic-SURF算法相比,在圖像配準(zhǔn)的準(zhǔn)確率方面相當(dāng)。通過圖5(f)可知,CSS-SPP-SURF算法與傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、Forstner-SURF算法、Harris-SURF算法、Trajkovic-SURF算法相比,在圖像配準(zhǔn)的速度方面具有一定的優(yōu)勢。

(11)

(12)

圖3 圖像角點特征的提取結(jié)果圖

其中,圖3(a)～(r)、(a2)～(r2)、(a3)～(r3)、(a4)～(r4)表示使用傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、Forstern-SURF算法、Harris-SURF算法、Trajkovic-SURF算法與CSS-SPP-SURF算法分別對實驗一待配準(zhǔn)圖像中源圖像、右視圖像、形變圖像、旋轉(zhuǎn)圖像的角點特征提取結(jié)果圖。

圖4 圖像角點特征的匹配結(jié)果圖

其中,圖4(a)～(i)、(a2)～(i2)、(a3)～(i3)、(a4)～(i4)、 (a5)～(i5)、(a6)～(i6)分別表示使用傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、Forstern-SURF算法、Harris-SURF算法、Trajkovic-SURF算法與CSS-SPP-SURF算法對實驗一待配準(zhǔn)圖像的角點特征匹配結(jié)果圖。源-右視表示源圖像和右視圖像之間的配準(zhǔn)、源-形變表示源圖像和形變圖像之間的配準(zhǔn)和源-旋轉(zhuǎn)表示源圖像和旋轉(zhuǎn)圖像之間的配準(zhǔn)。

圖5 圖像配準(zhǔn)的對比分析圖

圖5中，V表示Venus可見光圖像；J表示Jeep_in_Smoke紅外圖像；H表示手部CT醫(yī)學(xué)圖像；SIFT表示傳統(tǒng)SIFT算法；SURF表示傳統(tǒng)SURF算法；F-SURF表示Forstern-SURF算法；H-SURF表示Harris-SURF算法；T-SURF表示Trajkovic-SURF算法；CSS-SPP-SURF表示CSS-SPP-SURF算法。其中，圖5(a)～(f)表示使用傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、Forstern-SURF算法、Harris-SURF算法、Trajkovic-SURF算法與CSS- SPP-SURF算法對實驗一圖像的特征提取數(shù)目、特征匹配數(shù)目、正確特征匹配數(shù)目、配準(zhǔn)準(zhǔn)確率、配準(zhǔn)時間和配準(zhǔn)時間下降率的對比分析圖。

仿真實驗二首先從立體匹配庫中分別選擇100、200、300、400對圖像作為四種不同規(guī)模待配準(zhǔn)圖像庫,然后使用傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、Forstern-SURF算法、Harris-SURF算法、Trajkovic-SURF算法與CSS-SPP-SURF算法對四種不同規(guī)模待配準(zhǔn)圖像庫進行配準(zhǔn),并對評價指標(biāo)進行記錄并統(tǒng)計,統(tǒng)計結(jié)果如表1所示,最后對表1的仿真實驗數(shù)據(jù)進行分析得到兩點結(jié)論:①CSS-SPP-SURF算法與傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、Forstern-SURF算法、Harris-SURF算法、Trajkovic-SURF算法相比,圖像配準(zhǔn)準(zhǔn)確率相當(dāng)；②圖像配準(zhǔn)時間分別降低了73.61%、43.27%、44.54%、34.31%與8.05%。

表1 不同規(guī)模圖像集的圖像配準(zhǔn)時間、準(zhǔn)確率比較

表1中，SIFT代表傳統(tǒng)SIFT算法；SURF代表傳統(tǒng)SURF算法；F-SURF代表Forstner-SURF算法；H-SURF代表Harris-SURF算法；T-SURF代表Trajkovic-SURF算法；C-SURF代表CSS-SPP-SURF算法；時間指圖像配準(zhǔn)時間,單位是秒,準(zhǔn)確率指圖像配準(zhǔn)準(zhǔn)確率,單位是%。

4 結(jié) 論

本文提出了CSS-SPP-SURF算法,該算法使用CSS算法、改進SURF描述子、改進相似性距離算法和RANSAC算法對傳統(tǒng)SURF算法進行改進,解決了其圖像特征檢測和匹配耗時長的問題。通過仿真實驗發(fā)現(xiàn)兩點:①CSS-SPP-SURF算法對可見光、紅外與醫(yī)學(xué)圖像同樣有效；②通過對立體匹配庫實驗說明了該算法對于實時性要求比較高的應(yīng)用場景具有普遍有效性。