一種CSS-SIFT復(fù)合圖像配準(zhǔn)算法

李培華，章 盛，劉玉莉，錢(qián)名思

（1.中航華東光電有限公司，安徽 蕪湖 241002；2.安徽省現(xiàn)代顯示技術(shù)重點(diǎn)實(shí)驗(yàn)室，安徽 蕪湖 241002；3.國(guó)家特種顯示工程技術(shù)研究中心，安徽 蕪湖 241002；4.特種顯示國(guó)家工程實(shí)驗(yàn)室，安徽 蕪湖 241002）

0 引言

圖像配準(zhǔn)方法普遍應(yīng)用于增強(qiáng)現(xiàn)實(shí)[1]、雙目視覺(jué)[2]、全景拼接[3]等研究方向。2004年David Lowe 團(tuán)隊(duì)提出的尺度不變特征變換（Scale Invariant Feature Transform，SIFT）算法[4-5]是圖像配準(zhǔn)算法的里程碑，該算法保持了目標(biāo)平移、旋轉(zhuǎn)與縮放等變化的不變性，國(guó)內(nèi)外科研者根據(jù)SIFT 算法實(shí)現(xiàn)原理將其分為3個(gè)部分，分別是圖像特征檢測(cè)、描述子向量形成和匹配，其中為了解決SIFT 算法3 個(gè)部分耗時(shí)長(zhǎng)的問(wèn)題，2004年，Yan Ke 團(tuán)隊(duì)將主成分分析（Principle Component Analysis，PCA）算法[6]融入到SIFT 算法中，即PCA-SIFT 算法[7]；2006年，Herbert Bay 團(tuán)隊(duì)在SIFT 算法的研究基礎(chǔ)上提出了加速穩(wěn)健特征（Speeded Up Robust Features，SURF）算法[8]，該算法主要有兩方面的優(yōu)化，一是使用Hessian 矩陣提升圖像特征的檢測(cè)速度，二是使用Haar 小波生成64 維描述子向量以提升圖像特征的匹配速度；2014年和2015年，楊颯團(tuán)隊(duì)和趙愛(ài)罡團(tuán)隊(duì)提出使用壓縮感知原理（Compressed Sensing Principle，CSP）[9]對(duì)圖像特征描述子向量降維，降低了圖像特征匹配時(shí)間[10-11]；2017年，韓超團(tuán)隊(duì)將Trajkovic 角點(diǎn)檢測(cè)算法[12]與稀疏降維原理融入到傳統(tǒng) SIFT 算法中， 得到Trajkovic-SDR-SIFT 算法[13]；2018年，胡為團(tuán)隊(duì)利用內(nèi)部矩陣外部圓形原理將128 維圖像特征描述子向量降維到24 維，并采用隨機(jī)抽樣一致性（Random Sample Consensus，RANSAC）算法[14]進(jìn)行圖像特征的精匹配，最終結(jié)果是優(yōu)化方法在速度和準(zhǔn)確率方面都有顯著的提高[15]；2019年，遲英朋團(tuán)隊(duì)將指數(shù)加權(quán)平均比率算子（Ratio of Exponentially Weighted Averages，ROEWA）算法[16]和OTSU 算法[17]融入到傳統(tǒng)SIFT 算法中，提升了圖像特征配準(zhǔn)的準(zhǔn)確率[18]；2020年，程德強(qiáng)團(tuán)隊(duì)利用Sobel 算法[19]優(yōu)化傳統(tǒng)SIFT算法圖像特征描述子部分，再使用歐式距離算法和領(lǐng)域投票方法進(jìn)行圖像特征的匹配，優(yōu)化SIFT 算法在配準(zhǔn)準(zhǔn)確率和執(zhí)行速度方面都有一定的提升[20]。

本文針對(duì)傳統(tǒng)SIFT 算法圖像配準(zhǔn)耗時(shí)長(zhǎng)的問(wèn)題，選用曲率尺度空間（Curvature Scale Space，CSS）算法[21]、優(yōu)化SIFT 描述子和優(yōu)化雙向匹配算法對(duì)傳統(tǒng)SIFT 算法進(jìn)行優(yōu)化，得到一種CSS-SIFT 算法。

1 CSS-SIFT 算法

傳統(tǒng)SIFT 算法按照實(shí)現(xiàn)原理分成3 個(gè)部分：①圖像特征的檢測(cè)；②圖像特征分配描述子向量；③圖像特征的匹配。CSS-SIFT 算法根據(jù)傳統(tǒng)SIFT 算法的實(shí)現(xiàn)原理，先使用CSS 算法檢測(cè)圖像特征，然后使用優(yōu)化SIFT 描述子生成128 維圖像特征描述子向量并利用稀疏投影原理將其降維到24 維，最后利用基于歐式距離和曼哈頓距離相結(jié)合的優(yōu)化方法實(shí)現(xiàn)相似性距離匹配，即CSS-SIFT 算法，CSS-SIFT 算法的流程框圖如圖1所示。

1.1 圖像特征的檢測(cè)

CSS-SIFT 算法采用CSS 圖像特征檢測(cè)算法[21]檢測(cè)圖像特征，CSS 圖像特征檢測(cè)算法是Mokhtarian 和Suomela 等人于1998年提出的一種圖像特征檢測(cè)算法，該算法的圖像特征檢測(cè)步驟如下：

第一步：對(duì)待配準(zhǔn)圖像進(jìn)行灰度化處理，得到灰度圖像；

第二步：以灰度圖像為對(duì)象，采用Canny 算法[22]對(duì)其進(jìn)行處理，得到二值圖像；

第三步：從二值圖像中提取邊緣輪廓，并填充邊緣輪廓中的間隙，找到T 型特征；

第四步：計(jì)算所有邊緣輪廓在低尺度下的曲率；

第五步：統(tǒng)計(jì)低尺度下的曲率，將局部極大曲率值對(duì)應(yīng)的圖像特征作為備選特征；

第六步：從最低尺度到最高尺度追蹤備選特征來(lái)提升定位；

第七步：比較T 型特征和備選特征，剔除兩個(gè)相近特征中的一個(gè)。

圖1 CSS-SIFT 算法的流程框圖Fig.1 Flow chart of the CSS-SIFT algorithm

1.2 優(yōu)化SIFT 描述子

將稀疏投影原理融入到傳統(tǒng)SIFT 描述子中得到優(yōu)化SIFT 描述子，優(yōu)化SIFT 描述子包括兩個(gè)階段，一是生成128 維圖像特征描述子向量，該階段和傳統(tǒng)SIFT 描述子相同，二是使用稀疏投影原理對(duì)圖像特征描述子向量進(jìn)行降維，在仿真實(shí)驗(yàn)中發(fā)現(xiàn)當(dāng)圖像特征描述子向量降到12 維，圖像的匹配速度有較大的提升，但由于圖像特征的維數(shù)過(guò)低，導(dǎo)致圖像特征的匹配數(shù)目降低，匹配效果不理想，因此綜合考慮選擇圖像特征描述子向量為24 維。

假定128 維圖像特征描述子向量為K，利用128×128 維小波變換基矩陣Ψ將128 維圖像特征描述子向量轉(zhuǎn)換成128 維稀疏向量Y，再利用24×128 維的隨機(jī)投影矩陣R∈R24×128將128 維稀疏向量Y降維為24 維測(cè)量向量K′，將得到24 維測(cè)量向量K′作為圖像特征描述子向量，如式(1)所示：

式中：K′表示24 維測(cè)量向量；R表示24×128 維的隨機(jī)投影矩陣；Y表示128 維的稀疏向量；Ψ表示128×128 維的小波變換基矩陣；K表示128 維的圖像特征描述子向量。

1.3 圖像特征的匹配

本文在圖像特征的匹配階段采用歐式距離和曼哈頓距離相結(jié)合的相似性距離算法進(jìn)行雙向匹配。假定對(duì)圖像A 與圖像B 進(jìn)行圖像配準(zhǔn)，先設(shè)定圖像A中特征描述子向量為Ui(x1,x2,x3,…,x22,x23,x24)和圖像B 中特征描述子向量為Vj(y1,y2,y3,…,y22,y23,y24)，則圖像A 到圖像B 的圖像特征匹配采用歐式距離作為相似性距離，歐式距離定義式如式(2)所示，圖像B 到圖像A 的圖像特征匹配采用曼哈頓距離作為相似性距離，曼哈頓距離定義式如式(3)所示：

式中：xm表示圖像A 中特征描述子向量的元素；ym表示圖像B 中特征描述子向量的元素；d(Ui,Vj)表示圖像A 到圖像B 的特征相似性距離值，d(Vj,Ui)表示圖像B 到圖像A 的特征相似性距離值。

假定圖像A 和圖像B 的特征集分別是U和V，其中的元素分別是Ui和Vj，圖像特征的匹配步驟如下：

1）首先以圖像A 特征集U中的圖像特征Ui為參考對(duì)象，使用公式(2)遍歷圖像B 特征集V中的圖像特征，得到d的最小值對(duì)應(yīng)的最近鄰圖像特征V1j和次最小值對(duì)應(yīng)的次最近鄰圖像特征V2j；然后比較d的最小值與次最小值的比值是否滿(mǎn)足公式(4)，如果滿(mǎn)足，則圖像B 特征集V中的圖像特征V1j與圖像A 特征集U中的圖像特征Ui是一對(duì)匹配圖像特征；最后遍歷圖像A 特征集U中所有圖像特征，得到圖像特征匹配集O；

式中：d(Ui,V1j)、d(Ui,V2j)分別表示特征集U中的特征Ui與特征集V中的最近鄰特征V1j、次最近鄰特征V2j的相似性距離值，Th1表示閾值，本文設(shè)定Th1的值為0.75。

2）以圖像B 特征集V為參考對(duì)象，使用公式(3)和公式(5)在圖像A 特征集U中尋找匹配圖像特征，得到圖像特征匹配集H；

式中：d(Vi,U1j)、d(Vi,U2j)分別表示特征集V中的特征Vi與特征集U中的最近鄰特征U1j、次最近鄰特征U2j的相似性距離值，Th2表示閾值，本文設(shè)定Th2的值為0.75。

3）比較圖像特征匹配集O與圖像特征匹配集H中匹配圖像特征，取出完全相同的匹配圖像特征組成最終的圖像特征匹配集F。

2 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)仿真軟件為MATLAB R2014a，實(shí)驗(yàn)仿真硬件為計(jì)算機(jī)，計(jì)算機(jī)的中央處理器配置是Intel Core i3-3240 CPU @ 3.40 GHz 、四核CPU、內(nèi)存配置是4096MB RAM、操作系統(tǒng)配置是Windows 7 旗艦版32 位。

仿真實(shí)驗(yàn)分成2 個(gè)階段：①選擇3 種類(lèi)型圖像作為實(shí)驗(yàn)一的源圖像、右視圖像、下視圖像、形變圖像和旋轉(zhuǎn)圖像，分別是立體匹配庫(kù)中的Tsukuba 圖像、異源融合庫(kù)中 Kaptein 紅外圖像和 Normal Brain Database 庫(kù)中的MR_T1 腦部醫(yī)學(xué)圖像；②從立體匹配庫(kù)中分別隨機(jī)選取100、200、300、400 對(duì)待配準(zhǔn)圖像作為實(shí)驗(yàn)二的圖像庫(kù)，實(shí)驗(yàn)二圖像庫(kù)中僅有源圖像和右視圖像，以驗(yàn)證CSS-SIFT 算法的可靠性和實(shí)用性。

圖2(a)～(e)分別是立體匹配庫(kù)中的Tsukuba 可見(jiàn)光源圖像、右視圖像、下視圖像、形變圖像和旋轉(zhuǎn)圖像，像素大小為384×288；圖2(a2)～(e2)是異源融合庫(kù)中Kaptein 紅外源圖像、右視圖像、下視圖像、形變圖像和旋轉(zhuǎn)圖像，像素大小為550×400；圖2(a3)～(e3)是Normal Brain Database 庫(kù)中的MR_T1 腦部醫(yī)學(xué)源圖像、右視圖像、下視圖像、形變圖像和旋轉(zhuǎn)圖像，圖像為165×200 像素。

圖2 實(shí)驗(yàn)一待配準(zhǔn)圖像Fig.2 Registration images of the experiment one

實(shí)驗(yàn)一分別使用傳統(tǒng)SIFT 算法、傳統(tǒng)SURF 算法、 Forstern-SIFT 算法、 Harris-SIFT 算法、Trajkovic-SIFT 算法和CSS-SIFT 算法共6 種算法對(duì)實(shí)驗(yàn)一圖像進(jìn)行配準(zhǔn)實(shí)驗(yàn)，實(shí)驗(yàn)步驟首先圖2(a)分別與圖2(b)～(e)進(jìn)行配準(zhǔn)實(shí)驗(yàn)，總共24 組實(shí)驗(yàn)；然后圖2(a2)分別與圖2(b2)～(e2)進(jìn)行圖像配準(zhǔn)實(shí)驗(yàn)，總共24 組實(shí)驗(yàn)；最后圖2(a3)分別與圖2(b3)～(e3)進(jìn)行配準(zhǔn)實(shí)驗(yàn)，總共24 組實(shí)驗(yàn)，即源-右視配準(zhǔn)、源-下視配準(zhǔn)、源-形變配準(zhǔn)和源-旋轉(zhuǎn)配準(zhǔn)。實(shí)驗(yàn)一得到圖像特征的檢測(cè)結(jié)果如圖3(a)～(r)、圖4(a)～(r)、圖5(a)～(r)、圖6(a)～(r)與圖7(a)～(r)所示，圖像特征的匹配結(jié)果如圖8(a)～(l)、圖9(a)～(l)、圖10(a)～(l)、圖11(a)～(l)、圖12(a)～(l)與圖13(a)～(l)所示。

實(shí)驗(yàn)一為了能夠?qū)Ρ雀魉惴ㄖg的效率，選擇圖像特征數(shù)目、匹配數(shù)目、正確匹配數(shù)目、配準(zhǔn)準(zhǔn)確率、配準(zhǔn)時(shí)間與配準(zhǔn)時(shí)間下降率一共6 個(gè)參數(shù)作為評(píng)價(jià)指標(biāo)，其中圖像特征配準(zhǔn)準(zhǔn)確率和圖像配準(zhǔn)時(shí)間下降率的計(jì)算公式如式(6)和(7)所示。實(shí)驗(yàn)一的評(píng)價(jià)指標(biāo)對(duì)比分析圖如圖14(a)～(f)所示，通過(guò)圖14(d)可知，CSS-SIFT 算法與傳統(tǒng)SIFT 算法、傳統(tǒng)SURF 算法、Forstern-SIFT 算法、Harris-SIFT 算法和Trajkovic-SIFT算法相比，圖像特征配準(zhǔn)準(zhǔn)確率相當(dāng)。通過(guò)圖14(f)可知，CSS-SIFT 算法與傳統(tǒng)SIFT 算法、傳統(tǒng)SURF算法、Forstern-SIFT 算法、Harris-SIFT 算法和Trajkovic-SIFT 算法相比，圖像配準(zhǔn)速度方面有一定的提升。

圖3 源圖像的特征檢測(cè)結(jié)果圖Fig.3 The results graphs of source image feature detection

圖4 右視圖像的特征檢測(cè)結(jié)果圖Fig.4 The results graphs of right image feature detection

圖5 下視圖像的特征檢測(cè)結(jié)果圖Fig.5 The results graphs of down image feature detection

圖6 形變圖像的特征檢測(cè)結(jié)果圖Fig.6 The results graphs of deformation image feature detection

圖7 旋轉(zhuǎn)圖像的特征檢測(cè)結(jié)果圖Fig.7 The result graphs of rotated image feature detection

圖3(a)～(r)、圖4(a)～(r)、圖5(a)～(r)、圖6(a)～(r)與圖7(a)～(r)表示使用傳統(tǒng)SIFT 算法、傳統(tǒng)SURF算法、Forstern-SIFT 算法、Harris-SIFT 算法、Trajkovic-SIFT 算法和CSS-SIFT 算法共6 種算法分別對(duì)實(shí)驗(yàn)一源圖像、右視圖像、下視圖像、形變圖像和旋轉(zhuǎn)圖像的特征檢測(cè)結(jié)果圖。

圖8 基于傳統(tǒng)SIFT 算法的圖像特征匹配結(jié)果圖Fig.8 The result graphs of image feature matching based on the traditional SIFT algorithm

圖9 基于傳統(tǒng)SURF 算法的圖像特征匹配結(jié)果圖Fig.9 The result graphs of image feature matching based on the traditional SURF algorithm

圖10 基于Forstner-SIFT 算法的圖像特征匹配結(jié)果圖Fig.10 The result graphs of image feature matching based on the Forstner-SIFT algorithm

圖11 基于Harris-SIFT 算法的圖像特征匹配結(jié)果圖Fig.11 The result graphs of image feature matching based on the Harris-SIFT algorithm

圖12 基于Trajkovic-SIFT 算法的圖像特征匹配結(jié)果圖Fig.12 The result graphs of image feature matching based on the Trajkovic-SIFT algorithm

圖13 基于CSS-SIFT 算法的圖像特征匹配結(jié)果圖Fig.13 The result graphs of image feature matching based on the CSS-SIFT algorithm

圖8(a)～(l)、圖9(a)～(l)、圖10(a)～(l)、圖11(a)～(l)、圖12(a)～(l)、圖13(a)～(l)分別表示使用傳統(tǒng)SIFT算法、傳統(tǒng) SURF 算法、Forstern-SIFT 算法、Harris-SIFT 算法、Trajkovic-SIFT 算法和CSS-SIFT算法對(duì)實(shí)驗(yàn)一中3 種類(lèi)型圖像的匹配結(jié)果圖，其中每種類(lèi)型圖像都包括源-右視、源-下視、源-形變和源-旋轉(zhuǎn)，源-右視表示源圖像與右視圖像之間的配準(zhǔn)、源-下視表示源圖像與下視圖像之間的配準(zhǔn)、源-形變表示源圖像與形變圖像之間的配準(zhǔn)和源-旋轉(zhuǎn)表示源圖像與旋轉(zhuǎn)圖像之間的配準(zhǔn)。

圖14 圖像配準(zhǔn)的對(duì)比分析圖Fig.14 Comparison analysis graphs of image registration

圖14(a)～(f)表示使用傳統(tǒng)SIFT 算法、傳統(tǒng)SURF算法、Forstern-SIFT 算法、Harris-SIFT 算法、Trajkovic-SIFT算法與CSS-SIFT算法分別對(duì)實(shí)驗(yàn)一待配準(zhǔn)圖像的特征檢測(cè)數(shù)目、匹配數(shù)目、正確匹配數(shù)目、配準(zhǔn)準(zhǔn)確率、配準(zhǔn)時(shí)間、配準(zhǔn)時(shí)間下降率的對(duì)比分析圖。

實(shí)驗(yàn)二分別使用傳統(tǒng)SIFT 算法、傳統(tǒng)SURF 算法、 Forstern-SIFT 算法、 Harris-SIFT 算法、Trajkovic-SIFT 算法與CSS-SIFT 算法分別對(duì)包含100對(duì)、200 對(duì)、300 對(duì)、400 對(duì)配準(zhǔn)圖像的圖像集進(jìn)行仿真實(shí)驗(yàn)，為了對(duì)比各算法之間的效率，選擇圖像特征配準(zhǔn)準(zhǔn)確率和圖像配準(zhǔn)時(shí)間兩個(gè)參數(shù)作為統(tǒng)計(jì)指標(biāo)，計(jì)算公式如式(6)和(7)所示，統(tǒng)計(jì)結(jié)果如表1所示，從表1 中數(shù)據(jù)分析可知，CSS-SIFT 算法與傳統(tǒng)SIFT 算法、傳統(tǒng)SURF 算法、Forstern-SIFT 算法、Harris-SIFT算法、Trajkovic-SIFT 算法在圖像特征配準(zhǔn)準(zhǔn)確率方面相當(dāng)，在圖像配準(zhǔn)時(shí)間方面降低了58.45%、10.68%、14.84%、16.21%與4.63%。

表1 不同規(guī)模圖像集的圖像配準(zhǔn)時(shí)間、準(zhǔn)確率比較Table 1 The comparison of the image registration time,accuracy of different scale image sets

表1 中SIFT 代表傳統(tǒng)SIFT 算法，SURF 代表傳統(tǒng)SURF 算法，F(xiàn)-SIFT 代表Forstern-SIFT 算法，H-SIFT 代表 Harris-SIFT 算法， T-SIFT 代表Trajkovic-SIFT 算法，C-SIFT 代表CSS-SIFT 算法，時(shí)間代表圖像配準(zhǔn)時(shí)間，單位是秒。準(zhǔn)確率代表圖像特征配準(zhǔn)準(zhǔn)確率，單位是%。

3 結(jié)論

本文首先根據(jù)傳統(tǒng)SIFT 算法存在的問(wèn)題提出了CSS-SIFT 算法，然后通過(guò)仿真實(shí)驗(yàn)與其它優(yōu)化算法作對(duì)比分析發(fā)現(xiàn)，CSS-SIFT 算法在配準(zhǔn)準(zhǔn)確率相當(dāng)?shù)那闆r下提升了配準(zhǔn)速度，為圖像配準(zhǔn)實(shí)時(shí)性要求比較高的應(yīng)用場(chǎng)景提供了一種的解決方案。