基于SURF 和改進(jìn)配準(zhǔn)的圖像拼接算法

周高磊，黃敏青

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065）

0 引言

現(xiàn)實(shí)生活中，人們對(duì)大場景圖像的獲取通常有兩種途徑。第一種為單個(gè)攝像頭利用調(diào)整焦距的方式變換拍攝場景大小，采用這種方式的一個(gè)缺點(diǎn)就是場景的細(xì)節(jié)往往不能滿足需求。第二種為通過圖像拼接的方法，將多個(gè)攝像頭采集到的具有重疊區(qū)域的圖像拼接起來獲得一幅大場景的圖像，該方式能得到場景信息更豐富的圖像。因此圖像拼接算法的研究有非常重要的現(xiàn)實(shí)意義。

目前大部分關(guān)于圖像拼接算法的研究都是基于圖像配準(zhǔn)與圖像融合。圖像配準(zhǔn)是對(duì)兩幅具有一定重合區(qū)域的圖像進(jìn)行幾何變換關(guān)系的匹配，把兩幅圖像變換到相同坐標(biāo)系，實(shí)現(xiàn)圖像重疊區(qū)域的對(duì)齊。學(xué)者提出了多種圖像配準(zhǔn)方法，但大體上可以分為以下幾類。第一種：基于圖像灰度值的配準(zhǔn)。該方法通過計(jì)算待配準(zhǔn)圖像之間相同尺寸區(qū)域的相似性度量來實(shí)現(xiàn)配準(zhǔn)；第二種：基于頻率域的匹配[4]。將待配準(zhǔn)圖像變換到頻域再進(jìn)行匹配；第三種：基于特征點(diǎn)的提取與匹配。該方法首先提取圖像中的特征點(diǎn)，然后利用良好的匹配特征點(diǎn)對(duì)計(jì)算單應(yīng)性變換矩陣，從而實(shí)現(xiàn)圖像配準(zhǔn)。前兩種方法有其不足與局限性，而基于特征點(diǎn)的匹配方法具有良好的效果和魯棒性，所以該方法得到了廣泛的應(yīng)用和發(fā)展。

Lowe 于2004 年提出了SIFT（Scale Invariant Features Transform）[1]特征點(diǎn)提取算法。該算法在Dog 金字塔的基礎(chǔ)上進(jìn)行特征點(diǎn)的定位，然后為每個(gè)特征點(diǎn)指定主方向，通過統(tǒng)計(jì)梯度直方圖來為每個(gè)特征點(diǎn)建立128 維的描述子。Dog 金字塔的引入和主方向的選取使其提取的特征點(diǎn)具有尺度不變性、旋轉(zhuǎn)不變性，而它的缺點(diǎn)就是計(jì)算量大。為了降低特征點(diǎn)提取過程計(jì)算量，2006 年，Bay 等人提出了SURF[2]算法。SURF 使用不同尺度的盒濾波器與圖像卷積來構(gòu)建圖像金字塔，從而使特征點(diǎn)檢測的運(yùn)算具有并行性。在提取特征描述子上，SURF 算法通過統(tǒng)計(jì)一定區(qū)域內(nèi)Harr 小波響應(yīng)獲取主方向，然后給每個(gè)特征點(diǎn)建立64 維的描述子，描述子維度遠(yuǎn)低于SIFT。因此，SURF 算法計(jì)算速度更快，性能更加穩(wěn)定，同時(shí)其生成的描述子具有良好的區(qū)分性。因此本文的特征點(diǎn)提取方法將采用SURF。

圖像拼接中融合方法通常有：加權(quán)融合、最優(yōu)拼接縫融合[9]、多頻帶融合[3]。加權(quán)融合方法及其變種簡單易于實(shí)現(xiàn)，可以使重疊區(qū)域融合過度自然，在大多數(shù)場景下其性能不亞于復(fù)雜的融合算法。多頻帶融合（multi blend）的目的也是為了使重疊區(qū)域過度自然、無明顯縫隙，其思想是：在圖像的不同分辨率下采用不同的權(quán)值進(jìn)行融合，最后將各個(gè)分辨率下的結(jié)果綜合。其拼接效果良好，但與加權(quán)法相比較，增加了時(shí)間復(fù)雜度。最優(yōu)接縫融合是在尋找重合區(qū)域最佳接縫的基礎(chǔ)上進(jìn)行融合，最優(yōu)接縫與其他融合方法的配合可以帶來很好的效果。但接縫尋找過程帶來的時(shí)間消耗與其提升的拼接效果之間需要一定權(quán)衡。本文將使用的漸入漸出融合方法是加權(quán)融合方法的一個(gè)變種，該方法可以使重疊區(qū)域融合過度自然，拼接效果能很好地滿足要求。

1 圖像配準(zhǔn)

圖像配準(zhǔn)是拼接過程的第一步。為提高配準(zhǔn)效率，本文使用SURF 算法提取特征點(diǎn)，并且提取特征點(diǎn)過程只在重合區(qū)域進(jìn)行。特征點(diǎn)匹配階段使用暴力枚舉匹配算法，該方法穩(wěn)定可靠。通過對(duì)重疊區(qū)域進(jìn)一步分塊，匹配過程只在各對(duì)應(yīng)分塊之間進(jìn)行，這樣可以降低特征點(diǎn)匹配的搜索空間大小，加快匹配過程。特征點(diǎn)匹配完成后，利用RANSAC 方法計(jì)算出最優(yōu)的單應(yīng)性矩陣，完成配準(zhǔn)。

1.1 SURF特征提取

SURF 算法中文名為“加速魯棒性特征”。SURF 特征檢測的步驟：

（1）尺度空間的極值檢測：搜索所有尺度空間上的圖像，通過Hessian 矩陣來識(shí)別潛在的興趣點(diǎn)。

（2）過濾特征點(diǎn)，并進(jìn)行精確定位。

（3）主特征方向賦值：統(tǒng)計(jì)特征點(diǎn)圓形鄰域內(nèi)的Harr 小波特征。在60 度扇形內(nèi)，每次將60 度扇形區(qū)域旋轉(zhuǎn)0.2 弧度進(jìn)行統(tǒng)計(jì)，將值最大的那個(gè)扇形的方向作為該特征點(diǎn)的主方向。

（4）生成特征點(diǎn)描述符：在特征點(diǎn)主方向周圍的鄰域內(nèi)，取4×4 個(gè)小矩形區(qū)域，統(tǒng)計(jì)每個(gè)小區(qū)域的Harr特征，每個(gè)區(qū)域計(jì)算出一個(gè)4 維的特征向量。因此，每個(gè)SURF 特征點(diǎn)由一個(gè)64 維的特征向量作為描述子。

為使提取的特征點(diǎn)具有尺度不變性，SURF 算法首先要對(duì)圖像進(jìn)行高斯濾波，其公式如下：

等號(hào)右邊為高斯函數(shù)與原圖像的卷積，σ 為模糊系數(shù)。高斯函數(shù)應(yīng)用不同的σ 構(gòu)成了所需要的尺度空間。濾波以后構(gòu)建Hessian 矩陣，構(gòu)建Hessian 矩陣的目的是為了生成穩(wěn)定的邊緣點(diǎn)，為特征提取做準(zhǔn)備。經(jīng)過濾波后的Hessian 矩陣表達(dá)式如下：

從公式（2）可以得出hessian 矩陣的行列式值為如下公式：為了提高運(yùn)算速度，SURF 算法使用盒式濾波器來替代高斯濾波器。但是為了平衡因使用盒式濾波器近似所帶來的誤差，需要在Lxy上乘一個(gè)加權(quán)系數(shù)ω。此時(shí)的H 矩陣行列式值表達(dá)式為：

SURF 特征點(diǎn)的定位過程和SIFT 算法一致，將經(jīng)過Hessian 矩陣處理的每個(gè)像素點(diǎn)與其圖像域和尺度域的所有相鄰點(diǎn)進(jìn)行比較，找出潛在的極值點(diǎn)，這些點(diǎn)就是侯選特征點(diǎn)。

SURF 算法中，在特征點(diǎn)的圓形鄰域內(nèi)統(tǒng)計(jì)60 度扇形內(nèi)所有點(diǎn)的水平、垂直Harr 小波特征總和。然后扇形以0.2 弧度大小的間隔進(jìn)行旋轉(zhuǎn)，再次統(tǒng)計(jì)該區(qū)域內(nèi)Harr 小波特征值。最后將值最大的那個(gè)扇形的方向作為該特征點(diǎn)的主方向。

計(jì)算出主特征方向后，在特征點(diǎn)周圍以主方向?yàn)闇?zhǔn)的一個(gè)邊長為20σ的正方形框，將其分為4×4 個(gè)子區(qū)域，分別在每個(gè)子區(qū)域內(nèi)選取25 個(gè)像素，計(jì)算其水平方向與垂直方向的Haar 小波特征。至此，每個(gè)子區(qū)域得到一個(gè)4 維描述符向量，每一維分別表示水平和垂直方向Harr 小波響應(yīng)之和、水平方向絕對(duì)值之和以及垂直方向絕對(duì)值之和。所以SURF 特征描述子的維度為64 維。小波響應(yīng)的光照不變性賦予了SURF 特征描述子對(duì)光照變化不敏感的特性。

1.2 特征點(diǎn)局部提取與分塊匹配

為提高配準(zhǔn)過程的效率，本文提出的改進(jìn)配準(zhǔn)思想基于只提取待拼接圖像重疊區(qū)域特征點(diǎn)，以及特征點(diǎn)匹配時(shí)對(duì)重疊區(qū)域再次分塊以加速匹配過程。兩相機(jī)位置固定的拼接場景下，如圖1，其重疊區(qū)域可以從拍攝出的圖像大致確定。

假設(shè)待拼接圖像為Ileft和Iright。其中兩圖像重疊區(qū)域的大小占原圖像的。提取兩幅圖像全局的特征點(diǎn)所需要的時(shí)間為T1。則只提取兩幅圖像重疊區(qū)域特征點(diǎn)理論上所帶來的時(shí)間消耗tlocal為如下公式：

圖1 相機(jī)位置示意圖

提取出兩幅圖像重疊區(qū)域的特征點(diǎn)之后，采用暴力枚舉匹配算法對(duì)兩幅圖像特征點(diǎn)進(jìn)行匹配。根據(jù)該匹配算法的特點(diǎn)，對(duì)重疊區(qū)域進(jìn)一步分塊，如圖2。對(duì)應(yīng)塊之間進(jìn)行匹配，可以縮小特征點(diǎn)匹配的搜索空間。假設(shè)不對(duì)重疊區(qū)域分塊的情況下，特征點(diǎn)匹配過程的耗時(shí)為T2。假設(shè)重疊區(qū)域分為n 塊，左圖Ileft中每一塊內(nèi)含有的潛在特征點(diǎn)個(gè)數(shù)為l1,l2,…,ln；右圖Iright中每一塊內(nèi)含有的潛在特征點(diǎn)個(gè)數(shù)為r1,r2,…,rn。假設(shè)n 為2，此時(shí)tpart為如下公式：

圖2 待配準(zhǔn)圖像分塊示意圖

從上述兩個(gè)公式很容易地看出，一般情況下改進(jìn)后的配準(zhǔn)方法可以很大程度地提高配準(zhǔn)效率。極端情況下分塊之間的特征點(diǎn)分布非常不均勻，有的特別少，有的特別多。此時(shí)雖然分塊的配準(zhǔn)不能加速匹配過程，但局部的特征點(diǎn)提取還是會(huì)起到提高效率的作用。

1.3 RANSAC剔除誤匹配計(jì)算單應(yīng)性變換

因?yàn)樘卣鼽c(diǎn)匹配過程存在誤匹配點(diǎn)，可能會(huì)給單應(yīng)性變換矩陣計(jì)算帶來誤差。而使用RANSAC[5]算法可以達(dá)到提純匹配特征點(diǎn)對(duì)，計(jì)算出良好單應(yīng)性矩陣的目的。單應(yīng)性變換模型是圖像拼接中使用的經(jīng)典模型。待拼接圖像對(duì)應(yīng)點(diǎn)之間的幾何變換關(guān)系可以由以下公式表示：

RANSAC 算法剔除誤匹配點(diǎn)，同時(shí)計(jì)算出最優(yōu)單應(yīng)性變換矩陣的流程如下：

（1）根據(jù)單應(yīng)性變換模型所需參數(shù)數(shù)量在數(shù)據(jù)集中隨機(jī)采樣樣本。

（2）根據(jù)1 中采樣到的數(shù)據(jù)點(diǎn)計(jì)算出單應(yīng)性變換矩陣H。

（3）將所有的數(shù)據(jù)樣本代入2 中求出模型參數(shù)H，若某樣本對(duì)誤差小于一定閾值則視為內(nèi)點(diǎn)。計(jì)算出內(nèi)點(diǎn)在總數(shù)據(jù)中所占的比率。如果該比率大于設(shè)定閾值，則接受此時(shí)的參數(shù)H。再利用所有內(nèi)點(diǎn)重新計(jì)算更準(zhǔn)確的H。

（4）若內(nèi)點(diǎn)所占比率小于設(shè)定閾值，重復(fù)步驟（1）-（3）。

利用RANSAC 算法進(jìn)行模型估算，可以得到一個(gè)盡可能滿足樣本集中大部分樣本對(duì)的變換模型。多次隨機(jī)采樣初始點(diǎn)的方法，有效消除了誤匹配特征點(diǎn)對(duì)給模型估計(jì)帶來的影響，保證了模型參數(shù)的準(zhǔn)確性。

2 圖像融合

為了保證拼接質(zhì)量，使融合后的重疊區(qū)域無明顯縫隙、且過度自然，在拼接的最后一步本文采用了漸入漸出加權(quán)融合算法。根據(jù)待融合像素點(diǎn)距重疊區(qū)域左邊界的距離，不斷改變左右兩幅圖之間像素點(diǎn)融合時(shí)的加權(quán)因子，以實(shí)現(xiàn)拼接后的圖像重疊區(qū)域內(nèi)像素值光滑變化。該融合方法可以由以下公式表示：

其中I1，I2為待拼接圖像，I 為拼接后的圖像。加權(quán)因子α=w，其中w 為重疊區(qū)域的橫坐標(biāo)寬度，wd為重疊區(qū)域像素點(diǎn)距重疊區(qū)左邊界的橫坐標(biāo)距離。可以看出α 的變化范圍從0 到1。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文改進(jìn)算法的可行性與有效性，對(duì)多組圖像進(jìn)行實(shí)驗(yàn)，拼接效果和速度與OpenCV 拼接算法進(jìn)行對(duì)比。算法實(shí)現(xiàn)使用OpenCV 4.1.0，運(yùn)行環(huán)境為Windows10+VS2019 ，計(jì)算機(jī)配置為Intel Core i5 3.2GHz 和8GB RAM。其中配準(zhǔn)過程重疊區(qū)域大小為原圖的1/3，重疊區(qū)域分塊數(shù)量n 的大小取2。

圖3 為第一組待拼接圖像white car 的左圖和右圖；圖4 為第二組待拼接圖像houses 的左圖和右圖。

圖3 white car左右圖

圖4 houses左右圖

圖5 為OpenCV 拼接后的效果圖。圖6 為本文算法拼接后的效果圖。

圖5 OpenCV拼接效果

表1 為重疊區(qū)特征點(diǎn)分塊匹配與非分塊匹配的時(shí)間消耗對(duì)比，以white car 為例。其中Hessian 矩陣的閾值決定提取到特征點(diǎn)的數(shù)量，值越大提取到的特征點(diǎn)越少。表2 為本文拼接算法耗時(shí)與OpenCV 拼接算法的耗時(shí)對(duì)比。

表1 重疊區(qū)特征點(diǎn)分塊匹配與非分塊匹配的時(shí)間消耗（ms）

表2 本文拼接算法與OpenCV 拼接算法時(shí)間消耗（ms）

由表1 可以看出分塊匹配的方法相較于非分塊的方法效率上的提升是明顯的。每一分塊的特征點(diǎn)只與另一圖像中其對(duì)應(yīng)塊的特征點(diǎn)之間匹配，縮小了暴力枚舉匹配的搜索空間，因此效率有很大的提升。圖像拼接算法尚無客觀的評(píng)價(jià)指標(biāo)，只有通過人為主觀的評(píng)價(jià)。從表2 與圖5、圖6 結(jié)合來看，本文提出的拼接算法在提高效率的同時(shí)還具有良好的拼接效果。

4 結(jié)語

本文針對(duì)固定相機(jī)平臺(tái)下直接應(yīng)用現(xiàn)有圖像拼接算法存在的效率問題展開研究，在現(xiàn)有圖像配準(zhǔn)方法上提出改進(jìn)。首先在圖像特征點(diǎn)提取部分采用了魯棒性和運(yùn)算效率較優(yōu)的具有旋轉(zhuǎn)尺度，以及光照不變性的SURF 算法。提取特征點(diǎn)時(shí)根據(jù)固定平臺(tái)的重合區(qū)域特點(diǎn)，在達(dá)到配準(zhǔn)要求并降低時(shí)間消耗的目的下，本文算法只提取圖像的局部特征點(diǎn)。特征點(diǎn)配準(zhǔn)階段對(duì)重合區(qū)域進(jìn)行分塊，達(dá)到減小特征空間搜索的范圍，進(jìn)而縮短了匹配用時(shí)。融合階段采用漸入漸出加權(quán)法使融合重疊區(qū)域時(shí)像素值平滑過渡。實(shí)驗(yàn)表明本文算法不僅具有較高的拼接效率，拼接效果也能滿足實(shí)際需求。