基于導(dǎo)向快速與旋轉(zhuǎn)簡短和隨機抽樣一致組合的圖像拼接算法優(yōu)化

李明亮， 侯英竹

(1.河北地質(zhì)大學(xué)信息工程學(xué)院， 石家莊 050031； 2.智能傳感物聯(lián)網(wǎng)技術(shù)河北省工程研究中心， 石家莊 050031)

計算機科學(xué)與技術(shù)日新月異，構(gòu)建全景圖像成為了研究熱點，目前全景圖像已在醫(yī)用影像處理、虛擬現(xiàn)實、圖像遙感技術(shù)等方面有較為成熟的應(yīng)用[1]。由于設(shè)備有限，只能夠得到清晰度較高的局部圖像或者清晰度較低的全景圖像。目前研究發(fā)現(xiàn)將清晰度較高的局部圖像進(jìn)行無縫拼接可以得到清晰度較高的全景圖像，研究一種拼接效果好、拼接效率高的圖像拼接算法尤為必要[2]。

圖像存在噪聲，在圖像拼接之前需要進(jìn)行圖像預(yù)處理，Mallat建立了小波變換快速算法并應(yīng)用于圖像的分解與重構(gòu)，提出了利用小波變換模極大值原理進(jìn)行信號去噪[3-4]。圖像拼接的關(guān)鍵是準(zhǔn)確快速找到待拼接圖像的重疊部分，最常用的方法有像素查詢、塊匹配、特征提取等[5-6]。將待拼接圖像重疊部分進(jìn)行融合完成圖像拼接[7]。尺度不變特征轉(zhuǎn)換(scale invariant feature transform，SIFT)算法[8]和加速魯棒特征(speed-up robust features，SURF)算法[9]的實現(xiàn)原理相似，其中SURF算法比SIFT算法構(gòu)建線性的尺度空間的速度快[10]，SIFT算法與SURF算法有較強的魯棒性，但構(gòu)建的線性尺度空間丟失圖像細(xì)節(jié)信息[11-12]。導(dǎo)向快速與旋轉(zhuǎn)簡短(oriented fast and rotated brief, ORB)算法為了使其更加具有方向性,使用一個不具備旋轉(zhuǎn)與尺度不變性的二進(jìn)制描述符對該特征點的位置進(jìn)行描述,計算速度快[13-14]。文獻(xiàn)[15]首次提出了一種通過利用rBRIEF(rotated BRIEF) 的描述子對特征點提取二進(jìn)制描述符,其利用這個特征點的一個主方向決定二進(jìn)制描述符的位置,得到一個具有非線性和尺度不變的二進(jìn)制描述符。RANSAC算法[16]能夠消除大部分不相互匹配的特征點[17],提升了相互匹配的精度[18]。以上研究雖然在一定條件下大大提升了ORB算法的圖像匹配精度,但對于圖像在相位變化復(fù)雜的情況下,仍無法解決圖像匹配精度低的問題。Aslantas進(jìn)行了圖像融合實驗，結(jié)果表明拉普拉斯金字塔圖像融合[19-20]效果更顯著。

在現(xiàn)有特征提取及特征點匹配算法的基礎(chǔ)上，現(xiàn)研究SIFT算法、SURF算法、ORB算法，使得圖像特征匹配速度更快、精度更高，研究RANSAC算法與拉普拉斯金字塔圖像融合算法，使得圖像拼接更加精確。提出一種ORB算法、RANSAC算法與拉普拉斯金字塔圖像融合算法組合的圖像拼接算法，以期達(dá)到圖像拼接速度更快、精度更高及無損無痕的效果。

1 利用小波變換對圖像進(jìn)行預(yù)處理

小波變換將圖像的數(shù)據(jù)信息進(jìn)行時間和頻率的局部變換，可同時在時域和頻率中對圖像數(shù)據(jù)進(jìn)行多尺度聯(lián)合分析，所以采用Harr小波函數(shù)對圖像進(jìn)行分解，既保留了圖像特征，又降低了噪聲對圖像特征提取的干擾，提高了圖像匹配的精度，進(jìn)而提高了圖像拼接的精度。

Harr小波函數(shù)的數(shù)學(xué)定義為

(1)

尺度函數(shù)為

(2)

對于待拼接圖像，分別在水平和垂直方向通過Harr小波函數(shù)實現(xiàn)一級小波變換分解。圖1為經(jīng)過一級小波變換行分解和列分解后子圖像的劃分。

小波變換的重構(gòu)算法對分解后的小波系數(shù)進(jìn)行逆變換重構(gòu)圖像，得到下一步進(jìn)行特征提取的圖像。

LL子帶表示圖像的近似；HL子帶表示圖像的水平方向特性；LH 子帶表示圖像的垂直方向特性；HH子帶表示圖像的對角特性圖1 圖像一級小波分解與重構(gòu)過程Fig.1 Image first order wavelet decomposition and reconstruction process

2 ORB算法

ORB算法采用rBRIEF(rotated BRIEF) 描述子對特征點提取二進(jìn)制描述符，其利用特征點的主方向來決定二進(jìn)制描述符的方向。

選取一個S×S大小的像素塊p，p經(jīng)過平滑處理，令像素塊中心處的灰度值為p(x)，則二值測試準(zhǔn)則τ定義為

(3)

在特征點周圍選取n個點，坐標(biāo)為(xi,yi)，通過二值測試準(zhǔn)則進(jìn)行比較，得到具有旋轉(zhuǎn)不變性質(zhì)的n維二進(jìn)制特征描述符，表達(dá)式為

(4)

定義一個2×n階矩陣S為

(5)

特征點主方向θ對應(yīng)的旋轉(zhuǎn)矩陣Rθ為

(6)

將矩陣S進(jìn)行旋轉(zhuǎn)變換得到新的矩陣Sθ為

(7)

二進(jìn)制描述符為

gn(p,θ)=fn(p)|(xi,yi)∈Sθ

(8)

3 特征點匹配

3.1 特征點粗匹配

運用ORB算法完成特征提取后，接著利用正反雙向匹配算法進(jìn)行特征點粗匹配。

正反雙向匹配算法步驟如下。

步驟1在圖像G1中隨機選取一個特征點h，計算特征點h與待拼接圖像G2中各個特征點之間的漢明距離q。

步驟2從待拼接圖像G2各個特征點中選取與特征點h漢明距離最近的兩個特征點，即最近點h1和次近點h2。

步驟3設(shè)h與h1之間的漢明距離為L1,h與h2之間的漢明距離為L2，若L1/L2>0.7，則表示特征點h和h1是一對匹配點。

步驟4根據(jù)步驟3規(guī)則計算得到圖像G1中的特征點相應(yīng)的匹配點對集為C1。同上，計算得到圖像G2中的特征點相應(yīng)的匹配點對集為C2。對比集合C1中的匹配點對與集合C2的匹配點對，若相同則保留，否則剔除。

3.2 特征點精匹配

經(jīng)過粗匹配后的特征點對中有時候可能會出現(xiàn)有錯誤的匹配點對,會大大降低最終拼接精度,因此使用RANSAC算法提純了匹配點對。

RANSAC算法步驟如下。

步驟1隨機選取4組匹配點對(保證這4組匹配點對不共線)并用最小二乘法求解單應(yīng)矩陣H。

步驟2計算根據(jù)H變換得到的特征點與粗匹配得到的特征點之間的歐氏距離，設(shè)定閾值選取匹配點對集合I。

步驟3歐氏距離在設(shè)定閾值內(nèi)的匹配點對加入匹配點對集合I。每次迭代更新匹配點對集合I和迭代次數(shù)K，確定迭代次數(shù)K使得置信概率更高。置信概率為隨機抽取K次，至少出現(xiàn)一次4組匹配點對都正確的概率，設(shè)特征點集包含正確數(shù)據(jù)的百分比為n，置信概率為1-(1-8n)K。

步驟4計算匹配點對集合I對應(yīng)的變換矩陣H，即最終的圖像變換模型。

4 圖像融合

直接進(jìn)行圖像拼接，拼接處存在裂痕，利用拉普拉斯金字塔融合算法進(jìn)行圖像融合完成無縫拼接。

拉普拉斯金字塔融合算法步驟如下。

步驟1搭建高斯金字塔。

(9)

式(9)中：l為金字塔的層數(shù)；(m,n)和(i,j)為圖像大小的參數(shù)；Gl(i,j)為第l層高斯金字塔圖像；Gl-1(2i+m,2j+n)為第l-1層高斯金字塔圖像；w(m,n)=h(m)h(n)為高斯卷積核。

(10)

步驟2高斯金字塔內(nèi)的相鄰層相減，得到拉普拉斯金字塔。

拉普拉斯金字塔表達(dá)式為

Ll=Gl-pyrUp(Gl+1)

(11)

式(11)中：l為金字塔的層數(shù)；Gl為第l層高斯金字塔圖像；Gl+1為第l+1層高斯金字塔圖像；Ll為第l層拉普拉斯金字塔圖像；pyrUp()為對圖像進(jìn)行上采樣函數(shù)。

步驟3拉普拉斯金字塔由底層逐層向上相加，得到融合圖像。

5 圖像拼接

進(jìn)行圖像拼接的過程中存在計算量大、運行時間長、提取錯誤匹配點對的問題，為了提高圖像拼接的速度與精度,提出了改進(jìn)的算法。

圖像拼接的步驟如下。

步驟1輸入待拼接的圖像。

步驟2利用小波變換對圖像進(jìn)行預(yù)處理。

步驟3利用ORB算法選取圖像特征點并匹配。

步驟4利用RANSAC算法剔除錯誤匹配點對。

步驟5利用拉普拉斯金字塔算法進(jìn)行圖像融合。

步驟6輸出拼接完成的全景圖像。

算法流程如圖2所示。

圖2 改進(jìn)的算法流程圖Fig.2 Improved algorithm flow chart

6 實驗結(jié)果分析

6.1 實驗1：特征匹配結(jié)果對比

選取4組圖像分別利用SIFT算法、SURF算法、ORB算法及本文算法進(jìn)行特征匹配實驗。

表1進(jìn)行了不同算法提取的特征數(shù)量對比，表2進(jìn)行了不同算法特征提取時間對比，在windows10系統(tǒng)、內(nèi)存8 GB計算機PyCharm軟件下測試出來，利用Python中的time.time( )函數(shù)計算運行時間。

表1 不同方法提取特征數(shù)量對比Table 1 Comparison of the number of features extracted by different methods

表2 不同方法提取特征時間對比Table 2 Time comparison of feature extraction by different methods

選取圖3作為實驗圖像，在空域上進(jìn)行特征匹配的結(jié)果如圖4所示，其中，SIFT算法特征匹配結(jié)果如圖4(a)所示，SURF算法特征匹配結(jié)果如圖4(b)所示，ORB算法特征匹配結(jié)果如圖4(c)所示，基于ORB和RANSAC組合的圖像拼接算法特征匹配結(jié)果如圖4(d)所示。

由表1不同方法提取特征數(shù)量對比可知，SIFT算法比SURF和ORB算法提取特征數(shù)量要少得多。而基于ORB和RANSAC組合的圖像拼接算法比SIFT算法提取特征數(shù)量有減少，但是不明顯，分析是因為選取拼接的圖像簡單、特征點較少。由表2不同方法提取特征時間對比可知，同等條件下，SIFT算法比SURF和ORB算法提取特征時間要少。本文算法將圖像通過小波變換進(jìn)行預(yù)處理減小了特征提取的工作量，比SIFT算法提取特征時間也有減少，本文算法提取特征點平均耗時為0.309s，用時約為SIFT算法的84.7%、SURF算法的36.4%、ORB算法的64.9%。最后，結(jié)合圖4的匹配結(jié)果來看，圖4(c)中匹配點對最少，圖4(a)、圖4(b)、圖4(c)中的錯誤匹配點對較多，圖4(d)中有較多的匹配點對并且錯誤匹配點對最少，因此基于ORB和RANSAC組合的圖像拼接算法特征點匹配精度高。

圖3 實驗圖像Fig.3 Experimental image

圖4 圖像特征匹配實驗Fig.4 Image feature matching experiment

6.2 實驗2：圖像粗匹配對比

實驗2將特征點暴力匹配實驗和特征點粗匹配實驗進(jìn)行對比，在空域上進(jìn)行特征點粗匹配的結(jié)果如圖5所示，圖5(b)中的錯誤匹配點對比圖5(a)中的錯誤匹配點對少，特征匹配的準(zhǔn)確率更高。

6.3 實驗3：圖像精匹配對比

實驗3將特征點粗匹配和特征點精匹配實驗進(jìn)行對比，在空域上進(jìn)行特征點精匹配的結(jié)果如圖6所示，圖6(a)中存在錯誤匹配點對，圖6(b)中不存在錯誤匹配點對，特征匹配的準(zhǔn)確率進(jìn)一步提高。

6.4 實驗4：不同提取特征算法特征點匹配實驗對比

所用的實驗圖像為hpatches數(shù)據(jù)庫中的boat、bird、Beyus、azzola、apprentices、abstract共6組圖像，主要針對不同提取特征方法對不同視角圖像進(jìn)行特征點匹配實驗對比，統(tǒng)計特征點匹配對數(shù)與運行時間，其中時間在windows10系統(tǒng)、內(nèi)存8 GB計算機PyCharm軟件下測試出來，利用Python中的time.time()函數(shù)計算運行時間，從每組圖像選取兩幅存在視角差異的圖像進(jìn)行實驗，如圖7所示。結(jié)果如表3～表8所示。

圖5 圖像粗匹配對比實驗Fig.5 Image rough matching contrast experiment

圖6 圖像精匹配對比實驗Fig.6 Image precision matching contrast experiment

表3 不同提取特征方法進(jìn)行特征點暴力匹配數(shù)量對比Table 3 Logarithmic comparison of feature point violence matching by different feature extraction methods

圖7 hpatches數(shù)據(jù)庫視角差異圖Fig.7 View difference diagram of hpatches database

表4 不同提取特征方法進(jìn)行特征點粗匹配數(shù)量對比Table 4 Logarithmic comparison of feature points rough matching of by different feature extraction methods

表5 不同提取特征方法進(jìn)行特征點精匹配數(shù)量對比Table 5 Logarithmic comparison of feature point precision matching by different feature extraction methods

表6 不同提取特征方法進(jìn)行特征點暴力匹配時間對比Table 6 The violence matching time of feature points comparison with different feature extraction methods

表7 不同提取特征方法進(jìn)行特征點粗匹配時間對比Table 7 The rough matching time of feature points comparison with different feature extraction methods

表8 不同提取特征方法進(jìn)行特征點精匹配時間對比Table 8 The precision matching time of feature points comparison with different feature extraction methods

由表3不同提取特征方法進(jìn)行特征點暴力匹配對數(shù)數(shù)量對比可知，ORB算法明顯比SIFT算法、SURF算法、AKAZE算法和BRISK算法進(jìn)行特征點暴力匹配對數(shù)數(shù)量少。由表4不同提取特征方法進(jìn)行特征點粗匹配對數(shù)數(shù)量對比可知，ORB算法明顯比SIFT算法、SURF算法、AKAZE算法和BRISK算法進(jìn)行特征點粗匹配對數(shù)數(shù)量少。由表5不同提取特征方法進(jìn)行特征點精匹配對數(shù)數(shù)量對比可知，ORB算法明顯比SIFT算法、SURF算法、AKAZE算法和BRISK算法進(jìn)行特征點精匹配對數(shù)數(shù)量少。由表6不同提取特征方法進(jìn)行特征點暴力匹配時間對比可知，ORB算法明顯比SIFT算法、SURF算法、AKAZE算法和BRISK算法進(jìn)行特征點暴力匹配時間少。由表7不同提取特征方法進(jìn)行特征點粗匹配時間對比可知，ORB算法明顯比SIFT算法、SURF算法、AKAZE算法和BRISK算法進(jìn)行特征點粗匹配時間少。由表8不同提取特征方法進(jìn)行特征點精匹配時間對比可知，ORB算法明顯比SIFT算法、SURF算法、AKAZE算法和BRISK算法進(jìn)行特征點精匹配時間少。實驗結(jié)果表明ORB算法進(jìn)行特征點匹配時間短。

6.5 實驗5：圖像融合實驗對比

實驗5進(jìn)行圖像融合實驗對比，結(jié)果如圖8所示，圖8(a)為圖像拼接結(jié)果，其中圖像拼接處存在明顯的裂痕，圖8(b)為圖像融合結(jié)果，圖像拼接處裂痕不明顯。

從圖8(a)、圖8(b)可以看到，圖像拼接之后拼接處有明顯裂痕。利用拉普拉斯金字塔算法進(jìn)行圖像融合之后獲得的圖像拼接處裂痕不明顯，因此，基于ORB和RANSAC組合的圖像拼接算法具有較好的拼接效果。

圖8 圖像融合實驗Fig.8 Image fusion experiment

7 結(jié)論

根據(jù)圖像拼接精度高、速度快的要求，介紹了圖像拼接的流程，提出了對圖像拼接的算法進(jìn)行改進(jìn)的想法，然后研究了基于小波變換的圖像預(yù)處理、ORB算法、優(yōu)化圖像匹配的RANSAC算法以及拉普拉斯金字塔融合算法，得到了改進(jìn)的圖像拼接算法，最后進(jìn)行實驗。實驗結(jié)果表明：提出的基于ORB和RANSAC組合的圖像拼接算法對選取的圖像進(jìn)行提取特征平均耗時約為SIFT算法的84.7%、SURF算法的36.4%、ORB算法的64.9%，圖像特征匹配精度提高，圖像特征匹配時間縮短，消除圖像拼接處裂痕，是一種優(yōu)質(zhì)的圖像拼接算法。