基于改進(jìn)RANSAC算法的圖像拼接方法

摘 要：文章提出了一種基于改進(jìn)RANSAC算法的圖像拼接方法。在提取圖像的SIFT特征點(diǎn)后，根據(jù)閾值法對(duì)特征點(diǎn)進(jìn)行初始匹配，然后采用改進(jìn)的RANSAC算法對(duì)初始匹配對(duì)篩選，再計(jì)算圖像間單應(yīng)性矩陣，最后使用加權(quán)平均的融合方法實(shí)現(xiàn)圖像的無(wú)縫拼接。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的RANSAC算法進(jìn)一步提純了匹配對(duì)，使得圖像拼接獲得了高質(zhì)量的效果。

關(guān)鍵詞：圖像拼接；尺度不變特征變換算法；隨機(jī)抽樣一致算法

引言

在計(jì)算機(jī)視覺領(lǐng)域，圖像拼接[1]就是將相互重疊的多幅圖像通過匹配對(duì)準(zhǔn)、圖像融合，最終形成包含各個(gè)圖像信息的一幅新圖像。圖像配準(zhǔn)就是根據(jù)兩幅圖像重疊區(qū)的一致性求解圖像之間的投影變換，即平面單應(yīng)性矩陣。目前圖像配準(zhǔn)方法研究最多，應(yīng)用最為廣泛的是基于特征點(diǎn)的圖像配準(zhǔn)方法[2]。在特征點(diǎn)的提取方面一般使用性能穩(wěn)定、魯棒性好的SIFT提取算法[3]，在圖像的精確匹配方面，最常用的是RANSAC算法[4]。但是由于初始特征點(diǎn)對(duì)的數(shù)量往往較多，匹配特征點(diǎn)對(duì)的內(nèi)點(diǎn)比例相對(duì)較少，使得RANSAC算法執(zhí)行效率較低。

文獻(xiàn)[5]中，RANSAC算法被應(yīng)用到圖像拼接中，利用 RANSAC提純數(shù)據(jù)并估算圖像間的變換矩陣，采用RANSAC方法在粗匹配點(diǎn)集中估算矩陣，為圖像的自動(dòng)拼接融合提供了強(qiáng)有力的保證。文獻(xiàn)[6]針對(duì)特征點(diǎn)匹配中出現(xiàn)的大量冗余特征點(diǎn)對(duì)，提出了一種改進(jìn)的RANSAC算法，但該方法對(duì)于中值濾波器處理的特征點(diǎn)并沒有判斷其是否符合RANSAC算法迭代要求。文獻(xiàn)[7]提出了一種改進(jìn)的全景圖自動(dòng)拼接算法，利用RANSAC算法去除誤匹配，矩陣估算不精確，拼接效果一般。文獻(xiàn)[8]重復(fù)采用兩次RANSAC算法引導(dǎo)匹配，降低了估算變換矩陣的效率。

從以上文獻(xiàn)可知，當(dāng)前對(duì)于RANSAC算法的在圖像拼接中的應(yīng)用，傳統(tǒng)RANSAC算法效率低并且不能很有效的去除誤匹配，因此越來越多的關(guān)于改進(jìn)的RANSAC算法被提出，文章在此基礎(chǔ)上通過研究，提出了一種新的圖像自動(dòng)拼接算法。首先采用SIFT算法提取出具有尺度不變性的特征點(diǎn)，其次根據(jù)閾值法對(duì)特征點(diǎn)進(jìn)行初始匹配，然后采用改進(jìn)的RANSAC算法對(duì)初始匹配對(duì)進(jìn)行篩選，并計(jì)算出圖像間準(zhǔn)確的單應(yīng)性矩陣，最后使用加權(quán)平均的融合方法實(shí)現(xiàn)圖像的無(wú)縫拼接。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的RANSAC算法可以實(shí)現(xiàn)高質(zhì)量的圖像拼接。

1 RANSAC算法思想

RANSAC基本思想描述如下：（1）設(shè)n為初始化模型參數(shù)所需的最小樣本數(shù)，P為一個(gè)樣本集，P的樣本數(shù)>n，從P中隨機(jī)抽取包含n個(gè)樣本的子集S，并由這個(gè)子集初始化模型M；（2）從P中去掉S后的余集SC中與模型M的誤差小于設(shè)定閾值的樣本集以及S構(gòu)成支撐點(diǎn)集Si。Si就是樣本的一致集，被認(rèn)為是有效點(diǎn)集；（3）若Si的樣本數(shù)超過了某個(gè)閾值Ts，認(rèn)為得到正確的模型參數(shù)，并利用點(diǎn)集Si重新估計(jì)新的模型Mi；如果Si的樣本數(shù)小于閾值Ts，重新隨機(jī)抽取新的S，重復(fù)以上過程；（4）在完成一定的抽樣次數(shù)后，最大的一致集Si被選中，用它來重新估計(jì)模型，得到最后的結(jié)果，算法結(jié)束；若未找到一致集，則算法失敗。

從以上處理步驟可見，RANSAC算法包括了三個(gè)輸入的參數(shù)：第一個(gè)是判斷樣本是否滿足模型的閾值，對(duì)于不同的輸入數(shù)據(jù)需要采用人工干預(yù)的方式預(yù)設(shè)合適的門限；第二個(gè)是隨機(jī)抽取樣本集S的次數(shù)，該參數(shù)直接影響SC中樣本參與模型參數(shù)的檢驗(yàn)次數(shù)；第三個(gè)是表征得到正確模型時(shí)，一致集Si的大小，一般要求一致集足夠大。

2 圖像間單應(yīng)性矩陣的求解

2.1 單應(yīng)性矩陣

圖像變換就是將兩幅圖像變換到同一個(gè)坐標(biāo)系下，實(shí)現(xiàn)兩幅圖像的視點(diǎn)統(tǒng)一，如果不進(jìn)行圖像變換，直接對(duì)有重疊部分的兩張圖像拼接，就可能得到視覺混亂、錯(cuò)誤形式的拼接圖像。

2.2 改進(jìn)的RANSAC算法

傳統(tǒng)的SIFT匹配算法首先計(jì)算源圖像某個(gè)特征點(diǎn)到目標(biāo)圖像中歐式距離最近和次近的特征點(diǎn)，然后計(jì)算這兩個(gè)距離的比率，若比率小于給定的閾值，則選擇距離最近的特征點(diǎn)為匹配點(diǎn)，這樣求出的匹配對(duì)數(shù)量過大，產(chǎn)生了無(wú)效匹配。如果直接使用RANSAC算法剔除誤匹配，當(dāng)匹配點(diǎn)中外點(diǎn)比例過高時(shí)，RANSAC算法的隨機(jī)采樣次數(shù)將會(huì)增多，導(dǎo)致其運(yùn)行效率低下，并且求出的單應(yīng)性矩陣精度不高。

（1） 從2個(gè)圖像中分別提取SIFT特征點(diǎn)，并且建立特征點(diǎn)的初始匹配集；（2）從初始匹配集中隨機(jī)抽取4組匹配對(duì)，組成內(nèi)點(diǎn)集S；（3）對(duì)選取的特征點(diǎn)采用最小二乘法計(jì)算單應(yīng)性矩陣H；（4）對(duì)于剩余匹配對(duì)，根據(jù)公式（2）計(jì)算每個(gè)匹配對(duì)到S的馬氏距離d，如果d在合理的閾值范圍內(nèi)，選定為內(nèi)點(diǎn)，否則認(rèn)為是外點(diǎn)，并記錄本次內(nèi)點(diǎn)的數(shù)目；（5）選取內(nèi)點(diǎn)個(gè)數(shù)最多的一個(gè)樣本集，重新計(jì)算H，并根據(jù)公式（3）估算平均誤差Z；（6）重復(fù)上述2-5步，直至找到平均誤差最小的內(nèi)點(diǎn)集，然后計(jì)算最終的H。

3 圖像融合

圖像拼接最終要獲得一幅完整的圖像，并且不能留下任何拼接痕跡。由于圖像配準(zhǔn)后的圖像只對(duì)重疊區(qū)域疊加，致使重疊部分高亮顯示，其他區(qū)域正常顯示，形成了拼接痕跡，影響了最終的拼接效果。圖像融合就是對(duì)圖像配準(zhǔn)后的圖像，減少重疊部分的光照強(qiáng)度或色彩差別，最終實(shí)現(xiàn)無(wú)縫拼接。本算法選取加權(quán)平均法消除圖像間存在的接縫現(xiàn)象。

4 實(shí)驗(yàn)效果

為了觀察算法性能，我們從互聯(lián)網(wǎng)上尋找了兩張有重疊部分的壁畫圖片進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)環(huán)境為CPU 1.4GHZ，4G內(nèi)存的PC機(jī)，軟件開發(fā)工具為Windows 7.0操作系統(tǒng)，Matlab7.7.0。圖1是待拼接的圖片，其中左圖的分辨率為940*646，右圖的分辨率為953*656。圖2是對(duì)待拼接圖片分別提取SIFT特征點(diǎn)后的結(jié)果圖，其中左圖有特征點(diǎn)4925個(gè)，右圖有4486個(gè)。

特征匹配圖如圖3所示，用SIFT算法進(jìn)行特征點(diǎn)提取后，經(jīng)過實(shí)驗(yàn)觀察，對(duì)于相似性判定過程中比例閾值的取值有如下的原則：對(duì)于準(zhǔn)確度要求高的匹配取ratio=0.4，對(duì)于匹配點(diǎn)數(shù)要求多的匹配ratio=0.6，本算法取ratio=0.4，獲得了478個(gè)初始匹配對(duì)。利用經(jīng)典RANSAC算法對(duì)初始匹配對(duì)篩選，誤差閾值設(shè)置為0.5個(gè)像素，獲得了281個(gè)匹配對(duì)；利用文章改進(jìn)RANSAC方法對(duì)初始匹配對(duì)篩選，誤差閾值還是設(shè)置為0.5個(gè)像素，獲得了227個(gè)匹配對(duì)。

最后進(jìn)行圖像融合，得到了完整的無(wú)縫拼接圖像，如圖4所示。圖4a為直接配準(zhǔn)拼接結(jié)果，可發(fā)現(xiàn)有明顯拼接痕跡。圖4b為加權(quán)平均處理后的拼接結(jié)果。

從上述實(shí)驗(yàn)結(jié)果可見，文章使用的特征點(diǎn)提取配準(zhǔn)算法可靠性高，具有很強(qiáng)的可行性，能得到很好的拼接結(jié)果，加權(quán)平均法成功實(shí)現(xiàn)了重疊部分的平滑過渡。

5 結(jié)束語(yǔ)

文章通過SIFT算法提取圖像的特征點(diǎn)，在特征點(diǎn)初始匹配后，通過改進(jìn)的RANSAC方法進(jìn)一步剔除誤匹配點(diǎn)對(duì)，滿足了配準(zhǔn)準(zhǔn)確度和穩(wěn)定性的要求，用加權(quán)平均法實(shí)現(xiàn)圖像融合，獲得了很好的拼接效果。

參考文獻(xiàn)

[1]蓋進(jìn)偉，韓燮.一種基于特征點(diǎn)匹配的圖像拼接方法研究[J].計(jì)算機(jī)測(cè)量與控制，2012，20（3）：836-837.

[2]Beier T，Neely S. Feature-based image metamorphosis[C].SIGGRAPH'92 Proceedings of the 19th annual conference on Computer graphics and interactive techniques， 1992：35-42.

[3]D. G. Lowe， Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision， 2004，60（2）： 91-110.

[4]Fischler M. A. and Bolles R.C. Random Sample Consensus： A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography [J].Communications of the ACM，1981，24（6）：381-395.

[5]趙向陽(yáng)，杜利民.一種全自動(dòng)穩(wěn)健的圖像拼接融合算法[J].中國(guó)圖象圖形學(xué)報(bào)，2004，9（4）：417-422.

[6]方賢勇.圖像拼接技術(shù)研究[D].浙江：浙江大學(xué)，2005.

[7]趙輝，陳輝.一種改進(jìn)的全景圖自動(dòng)拼接算法[J].中國(guó)圖象圖形學(xué)報(bào)，2007，12（2）：336-334.

[8]周劍軍，歐陽(yáng)寧，張彤.基于RANSAC的圖像拼接方法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2009，30（24）：5692-5694.

作者簡(jiǎn)介：雒偉群（1969-），男，陜西禮泉人，教授，研究方向：圖像處理、計(jì)算機(jī)視覺。