新型優化SIFT的圖像快速配準方法研究

魏利勝 ，周圣文

1.安徽工程大學 電氣工程學院，安徽 蕪湖 241000

2.上海大學 機電工程與自動化學院，上海 200072

圖像匹配是虛擬現實、機器視覺等領域的一個研究熱點[1]，被廣泛應用于遠程監控、工業機器人、地質勘探、醫療診斷以及汽車電子等領域[2]。它主要包括圖像配準和圖像融合兩個方面。當前，許多科研人員對圖像配準技術及應用進行了深入研究，取得了豐碩的成果。

Lowe[3]于1999年提出了尺度不變特征變換（Scale Invariant Feature Transform，SIFT）圖像配準算法，該方法在仿射、旋轉、縮放、遮蔽、光照等方面均具有較好的不變性，其配準精度高，而得到廣泛應用；張凱等[4]將SIFT算法運用于智能對靶施藥系統中的圖像特征匹配，實現高噪聲環境下的紅掌圖像快速有效的拼接；傅衛平等[5]利用SIFT算法進行圖像初次匹配，并計算出仿射變換的參數，以推導出復雜環境中圖像目標的形心位置及其坐標定位；在文獻[6]中，朱梅華等將SIFT算法用于處理卷煙小包裝的圖像配準中，取得了良好的效果。然而，傳統SIFT算法耗時較長，導致其在實時性要求較高的應用場合受到制約[2，7]。因此，如何提高SIFT算法的實時性已成為國內外學者的探索焦點[8-14]。李芳芳等[8]通過自適應選擇高斯核函數的尺寸大小，并通過構建三角網法進行小面元微分糾正配準，以提高SIFT算法的實時性；張謙等[9]利用均勻網格分割圖像，以網格數量及其局部區域熵來決定特征點數量、分布，并在此基礎上采用放射變換進行特征匹配，以達到配準效率高和實時性好的目的；在文獻[10]中，熊自明等將SIFT算法和Harris特征點進行結合，以Harris特征點作為待匹配特征點，并利用主成分分析法（Principle Component Analysis，PCA）得到降維后的特征向量，大大提升了SIFT算法的配準效率；王民等在文獻[11]中采用DOG尺度空間提取Harris算子作為圖像的特征點，提出了一種基于Harris角點的SIFT立體匹配方法；Sukthankar等[12]也通過PCA法將特征向量維數由128維降到20維，以提升原算法實時性；趙壘等[13]以特征圓環領域代替方形區域進行特征向量計算并進行排序，省去特征點主方向計算，減少了特征描述符維數；另外，王田甲等[14]提出了一種在方形鄰域內提取60維描述子的SIFT匹配算法，Bay使用近似Hessian矩陣進行關鍵點提取，同時引入haar小波變換進行特征方向以及特征描述符計算，生成64維特征向量，以提升算法的匹配效率和準確性。

以上文獻主要集中于SIFT算法特征點的提取以及后續匹配算法的改進，并取得了一定的成果。本文將在以上研究基礎上，通過極值特性約束條件和降采樣預處理，利用差分尺度空間的局部單極值，實現重合區域特征提取和匹配，以減小冗余特征點，從而有效提高匹配速度和配準精度。

1 重合區極值特征提取法

圖像配準的過程主要包括圖像特征點的提取、匹配以及坐標變換三個環節[15]，即：利用SIFT算法來提取圖像特征點，生成特征向量；然后，利用最近鄰次近鄰歐式距離之比進行粗匹配；再進一步采用RANSAC算法進行精匹配，計算得到圖像拼接變換矩陣H；最后，使用變換矩陣H將待配準的兩幅圖像變換在同一坐標系下進行圖像匹配。SIFT算法實時性、精確度在很大程度上受特征點對數量的影響，且特征點粗匹配的精確率直接影響RANSAC算法抽樣次數。為此，本文在特征匹配的過程中，只考慮重疊區域的特征點對，從而剔除重疊區域以外的特征點對，以減小圖像配準過程中的無用計算和錯誤匹配。

考慮到圖像匹配點對極值具有一致性的特點，即同為極大值或同為極小值[16]，而傳統SIFT算法并未考慮該約束條件，對極大和極小值組成的特征集均進行搜索匹配，會增大圖像誤匹配率和匹配時間。假設特征點集A極大值點和極小值點分別為m、n，特征點集B中分別為m′、n′。若采用窮舉搜索的話，搜索次數為：

而利用極值約束條件后，極大值只在極大值之間進行搜索，極小值同理，搜索次數變為：

僅選擇極大值或極小值時作為特征點時，搜索次數則為：

由式（1）～（3）得到k2＜k1＜k，可見，極值約束條件下能夠有效降低搜索次數，若僅選擇一種極值點作為特征點不僅能夠降低特征提取數量，從而減少特征提取過程耗時，且可以有效減少搜索次數；另外，傳統SIFT算法是在極大和極小值所組成的特征集中進行搜索匹配，會造成誤匹配率的增加，因此利用重合區單極值作為待匹配特征點，將大大減少冗余特征點對數量，可有效提高SIFT算法的實時性以及匹配率。

2 圖像降采樣預處理法

針對傳統SIFT算法實時性差的問題，本章將進一步采用圖像有下限降采樣預處理方法，以縮小圖像尺寸，并根據拍攝設備位置關聯性這一約束條件估計出圖像重合區域；然后依據極大值特征點對提取法，減少特征點對的數量；最后，通過計算未縮放前原始圖像變換矩陣H與降采樣后的變換矩陣H1之間的關聯性，將原始圖像變換同一坐標系下完成原圖像配準工作，以提高SIFT算法的實時性。其流程圖如圖1所示。

圖1 改進SIFT算法配準流程圖

圖1中的改進SIFT算法配準流程主要包括三個部分：（1）有下限降采樣過程；（2）重合區極大值提取法，利用該方法提取圖像特征并匹配，得到縮小后圖像變換矩陣H1；（3）根據變換矩陣之間的關聯性，推導原始圖像之間坐標變換，實現原始圖像配準。

2.1 圖像降采樣預處理

原SIFT算法通過尋找待配準圖像間的匹配特征點對實現圖像變換矩陣H的求解，以完成圖像配準[16]。設 (x，y)(，)是原圖像的一對匹配特征點對，其變換矩陣H如式（4）所示：

可見至少需要四對正確的匹配特征點對才能完成變換矩陣H相關參數的求解。通常情況下大尺度圖像會產生大量冗余特征點以及匹配點對數量，使得圖像配準所用時間大大增加。文獻[17]通過對圖像進行降采樣預處理，對不同采樣倍數和不同插值方法進行對比，發現圖像降采樣80%～90%時，能滿足匹配的精度和匹配點對數量，并相對原算法減少了20%～30%的配準時間。因此，本文將在文獻[17]的基礎上，以尺寸（180×180）為限對原圖像進行三次卷積內插降采樣預處理，并保持待配準圖像之間降采樣比例相同，有效減少冗余特征點以提升圖像配準的實時性。為此，需要先計算出降采樣后圖像的變換矩陣H1與原始圖像間的變換矩陣H之間的關聯性。

2.2 變換矩陣之間關聯性

圖像進行降采樣預處理之后，特征提取及匹配均是在縮小后的圖像上進行，因此式（6）圖像之間變換矩陣H1是縮小后圖像之間的變換矩陣。若直接采用縮小后的圖像進行配準，會嚴重影響圖像的分辨率。為此，需要求取原始圖像之間的變換矩陣H和預處理后的變換矩陣H1之間的關聯性。本文通過計算出縮放后圖像之間的變換矩陣，然后利用縮放系數，以推導出縮放前后圖像兩變換矩陣之間的關系，從而得到原圖像之間的變換矩陣，以實現圖像之間坐標變換。

設兩待配準圖像大小分別為 (m，n)、(k，l)，則降采樣比例p和變換矩陣H1如下所示：

可見：

由上式可得：

根據原圖像的一對匹配特征點對變換矩陣H，可知：

將式（13）～（14）代入式（9）～（10）并化簡，可知：

根據式（15）和式（11）～（12）可以得到：

可見，根據式（16）可以推導降采樣圖像的變換矩陣H1與原始圖像間的變換矩陣H之間的變換關系，從而實現原始圖像間的配準，減少圖像匹配的時間。

3 實驗驗證

本實驗平臺為Window XP操作系統，CPU為3.3 GHz，內存2 GB，編程環境Matlab 7.0，原始圖像大小為768×1 280，如圖2所示，其中圖（a）為左鏡頭拍攝的圖像，而圖（b）為右鏡頭拍攝圖像。下面將重點探討如何基于優化SIFT方法對兩幅圖像進行拼接實驗。

圖2 配準圖像

實驗1基于重合區極大值特征提取法

為了能夠明確改進方法與傳統SIFT特征提取的效率，選擇SIFT特征提取時間、粗匹配率以及精匹配率三個指標進行對比，如下：

利用實驗可得傳統SIFT算法特征點分布以及改進的重合區極大值特征分布圖如3所示。

圖3 圖像特征點提取分布圖

圖3（a）表示傳統SIFT算法提取特征點分布結果，圖3（b）表示改進的基于重合區極大值提取特征點分布結果，紅色代表所提取的特征點，可見，改進后的圖像特征點數量得到了明顯的降低。

由表1可知，經過選取圖像重合區域后，在重合區域采用圖像極大值（或極小值）作為圖像特征點，能有效去除無效特征點數量，特征點數縮小約75%，且粗匹配與精匹配準確率均得到大幅度提高，其中粗匹配率提高20.9%，精匹配率提高34.7%，總共匹配用時由103.516 s縮減到13.515 s，可見改進方法大幅度縮減了時間消耗，提高了圖像匹配的實時性。經過配準后，得到的拼接效果如圖4所示。

表1 實驗數據分析表

實驗2降采樣預處理配準法

為了進一步驗證降采樣預處理方法的有效性，先將圖像尺寸縮小，通過式（4）、（6）以及（16）之間的關聯性，對原始圖像進行拼接實驗，其提取的特征點分布結果如圖5所示。

從圖5中可知，采用降采樣預處理配準法后，圖像的特征點數量得到了進一步的降低。

圖4 拼接效果圖

圖5 降采樣預處理特征點提取分布圖

表2 實驗數據分析表

由表2可知，基于圖像尺寸降采樣預處理，能進一步去除無效特征點數量，減少冗余特征點，特征點數由傳統SIFT算法的3 251個降低為121個，其粗匹配率由11.5%提高到23.97%、精匹配率由60.4%提高到96.6%，總共匹配用時由103.516 s縮減到1.102 s，可見改進后的圖像匹配方法能大幅度縮減時間消耗，提高了圖像匹配的實時性以及配準精度。

經過配準后，得到的拼接效果如圖6所示，其中（a）表示采用傳統SIFT算法拼接的效果圖，（b）表示采用文獻[17]的降采樣算法拼接的效果圖，（c）表示采用降采樣+重合區極大值優化方法拼接的效果圖。

4 結束語

本文在對傳統SIFT圖像拼接算法相關理論研究基礎上，提出了兩種改進的SIFT算法，首先，通過尋找重疊區的策略來降低特征點對的數量，從而有效減少了原SIFT算法的復雜度和配準時間；在此基礎上，采用極大值匹配方法和圖像降采樣預處理方法，以有效消除重復和錯誤匹配。實驗結果表明本文所提算法比傳統SIFT算法在圖像配準中取得了更高的配準速度和精度。

圖6 拼接效果圖

[1]呂娜，馮祖仁.圖像匹配與跟蹤研究[J].西安交通大學學報，2010，44（10）.

[2]白廷柱，侯喜報.基于SIFT算子的圖像匹配算法研究[J].北京理工大學學報，2013，33（6）：622-627.

[3]Qi Zhi，Cooperstock J R.Toward dynamic image mosaic generation with robustness to parallax[J].IEEE Transactions on Image Processing，2012，21（1）：366-378.

[4]張凱，耿長興，張二鵬，等.溫室環境下紅掌圖像拼接算法[J].農業機械學報，2013，44（4）：223-227.

[5]傅衛平，秦川，劉佳，等.基于SIFT算法的圖像目標匹配與定位[J].儀器儀表學報，2011，32（1）：163-169.

[6]朱梅華，魏承科，張素偉.SIFT算法在卷煙小包裝圖像配準中的應用[J].計算機工程與應用，2012，48（21）：244-248.

[7]Kim B S，Lee S H，Cho N I.Real-time panorama canvas ofnaturalimages[J].IEEE Transactions on Consumer Electronics，2011，57（4）：1961-1968.

[8]李芳芳，肖本林，賈永紅，等.算法優化及其用于遙感影像自動配準[J].武漢大學學報，2009，34（10）：1245-1249.

[9]張謙，賈永紅，胡忠文.遙感影像配準中的SIFT特征匹配改進[J].微電子學與計算機，2013，38（4）：455-459.

[10]熊自明，萬剛，閆鶴，等.SIFT算法的小型無人機航拍圖像自動配準[J].繪測科學技術學報，2012，29（2）：153-156.

[11]王民，劉偉光.基于改進SIFT特征的雙目圖像匹配算法[J].計算機工程與應用，2013，49（2）：203-206.

[12]Ke Y，Sukthankar R.PCA-SIFT：a more distinctive representation for local image descriptors[C]//Proceedings of the Conference on Computer Vision and Pattern Recognition，Washington，USA，2004：511-517.

[13]趙壘，侯振杰.一種改進的SIFT圖像配準方法[J].計算機工程，2012，36（12）：226-228.

[14]王田甲，劉國榮.SIFT改進算法在圖像配準中的應用[J].微電子學與計算機，2011，28（5）：184-188.

[15]劉健，張國華，黃琳琳.基于改進SIFT的圖像配準算法[J].北京航空航天大學學報，2010，36（9）：1121-1124.

[16]Zhou Wu，Goshtasby A.Adaptive image registration via hierarchical voronoi subdivision[J].IEEE Transactions on Image Processing，2012，21（5）：2464-2473.

[17]王書民，張愛武，崔營營.基于降采樣處理的低空遙感影像SIFT特征匹配分析[J].測繪通報，2011（9）：18-20.