基于ASIFT的低重疊度圖像拼接研究

何永潔，陳孝威

(貴州大學計算機科學與信息學院，貴州貴陽550025)

0 引言

近年來，圖像拼接已成為計算機圖形圖像處理、計算機視覺等領域眾多學者研究的熱點［1］，并且在數字視頻、運動分析、虛擬現實技術、醫學圖像分析、遙感圖像處理等領域得到廣泛應用［2］。圖像拼接技術主要是利用計算機進行自動匹配將兩幅或者兩幅以上具有重疊區域的圖像進行無縫拼接，從而得到一副較寬視野的高分辨率圖像［3］。

現有的圖像拼接方法通常根據采用的圖像匹配算法，分為基于區域的拼接方法和基于特征的拼接方法兩種。基于特征的拼接方法，拼接過程包括圖像預處理，特征提取與匹配，圖像配準和圖像融合等步驟，其中特征提取與匹配最為關鍵，對圖像拼接精度有著直接的影響［4］。SIFT(scale invariant feature transform)算法是由David G Lowe于2004年提出并完善的一種能夠抵抗旋轉、平移、尺度以及部分光照和部分仿射變換的圖像匹配算法［6］。該算法應用于圖像拼接中，可以實現對差異較大的復雜序列圖像的拼接［7］。

然而，當采集的原始圖像重疊度過低，兩幅圖像會產生明顯的視角差異，且兩者的共有特征點減少，同時非重疊部分的大量圖像信息對圖像匹配進行干擾，從而使匹配結果不理想，無法得到滿意的拼接結果。為了改善低重疊度圖像的拼接效果，本文提出了一種基于ASIFT(Affine Scale Invariant Feature Transform)圖像匹配算法［8-9］的低重疊度圖像拼接方法。

1 基于ASIFT的低重疊度圖像拼接方法

基于ASIFT的低重疊度圖像拼接方法采用ASIFT算法進行特征點檢測與匹配，采用RANSAC(RANdom SAmple Consensus)算法、LM(Levenberg-Marquardt)算法［10］求解求精變換矩陣，最后采用基于最佳縫合線的多分辨率融合［11］，實現低重疊度條件下的無縫圖像拼接。

該方法流程如圖1所示。其中，矩形表示相關的操作，實線表示流程的走向。具體描述如下:

(1)采集低重疊度的圖像序列作為輸入;

(2)采用ASIFT圖像匹配算法進行特征點檢測與匹配，得到匹配點;

(3)匹配點作為輸入數據，采用RANSAC算法估算初始變換矩陣;

(4)采用LM算法求精初始變換矩陣;

(5)使用變換矩陣將圖像序列投影到同一坐標系下，得到一幅配準后的圖像;

(6)在配準后圖像的重疊區域尋找一條最佳縫合線，最佳縫合線直接將重疊區分割成兩部分，其每一部分都是從一幅圖像上選取［12］，從而得到縫合后的圖像;

(7)對重疊部分構建高斯和拉普拉斯金字塔［11］，進行多分辨率融合。

圖1 基于ASIFT的低重疊度圖像拼接方法流程

本文以下主要簡述圖像配準中的ASIFT圖像匹配算法，及RANSAC算法。

2 ASIFT圖像匹配算法

目前，圖像拼接通常采用SIFT圖像匹配算法，但當采集的原始圖像重疊度過低時，無法得到滿意的拼接結果。

ASIFT算法首先對圖像進行仿射變換，然后在得到的模擬圖像上搜索特征點，因此，它進一步完善了SIFT算法，應用于低重疊度圖像拼接中，能夠在嚴苛的條件下，檢測出更豐富更精確的特征點，為求解變換矩陣，實現圖像配準，奠定了良好的基礎。

ASIFT圖像匹配算法是由Jean-Michel Morel于2008年提出［8］，其算法原理及流程如下。

2.1 算法原理

如文獻［8］所述，利用相機將空間景物平面投影成為數字圖像的過程屬于透視投影。其投影模型可用下式描述

當拍攝景物距離相機光心的距離遠大于相機焦距時，可將拍攝景物所在位置看作一個平面。因此，式 (1)中μ0表示景物平面;T和R分別表示由相機運動引起的圖像的平移和旋轉變換;A表示對景物平面的透視投影;G表示高斯卷積，用來模擬光學模糊;S表示標準的采樣操作;μ表示最終所得數字圖像。

對以上模型進一步簡化，可以將A簡化為仿射變換。通過以上模型可知:相機位置的改變能夠引起任意的行列式為正的仿射變換。由此，可以將相機運動方式與仿射變換形式聯系起來，得到以下定理。

其中λ＞0，λt是A的行列式;Ri表示旋轉矩陣表示傾斜，是對角矩陣，第一個特征值t＞1，第二個特征值等于1。該公式也遵循奇異值分解原則(SVD)［10］。其幾何解釋如圖2(a)所示。

圖2 ASIFT圖像匹配算法原理

圖2 (a)中，坐標系Xμ0Y表示景物平面坐標系，μ0為坐標系的原點;其上方的三個平行四邊形的坐標系分別為xO3y、xO1y和xO2y，它們表示不同位置下的相機坐標系; 和表示相機位于O2位置時，光軸的經度和緯度，它們共同決定了相機的光軸方向，即視角;ψ表示相機繞光軸O2μ0的自轉角度;λ表示尺度參數。由此可知，當相機位于O1位置時，相機正對景物平面，相機坐標系xO1y平行于景物平面坐標系Xμ0Y，此時，各參數值為:λ=1，t=1， =θ=ψ=0。當相機移動，位置發生改變，將引起仿射變換A的參數發生變化，從而使得到的數字圖像產生很大的差異。

假設圖2(a)中平面μ0表示兩幅圖像的重疊區域，則光軸O2μ0和O1μ0可代表兩次拍攝的光軸方向。因此，當夾角θ過大，或者 不為0時，不僅會造成兩幅圖像重疊度低，并且重疊部分還會存在嚴重的仿射變換。圖2(b)為低重疊度圖像的重疊部分，圖中標注部分顯示出明顯的仿射變換。對于這種情況，SIFT圖像匹配算法已無法得到可實現良好拼接的匹配結果，ASIFT算法依靠其較高的匹配精度，則依然能夠取得較好的拼接結果。

2.2 算法過程

ASIFT算法過程如下:

(1)獲取仿射變換參數 和θ

其操作是對經度 和緯度θ進行采樣。首先，對緯度θ按以下等比數列采樣:1，a，a2，…，an，其中a＞1。通常取此時采樣的精確度和稀疏度可達到一個平衡。由于對緯度θ采樣等同對傾斜參數t進行采樣，當n 5時，光軸的傾斜t可達到32以上。然后，對每一個緯度采樣樣本，在其經度 上，按以下算術序列采樣:其中為取得采樣精確度和稀疏度的平衡，取b72°，k為滿足條件的最后一個整數。

(2)產生仿射變換后的模擬圖像

利用采樣得到的參數序列，根據式 (1)和式 (2)，對待匹配的兩幅圖像進行仿射變換，得到原圖像在所有可能的仿射變換情況下的模擬圖像。

(3)特征點檢測與匹配

采用SIFT圖像匹配算法對所有可能的仿射變換情況下得到的兩幅模擬圖像進行特征點檢測與匹配。

3 RANSAC算法

相機運動會使得到的關于同一場景的數字圖像有很大差異，這種差異在具有重疊的圖像序列上表現尤為明顯。在這些圖像的重疊部分一般存在坐標系統不一致的問題［13］。圖1的圖像配準中，采用以下方法解決該問題。

為了實現將待匹配圖像變換到參考圖像的坐標系中，利用齊次坐標，建立圖像之間的關系模型的表達式為［14］

第三，推廣現代農耕技術，提高太陽能的轉化效率，充分利用綠色植物的光合作用，加速物質流和能量流在生態系統中的運動過程，提高農業生產力。

式中:p'(x'，y'，1)——參考圖像坐標系中的點，p(x，y，1)——待匹配圖像坐標系中的點，H——投影變換矩陣。構成H的h2——水平方向位移;h5——垂直方向位移;h0、h1、h3、h4——尺度和旋轉量;h6和 h7——水平和垂直方向的變形量。由此可知，圖像配準問題其實就是研究在某種攝像機運動下拍攝的不同圖像的圖像模型參數求解問題［15］，即求解投影變換矩陣H。

1對匹配點可以得到2個方程式，為了求解出H中的8個參數，需要至少4對匹配點，構造如下方程組

式 (4)中，超定方程的最小二乘解，可以利用SVD分解得到一個較穩定的計算結果。因此，變換矩陣的精確度主要取決于選擇的匹配點的精確度。

RANSAC(random sample consensus)方法是由Fischler和Bollers于1981年所引入的魯棒方法［10］，將其應用于變換矩陣求解中，可以達到剔除錯誤匹配點，選擇出質量好的匹配點來計算變換矩陣的目的。RANSAC算法步驟如下:

(1)在所有匹配點集合P中，隨機選取n對匹配點(n 4)，由式 (4)，計算得到變換矩陣H';

(2)采用式 (3)，計算集合P中其余匹配點在變換矩陣H'下的投影變換結果，再計算該結果與其在P中對應的匹配點的誤差，并統計誤差值小于某一閾值t的點數，這些點被稱為內點，其構成的集合p，是當前變換矩陣H'的一致集;

(3)如果一致集p中匹配點數目大于某一閾值T，則保留該一致集，否則返回步驟 (1);

由此可知，想要估算出正確的變換矩陣，匹配點集合P中的最大一致集必須存在，并且由正確匹配點構成。如果集合P中的錯誤匹配點過多，則采用RANSAC算法隨機選取n對匹配點時，會增大選取錯誤匹配點的概率，降低估算出正確變換矩陣H的概率，從而使實現圖像配準變得困難。在低重疊度條件下，ASIFT算法相較于SIFT算法的匹配結果，其誤匹配率更低，這為采用RANSAC算法估算出正確的初始變換矩陣奠定了基礎。

4 實驗結果

圖像獲取是實現圖像拼接的前提條件［16］。本文通過手持相機旋轉采集同一場景的不同重疊度的圖像序列進行實驗。原圖像大小為640×360像素，圖3(a)和圖3(b)為SIFT算法和ASIFT算法的一組匹配結果對比圖，其重疊區域為110×300像素，重疊區域寬度占圖像總寬度的17%左右;圖3(c)和圖3(d)為SIFT算法和ASIFT算法的另一組匹配結果對比圖，其重疊區域為40×290像素，重疊區域寬度占圖像總寬度的6%左右。圖3中矩形標注部分表示匹配點集合P中的一致集，它包含了大部分的正確匹配點。

圖3 不同重疊度下SIFT和ASIFT算法匹配結果對比

可以看出，圖3(a)和圖3(c)中，SIFT算法在圖像重疊度較低情況下，由于兩幅圖像的共有信息較少，非重疊部分的大量信息對圖像匹配造成干擾，出現了很多明顯的錯誤匹配點，誤匹配率很高。過高的誤匹配率，使得采用RANSAC算法隨機選取n對匹配點時，選取到錯誤匹配點的概率升高，求解出正確變換矩陣的概率變低。假設誤匹配率為50%，在至少選擇4對匹配點的情況下，每次隨機抽樣，全部選中正確匹配點計算出正確的變換矩陣的概率僅剩6.25%。圖3(b)和圖3(d)中，明顯的誤匹配點極少，檢測出的匹配點多為正確的，這為求解正確的變換矩陣奠定了基礎。

表1 不同重疊度SIFT與ASIFT算法匹配結果比較

表1為在不同重疊度下SIFT和ASIFT算法匹配點數的比較。結合圖3與表1可知:當圖像重疊度較大時，ASIFT算法較SIFT算法能夠檢測出更多的匹配點，且誤匹配率更低;當圖像重疊區域過小時，SIFT算法的誤匹配率升高，ASIFT算法依然能夠保持其匹配的正確率。

圖4為拼接結果對比圖，其中四邊形標注部分表示兩幅圖像融合后的重疊區域。圖4(a)和圖4(b)是以SIFT算法和ASIFT算法的匹配結果為基礎的拼接結果對比圖，其重疊區域為110×300像素。以圖3(a)中SIFT算法的匹配結果為基礎，求解變換矩陣，固定閾值t為2.5像素，則閾值T設置超過總匹配點數的77%時，便很難找到滿足條件的一致集。實驗過程中，嘗試增加抽樣次數，增長尋找時間，依然無法解出變換矩陣，然而通過減小閾值T或增大閾值t的方法解出的變換矩陣，則出現了嚴重的錯誤，如圖4(a)所示。在同樣的重疊度下，ASIFT算法檢測出的匹配點多達636個，且精度高，閾值T設置為總匹配點數的95%時，也能夠找到滿足條件的一致集，得到正確的變換矩陣，最終得到一個良好的拼接結果，如圖4(b)所示。

圖4 不同重疊度下SIFT和ASIFT算法匹配結果對比

當重疊區域減小到40×290像素時，以圖3(c)中SIFT匹配結果為基礎進行圖像拼接，如果固定閾值t不變，則閾值T需降至總匹配點數的45%，才能夠勉強求解出變換矩陣，且該變換矩陣還存在嚴重錯誤，其拼接結果如圖4(c)所示。此外，使用微軟公司設計的圖像合成編輯器Microsoft ICE進行拼接實驗，由于重疊度過低，該軟件無法得到拼接結果。圖4(d)為重疊區域大小在40×290像素時，以ASIFT匹配結果為基礎的拼接結果，其拼接效果良好。

5 結束語

本文提出了一種基于ASIFT的低重疊度圖像拼接方法。該方法采用ASIFT圖像匹配算法進行特征點檢測與匹配，相較于傳統采用的SIFT算法，該算法能夠檢測出更豐富的匹配點，且在低重疊度下依然能夠保持其匹配精度，僅保留精確的匹配點，從而為求解變換矩陣奠定了良好的基礎，為圖像配準創造了更好的條件。實驗證明，本文方法在處理低重疊度圖像拼接上存在顯著優勢，具有更好的實用價值。

［1］ZHANG Hua.Key techniques study on scene image mosaic［D］.Tianjin:Tianjin University，2008(in Chinese).［張樺.場景圖像拼接關鍵技術研究 ［D］.天津:天津大學，2008.］

［2］HE Ying，WANG Ling.Image stitching algorithm based on feature block and wavelet transform ［J］.Computer Engineering and Design，2011，31(9):1958-1975(in Chinese).［何穎，王玲.基于特征塊和小波變換的圖像拼接算法［J］.計算機工程與設計，2011，31(9):1958-1975.］

［3］LAIYufeng，CHENGLianglun.PCB image mosaicsalgorithm based on wavelet transformation and phase correlation［J］.Application Research of Computers，2009，26(9):3572-3574(in Chinese).［賴宇鋒，程良倫.基于小波變換與相位相關的PCB圖像拼接算法 ［J］.計算機應用研究，2009，26(9):3572-3574.］

［4］LIJun，WU Jieming.Simulation research on improved image mosaic algorithm ［J］.Computer Simulation，2012，29(2):273-313(in Chinese).［李軍，吳潔明.一種改進圖像拼接算法的仿真研究 ［J］.計算機仿真，2012，29(2):273-313.］

［5］Lowe D.Distinctive image features from scale-invariant keypoints［J］.International Journal on Computer Vision，2004，60(2):91-110.

［6］WANG Juan，SHI Jun，WU Xianxian.Survey of image mosaics techniques［J］.Application Research of Computers，2008，25(7):1941-1947(in Chinese).［王娟，師軍，吳憲祥.圖像拼接技術綜述 ［J］.計算機應用研究，2008，25(7):1941-1947.］

［7］WU Ming，LIN Jinguo，MEI Xue.Algorithm study of feature extraction for image stitch ［J］.Computer Engineering and Design，2009，30(2):440-442(in Chinese).［吳銘，林錦國，梅雪.用于圖像拼接的特征提取算法研究 ［J］.計算機工程與設計，2009，30(2):440-442.］

［8］MORE Jean-michel，YU Guoshen.ASIF:A new framework for fully affine invariant image comparison ［J］.SIAM Journal on Imaging Sciences，2009，2(2):438-469.

［9］MORE Jean-michel，YU Guoshen.Is SIFT scale invariant? ［J］.Inverse Problems and Imaging，2011，5(1):1-22.

［10］WU Fuchao.Mathematical methods in computer vision［M］.Beijing:Science Press，2008:338-343(in Chinese).［吳福朝.計算機視覺中的計算方法［M］.北京:科學出版社，2008:338-343.］

［11］LUO Ruwei.Research on panorama techniques［D］.Guizhou:Guizhou University，2010(in Chinese).［羅如為.全景圖技術研究 ［D］.貴州:貴州大學，2010.］

［12］FANG Xianyong，ZHANG Mingmin，PAN Zhigeng，et al.Research of image mosaic based on graph cut［J］.Journal of Image and Graphics，2007，12(12):2050-2056(in Chinese).［方賢勇，張明敏，潘志庚，等.基于圖切割的圖像拼接技術研究 ［J］.中國圖像圖形學報，2007，12(12):2050-2056.］

［13］YANG Yanwei.Research on image mosaics techniques based on SIFT feature point［D］.Xi'an:Xidian University，2009(in Chinese).［楊艷偉.基于SIFT特征點的圖像拼接技術研究［D］.西安:西安電子科技大學，2009.］

［14］ZHENG Hui.Research on panoramic image mosaics algorithms based on SIFT features［D］.Wuhan:Wuhan University Of Technology，2010(in Chinese).［鄭輝.基于 SIFT特征的全景圖像拼接算法研究 ［D］.武漢:武漢科技大學，2010.］

［15］YANG Zhanlong.Research on image registration and mosaic based on feature point［D］.Xi'an:Xidian University，2008(in Chinese).［楊占龍.基于特征點的圖像配準與拼接技術研究［D］.西安:西安電子科技大學，2008.］

［16］LI Han，NIU Jizhen，GUO He.Automatic seamless image mosaic method based on feature points［J］.Computer Engineering and Design，2007，28(9):2083-2085(in Chinese).［李寒，牛紀楨，郭禾.基于特征點的全自動無縫圖像拼接方法 ［J］.計算機工程與設計，2007，28(9):2083-2085.］