基于SIFT-ACO的圖像拼接算法

武岫緣，龍永新，高總總

（湖南工業大學 計算機與通信學院，湖南 株洲 412007）

基于SIFT-ACO的圖像拼接算法

武岫緣，龍永新，高總總

（湖南工業大學 計算機與通信學院，湖南 株洲 412007）

針對具有一定旋轉角度的多幅圖像拼接問題，提出了一種基于SIFT-ACO的圖像拼接算法。對拼接圖像進行預處理后，用SIFT算法提取圖像特征，將經典的生物智能優化算法ACO加入到圖像配準中，對圖像特征點進行配準，最后將多幅圖像融合，得到一幅寬視角、無縫、高精度的圖像。對多組不同角度拍攝的圖像進行拼接試驗。試驗結果表明：在不影響整體視覺效果的前提下，該算法能有效地提高圖像拼接精度。

圖像拼接；蟻群算法；圖像配準

1 相關研究

圖像拼接是計算機視覺領域研究最早和最廣泛的方向之一，也是遙感圖像處理、醫學圖像處理、3D視覺重建、虛擬現實等領域的研究熱點[1]。圖像拼接技術能將多幅有重疊部分的圖像拼接成一幅寬視角、無縫、高分辨率的圖像，以滿足人們大視野視覺的需求[2]。而待拼接的圖像可能是在不同時間、不同角度、不同光照強度、不同分辨率或者不同傳感器條件下所拍攝，因此，圖像之間會存在差異。如何消除這些差異，使拼接后的圖像能自然平滑過渡，是圖像拼接的關鍵。國內外學者已提出了多種圖像拼接算法，目的是使圖像拼接的速度和精度達到最優的折中。

圖像拼接通常分為圖像預處理、特征提取、圖像配準、圖像融合4個步驟。其中，圖像配準是圖

綜上所述，本文提出了尺度不變特征變換匹配算法（scale-invariant feature transform，SIFT）和蟻群算法（ant colony optimization，ACO）相結合的圖像拼接算法。將群體智能的ACO算法引入到圖像拼接中，能有效地提高圖像配準精度。經過大量的試驗證明，此算法對旋轉、平移、縮放、仿射變換、尺度、亮度等能保持一定的不變性，對噪聲也能保持較好的穩定性，雖然稍微增加了拼接時間，但是提高了圖像配準的精度。

2 SIFT-ACO算法介紹

對在同一水平面拍攝，但有部分重疊的多幅圖像進行拼接的方法已非常成熟，且有些軟件已具有這種圖像拼接的功能。但對有一定旋轉角度的圖像進行拼接時，現有的方法存在實時性差或精度低的缺點，因此，本課題組提出了將蟻群算法應用到圖像配準中，以提高對此類圖像拼接的精度。

2.1 圖像預處理

獲取圖像的過程中，會出現一些不確定、不穩定的因素，如：光照變化、焦距調節、圖像變形等，因此，拍攝的圖像會存在不同程度的差異，這導致了視覺差異，且對圖像拼接也造成了困難[5-6]。因此，圖像拼接前，需要對其進行預處理，如：幾何校正、統一坐標系、去噪等，目的是減少配準的難度，提高配準和拼接的速度和精度。圖1為2幅有重疊區域的原始圖像，圖2是經過預處理后的圖像。

圖1 原始圖像Fig.1 Original image

圖2 預處理后的圖像Fig.2 The preprocessed image

2.2 SIFT算法特征提取

SIFT算法，是一種穩健的基于特征點的圖像配準算法，處理發生了旋轉、平移、尺度、視角、仿射變換、光照等變化的圖像，具有一定的不變性和魯棒性[7]。該算法的主要思想是，通過高斯差分函數將圖像分成不同的尺度空間，在不同的尺度空間檢測極值點，去除噪聲點和邊緣點后，對感興趣的特征點進行準確定位，用特征向量描述符對特征點進行描述。這為下一步對圖像的特征點進行高質量地匹配打下基礎。SIFT算法的主要步驟如下。

1）產生圖像尺度空間，檢測圖像尺度空間的特征點

先通過可變尺度的二維高斯核函數G(x, y, )與圖像I(x, y)進行卷積，產生圖像尺度空間L(x, y, )，再用尺度空間對圖像進行高斯濾波，即

然后，將2個相鄰高斯尺度空間的圖像相減，得到DOG圖像的響應值圖像，即

k為常數，表示2個相鄰尺度之間的間隔；

2）確定特征點方向，生成特征描述符

以特征點為中心，取16×16的鄰域作為窗口，將采樣點與特征點的相對方向通過高斯加權后，歸入包含8個方向的直方圖，繪制每個梯度方向的累加值，形成一個種子點。一個特征點由4×4共16個種子點組成，特征描述子由所有子塊的梯度方向直方圖構成。因此，關鍵點描述符向量為128維。

對圖2中的2幅圖像進行特征提取后，結果圖見圖3。

圖3 特征提取圖像Fig.3 The feature extraction image

通過以上方法，輸入的2幅圖像可以獲得SIFT特征點，每個特征點都包括唯一確定的位置、尺度和方向信息，利用這些信息再進行特征匹配。

2.3 ACO特征匹配

傳統的SIFT算法中，描述子用128維向量表示，而一幅圖像有成千上萬個描述子[8-9]，這種維度災難極大地降低了配準的速度。蟻群算法是一種用來在圖中尋找優化路徑的算法，具有一種新的模擬進化優化方法的有效性和應用價值。研究結果顯示，蟻群算法的離散性和并行性特點適合處理離散的數字圖像，在求解復雜優化問題，特別是離散優化問題，該算法有獨特的優越性。本文針對傳統的SIFT算法特征點匹配錯誤率比較高的問題，提出了將生物智能算法ACO運用到圖像匹配中，可提高圖像匹配的準確率。

ACO特征匹配原理如下。

自然界中螞蟻搜索食物過程是一個不斷聚類的過程，食物就是聚類中心。將SIFT算法提取的特征點Xi（i=1, 2,…, n）看作一個螞蟻，將每一個螞蟻在不同時刻的觀測數據視為點的坐標，螞蟻分別聚集到 j個聚類中心X'j（j=1, 2,…, m），建立城市坐標模型；然后構造一種灰色距離關聯度Di,j，將灰色關聯度作為相似性函數，從距離空間的角度反映系統因素間的關聯性，即

假設算法中的螞蟻具有一定的記憶能力，能根據 2 幅待拼接圖像的灰色關聯度選擇轉移方向，從而引導螞蟻向灰色關聯度最大值的方向移動。在圖像拼接過程中，將圖像 A 中的窗口在 圖像B中搜索迭代的過程看成是“i只螞蟻的城市模型”，從而使得螞蟻可以在這個模型圖上進行爬行，并且保證了螞蟻爬行所獲得的每個哈密頓路都對應一個灰色關聯度最大的組合。

螞蟻在運動過程中，根據個體路徑上的信息量決定其轉移方向。用禁忌表tabuk（k=1, 2,…, q）來記錄螞蟻當前走過的城市。在搜索過程中，螞蟻根據各條路徑上的信息量及路徑的啟發信息來計算狀態轉移概率，即：

式中：allowedk為螞蟻k下一步允許選擇的城市集；

最后，利用RANSAC算法（randomsampleconsensus）消除誤匹配，具體過程如下：

1）從匹配點集中隨機反復采樣一組數據，每一組抽樣的樣本數為估算模型所需最小數據量，計算該抽樣本所對應的模型，模型參數為4對匹配點。

2）進行全數據檢驗，統計滿足該模型的內點數量，計算內點變換點和內點匹配點的歐氏距離之和，距離和公式為

3）根據內點數量和歐氏距離和來選擇模型的參數。

4）重復步驟1），2），直到選出滿足評選標準的模型，找出模型對應的內點，最終計算出模型參數。

2.4 圖像融合

圖像拼接之后，拼接的部分會出現一條拼接縫。本文通過對漸入漸出法的研究，提出了一種基于反正切函數的圖像整體勻色方法。該方法針對傳統整體勻色方法的缺點進行了改進。利用反正切函數作為平滑函數曲線，通過設置合適的權重，使拼接后的圖像像素改動范圍減小，降低圖像的模糊度，使拼接后的圖像能夠最大限度地恢復到平滑自然過渡的效果。圖4為帶有拼接縫的圖像，圖5為圖像融合后的效果圖。

圖4 帶有拼接縫的圖像Fig.4 The seam image

圖5 融合圖像Fig.5 The image fusion

SIFT-ACO算法流程如圖6所示。

圖6 拼接流程圖Fig.6 The imag mosaic flowchart

3 試驗結果分析

將SIFT算法、Harris角點檢測算法和本文算法，從圖像拼接速度和精度2個方面進行對比，試驗結果如表1所示。本文中的RANSAC算法參數設為：最小距離閾值d=1.416，迭代次數N=50。

表1 3種算法的試驗數據Table1 The experimental data of three algorithms

從表1可以看出，本文算法雖然增加了圖像拼接時間，但有效地提高了圖像拼接的精度。

4 結語

目前，全景圖是通過多幅相鄰的圖像拼接而成，因此，全景圖生成技術的關鍵是相鄰圖像的配準及拼接。本文提出了將SIFT算法和ACO算法相結合的方法，來實現圖像拼接。本文方法是，先通過SIFI算法檢測出圖像的特征點，再通過ACO算法實現特征匹配，通過漸入漸出的方法進行圖像融合。最后，將本文算法與SIFT算法、Harris算法從圖像拼接的時間和精度進行了對比，試驗結果表明，與其他2種算法相比，本文算法的拼接精度更高。

[1]Brown L G. A Survey of Image Registration Techniques[J].ACM Computing Surveys，1992，24(4)：325-376.

[2] 林小平，周石琳，張官亮，等. 一種基于蟻群算法和互信息測度的圖像拼接技術[J]. 重慶理工大學學報：自然科學，2013，27(1)：76-81. Lin Xiaoping，Zhou Shilin，Zhang Guanliang，et al. A Image Mosaic Technology Based on Ant Colony Algorithm and Mutual Information Measure[J]. Journal of Chongqing University of Technology：Natural Science，2013，27(1)：76-81.

[3] 雷 震，李 東，吳玲達. 基于粒子群優化和互信息量的全景圖拼接算法[J]. 計算機仿真，2009，26(4)：256-358，347. Lei Zhen，Li Dong，Wu Lingda. A Mosaic Algorithm of Panoramic Image Based on Particle Swarm Optimization and Mutual Information[J]. Computer Simulation，2009，26(4)：256-358，347.

[4] 馮雪芳. 基于互信息的圖像配準技術的研究[D]. 無錫：江南大學，2012. Feng Xuefang. Research on Image Registration Technology Based on Mutual Information[D]. Wuxi：Jiangnan University，2012.

[5] 魏雪麗，張 樺，馬艷潔，等. 基于最大互信息的圖像拼接優化算法[J]. 光電子·激光，2009，20(10)：1399-1402. Wei Xueli，Zhang Hua，Ma Yanjie，et al. A Optimization Algorithm of Image Mosaic Based on Maximum Mutual Information[J]. Journal of Optoelectronic·Laser，2009，20(10)：1399-1402.

[6] Maes F，Collignon A，Vandermeulen D，et al. Multimodality Image Registration by Maximization of Mutual Information[J]. IEEE Transactions on Medical Imaging，1997，16(2)：187-198.

[7] 程 旭， 珺李擬 ，吳鎮揚. 基于SIFT特征的粒子群優化的視覺跟蹤算法[J]. 重慶郵電大學學報：自然科學版，2012，24(5)：652-656. Cheng Xu，Li Nijun，Wu Zhenyang. Visual Tracking Algorithm with Particle Swarm Optimization Based on SIFT Feature[J]. Journal of Chongqing University of Posts and Telecommunications：Natural Science Edition，2012，24 (5)：652-656.

[8]周軍太，龍永紅. 一種改進SURF 算法的圖像配準[J]. 湖南工業大學學報，2011，25(2) ：96-99. Zhou Juntai，Long Yonghong. An Improved SURF Algorithm of Image Registration[J]. Journal of Hunan University of Technology，2011，25(2) ：96-99.

[9] 蔣 鴻，胡永祥. 非線性擴散圖像配準[J]. 湖南工業大學學報，2011，25(5)：87-91. Jiang Hong，Hu Yongxiang. Nonlinear Diffusion Image Registration[J]. Journal of Hunan University of Technology，2011，25(5)：87-91.

[10]王維真，熊義軍，魏開平，等. 基于粒子群算法的灰度相關圖像匹配技術[J]. 計算機工程與應用，2010，46(12)：169-171. Wang Weizhen，Xiong Yijun，Wei Kaiping，et al. Gray Intensity Correlated Image-Matching Technology Based on PSO[J]. Computer Engineering and Applications，2010，46(12)：169-171.

（責任編輯：鄧 彬）

Image Mosaic Optimization Algorithm Based on SIFT-ACO

Wu Xiuyuan，Long Yongxin，Gao Zongzong
（School of Computer and Communication，Hunan University of Technology， Zhuzhou Hunan 412007，China）

For problems of multiple images stitching of certain rotation angle, puts forward an image mosaic optimization algorithm based on SIFT-ACO. After the mosaic image preprocessing, the algorithm uses SIFT algorithm to extract the image features, adds classic intelligent optimization algorithm to image registration and makes image feature points registration, at last fuses multiple images and obtains a wide viewing angle, seamless and high precision image. The experimental result of image mosaic of different angles indicates that the algorithm can improve the accuracy of image matching effectively without affecting the overall visual effect.

image mosaic；ant colony algorithm；image registration

TP391

：A

：1673-9833(2014)01-0076-05

2013-10-07

國家自然科學基金資助項目（61170102），湖南省自然科學基金資助項目（11JJ3070），湖南省教育廳基金資助項目（12A039）

武岫緣（1988-），女，河北唐山人，湖南工業大學碩士生，主要研究方向為圖像拼接等，像拼接的核心，配準的精度直接影響后續的圖像處理過程，所以，圖像配準非常重要[3-4]。圖像配準的算法大致分為3種：1）基于像素的圖像配準。由于圖像的像素數量巨大，該方法的處理速度很慢。2）基于特征的圖像配準。與第一種方法相比，特征點數量大大減少，配準速度有所提高。3）基于變換域的圖像配準。該方法的計算復雜，計算量大，只能針對特定圖像。可見，基于特征的圖像匹配方法具有更大的優勢。為了滿足實時性要求，該方法的匹配速度還有待提高。

E-mail：851104011@qq.com

10.3969/j.issn.1673-9833.2014.01.016