結合變形函數和冪函數權重的圖像拼接

李加亮 蔣品群

摘 要：針對圖像拼接算法存在效率低下、特征點錯誤匹配、重影和拼接縫等問題，提出一種基于尺度不變特征變換、薄板樣條函數和冪函數的圖像拼接方法。該方法通過對輸入圖像進行采樣匹配，計算輸入圖像間的點映射關系和重合區域，使用點映射關系對重合區域內的特征點進行定向配準，利用特征點集合計算出圖像的局部扭曲模型，使用圖像插值方法對圖像進行變形映射;采用冪函數權重模型對變形圖像中的像素進行平滑過渡，完成圖像拼接。實驗結果表明，在拼接相同圖像的情況下，所提方法與傳統的尺度不變特征變換算法相比，特征點配準效率提高了約59.78%，而且得到了更多的特征點對;與經典的圖像拼接算法相比，該方法解決了圖像的重影和拼接縫的問題，同時提高了圖像的質量評估指標的得分。

關鍵詞：圖像拼接;多分辨率融合;重影;圖像變形;尺度不變特征變換;權重

中圖分類號：TP391

文獻標志碼：A

Abstract： An image stitching method based on Scale-Invariant Feature Transform （SIFT）， thin-plate spline function and power function was proposed to solve the problem of low efficiency， mismatching of feature points， ghosting and stitching seam in image stitching algorithm. The point mapping relationship and overlapping area between the images were calculated by sampling and matching the input images. The local distortion model of the image was calculated by the feature point set， and the deformation of the image was completed by image interpolation. The power function weighting model was used to realize smooth transaction of the pixels in the deformed image to complete the image stitching. Experimental results show that the proposed method improves the registration efficiency of the feature points approximately by 59.78% and obtains more pairs of feature points compared to the traditional SIFT algorithm. Moreover， compared with the classical image stitching algorithm， the method solves the problems of image ghosting and stitching seam， and improves the score of image quality evaluation index.Key words： image stitching; multi-resolution fusion; ghosting; image deformation; Scale-Invariant Feature Transform （SIFT）; weight

0 引言

圖像拼接技術將一組存在重合區域的圖像融合，得到一幅包含該組圖像信息的新圖像，可分為特征點的配準、圖像的變形和圖像的融合等過程。

Lowe[1]結合高斯濾波器與尺度空間理論，提出了具有較強穩定性的尺度不變特征變換（Scale Invariant Feature Transform， SIFT）算法。Bay等[2]使用盒式濾波器代替高斯濾波提出加速穩健特征（Speeded Up Robust Features， SURF）算法結合積分圖簡化計算提升了SIFT算法的效率。Rublee等[3]通過對尺度不變性的圖像金字塔應用角點檢測，構建二進制串特征描述符提出了快速指向和旋轉二進制描述符，提出了快速指向和旋轉二進制描述符（Oriented fast and Rotated Brief， ORB）算法，提高了特征點的配準速度，但不具有尺度不變性，且穩定性較差。Brown等[4]提出自動拼接的算法（AutoStitch）利用全局單應性矩陣對齊圖像，解決了微小視差圖像的拼接問題，但無法處理大視差圖像。Zaragoza等[5]首先將網格優化模型引入圖像拼接，提出了盡可能如投影般的圖像拼接（As Projective As Possible image stitching， APAP）對圖像進行網格化，使用局部單應性矩陣完成圖像拼接。Lin等[6]使用線性化的單應性矩陣控制透視變換的逐漸變化，并采用全局相似變換投影圖像，提出盡可能自然的自適應圖像拼接（Adaptive As Natural As Possible image stitching， AANAP），能夠自適應確定圖像旋轉角度，使拼接圖像更加自然。在拼接有曝光度差異以及較大視差的圖像時，AutoStitch、APAP和AANAP等算法[4-6]均出現了物體變形、重影與拼接縫等問題。

為了解決拼接圖像的過程中存在的特征點錯誤匹配，及拼接結果中存在重影和拼接縫等拼接痕跡的問題，本文提出一種定向配準特征點與優化的變形函數相結合的方法使圖像的對齊更加精確，采用冪函數權重模型對變形圖像的像素進行平滑過渡以消除拼接痕跡的問題。實驗結果驗證了本文方法能有效解決上述問題，使拼接圖像更加自然。

[6] LIN C， PANKANTI S U， RAMAMURTHY K N， et al. Adaptive as-natural-as-possible image stitching[C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 1155-1163.

[7] BOOKSTEIN F L. Principal warps： thin-plate splines and the decomposition of deformations[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1989， 11（6）： 567-585.

[8] SHENG H， LOU C， XU W， et al. A seamless approach to stitching lunar DOMs with TPS[J]. Applied Mathematics & Information Sciences， 2013， 7（2L）： 555-562.

[9] CHEN C， HUNG Y， CHENG J. RANSAC-based DARCES： a new approach to fast automatic registration of partially overlapping range images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1999， 21（11）：1229-1234.

[10] HOSSEIN-NEJAD Z， NASRI M. An adaptive image registration method based on SIFT features and RANSAC transform [J]. Computers & Electrical Engineering， 2017， 62（8）： 524-537.

[11] MEYER C R， BOES J L， KIM B， et al. Demonstration of accuracy and clinical versatility of mutual information for automatic multimodality image fusion using affine and thin-plate spline warped geometric deformations [J]. Medical Image Analysis， 1997， 1（3）： 195-206.

[12] GUO H， HOU Y， ZHAO Y. An image matching algorithm using Thin Plate Splines （TPS） transformation model [J]. International Journal of Simulation Systems， Science and Technology， 2016， 17（8）： No.13.

[13] LI J， WANG Z， LAI S， et al. Parallax-tolerant image stitching based on robust elastic warping [J]. IEEE Transactions on Multimedia， 2018， 20（7）： 1672-1687.

[14] 谷雨，周陽，任剛，等.結合最佳縫合線和多分辨率融合的圖像拼接[J].中國圖象圖形學報，2017（6）：842-851. （GU Y， ZHOU Y， REN G， et al. Image stitching by combining optimal seam and multi-resolution fusion [J]. Journal of Image and Graphics， 2017， 22（6）： 842-851.）.

[15] 瞿中， 喬高元， 林嗣鵬. 一種消除圖像拼接縫和鬼影的快速拼接算法[J]. 計算機科學， 2015， 42（3）： 280-283. （QU Z， QIAO G Y， LIN S P. Fast image stitching algorithm eliminates seam line and ghosting [J]. Computer Science， 2015， 42（3）： 280-283.）.

[16] HORE A， ZIOU D. Image quality metrics： PSNR vs. SSIM [C]// Proceedings of the 20th International Conference on Pattern Recognition. Piscataway： IEEE， 2010： 2366-2369.