一種快速配準和亮度調整的圖像拼接算法

任智姣，石泓

（四川大學計算機學院，成都　610065）

一種快速配準和亮度調整的圖像拼接算法

任智姣，石泓

（四川大學計算機學院，成都610065）

針對圖像拼接中的兩個方面做詳細闡述。一是針對大尺寸圖像配準比較耗時的問題，采用一種兩階段逐步求精地快速圖像配準方法。二是針對基于最佳接縫拼接后存在亮度差異的問題，提出僅在亮度空間進行基于最佳接縫的亮度調整的方法。實驗表明，有效提高圖像配準的時間效率，實現很好的亮度調整效果。

圖像拼接；圖像配準；亮度調整；最佳接縫

0　引言

圖像拼接的目的在于產生無明顯接縫、無亮度差異，無鬼影，在視覺上感覺良好的全景圖像。圖像配準是圖像拼接的基礎，有基于區域的方法和基于特征的方法，主流方法是基于特征的配準方法。特征檢測及特征描述算法的提出，如MSER［1］、SIFT［2］、SURF［3］和ORB［4］等，大大促進了圖像配準算法的發展。一般基于特征的圖像配準方法，包括特征檢測、特征匹配、幾何變換模型參數估計和圖像變形四個步驟。然而，隨著圖像尺寸的增加，特征檢測、描述與匹配的時間都相應的增加。考慮到圖像配準中，感興趣的特征點是重疊區域內的特征點，在整幅圖中檢測、匹配特征點是沒有必要的；而且重疊區域之外的特征點其實是干擾特征點，可能會造成誤匹配。所以本文提出了一種兩階段逐步求精的配準方法，即先在低分辨率小尺寸圖像上應用一種基于特征的圖像配準方法快速粗略地估算圖像的大概重疊區域，然后再在原始圖像上估計的重疊區域內精確配準兩幅圖像。這樣做既能有效地降低配準的時間成本，又降低了特征點的誤匹配率。

接縫縫合技術是圖像無縫拼接的關鍵步驟，對于已經配準的兩幅圖像，接縫縫合的好壞將直接影響到最終全景圖像的質量。當前主要有兩大類接縫縫合方法：最佳接縫方法和接縫平滑方法。第一類方法在重疊區域極力求解一條曲線，即最佳接縫［5-8］，使得兩幅圖像在重疊區域內的某種差異最小，然后再將兩幅圖像分別復制到接縫兩邊。第二類方法是對重疊區域應用圖像融合算法，實現接縫的平滑過度。常見的融合算法有平均融合、加權融合［9］、羽化融合［10］和多分辨率融合［11-12］。在實際應用中，許多學者根據需要綜合應用不同類型的方法，更好地合成無縫拼接圖像。本文采用的是最佳接縫方法，然后再進行亮度調整。對于已經拼接好的存在亮度差異的圖像，提出了基于最佳接縫的亮度調整算法來平滑圖像的亮差，即首先將其轉換到HSV顏色空間，將色度信息與亮度信息分離開，僅在V通道進行基于最佳接縫的亮度調整。本文方法避免了融合所產生的模糊、鬼影等問題。

1　本文方法

以拼接兩幅圖像為例來說明本文方法。待拼接圖像I1和I2，以右圖I2為參考圖像，I1配準后的圖像表示為L1，L1在重疊區域內的圖像用A表示，I2在重疊區域內的圖像用B表示，基于最佳接縫拼接后的重疊區域圖像用R表示。

1.1快速圖像配準方法

本文提出的快速配準方法包括兩個階段。第一階段，用小尺寸低分辨率圖像近似表示原始待配準的圖像，來估算大概重疊區域；第二階段，在原始圖像上，應用上一步估計的重疊區域準確地配準圖像。具體包括三個步驟。

（1）通過低通濾波降低圖像的分辨率，然后對它進行降采樣以獲得小尺寸的圖像I1'，I2'；

（2）在小尺寸、低分辨率的圖像上，采用基于SURF特征的圖像配準方法來快速粗略地估算圖像的大概重疊區域，暫時無需對I1'圖像進行變形，只需根據求解的變換矩陣將I1'圖像的四個頂點坐標變換到參考圖像I2'所在的坐標系，然后連結四個頂點即為I1'圖像所在的區域，由此確定兩幅圖像的大概重疊區域；

（3）把重疊區域對應到原始圖像I1，I2中，再次采用基于SURF特征的圖像配準方法精確配準兩幅圖像。

1.2消除亮度差異方法

本文通過將基于最佳接縫拼接好的圖像轉換到HSV顏色空間，將圖像的色度信息與亮度信息分離開來處理，僅在亮度空間進行基于最佳接縫的調整。假設我們已經獲得了基于最佳接縫拼接好的圖像，接下來在重疊區域R內調整亮度。步驟闡述如下。

（1）將A和B從RGB轉換到HSV顏色空間，計算兩重疊區域亮度的平均值，如公式（1）、（2）所示。然后用平均值的差除以步長，即重疊區域寬度，如公式（3），這樣就得到了亮度平滑過度值，簡稱為ISV（Intensity Smooth Value）；

其中，h和w分別為重疊區域圖像的高度和寬度，AV（i，j）和BV（i，j）分別表示重疊區域A，B在（i，j）點的亮度值。

（2）將基于最佳接縫拼接的圖像轉換到HSV顏色空間，分離成三個通道，在重疊區域R內對V通道按照公式（4）、（5）進行亮度調整；

其中，RV（i，j）為基于最佳接縫拼接后重疊區域R的亮度值，k為最佳接縫的橫坐標，公式（4）、（5）分別表示最佳接縫左、右兩側重疊區域的亮度調整公式。

（3）合并調整后的亮度通道和原來的色度通道，即可得到結果圖。

2　實驗

為了驗證本文算法的可行性和有效性，我們對兩組圖片進行了實驗。用C++在OpenCV+VS2010環境下進行編程實現本文算法，運行在筆記本電腦（2.4 GHz Intel i3 CPU，2 GB RAM）上。

表1　圖像配準時間成本比較

圖1　本文方法的第一組結果圖

圖2　本文方法的第二組結果圖

從表1可以看出，本文提出的方法能夠在配準精度相當的情況下，有效提高圖像配準的速度，實際提高的程度與圖像的紋理和重疊率有關。從圖1和2的（d）到（e）可以看出，V通道調整得很平滑，由明顯的有亮度差的V通道圖像（d）調整為過度非常自然的（e），從而將（c）調整為最后的結果圖（f），實現了很好的效果。

3　結語

本文提出的兩階段的圖像配準方法有效提高了圖像配準的速度，針對高分辨率大尺寸圖像提高的更多，但是針對視頻序列，這種提高并不能達到實時。本文提出的基于最佳接縫的亮度調整算法很好解決了圖像的亮度差異，但該方法不能用于由點光源造成的亮度差異的圖像中，具有局限性。

提高視頻配準與拼接的算法效率對實際應用有著不可忽視的作用。在后續的研究中，應當結合視頻的時間軸的特性，進一步提高視頻無縫拼接的速度和性能，并提出更好的處理亮度差異的方法。

［1］Donoser M.，Bischof H.，Efficient Maximally Stable External Region（MSER）Tracking［C］.IEEE Computer Society Conference on Computer Vision and Pattern Recognition（CVPR'06）.2006，1：553-560.

［2］Lowe D.G..Distinctive Image Features from Scale-Invariant Keypoints［J］.International Journal of Computer Vision.2004，60（2）：91110.

［3］Herbert Bay，Andreas Ess，Tinne Tuytelaars.Speeded-Up Robust Features（SURF）［J］.Computer Vision and Image Understanding. 2008，110（3）：346-359.

［4］Rublee E.，et al.ORB：An Efficient Alternative to SIFT or SURF［C］.IEEE International Conference on Computer Vision（ICCV），2011，2564-2571.

［5］Yu Tang，Huiyan Jiang.Highly Efficient Image Stitching Based on Energy Map［J］.IEEE CISP'09，2009：1-5.

［6］Yu Tang，Jungpil Shin，De-Ghosting for Image Stitching with Automatic Content-Awareness［C］.IEEE International Conference on Pattern Recognition（ICPR'10），2010：2210-2213.

［7］Cheng-ming Huang，Shu-wei Lin.Efficient Image Stitching of Continuous Image Sequence with Image and Seam Elections［J］.IEEE Sensors Journal，2015，15：5910-5918.

［8］徐景中，袁芳，寇媛.一種基于拼接線和動態基準的影像拼接方法［J］.測繪通報，2014（9）：34-37.

［9］Shen B.，I.K.Sethi，V.Bhaskaran.DCT Domain Alpha Blending［C］.IEEE International Conference on Image Processing（ICIP），1998，1：857-861.

［10］Liang L.，et al.Real-Time Texture Synthesis by Patch-Based Sampling［J］.ACM Transactions on Graphics（ToG），2001，20（3）：127-150.

［11］Allene C.，J.-P.Pons，R.Keriven.Seamless Image-Based Texture Atlases Using Multi-Band Blending［C］.International Conference on Pattern Recognition（ICPR），2008：1-4.

［12］Burt，P.J.，E.H.Adelson.A Multiresolution Spline with Application to Image Mosaics［J］.ACM Transactions on Graphics（TOG），1983，2（4）：217-236.

Intensity Adjusted and Fast Image Stitching Algorithm

REN Zhi-jiao，SHI Hong
（College of Computer Science，Sichuan University，Chengdu 610065）

Elaborates on two aspects in the field of image stitching in details.First is the case that it is time-consuming to register large images，applies a two-stage process to incrementally register images efficiently.Second，gives a particular illustration on the intensity adjustment of the stitched image based on optimal seam line，adjusts intensity only on the channel of V（HSV）based on the seam.Experiment results demonstrate that this method has a good effect.

Image Stitching；Image Registration；Intensity Adjustment；Optimal Seam Line

1007-1423（2016）26-0048-04DOI：10.3969/j.issn.1007-1423.2016.26.012

任智姣（1990-），女，山西太原人，在讀碩士研究生，研究方向為圖形圖像處理、圖像拼接

2016-06-07

2016-09-07

石泓（1989-），男，山西太原人，在讀研究生，研究方向為圖像視頻穩像