基于不變矩相似度的快速圖像拼接

何佳華，吳 斌，張紅英

(西南科技大學 信息工程學院，四川 綿陽 621010)

?

基于不變矩相似度的快速圖像拼接

何佳華，吳 斌，張紅英

(西南科技大學 信息工程學院，四川 綿陽 621010)

針對圖像拼接中普遍存在的效率低和誤匹配等問題，提出了一種基于不變矩相似度的快速拼接方法。首先利用不變矩相似度準則，預估輸入圖像的重疊區域，然后采用SIFT算法進行特征點檢測和匹配，減少了不必要的特征提取和誤匹配。利用穩健的RANSAC算法實現特征點提純并計算單應性矩陣。最后，針對帶運動目標的動態場景融合后易出現鬼影的現象，提出一種改進的分段線性加權融合算法以消除拼接鬼影。

圖像拼接；不變矩；尺度不變特征變換；線性加權融合；鬼影

0 引言

圖像拼接不僅廣泛應用于視頻監控、三維重建和遙感測繪等領域，還是計算機視覺和計算機圖形學研究領域中的重要研究課題。在全景圖的形成過程中，關鍵的步驟在于圖像配準，而目前應用最為廣泛的配準算法是基于特征的配準算法。常用的特征匹配算法有：SUSAN、Harris、SIFT和SURF算法等[1]。其中，SIFT算法對旋轉、縮放和尺度能夠保持不變形，且對圖像視角的變化和噪聲影響也具備很強的魯棒性。但SIFT算法復雜度較高且配準效率低，而作為SIFT算法的改進，SURF算法在精度上已經達到了亞像素級，大大壓縮了圖像配準的時間。但針對多張圖像的拼接，特征點提取部分仍然要耗費大量時間，且經過多年對基于特征點的配準算法進行驗證發現，經過提純后的正確匹配點對基本都分布在輸入圖像的重疊區域。據此，如果能采用某種有效算法預先估算輸入圖像的重疊區域，只在該區域進行特征點的提取和匹配，將節省大量時間，提高整個拼接系統的效率。

不變矩是一種描述圖像平移、旋轉及比例不變性的數學特征。若把二值圖像或灰度圖像看作一種二維密度分布函數，不變矩值就可以用于描述圖像的特征。因此，許多學者將不變矩應用于圖像分析中。Zhang Ruliang等[2]通過計算邊緣不變矩，將其作為匹配特征；高薇等人[3]在分割處理上利用不變矩對高分辨率遙感影像進行建筑物特征提取；KARTHIK R等人[4]利用梯度邊緣檢測和不變矩的絕對比值，實現特征提取。本文根據不變矩特征，提出了一種估算重疊區域的快速圖像拼接算法。

1 重疊區域估算和圖像配準

為有效解決圖像在旋轉、平移變換和光照差異等情況下的拼接錯誤，且提高拼接效率，本文基于不變矩的旋轉，縮放和平移不變特性，提出了一種由粗到細的特征提取方法。首先計算輸入圖像二值化后的分塊圖像的7個不變矩值；然后采用歸一化歐幾里德距離計算各分塊圖像不變矩的相似度，提取出最為相似的區域；采用SIFT算法對該區域進行特征提取[5]，根據隨機采樣一致性算法(Random Sample Consensus，RANSAC)提取特征點并求出單應性矩陣H；最后，基于改進的分段線性加權融合算法實現圖像的無縫無鬼影拼接。

1.1 重疊區域的估算

不變矩最初是用來表達物體的幾何形狀信息的參數，離散狀態下，對于大小為M×N、灰度分布為f(x,y)的圖像，其(p+q)階普通矩和中心矩定義如下[5]：

(1)

(2)

式中，p,q=0,1,2,…。

當圖像發生變化時，mpq也發生變化，而μpq則具有平移不變性，但對旋轉依然敏感[3]。歸一化中心矩定義為：

(3)

Hu利用二階和三階中心矩構造了7個不變矩，在連續圖像條件下可保持平移、縮放和旋轉不變[5]。

這里，把提取的7個二維Hu不變矩作為圖像的特征提取，采用歐幾里德距離作為相似性的度量，定義參考圖像和待拼接圖像的不變矩相似性距離為:

(4)

考慮到歐式距離公式取值范圍會很大，為合理評價輸入圖像的相似程度，減小歐氏距離的計算誤差，將上述距離公式進行歸一化處理，定義Hu不變矩相似度公式為：

SH=1/(1+d(x,y))

(5)

其中，SH∈[0，1]，且值越大，說明兩幅圖像越接近，反之，值越小，相似程度越低。

1.2 SIFT特征提取

通過對分塊圖像的不變矩相似性進行度量后，估算出輸入圖像的重疊區域，然后，利用SIFT算法在重疊區域進行特征提取。SIFT算法的實質是在不同的尺度空間上查找關鍵點，并計算出關鍵點的方向，最后得到特征描述子[5]。

SIFT算法檢測尺度空間主要采用高斯差分金字塔(簡稱DOG算子)，定義如下：

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=

L(x,y,kσ)-L(x,y,σ)

(6)

其中，I(x,y)是圖像位于點(x,y)處的像素值,G(x,y,σ)是二維高斯函數。

關鍵點是由DOG空間的局部極值點組成的，這些極值點并不全都是穩定的特征點，還要通過擬合三維二次函數來精確確定關鍵點的位置和尺度，同時去除低對比度的關鍵點和不穩定的邊緣響應點[5]。最后，根據候選點領域像素的梯度方向特性得到關鍵點描述子。

1.3 特征匹配

本文采用K-D樹和RANSAC算法來精確匹配特征點，首先為輸入圖像建立K-D樹，完成特征點的初始匹配[6]。然后，采用RANSAC算法剔除外點，保留內點。

根據投影變換公式，單應性矩陣為：

(7)

為了確定8個自由參數，每次至少需要4對初始匹配點對，通過RANSAC算法不斷迭代，直到得到H矩陣的精確值。

2 重疊區域去鬼影融合

現有的線性加權法能在一定程度上實現無縫拼接，但是當圖像中存在移動目標時，容易產生鬼影現象[7]。因此本文對線性加權融合算法進行了改進，提出一種分段線性加權融合方法，當輸入圖像中只存在少量運動物體時，能在一定程度上消除鬼影。

2.1 線性加權融合

線性加權融合算法定義如下:

P(x,y)=t1P1(x1,y1)+t2P2(x2,y2)

(8)

這里，P(x,y)表示融合后的圖像，P1(x1,y1)和P2(x2,y2)表示兩幅輸入圖像，t1和t2分別對應于重疊區域像素的權重值，且滿足t1+t2=1。線性加權的權重選擇多樣，合理的權值選取，可以實現平滑過渡。

2.2 分段線性加權融合

文獻[8]提出利用離散小波將圖像進行多尺度分解，采用加權平均和領域方差加權平均算法實現低頻分量和高頻分量的融合與重構。文獻[9]提出一種基于小波系數自適應的改進加權平均算法。文獻[10]提出通過閾值和小波變換來改進加權平均融合。本文從加權平均融合的權值分配原則出發，將重疊區域分為四段，通過閾值的對比來分配每一段區域所占的權值。

P(x,y)=

(9)

其中，P1(x,y)和P2(x,y)表示兩幅輸入圖像，Pol(x,y)為重疊區域。α和β表示輸入圖像的權值，γ是重疊區域的權值。且滿足

α+β+γ=1

(10)

其中，權值α，β和γ的取值過程如下：

(1)設重疊區域的寬度為L，x為當前點的坐標，重疊區域的左邊界起始坐標為i。首先利用2.1節所述的線性加權融合算法計算重疊區域的像素值Pol(x,y)和它的線性權值t1和t2。

(2)設P1為左圖某點的灰度值，P2為右圖某像素點的灰度值，Pol為融合后重疊區域某點的灰度值。T為灰度閾值。進行四段式灰度值的比較，為每段的相應像素點分配權值。

表1 分塊圖像的SH值比較

注：橫排為左圖歸一化不變矩值，豎排為右圖值。

根據上述四段線性加權融合的權值計算準則，實現左右方向的無縫融合和鬼影消除，同理，也可實現上下拼接時的平滑過渡。

3 實驗結果與分析

3.1 重疊區域提取和SIFT特征點檢測

本文實驗環境為Windows 7，實驗平臺為MATLAB2012b。首先，對輸入圖像進行自適應閾值二值化操作，然后對圖像進行均勻分塊，這里均勻分成3×3的圖像塊，便于計算圖像的不變矩值。然后，計算各模塊對應的不變矩歐式距離，這里關注的是不變矩的不變性，與符號無關，所以統計時取不變矩的對數絕對值，便于計算。

重疊區域的選取如圖1所示，采用SIFT算法直接提取特征點并估算出重疊區域后再采用SIFT提取特征點，效果對比如圖2所示。

由表1分析可知，左圖的3、6、9區域塊依次對應于右圖的1、4、7區域塊的SH值相對較小，說明重疊區域集中于這些區域塊。

圖1 重疊區域的選取

圖2 特征提取對比圖

為估算本文算法的性能優越性，給出直接采用SIFT算法、SURF算法和本文算法實現拼接的用時和準確率對比，如表2所示。

表2 本文算法與SIFT和SURF算法的性能對比

由表2可知，與SIFT算法和SURF算法相比較，本文算法不僅在特征提取和匹配時間上更高效，且匹配正確率也更高。

3.2 帶運動目標的圖像去鬼影融合

當圖像存在運動目標時，傳統的線性加權融合算法并不能消除鬼影現象[11]。下面通過一組帶有運動目標的圖像，分別用線性加權融合和分段線性融合算法進行融合，效果對比圖如圖3所示。

圖3 消除鬼影效果對比圖

4 結論

本文提出了一種快速構建全景圖像較為有效的方法，與經典的SIFT和SURF算法相比，這種通過不變矩計算歐式距離來預估重疊區域的算法大大減少了計算復雜度和拼接時間。顯然，對于多幅大視場全景圖像的構建，基于不變矩相似度的拼接算法更高效，也更能滿足對實時性的需求。

[1] 安維勝,余讓明,伍玉鈴. 基于FAST和SURF的圖像配準算法[J]. 計算機工程,2015,41(10):232-235.

[2] Zhang Ruliang, Wang Lin. An image matching evolutionary algorithm based on Huinvariant moments[C]. International Conference on Image Analysis and Signal Processing, 2011: 113 -117.

[3] 高薇. 基于不變矩算法的高分辨率遙感影像建筑物特征提取[D]. 成都:電子科技大學,2013.

[4] KARTHIK R, ANNISFATHIMA A, VAIDEHI V. Panoramic view creation using invariant momentsand SURF features[C].

International Conference on Recent Trends in Information Technology, 2013: 376-382.

[5] 李中生,趙彬,劉振宇,等. 基于SIFT和Hu特征融合的單目視覺識別算法研究[J]. 微型機與應用, 2013,32(13):41-45.

[6] 劉欣,李校林,謝燦,等. 一種基于仿射變換的SURF圖像配準算法[J]. 電子技術應用,2014,40(6):130-132,139.

[7] 瞿中, 喬高元. 一種消除圖像拼接縫和鬼影的快速拼接算法[J]. 計算機科學,2015,42(3):280-283.

[8] 張格森,陳東生,王懷野,等. 一種圖像局部特征快速匹配算法[J]. 電子技術應用,2015,41(11):124-127.

[9] 吳金津,文志強,龍永新,等. SIFT-FCACO算法的圖像配準[J]. 微型機與應用,2014,33(15):36-39.

[10] JOSHI H, SINHA K L. A survey on image mosaicing techniques[J]. International Journal of Advanced Research in Computer Engineering & Technology (UARCET), 2013,2(2):356-369.

[11] 秦緒佳, 王琪, 王慧玲,等. 基于最佳縫合線的序列遙感圖像拼接融合方法[J]. 計算機科學,2015,42(10):306-309.

Fast image stitching based on similarity of invariant moments

He Jiahua, Wu Bin, Zhang Hongying

(Information Engineering Institute, Southwest University of Science and Technology, Mianyang 621010, China)

For problems such as low efficiency and false matching in the prevalence of image stitching, this paper proposes a fast stitching method based on similarity of invariant moments. Firstly, it uses the similarity of invariant moments to estimate overlap area of the input images, and then uses SIFT(Scale-Invariant Feature Transform)to detect and match feature points in the overlapping area, thus the unnecessary time of feature extraction and false matching are reduced. RANSAC(Random Sample Consensus)algorithm is used to refine the feature points and calculate homography. Finally, for dynamic scene easily appearing ghost phenomenon after fusion, an improved piecewise linear weighting fusion algorithm is put forward to eliminate ghost.

image stitching; invariant moments; scale-invariant feature transform; linear weighted fusion; ghost

TP391.4

A

10.19358/j.issn.1674- 7720.2017.12.015

何佳華，吳斌，張紅英.基于不變矩相似度的快速圖像拼接[J].微型機與應用，2017,36(12)：50-53.

2016-12-28)

何佳華(1991-)，女，碩士研究生，主要研究方向：圖像處理技術、人工智能及其應用。

吳斌(1965-)，男，博士，教授，博士生導師，主要研究方向：人工智能及其應用、智能控制、圖像處理技術。

張紅英(1976-)，女，博士，教授，主要研究方向：圖像處理技術、生物特征識別技術。