高斯二階差分特征算子在圖像拼接中的應用①

徐敏,莫東鳴,張禎(重慶工業職業技術學院,機械工程學院,重慶 400)(重慶工業職業技術學院,管理工程學院,重慶 400)

?

高斯二階差分特征算子在圖像拼接中的應用①

徐敏1,莫東鳴1,張禎2
1(重慶工業職業技術學院,機械工程學院,重慶 401120)
2(重慶工業職業技術學院,管理工程學院,重慶 401120)

摘 要:為了將同一場景中具有重疊區域序列的圖像快速準確合成一幅具有寬視角、高分辨率的圖像,提出了基于高斯二階差分(D2oG)特征檢測算子的SIFT算法.采用高斯二階差分(D2oG)金字塔的過零點檢測提取圖像尺度不變特征點,并選用RANSAC算法對特征點匹配對進行提純,在此基礎上計算不變換矩陣H,最后,用漸進漸出平滑算法完成圖像的無縫拼接.實驗中分別采用所提方法和SIFT算法對具有典型變換的4種圖像進行拼接與測試,結果表明: 所提方法提取的匹配點數、拼接所消耗時間明顯低于采用SIFT算法,同時匹配效率也高于后者.此方法降低了運算復雜度的同時,圖像拼接實時性也得到提高.

關鍵詞:序列圖像; 圖像配準; SIFT算法; 高斯一階差分金字塔; 高斯二階差分金字塔

圖像采集設備獲得的單幅圖像的視角有限,在一些應用場合需要把多幅有重疊區域的圖像拼接成一幅寬視覺、高分辨率的圖像.圖像拼接技術即是將一系列相互存在重疊部分的圖像序列先進行空間配準,再經過圖像變換、重采樣和圖像融合后形成一幅包含每個圖像序列的寬視角圖像或360度的全景圖像[1].隨著計算機和圖像處理技術的發展,圖像拼接技術在空間探索、遙感圖像處理、醫學圖像分析及視頻檢索等領域得到了廣泛的應用.

圖像拼接的關鍵技術在于圖像配準,其方法主要包括基于面積和基于特征的方法[2].基于面積的方法中,較為經典的算法為基于模板的配準算法,文獻[2]提出了基于灰度相關的方法,由于受耗時局限性影響,且算法實用性受到制約,誤差較大; 基于特征的方法則通過像素值導出的特征進行匹配,如SUSAN角點檢測算法無需梯度運算,提高了算法的效率,同時又具有積分特性,使得SUSAN算法在抗噪和計算速度方面有了較大的改進,但角點數量過多,不利于角點匹配; 文獻[3]給出Moravec角點檢測方法,其計算量小,但對噪聲的影響十分敏感; Harris算子用到灰度的一階差分以及濾波,提取的角點特征均勻、合理,但該算法只能在單一尺度下檢測角點,檢測的定位精度較差[4]; Mikolajczyk等[5]針對不同的場景,就多種最具代表性的描述子進行了試驗,SIFT描述子性能較好,但算法復雜度高,計算量增大.

針對上述問題,本文在研究SIFT算法[6]中的高斯差分 (DoG)特征檢測算子基礎上,提出利用高斯二階差分 (D2oG)特征檢測算子的零點檢測來提取圖像的特征點,通過實驗驗證,所提出的方法加快了在多尺度下特征提取的速度,同時也提高了SIFT的匹配效率.

1　多尺度下特征點提取

特征點是指與周圍有著顏色和灰度差別的區域.SIFT特征點是在空間尺度中尋找極值點,并提取出其位置、尺度和旋轉不變量[7].

SIFT特征提取主要分為三個步驟:

①建立尺度不變空間;

②特征點定位;

③生成特征點描述符[8].

SIFT特征點定位如圖1所示,在DoG空間中,以第一階為例,上、下尺度各9個領域,其本尺度8個領域的極值點作為候選特征點[9,10].然后對特征點進一步特征描述,形成128維的特征向量,最后對求出的特征描述符進行后續的特征匹配,得到圖像中相對應的特征匹配點對.

圖1　DoG金字塔局部極值檢測

在SIFT特征提取的三個步驟中,需要分別構建較多層數的LoG金字塔和DoG金字塔,并且在定位特征點時,要利用DoG金字塔中三層圖像的局部信息,因此特征檢測占據了SIFT算法80%左右的時間[11],拼接耗時多,實時性難已實現.本文從簡化金字塔的結構,改變特征點定位方法來降低運算復雜度.由此提出基于D2oG提取SIFT特征的算法.

2　D2oG提取SIFT特征原理

2.1D2oG特征檢測算子

本文對高斯差分(DoG)函數進行一次差分運算得到高斯二階差分(D2oG)函數如式(1)所示,并用高斯二階差分函數的過零點檢測來代替高斯差分函數的極值點檢測,由此來確定特征尺度和檢測特征點.

式中D2(x,y,σ)為高斯二階差分函數,D(x,y,σ)為高斯一階差分函數,(x,y)為空間坐標,σ為尺度坐標,k為尺度系數.

由于

則:

根據式(3)可知,kσ-σ≠0,得:

由式(2)、(3)和(4)的推導可知D2oG函數的過零點即為DoG函數一階導數為零的點,即DoG函數的局部極值點.因此可以用D2oG金字塔的零點檢測來代替DoG金字塔的局部極值點檢測實現特征點提取.

2.2D2oG特征檢測步驟

(1)建立D2oG金字塔

首先,通過高斯核函數對圖像進行卷積得到不同尺度的高斯圖像; 然后,將高斯金字塔同一階內相鄰兩層相減得到DoG金字塔; 最后,將DoG金字塔同一階內相鄰兩層相減,作為D2oG金字塔的一層.以第一、二階高斯二階差分金字塔的建立為例如圖2所示,建立了5層的高斯金字塔,通過相鄰兩層相減得到4層高斯差分金字塔,進而采用4層高斯差分金字塔的相鄰兩層相減得到最終的3層高斯二階差分金字塔.

圖2　D2oG金字塔的建造

(2)檢測D2oG金字塔每層中的零點.在D2oG金字塔每層中檢測高斯二階差分絕對值接近零的像素點,通過設置零點檢測閾值T,如果小于等于T則認為該像素點為一特征點,并記錄下該點的位置和尺度(xi,yi,σi).通過實驗統計,綜合考慮算法精度和速度兩方面的因素,本文設定閾值T為0.000099.

(3)特征點精確定位.將D2oG空間中的特征點映射回DoG空間,即: 位于D2oG金字塔中第i階j層的特征點(xm,ym,σm)對應于DoG空間中第i階j層參數相同的(xm,ym,sm)的像素點.這樣D2oG空間中特征點精確定位可以轉化為在DoG金字塔中的精確定位.

(4)提取邊緣特征點.利用Hessian矩陣的特征值和高斯差分函數D的主曲率值成比例這一特征來判斷處于邊緣的特征點.Hessian矩陣如式(5)所示:

式中Dxx,Dxy,Dyy分別表示對高斯差分函數進行x方向上的二次求導,依次對x方向和y方向進行求導以及對y方向上的二次求導.

式中,Tr(H)為H矩陣的跡,Det(H)為H矩陣的行列式,α為較大特征值,β為較小特征值,α=kβ.通過設定k的大小來判斷是否為邊緣點,式(8)大于這個閾值,則將此點作為邊緣點提出,文中k=10.

由于特征描述符維數過低會造成匹配精度下降;如果維數過高會造成匹配計算量增加耗時多,最初的128維描述符是折中值.在精度要求不太高耗時少的情況下,可以降低描述符維數來提高拼接的速度.所提方法在提取出特征點后,仍選用128維特征描述符對其進行表達及后續的配準操作.

3　特征點匹配與融合

3.1變換矩陣H的確定

利用上述方法計算出來的特征點,以一幅圖像的坐標為參考,采用式(9)求解出兩幅圖像間透視變換矩陣H的參數,將待拼接圖像歸一化到以參考圖像的坐標系中.

我們利用4對匹配點可得到8個獨立的線性方程,通過方程組解得的h0…h8,即確定了式(9)透視變換矩陣.為了避免隨機選取的4對特征點位于同一平面構成方程組無解,采用隨機選取的4對特征點求解模型變換參數初值的做法.初始模型參數計算出來后,用于對其他匹配點對的校驗,得到在一定容忍度下符合該模型的所有匹配對,再利用這些匹配對來獲得圖像變換模型的參數.

3.2特征匹配點的提取

利用圖像中的特征描述子的128維特征向量,用式(10)歐式距離相似性判斷方法[12,13]對SIFT檢測子進行匹配,并通過式(10)計算并找出最小距離Dmin和次小距離Dscn,計算比值R=DminDscn,當R小于某一閾值時,對應的特征點為匹配點.通過比較,我們將閾值設定為0.75.采用Best-Bin-First(BBF)算法實現尋找最近鄰和次近鄰.

其中,X2i[j]表示參考圖像中的第i個特征點的特征向量,X1i[j ]表示待配準圖像中的第i個特征點向量,D表示歐氏距離.

并選用RANSAC算法[14]進行剔除誤匹配點對并計算出變換矩陣H,步驟如下:

1)隨機抽取4組匹配點對計算矩陣H,然后計算剩余所有匹配點的距離di在誤差閾值范圍內,則接受此匹配點對為H的內點;

2)選擇包含內點數目最多的一個點集重新計算H,用最小二乘法來最小化誤差,去掉少數的“外點”后計算新的內點集內的平均誤差;

3)重復上述兩步驟直至達到滿意效果,選擇平均誤差最小的內點集計算最終的單應性矩陣H.

圖像I1和圖像I2的變換關系可以表示為:

3.3圖像融合

采用以上的配準算法后再選用漸進漸出的融合方法[15]實現圖像的無縫拼接.

4　結果與討論

實驗采用的平臺為VS2010和OpenCV,圖像大小為340*280.以圖像匹配點對數、拼接時間、匹配精度和匹配效率[16]作為評價指標.其中匹配效率如式(12)所示.

實驗選用4種典型的測試圖進行測試,圖3(a)為垂直平移的圖像、圖3(b)是亮度和對比度有大幅度變化的圖像、圖3(c)是相機視角發生了40°變化的圖像和圖3(d)是旋轉了45°和縮小了一半的圖像.特別說明的是: 4組圖像中左圖為參考圖像,右圖為待拼圖像.選用基于模塊的圖像拼接、基于SIFT特征點的圖像拼接與我們所提零點檢測的圖像拼接方法進行比較.

圖3　測試圖

4.1實驗結果

1)模板拼接

基于模板拼接的方法[17]對圖3(a)進行實驗得到拼接后的效果圖,如圖4所示.

圖4　基于模板的拼接效果圖

從圖4可看出基于模板的配準方法出現了錯位的現象,說明圖像在旋轉時不能較好的找出最佳匹配位置.

2)SIFT算法

采用文獻[7]所提SIFT算法分別對圖3中的四組圖進行特征提取,確定圖5(a)中SIFT特征點個數分別為1376和1071,圖5(b)中的特征點個數分別為350和246,圖5(c)中特征點個數分別為698和839,以及圖5(d)的特征點個數分別為773和607.

圖5　SIFT特征描述符

然后,通過kd-tree算法分別計算圖5特征點得到粗匹配點對: 566對(圖6(a))、121對 (圖6(b))、101對(圖6(c))和230對(圖6(d)).

圖6　特征點對

通過RANSAC算法消除誤匹配點并計算出透視變換矩陣H,將待拼接圖像變換到參考圖像坐標系后進行圖像融合得到最后的拼接效果圖,如圖6所示.

圖7　SIFT方法融合圖

由上述計算可知圖5、圖6中檢測的特征點一方面數目較大,但計算透射變換矩陣僅需要4對特征點對,這會導致消耗內存計算時間較長.

(3)D2oG零點檢測的SIFT算法

采用本文提出的基于D2oG零點檢測的SIFT算法對圖像進行特征點提取、配準及融合.通過粗匹配后得到粗匹配點對分別降為: 199對(圖8(a))、15對(圖8(b))、18對(圖8(c))和18對(圖8(d)).

圖8　特征點對

采用RANSAC算法來消除誤匹配點對并用式(9)分別計算出圖3中待拼接圖像的坐標變換矩陣H中的參數:

變換矩陣H的參數確定后,即分別得到圖3的透射圖如圖9所示.

圖9　透射圖

將圖9所示的透射圖與圖3所示的參考圖像分別進行漸進漸出融合,得到圖10所示的融合圖像.

圖10　高斯二階差分方法融合圖

為驗證所提方法的有效性,本文將從主觀和客觀評價兩方面進行分析與討論.

4.2分析與討論

從圖10可以看出,拼接的效果明顯優于圖4所采用的基于模塊配準的方法,較好的解決了圖像出現的錯位現象,同時基于模板的拼接方法對旋轉縮放的圖像存在較大的局限性,因此基于特征點的方法更具實用性.通過觀察圖7和圖10,基于SIFT算法和所提方法拼接效果圖的區別不明顯.為進一驗證所提方法的效果,我們通過下面的客觀評價指標對這兩種方法進行比較.

圖像拼接中特征點的提取和匹配精度及效率是影響拼接實時性的關鍵.我們以圖像所有匹配點對數(即粗匹配點數)、一致集中的匹配點對數、拼接時間、匹配精度和匹配效率作為評價指標,對上述兩種方法進行比較.

表1所示為拼接實驗計算數據,從表中可知所提方法提取的匹配點數、拼接所消耗時間明顯低于采用SIFT算法所得數據,同時匹配精度、效率也高于后者.證明實驗所提方法的可行性和實效性好于SIFT算法.

表1　SIFT算法與所提方法(改進SIFT)對圖像的實驗結果

5　結語

本文在研究SIFT特征匹配算法的原理基礎上,提出了基于D2oG特征檢測算子的改進SIFT特征拼接算法.改進算法通過簡化金字塔結構,即減少構建高斯金字塔的層數,并通過檢測D2oG空間單層的二維平面的零像素點代替DoG空間三層的三維平面的極值像素點來提高算法的運行速度.同時在D2oG金字塔在構造過程中仍保留了DoG金字塔有效層,即保證了圖像拼接的有效性.實驗表明,所提方法對彩色、灰度圖像均有較好的拼接效果,并提高了拼接的實效性,對平移、小視角差異和變形不大的圖像的拼接效果較好,具有一定的參考價值.

參考文獻

1林錦梅,周付根,金挺.采用SIFT特征的空基動態視屏穩定技術.紅外與激光工程,2011,40(12):2552–2557.

2詹斌,李華格,等.遙感圖像拼接系統.計算機系統應用,2014,23(5):31–36.

3張玉潔.圖像局部不變特征提取與匹配及應用研究[學位論文].南京:南京理工大學,2010.

4王威,唐一平,任娟麗,等.一種改進的Harris角點提取算法.光學精密工程,2008,16(10):1995–2001.

5Jiang DG,Yi JK.Comparison and study of classic feature point detection algorithm.Computer Science & Service System.Nanjing,China.2012.2307–2309.

6Ryu JB,Park HH.Log-log scaled Harris corner detector.Electronics Letters,2010,46(24): 1602–1604.

7Lowe DG.Distinctive image features from scale-invariant keypoints.International Journal of Computer Vision,2004,60(20): 91–110.

8 王正林.基于對比度的小波圖像融合算法研究.激光與紅外,2014,44(9):1043–1044.

9曹巒,王元欽,譚久彬.改進的SIFT特征提取和匹配算法.光學精密工程,2011,19(6):1391–1397.

10劉向增,田錚,史振廣,等.基于FKICA-SIFT特征的合成孔徑圖像度尺度配準.光學精密工程,2011,19(9):2186–2195.

11Zhu ZW,Shen ZF,Luo JC.Parallel remote sensing image registration based on improved SIFT point feature.Journal of Remote Sensing,2011,15(5): 1024–1031.

12Wan LZ,Chong WN.Flip-Invariant SIFT for copy and object detection.IEEE Trans.on Image Processing,2013,22(3): 980–991.

13 Zhu XF,Ma CW,Liu B.Target classification using SIFT sequence scale invariants.Systems Engineering and Electronics,2012,23(5): 633–639.

14Yang BLST.Multifocus image fusion and restration with sparse representation.IEEE Trans.Instrumentation And Measurement,2010,59(4): 884–892.

15劉立,彭復員,趙坤,等.采用簡化SIFT算法實現快速圖像匹配.紅外與激光工程,2008,37(1):181–184.

16張維中,楊厚俊,張麗艷,等.基于多福圖像的同名曲線亞像素匹配算法.北京郵電大學學報,2008,31(4):66–69.

17丁小麗.圖像拼接技術研究[學位論文].南京:東南大學,2009.

Image Mosaic Method Based on Gaussian Second-Order Difference Feature Operator

XU Min,MO Dong-Ming,ZHANG Zhen
1(Department of Mechanical Engineering,Chongqing Industry Polytechnic College,Chongqing 401120,China)2(Department of Management Engineering,Chongqing Industry Polytechnic College,Chongqing 401120,China)

Abstract:In order to compose the wide visual angle and high resolution image from the sequence of images which have overlapping region in the same scene quickly and correctly,an improved SIFT algorithm which based on D2oG interest point detector was proposed.It extracted the image feature points and generated corresponding feature descriptors by improved SIFT algorithm.Then,feature point matching pairs were purified using the random consistency (RANSAC)algorithm and the transformation matrix H was caculated.Last,the seamless mosaic of images was completed by using the image fusion algorithm of slipping into and out.The images which had the four typical transformations were separately processed with the traditional SIFT and the proposed method in the experiment.The result indicated that the number of feature pairs is fewer,the mosaic time is shorter and the matching efficiency is higher than that of SIFT algorithm.This method reduces the complexity of operation and improves real-time of image mosaic simultaneously.

Key words:sequence image; image matching; SIFT algorithm; Guassian first-order difference pyramid; Guassian second-order difference pyramid

基金項目:①重慶市高等學校青年骨干教師資助項目(自然科學類);重慶市工業職業技術學院科研項目自然科學基金(GZY201313)

收稿時間:2015-08-04;收到修改稿時間:2015-10-08