相位相關輔助的重復紋理區域特征跟蹤匹配

閆 利， 龔 珣， 謝 洪

(武漢大學測繪學院,武漢 430079)

0 引言

在城市三維重建過程中，廣泛使用移動測量車搭載CCD相機的方式獲取街道場景的影像。隨著這種數據采集方式的日趨成熟，獲取的數據量越來越多，為進一步挖掘數據的利用價值，研究人員開始關注如何對街道序列影像進行精確定向以及利用街道序列影像如何對街道三維場景進行重建的問題。而在對街道序列影像進行影像定向以及三維重建的過程中，尋找同名特征點已成為一個挑戰性問題。以往為了尋找同名點，研究人員提出過大量特征匹配算法，其中Lowe[1]提出的尺度不變特征變換(scale-invariant feature transform,SIFT)算子是公認的最為出色的特征提取與描述算子，但利用該算法進行特征匹配的實時性較差，故此后有很多研究人員對SIFT算子進行了改進[2-4]。而移動測量車所獲取的街道序列影像有一個突出的問題，那就是影像中存在大量的規則重復紋理，采用特征描述的方法很難將其區分開來； 利用上述方法對街道序列影像進行特征匹配時，在重復紋理區域會造成大量誤匹配點。因此，如何解決重復紋理區域特征的匹配問題，已成為街道序列影像定向以及三維重建的關鍵之一。針對具有重復紋理的戶外自然場景特征跟蹤問題，劉偉等[5]在隨機樹算法的基礎上，提出了一種內點回收算法，通過構造匹配點集，利用特征紋理在影像中的空間信息，從集合中選擇最佳匹配點來提升匹配效果； 但該算法只適用于解決具有少量對稱重復紋理區域的匹配問題。針對重復紋理區低空影像匹配問題，何海清等[6]提出利用相位相關預測同名點在平移、旋轉和尺度上的遍歷范圍，在遍歷范圍內檢測角點，并利用相關系數來匹配同名點； 但因車載序列影像的攝影距離很近，導致相鄰影像之間的投影變形十分嚴重，使用該方法在整體相位相關方面可能會得到錯誤結果。針對上述問題，本文提出了一種利用分塊相位相關輔助的KLT(Kanade-Lucas-Tomasi)跟蹤方法來解決街道序列影像重復紋理區域的匹配問題。首先，利用分塊相位相關將原始影像分割成景深趨于一致的子區域，并在子區域上對同名點進行預測； 然后，以相位相關預測的初始位置為中心，利用KLT算法對影像中的角點進行精確跟蹤； 最后，利用核線約束，通過隨機抽樣一致性(random sampling consensus，RANSAC)方法剔除錯誤匹配點，完成跟蹤匹配。

1 重復紋理區域特征匹配

在移動測量系統獲取的街道序列影像中，建筑物立面占有相當大的比例，而通常建筑物立面含有大量的規則重復紋理。利用特征匹配的方法對此類影像進行匹配時，容易造成大量的誤匹配，嚴重影響后期的影像定向以及三維重建。針對此問題，本文提出一種利用相位相關算法輔助KLT對角點進行跟蹤，從而實現特征匹配的算法。首先，在整體上利用相位相關將待匹配的影像對進行粗配準； 然后，使用KLT算法從影像中提取局部角點特征并進行跟蹤匹配。本文算法技術流程如圖1所示。

1 本文算法技術流程Fig.1 Technical flowchart of algorithm proposed in this paper

2 基于分塊相位相關的初始位移獲取

相位相關算法對噪聲具有魯棒性，并且處理結果比較穩定，適用于對影像進行整體配準來獲取全局的位移信息。但是，相位相關并不適用于影像之間同時存在旋轉和縮放等變形的情況。街道序列影像由于攝影距離近，影像之間存在較大的投影變形，使用相位相關算法盡管在全局可獲得最佳配準，但局部區域的配準結果并不理想。為了使局部區域配準精度滿足KLT跟蹤所需要的初始條件，在相位相關的基礎上，對影像進行子區域劃分； 然后在每一子區域再次相位相關，當子區域劃分達到一定程度后，每一局部區域的相位相關精度就能夠滿足KLT跟蹤的要求。

2.1 相位相關算法原理

基于傅里葉變換相位相關算法的主要思想是： 利用傅里葉變換(Fourier transform)將空間域表示的影像變換到頻率域，在頻率域中進行相關運算后，再將結果利用逆變換變換回空間域來求取2景影像之間的平移量。用f1(x,y)和f2(x,y)分別表示2景影像，假設影像之間存在平移d(dx,dy)，其平移關系可表示為

f2(x,y)=f1(x-dx,y-dy)。

(1)

將式(1)左右兩邊分別進行傅里葉變換，可得到2景影像在頻率域的關系，即

F2(u,v)=e-j2π(udx+vdy)F1(u,v)，

(2)

式中j為虛數常量，等于-1的平方根。

根據式(2)得到2景影像的互功率譜的表示形式，即

(3)

2.2 分塊相位相關算法

通過分塊的方法，使每一子區域相位相關的精度均滿足KLT跟蹤的需求，是此階段相位相關的目的。結合街道序列影像數據的特征，綜合運用影像邊緣提取、影像2冪劃分和相位相關，在達到所需精度的同時，也使效率達到最高。分塊相位相關的流程如下： ①提取參考影像與待配準影像的邊緣； ②對邊緣影像整體進行相位相關，求取初始位移量； ③以上次相位相關得到的位移量為基礎，將影像分割成多塊子區域； ④在每個子區域再次利用相位相關求取位移量； ⑤重復步驟③和④，直到子區域的配準精度滿足下一步KLT跟蹤的要求。分塊相位相關配準結果如圖2所示。從圖2(d)中的對比可以看出，不同的景深導致3塊區域在相鄰影像中的視差變化差異很大。如果單純采用相位相關在整體上求解位移量，并不能得到很好的結果。圖2(e)中顯示，采用分塊相位相關算法，能夠對每一部分都配準得比較好。但是，從圖2(e)中也可以看到，由于分塊并沒有考慮影像的結構特征，藍色部分的相位相關仍存在問題； 然而與整體相位相關只能得到一個位移相比，分塊相關結果整體精度更高，且滿足KLT跟蹤的要求。

圖2分塊相位相關配準結果

Fig.2Registrationresultsofblockphasecorrelation

2.2.1 影像邊緣提取

街道序列影像的深度不連續以及拍攝的距離較近，導致相鄰影像不同區域的視差變化很大，因此采用分塊相位相關的方法可以較好地解決這一問題。但在實驗處理階段發現，影像中灰度劇烈變化所形成的邊緣導致相位相關的結果僅在這些邊緣附近對齊，而不是整體上的最優。經過分析表明，影像中的建筑物表面紋理灰度強度變化相對微弱，在功率譜上會形成小的峰值，而灰度劇烈變化的邊緣區域在影像功率譜上則會形成高振幅的波峰，從而導致相位相關過程中灰度變化劇烈的區域占很大權重。

為了抑制灰度強烈變化邊緣區域在相位相關中的權重，增強灰度變化相對較弱的重復紋理區域的權重，本文采用了一種基于輪廓的相位相關算法。張靜等[7]在研究全景影像自動拼接算法時，使用了一種基于輪廓的相位相關技術，提高了相位相關的魯棒性和效率。

考慮到本文的目的是在保留低對比度區域的基礎上抑制高對比度區域，如果采用Canny邊緣檢測等完整的邊緣檢測算法會比較耗時，而且相位相關也不需要連通的邊緣信息，因此本文采用了一種簡單的影像輪廓提取方法： 首先，獲取影像在水平和垂直方向的梯度圖； 然后，設定適當的閾值，對梯度圖進行二值化，形成影像的輪廓。利用上述方法生成的輪廓影像保留了原始影像主要的頻率信息，同時抑制了因亮度不同導致的影像差異。

2.2.2 基于2冪的影像分塊

將影像從空間域變換到頻率域的過程中，使用了快速傅里葉變換(fast Fourier transform，FFT)。在FFT變換中，維數N必須是可以分解的較小數的乘積，而且當N是2的冪數時，效率最高、實現最簡單。根據這一原理，張世陽等[8]運用2冪子圖像加快圖像匹配的效率； 羅如為等[9]應用這一方法加速全景影像的拼接。依據該方法，首先，將影像適當變形，得到2冪子影像； 然后，進行相位相關，在分塊階段以1/2作為分塊的系數，使分塊影像為2冪對齊。

3 基于KLT的特征點匹配

3.1 KLT算法原理

KLT 跟蹤算法最早由Lucas等[10]提出，后又由Shi等[11]和Bouguet[12]進行了完善。該算法主要的思想是將傳統的滑動窗口搜索法變為一個求解偏移量的過程： 考慮序列影像中相鄰2景影像I(x,y)和J(x,y)，假設之間的微小相對位移為d(x,y)，以影像中某一特征點為中心開辟一個小窗口W，以2個窗口之間的灰度差平方和作為代價得到式(4)，即

(4)

式中：x=[x,y]T，為特征點的位置；d=[dx,dy]T，為特征點在2景影像之間的平移量；ω(x)為權值函數，一般設為常數1；W為跟蹤的窗口范圍。

將式(4)對d求偏導數并在x處一階泰勒展開，得到

(5)

(6)

(7)

Zd=θ。

(8)

為了能夠求得2個窗口之間的偏移量d，需要保證Z可逆。此時偏移量d可通過式(9)求出，即

d=Z-1θ。

(9)

3.2 相位相關輔助的KLT特征跟蹤

KLT算法作為廣泛使用的視頻稀疏跟蹤算法，具有計算簡單、效率高且能夠達到亞像元精度的優點。但由于視頻數據獲取的時間分辨率較高，視頻跟蹤算法通常假設視頻流里相鄰2景影像獲取的場景所發生的變化屬于微小變化，表現在影像中的特征點相對位置只發生微小位移，因此跟蹤可以在小范圍內很好地進行。但直接將KLT應用在本文的匹配場景中并不合適，因為移動測量設備所獲取的街道序列影像的時間分辨率遠低于視頻，相鄰影像之間的微小位移假設已經不再成立； 而且當影像中的特征角點具有明顯可區分性時，盡管通過分層KLT跟蹤[12]的方法可以擴大跟蹤范圍，但街道序列影像中存在的重復紋理會導致跟蹤范圍擴大后算法容易收斂到錯誤的角點上。因此，本文采用的相位相關輔助KLT的思想是利用相位相關算法將影像對進行粗配準，使其滿足KLT跟蹤的條件。換言之，就是限制KLT的跟蹤范圍，使其從可靠的初始位置開始搜索最佳匹配點。具體的步驟如下： ①從參考影像中提取特征角點； ②根據參考影像中角點坐標和相位相關獲取的平移量，在待匹配影像中預測對應點的坐標； ③以預測坐標為中心，利用KLT算法在待匹配影像中給定范圍內尋找最佳匹配點。

4 實驗結果與分析

采用移動測量車獲取的某一地區序列街景影像進行實驗，原始影像大小為2 058像元×2 456像元。考慮到原始影像中有非常大的部分為路面數據，這部分數據變形嚴重，無法進行有效匹配，因此在實驗中截取原始影像的上半部作為輸入影像。實驗硬件平臺為Intel I3-2350M，雙核2.3 GHz CPU，4 G內存，軟件平臺為WIN10 64位系統，VS2013專業版，使用C++編程語言以及OpenCV實現本文算法以及結果顯示。

圖3給出其中一組影像對的實驗結果，并以SIFT算法的結果作為對照。

(a) SIFT算法匹配結果(b) 本文算法匹配結果(c) SIFT核線約束剔除錯誤匹配后結果 (d) 本文算法核線約束剔除錯誤匹配后結果

圖3SIFT算法與本文算法匹配結果比較

Fig.3ComparisonofmatchingresultsusingSIFTandalgorithmproposedinthispaper

4.1 匹配結果定性分析

從圖3(a)可以看出，采用SIFT算法提取的特征點大量分布在紋理豐富的區域(如影像左半部以及下部文字區域)，而在影像中紋理缺乏的區域(如影像右上角的墻面部分)，SIFT算法僅能夠提取到少量明顯的特征。這說明了SIFT算法作為一種特征描述子，強烈依賴特征點周圍的紋理特性，不適合用來解決弱紋理區域的特征匹配問題。從匹配的結果來看，在影像左半部以及下部文字區域，SIFT算法匹配結果較好； 而在影像弱紋理區域，SIFT算法雖然提取了少量明顯紋理特征，但因重復紋理的干擾，仍然無法匹配到正確的特征點。

從圖3(b)可以看出，本文利用Hessian角點提取算子，即使紋理缺乏，在影像中的建筑區域依然能夠提取到大量的角點。從匹配結果來看，本文采用的分塊相位相關算法，以特征點之間的相對位置關系作為先驗信息求取最佳的匹配點，在匹配的結果上沒有出現較大的位置偏差，能夠較好地抵抗重復紋理的干擾。

對于影像中錯誤的匹配結果，采用核線約束進行錯誤匹配的剔除，剔除后的結果如圖3(c)和(d)所示。可以看出，采用核線約束后大量的錯誤匹配被剔除，但在結果中仍然存在少量的錯誤匹配，這是由于核線約束無法剔除位于核線附近的錯誤匹配。對比本文算法與SIFT算法剔除錯誤匹配后的結果可以看出，2種算法各有優缺點，SIFT算法主要考慮特征相似性； 本文算法則主要考慮空間位置關系。另外，本文算法剔除錯誤匹配后，特征點明顯增多，特別是在SIFT算法無法提取到特征點的弱紋理區域，本文算法得到了大量的正確匹配。如果能夠將以上2種算法融合起來，同時考慮特征相似性和空間位置關系，那么得到的匹配效果應該會更好。

4.2 統計結果定量分析

選取序列影像中3組影像對匹配的結果，對匹配的特征點數以及經過核線約束剔除誤匹配后的匹配特征點數進行統計分析，統計結果如表1所示。

表1 SIFT算法與本文算法匹配結果統計Tab.1 Statistics of matching results using SIFT and algorithm proposed in this paper (個)

從表1中可以看出，本文算法匹配特征點總數遠大于SIFT算法的匹配特征點總數。雖然本文算法所得到的錯誤匹配也相對較多，但是剔除錯誤匹配后，本文算法的正確匹配特征點數仍然比SIFT算法多。

對2種算法在實驗平臺上的運行時間進行了統計，統計結果如表2所示。

表2 SIFT算法與本文算法匹配時間統計Tab.2 Statistics of matching time by SIFT and algorithm proposed in this paper (s)

從表2中的運行時間統計結果來看，本文算法平均用時為4.967 s，SIFT算法平均用時為4.853 s，兩者相差約0.1 s，匹配效率基本相當。

5 結論

1)傳統的SIFT特征匹配算法，將影像局部轉換到特征空間，在特征空間中進行匹配，沒有顧及特征的空間位置關系，在重復紋理及弱紋理區域難以得到正確匹配。

2)本文提出的相位相關輔助的特征跟蹤算法充分利用了特征之間的空間位置關系來進行跟蹤匹配。在街道序列影像的匹配實驗中，SIFT算法往往得不到足夠的匹配特征點，而本文算法則取得了較好的匹配結果，這對于后續影像定向及三維重建具有重要意義。

3)本文算法過于依賴特征間的空間位置關系，有時會導致嚴重錯誤。如能結合傳統特征匹配的優勢，研究同時顧及特征相似性和空間位置相似性的匹配算法，將會大大提高特征匹配的效果。

4)本文使用核線約束無法剔除位于核線附近的錯誤匹配，如何尋找合適的幾何約束條件增強核線約束、進一步剔除錯誤匹配，還有待進一步研究。

[1] Lowe D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[2] Bay H,Ess A,Tuytelaars T,et al.Speeded-up robust features(SURF)[J].Computer Vision and Image Understanding,2008,110(3):346-359.

[3] Ke Y,Sukthankar R.PCA-SIFT:A more distinctive representation for local image descriptors[C]//Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington,DC:IEEE,2004,2:II-506-II-513.

[4] Morel J M,Yu G S.ASIFT:A new framework for fully affine invariant image comparison[J].SIAM Journal on Imaging Sciences,2009,2(2):438-469.

[5] 劉 偉,王涌天,陳 靖.針對重復紋理場景的跟蹤定位算法[J].北京理工大學學報,2012,32(2):189-193.

Liu W,Wang Y T,Chen J.A novel registration algorithm for repetitive texture[J].Transactions of Beijing Institute of Technology,2012,32(2):189-193.

[6] 何海清,張永軍,黃聲享.相位相關法輔助的重復紋理區低空影像匹配[J].武漢大學學報(信息科學版),2014,39(10):1204-1207.

He H Q,Zhang Y J,Huang S X.Phase correlation supported low altitude images matching with repeated texture[J].Geomatics and Information Science of Wuhan University,2014,39(10):1204-1207.

[7] 張 靜,胡志萍,劉志泰,等.基于輪廓相位相關的圖像自動拼接[J].大連理工大學學報,2005,45(1):68-74.

Zhang J,Hu Z P,Liu Z T,et al.Image automatic mosaics based on contour phase correlation[J].Journal of Dalian University of Technology,2005,45(1):68-74.

[8] 張世陽,王俊杰,胡運發.一種快速全景圖像拼接技術[J].計算機應用與軟件,2004,21(3):77-79.

Zhang S Y,Wang J J,Hu Y F.Development of fast panorama image mosaics[J].Computer Applications and Software,2004,21(3):77-79.

[9] 羅如為,陳孝威.360°圖像序列的柱面全景拼接算法[C]//第二屆和諧人機環境聯合(第15屆全國多媒體技術、第2屆全國人機交互、第2屆全國普適計算)學術會議論文集.杭州:中國計算機學會,2006:95-101.

Luo R W,Chen X W.The algorithm of cylindrical panorama mosaicing for 360° image sequence[C]//The 2nd Joint Conference On Harmonlous Human Machine Environment(NCMT2006, CHCI2006 and PCC2006).Hangzhou:China Computer Federation,2006:95-101.

[10] Lucas B D,Kanade T.An iterative image registration technique with an application to stereo vision[C]//Proceedings of the 7th International Joint Conference on Artificial Intelligence.Vancouver, BC,Canada:Morgan Kaufmann Publishers Inc.,1981(2):674-679.

[11] Shi J B,Tomasi C.Good features to track[C]//Proceedings of 1994 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Seattle,WA,USA:IEEE,1994:593-600.

[12] Bouguet J Y.Pyramidal implementation of the Lucas Kanade feature tracker description of the algorithm[J].Acta Pathologica Japonica,2000,22(2):363-381.