局部相位相關法在密集匹配中的應用及精度分析

鄒進貴，楊義輝，李 琴，翟若明

(1. 武漢大學測繪學院，湖北 武漢 430079； 2. 武漢大學精密工程與工業測量國家測繪地理信息局重點實驗室，湖北 武漢 430079； 3. 遼寧省交通高等專科學校，遼寧 沈陽 110122)

在基于雙目視覺的密集匹配方法中，基于全局和基于區域的立體匹配算法都可以輸出稠密視差圖，但傳統匹配算法對于含有顯著圖像噪聲及光照變化的立體像對匹配效果較差，容易出現誤匹配現象[1-2]。

而基于頻域的相位相關算法(phase only correlation，POC)是一種基于傅里葉(Fourier)功率譜的頻域相關算法，由于該方法只取互功率譜中的相位信息，因而減少了對圖像內容的依賴性，而且所獲得的相關峰尖銳突出。因此該算法塊位移量檢測范圍較大，有較高的匹配精度。另外，POC算法對圖像灰度依賴較小，具有一定的抗干擾能力，因此經常用于圖像的配準處理中。但由于該方法計算量大、對窗口形狀和大小要求嚴格，在密集匹配中運用較少[3-5]。

圖像配準是將同一場景的兩幅或多幅圖像重疊在一起，從幾何學來講就是建立待配準圖像和模板圖像之間的對應變換關系[3]。如果以立體像對中同一位置的某點為中心進行加窗Fourier變換，即局部采樣矩陣Fourier變換，再利用局部相位相關，就可以精確定位相位互相關譜的峰值，進而估計出窗口間亞像素級平移參數。通過對圖像中每個像素點進行上述計算，取各點橫向平移參數，即為該點視差值，進而得到視差圖。

1 相位相關法的密集匹配原理

由Fourier變換的性質可知，在時域中信號的平移運動可以通過在頻域中相位的變化表現出來，且這種平移在頻域中只反映在相位變化上，而對應的幅度譜是相同的。

1.1 窗口二維傅里葉變換

若尺寸為M×N的圖像的函數表達為f(x,y)，則其二維離散Fourier變換為

(1)

其反變換為

(2)

采用一定長寬的矩形窗對立體像對同一位置進行加窗Fourier變換，即可得到該點附近的頻域相位譜，將其定義為局部相位

(3)

式中，Im(u,v)和Re(u,v)分別為Fourier變換所得復數矩陣的虛部和實部，這里相位取[-π,π)的主值區間。

1.2 相位相關法

相位相關主要基于Fourier變換中的平移定理。假設fL(x,y)和fR(x,y)分別為左圖像和右圖像的窗口信號，且滿足

fR(x,y)=fL(x-dx,y-dy)

(4)

式中，dx和dy分別為窗口信號在橫向和縱向上的位移量。若它們對應的Fourier變換分別為FL(u,v)和FR(u,v)，可以得到

FR(u,v)=e-j 2π(udx+vdy)FL(u,v)

(5)

定義這兩幅圖像間的互相關功率譜為[6 -7]

(6)

此外，相位相關法對像對間的角度變化十分敏感，通過基于Fourier-Mellin變換的相位相關法同樣可以獲得圖像間的旋轉角度及位移量的估值[8]。本文僅考慮無上下視差的核線影像間的情況，即通過基本矩陣來獲得同名核線并將其覆蓋的像素“取出”重新進行排列，以完成核線重采樣。

1.3 視差計算與視差圖輸出

如果立體像對經過核線重采樣，已消除同一水平線上的上下視差dy，則只需要取水平偏移量dx，即為左、右圖像在該點的視差值。

圖1 互功率譜逆變換所得的相關函數峰值

本文采用快速二維傅里葉變換算法(FFT)，取窗口大小為2的整數次冪，得到窗口頻域復矩陣后，再利用相位相關法進行窗口塊位移量估計，即相位相關函數峰值所在位置，如圖2、圖3所示。

圖2 圖像整體的相位相關函數

圖3 圖像窗口的相位相關函數(64×64)

取橫向位移值輸入視差矩陣，進而得到視差圖。算法的整體流程如圖4所示。算法流程中相關函數的合理性判斷環節是對視差值的定性約束和修正，即當計算所得的相位相關函數不具有脈沖特性或超過圖像整體偏移量5倍時，說明窗口選擇存在問題，此時可以通過擴大窗口尺寸重新進行塊位移量計算。

圖4 局部相位相關法的密集匹配流程

2 試驗結果與分析

2.1 不同窗口尺度的立體匹配試驗

本文選取了不同尺度的矩形窗口進行基于局部相位相關法的密集匹配試驗，使用FFT算法時，窗口長寬必須為2的整數次冪，而窗口過小或過大都會導致計算出的視差值出現錯誤。因此綜合經驗值，選取了16、32和64三種尺寸共9種組合的矩形窗。

利用經過核線重采樣后的兩組標準立體像對(由www.middlebury.edu/stereo/獲取)，按照圖4流程進行不同窗口的匹配試驗。其中對試驗1加入了均值為0、方差為20的高斯白噪聲，試驗2加入了10%的椒鹽噪聲，所得噪聲條件下的密集匹配的視差結果如圖5—圖8所示。

圖5 試驗1立體匹配原圖、加入隨機噪聲原圖及理想視差圖

圖6 試驗1視差圖結果((a)—(i)為選擇不同尺寸的矩形窗口)

圖7 試驗2立體匹配原圖、加入椒鹽噪聲原圖及理想視差圖

圖8 試驗2結果((a)—(i)為選擇不同尺寸的矩形窗口)

2.2 匹配結果分析

將試驗所得的視差圖進行線性拉伸變換，再與理想視差圖作差，可以得到立體像對的誤匹配率，見表1。

表1 不同尺寸窗口的誤匹配率 (%)

由表1可知，不同尺寸窗口的匹配結果相差較大，其中大小為64×32的局部相位相關法匹配效果最好，得到的視差圖最接近理想視差圖。其中對于加入的高斯白噪聲，在進行窗口FFT時可以通過低通濾波來剔除，而對于椒鹽噪聲，則是采用窗口中值濾波進行平滑處理，因此該算法的抗噪性和穩健性得到了提高。

為進行對比分析，在考慮同等算法復雜度的情況下，采用5×5窗口大小的基于SSD(像素點灰度差的平方和)準則的區域立體匹配算法進行密集匹配，兩組試驗所得誤匹配率分別為27.1%和17.6%，而基于灰度差絕對值和(SAD)準則的區域立體匹配算法所得誤匹配率分別為24.4%和19.3%。本文兩組試驗的匹配正確率均可達80%以上，驗證了基于局部相位相關法的立體匹配算法的可行性和有效性。

此外，相比其他立體匹配算法，該算法進行局部視差估計時，不需要初值進行迭代計算，而能夠直接得到視差值。因此在算法效率上要優于基于區域的立體匹配算法。

由于立體像對中圖像的灰度和紋理特征變化不一，在視差變化較大的邊緣和細節處，較小的窗口可以得到更為準確的視差值，而對于視差變化較小且灰度變化不大的區域，大窗口得到的視差值更準確。因此如何針對不同特征區域選擇大小可以自適應的窗口進行視差估計，仍需要進一步研究。

3 結 語

本文基于局部相位相關算法，利用窗口傅里葉變換，對雙目立體像對進行視差值估計，進而得到密集匹配視差圖。結果表明，在選擇合適尺度的窗口下，基于局部相位相關的立體匹配算法能夠有效地得到密集視差圖，且相對其他傳統的立體匹配算法，該算法能夠有效地減弱噪聲、光照等影響，且算法效率較高，對基于雙目視覺的三維立體建模提供一定的方法借鑒。但該算法受圖像窗口的形狀和大小影響較大，因此對窗口尺寸的選擇還需要進一步優化。

參考文獻：

[1] 劉盛夏.基于相位信息的立體圖像匹配研究[D].上海:上海交通大學,2010.

[2] 郭龍源.計算機視覺立體匹配相關理論與算法研究[D].南京:南京理工大學,2009.

[3] 吳四夫,付宇卓,鄧紅梅.基于相位相關算法的實時圖像匹配系統[J].計算機仿真,2005，22(11):84-86.

[4] 鄭志彬,葉中付.基于相位相關的圖像配準算法[J].數據采集與處理，2006,21(4):444-449.

[5] 王彩玲,程勇,趙春霞,等.局部相位相關用于圖像亞像素級配準技術研究[J].中國圖象圖形學報,2011,16(3):427-432.

[6] KOBAYASHI K,NAKAJIMA H,AOKI T,et al.Principals of Phase Only Correlation and Applications[J].ITE Technical Report,1996，20(41):2-4.

[7] WENG J.Image Matching Using the Windowed Fourier Phase[J].International Journal of Computer Vision，1993,11(3):211-236.

[8] 吳軍,姚澤鑫,程門門.融合SIFT與SGM的傾斜航空影像密集匹配[J].遙感學報,2015，19(3):431-440.

[9] 孫漢昌,武毅,高峰,等.基于分形理論和相關匹配的快速目標檢測技術[J].測繪通報，2014(S0):159-162.

[10] REDDY B S，CHATTERJI B N.An FFT-based Technique for Translation,Rotation,and Scale-invariant Image Registration[J].IEEE Transactions on Image Processing，1996,5(8):1266-1271.

[11] 郭龍源,孫長銀,張國云,等.基于相位一致性的可變窗口立體匹配算法[J].計算機科學，2015,42(6A):13-15.

[12] 王瑞瑞,馮伍法,張艷,等.一種結合相位相關法和AKAZE算法的紋理缺乏地區影像匹配技術[J].測繪通報,2017(4):49-52.

[13] 章毓晉.圖像處理和分析[M].北京:清華大學出版社,1999.

[14] 彭誠,孫新柱.一種改進的深度圖像修復算法研究[J].重慶工商大學學報(自然科學版)，2016，33(1):65-69.

[15] 沈萍萍,余勤.基于離散余弦變換的非局部均值圖像去噪算法[J].計算機工程與設計,2017,38(1):183-186.

[16] 王陽.高密度椒鹽噪聲污染圖像修復方法研究[D].大連:大連理工大學,2016.