一種基于權重的相位相關峰值擬合方法

梁珺超 李 杰

1(山西財經大學資源型經濟轉型發展研究院 山西 太原 030006)2(山西財經大學信息學院 山西 太原 030006)

0 引 言

立體像對間的運動估計是任何立體視覺系統有效處理視覺信息的核心。立體像對間的運動信息通常是由立體視角下不同視點對物體觀測而引起的。因此，運動估計是視覺感知領域重要研究課題之一。

相位相關是基于傅里葉變換的一種經典的運動估計方法。文獻[1]的研究表明，與傳統互相關以及其他高精度圖像配準方法相比，相位相關具有良好的精度和可靠性等優勢。因此，相位相關方法引起了很多學者的關注，并提出了很多更為巧妙的改進方法應用在圖像匹配、視覺感知等領域。文獻[2]提出了一種可直接在頻率域進行圖像運動估計的相位相關方法。文獻[3]提出了一種基于奇異值分解(Singular Value Decomposition， SVD)的相位相關矩陣秩1子空間的運動估計方法。文獻[4]介紹了一種快速相位相關算法，它利用主頻信息擬合配準參數。文獻[5]將二維圖像投影到一維信號中，利用一維相位相關方法估計兩個方向的位移，從而將原始相位相關的時間復雜度降低到了O(nlogn)。文獻[6]基于幾何約束特性，提出了一種基于固有幾何關系估計峰值位置的峰值計算方法。為了提高配準精度，文獻[7]結合SVD和Unified RANSAC 算法優異的抗噪能力構建了一種頻率域圖像配準方法；文獻[8]基于圖像梯度域特征構建了一種尺度不變性圖像配準方法；文獻[9]針對無人機航拍影像特性構建一種層次化相位相關高精度視差估計方法；文獻[10]構建了融入旋轉矢量的相位相關模型從而保證了穩像系統的穩像精度；在相位相關研究基礎上文獻[11]對相關算法的精度改進進行了綜述性研究。隨著匹配精度的提高，許多學者試圖提高相位相關的計算效率，與文獻[5]相似，文獻[12]將二維配準矩陣壓縮到一維以減少圖像匹配的運算時間；文獻[13]構建了基于GPU的并行相位相關的快速三維重建方法。與此同時，相位相關方法也被應用到了許多領域；文獻[14]基于相位相關算法構建了一種無須矯正的高精度窄基線三維重建方法；文獻[15]基于對大氣湍流相位相關互功率譜研究提出光學影像機械防抖方法；文獻[16]將文獻[6]方法應用于衛星顫震探測；文獻[17]針對飛秒時間測量中峰值寬度影響通過基于閾值相位相關降低峰值寬度提高超聲測距精度。然而，受立體匹配計算量、視差差異的影響，許多工作，如文獻[9，13-14]等，希望通過改進運動估計算法來保證立體圖像視差估計的時效性、穩定性及準確性。受這些問題的啟發，本文提出了一種基于權重的相位相關峰擬合算法。

1 方法設計

1.1 相位相關

存在兩幅圖像fi(X),X=[x,y]T∈R2,i=1,2，用Fi(U),U= [u,v]T∈R2表示fi的傅里葉變換。如果我們設f2作為f1平移d=[δx,δy]T∈R2后的結果。因此，f1、f2之間的關系為：

f2(X)=f1(X+d)

(1)

其傅里葉變換關系為：

(2)

最后，為提取相位差，計算圖像fi(X),i= 1,2的歸一化互功率譜C(U)：

(3)

式中：U表示頻率域坐標，i表示復數，W表示圖像尺寸。

對歸一化互功率譜C(U)進行傅里葉反變換求解：

(4)

式中：F-1表示傅里葉反變換，*表示復共軛。

將歸一化互功率譜C(U)的傅里葉反變換看作Kronecker delta函數：

I(X)≈δ(X+d)

(5)

式中：X是圖像的坐標，d是方向向量。

根據Kronecker delta函數的多維性質，可將式(5)表示為：

δ(X+d)=δ(x+δx)δ(y+δy)

(6)

式中：X=[x,y]T表示圖像的坐標,d=[δx,δy]表示x、y方向的運動向量。

因此，二維Kronecker delta函數可以被分成兩個方向, 即x、y方向，根據一維Kronecker delta函數定義(以x方向為例)。在數學中Kronecker delta函數是兩個變量的函數，通常是正整數。如果變量相等則函數為1，否則為0：

(7)

式中：函數δ()表示變量為x、δx的分段函數。

1.2 反比例函數

構造反比例函數以近似一維Kronecker delta函數的分段函數性質，反比例函數定義如下：

(8)

在a→0的條件下，根據洛必達法則得：

(9)

其曲線圖如圖1所示。在a→0條件下，通過積分公式可證所構造的反比函數滿足一維Kronecker delta函數平移性質。積分公式定義如下：

(10)

圖1 式(9)曲線圖

基于式(9)式(10)，我們可以假設：

(11)

式(11)可直接被用于的圖像平移參數估計。但從式(11)可看出，估計I(X)(X= [x,y]T∈R2)的高精度峰值位置，至少需要兩個點。需要注意的是，峰值位置不僅可能出現在圖像的邊界處，而且也會出現在圖像中心位置附近。因此，當峰值點處于圖像的中心位置附近時，只用兩個點來估計峰值位置會導致結果的不確定性。為避免不確定性，構建基于權重的反比例函數峰值擬合方法。

1.3 基于權重的反比例函數峰值擬合方法

據峰值點(x,y)=argmaxx,yI(X)及其在x軸方向上兩個鄰域點作為擬合點，可定義擬合方程如下：

(12)

式中：(x2,P(x2)) 表示x方向上的峰值點，(x1,P(x1))和(x3,P(x3))表示x方向上峰值點的左右鄰域點。

通過P(x1)除以P(x2)，及P(x2)除以P(x3)得：

(13)

為簡化運算，令a=0，得：

(14)

由式(14)可知，如果采用三點擬合峰值位置，會求得兩個不確定性解。為解決該問題，考慮式(14)存在三種情況：第一，如果峰值位置近似于匹配圖像的左邊緣，則表示x1不存在；第二，假設峰值位置出現在匹配圖像的右邊緣，將導致x3消失；第三，峰值點位于圖像中心附近，則待估計峰值點可能出現在x2兩側。

第一，只采用點x2、x3及其峰值P(x2)、P(x3)擬合亞像素級峰值點位置。因此，由式(14)可得：

(15)

第二，根據假設，僅采用點x1和x2擬合亞像素級峰值點位置，可得：

(16)

與第一種情況的區間約束策略相同，式(16)選擇區間[x1,x2]作為最佳峰值點區間。

第三，基于峰值點x2整數性質，可在其兩側求得兩個亞像素級準峰位置。在此種情況下，第一種情況和第二種情況均可求得一個較好的亞像素級峰值位置，但直接使用區間約束選擇其中之一，并將其作為最終峰值位置，可能導致算法精度存在不穩定性。因此，有效整合這兩個準峰位置，并使其最終能更準確地逼近真實峰值位置是一個挑戰性問題。眾所周知，delta函數具有對稱性，距峰值位置越近，函數值越大。因此，據峰值大小，可賦予兩個準峰值位置不同的權重，來替代區間約束來選擇最終的峰值位置。這樣避免了簡單采用區間約束所帶來的不穩定性。因此，在第一種情況和第二種情況基礎上，通過構建基于權重的反比函數擬合算法，可改進采用區間約束的不穩定性，其定義如下：

(17)

式中：w1和w2表示權重函數，定義為：

式中：k取一個經驗值(在實驗中k=4)，P(x3)、P(x1) 表示點x1、x3的函數值。

2 實驗結果與分析

本節通過實驗驗證構建方法的有效性。實驗環境為：硬件環境基于Intel Core i3-4130 CPU 3.40 GHz和4 GB隨機存取存儲器(RAM)；軟件環境基于MATLAB 2017a。為了探索該方法的有效性，選擇7幅圖像對提出方法進行測試：第一，基于兩幅人工合成的亞像素運動噪聲圖像(如圖2“Noise”430×351)；第二，基于兩個人工合成的大范圍運動噪聲圖像(如圖2“Motion”430×351)；第三，基于人工合成運動圖像(如圖2 “SPOT”256×256)；第四，基于兩個真實圖像(如圖2中“Cloth”1 252×1 110和“ST”1 600×1 200)。為了對比我們方法的性能，將其與現時主流方法，如文獻[3]、文獻[8]、文獻[11]、文獻[14]、文獻[5]及文獻[6]等，進行對比測試。

圖2 測試圖像

“Noise”包括兩個在x方向上存在亞像素級平移的圖像對：一個平移參數為1.25像素，另一個平移參數為0.833像素；“Motion”包括兩個在x方向上較大平移參數的圖像對：一個平移參數為64像素，另一個平移參數為128像素；“SPOT”在x方向上的平移參數為2像素；“Cloth”是在middlebury數據集下載的立體圖像之一，其x方向上平移參數為22像素；“ST”是真實立體圖像之一，由實驗室雙目立體相機拍攝，其x方向上平移參數為163像素。

表1顯示了現時主流方法與本文方法的時耗、精度及誤差比較。“Result”表示估計的平移參數；“Time”表示時間消耗；“MSE”表示均方誤差；“RMSE” 均方根誤差。

表1 實驗對比結果

ImageTruth文獻[5]文獻[6]本文ResultTimeResultTimeResultTimeNoise1(1.25,0)(0.0183,0.03)0.004(4.23,3.25)0.03(1.2523,0)0.02Noise2(0.833,0)(0.00,0.03)0.002(1.57,0.64)0.04(0.8131,0)0.02Motion1(64.0)(0.004,0.021)0.003(67.72,3.66)0.06(63.99,0)0.03Motion2(128,0)(0.03,0.03)0.003(129.5,0.49)0.03(128.01,0.02)0.02SPOT(2,0)(1.88,0)0.003(13.45,7.6)0.02(2.0,0)0.01Cloth(22,0)(0.11,0.04)0.03(21.9,0.03)0.35(21.82,0.07)0.32ST(163,7)(293.9,0.04)0.06(162.94,6.94)0.33(162.97,6.99)0.33ErrorMSE(73.7720,2.6308)(4.73,3.43)(0.0696,0.0278)ErrorRMSE(5.4e+03,6.921)(22.735,11.768)(0.005,7.7e-04)

從文獻[3]方法結果中的黑體字數量可以看出，它對于小位移圖像具有較高的精度，并且具有較低的時間消耗。由于文獻[8]方法在我們的實驗中使用了與文獻[3]方法相似的核函數，所以文獻[8]方法的精度與文獻[3]方法基本一致。但由于我們在實驗中加入了梯度計算步驟，文獻[8]方法的時耗比文獻[3]方法要大一個數量級。文獻[11]綜述了多種相位相關方法，局部質心擬合算法是其中之一，它利用10個點擬合亞像素級峰值位置，取得了較好擬合精度。它本身是一種較高效的算法，但為了改進其精度，在實驗過程中，我們增加了SVD和cutoff-frequency算法步驟，這使其時間成本增大。文獻[14]采用三點法，采用高斯算法擬合峰值位置，且從其“Time”中可以看出，具有很高的效率，但它的精度不是很穩定。文獻[5]方法的主要思想是構造一種高效、高精度的擬合算法，表1中的數據也顯示其確實具有最高的效率。但在本文實驗中，它并沒有取得較好的相對誤差。從表1可以看出，文獻[6]方法對真實像對平移參數估計精度非常高，且具有很好的時間效率。但是從圖3的淺色星號折線可以看出，其穩定性有待改進。從表1中的加黑字體及圖3的菱形黑色折線顯示，本文方法具有很高的精度、第二低的時間消耗。

圖3 相對誤差比較

從表1的實驗結果可以看出，本文方法在x方向上的MSE僅為0.005，這清楚地表明，與目前主流相位相關方法相比，本文方法在精度上具有一定的優勢。從表1的最后一列和圖4的黑線可以看出，本文方法在時間消耗上也存在一定的優勢。然而，從圖3菱形黑色折線和表1的RMSE可知，無論對合成圖像還是真實圖像，無論是大偏移還是亞像素級偏移，本文方法在準確度上都具有很強的穩定性。注意，本文選擇了一種非常快速的相位相關算法(文獻[5]方法)作為比較方法，能夠快速估計匹配參數。但從圖3的正方形折線可以看出，文獻[5]方法在高精度視差估計方面的穩定性存在欠缺。同時，我們嘗試通過主成分分析(Principal Component Analysis，PCA)算法代替均值法來減少維數，以提高其精度，但在實驗中，仍然沒有得到很好的結果。

圖4 時間消耗對比

綜上，為給高精度三維重構計算系統提供一套更穩定高效的算法實現，構建更穩定、高效的平移參數估計方法、高能效計算架構、微分曲面約束超分辨計算模型等方向的研究是我們正在進行的工作。

3 結 語

通過反比函數及權重函數的設計，本文構建了一種基于權重的相位相關峰擬合算法，與目前主流方法相比，該方法具有以下三個優點：第一，與多點擬合方法相比，該方法只需要三個點即可估算出一個亞像素級峰值位置，相對減少了計算量；第二，基于delta函數能量對稱分布特性，權重算法能夠幫助反比函數更穩定地定位峰值位置；第三，相位相關相位差信號能量主要集中在峰值點，如果采用太多峰值點以外的點作為擬合陣列，則峰值擬合算法的精度將會受到旁瓣噪聲的影響。實驗結果表明該算法存在一定的現實意義。