仿人眼雙目圖像特征點提取與匹配方法

向浩鳴,夏曉華,葛兆凱,曹雨松

(道路施工技術與裝備教育部重點實驗室(長安大學),西安 710064)

對人眼開展仿生學研究,是機器視覺領域的一項重要內容,將使機器具備更為有效、高級的智能感知和認知能力。仿人眼雙目圖像能夠模擬人左、右眼注視同一目標獲取的兩幅圖像,在場景三維重建、仿人機器人等領域具有廣闊的應用前景。

在常規的雙目模型中,兩相機平行放置,如圖1(a)所示。此時,處于重疊區域的某點在成像面上僅存在距離差。而人眼在觀察物體時,雙眼會形成會聚,使視線聚焦于同一點。圖1(b)為簡化的仿人眼雙目模型,與平行式模型相比,具有更大的視野重疊區域。兩相機間不僅存在距離差,還存在視向差,這使得仿人眼雙目圖像間的變換關系變得更為復雜,圖像特征匹配的準確性受到極大挑戰。

圖1 雙目相機模型Fig.1 Binocular camera model

國內外研究學者針對圖像特征點提取與匹配準確性問題作了很多研究,提出了一系列算法。例如,Lowe[1]提出尺度不變特征變換(scale-invariant feature transform,SIFT)算法,通過提取特征點鄰域內的梯度信息構建描述向量,對多種圖像變換都具有良好的穩定性。在此基礎上,Bay等[2]提出快速魯棒特征(speeded up robust features,SURF)算法,對扇形滑動窗口內的圖像計算Haar小波,并對小波模板的響應進行統計,生成64維描述子,極大提高了計算效率。但該方法在視角變化下的匹配準確性低于SIFT[3]。近年來,Dong等[4]對特征點所屬的尺度空間再次進行采樣,通過池化生成DSP-SIFT描述子,提高了對多種圖像變換的穩定性。Aguilera等[5]在Gabor濾波器的基礎上改進傳遞函數,得到的LGHD描述子對圖像光照變化具有良好的適應性。Cao等[6]利用遞增的同心方形窗口描述特征點,得到的描述子維數較小,提高了匹配效率,但也丟失了部分可判別性。何顯輝等[7]結合顏色和紋理信息,改進SURF描述子,能夠在視角變化的圖像上取得較高的匹配精度,但得到的匹配點對數量較少。

上述方法提取的匹配特征點對多位于圖像的非邊緣處,而人眼更加關注圖像邊緣信息[8],這意味著邊緣匹配點對的準確與否將極大影響人眼對圖像匹配準確性的整體感觀,因此需要提取更多的邊緣特征點并對其進行準確匹配,以滿足在機器上實現仿人視覺特性的要求。此外,由于仿人眼雙目圖像存在顯著的視點和視角差異,匹配點在兩幅圖像上的鄰域像素信息會發生較大改變,增加特征點準確匹配的難度,而人眼的中心視力和周邊視力能夠以多種分辨率感知特征點鄰域信息[9],提高對準確匹配點對的識別能力。因此,人眼對邊緣信息敏感和多分辨率感知的特性能準確對應兩幅差異較大圖像的公共特征,本文根據該原理提出了一種仿人眼雙目圖像特征點提取與匹配方法,該方法能產生較多的邊緣特征點對,提高匹配準確性,對光照變化也具有良好的適應性。

1 方 法

1.1 邊緣特征點提取

獲得邊緣匹配點對的前提是提取到足夠的邊緣特征點。作為一種邊緣特征點檢測算法,SUSAN算子提取的特征能較為完整地描述物體輪廓信息[10],如圖2所示。因此,本文選擇SUSAN算子作為特征檢測器,模擬人眼注重邊緣信息的視覺特性。

圖2 SUSAN檢測器的特征點提取效果Fig.2 Feature point extraction effect of SUSAN detector

SUSAN算子采用一個圓形模板對輸入圖像的像素依次進行處理,通過計算模板內像素點的灰度值與模板中心灰度值的差異,將與模板中心灰度值相似的像素點歸類為同一區域,該區域稱為核值相似區。判斷候選點是否為角點的過程如圖3所示,其中灰色區域為圖像表面,a～d分別為圓形模板在圖像中的不同位置。如圖3中的a,當圓形模板位于角點位置時,核值相似區面積最小;當圓形模板靠近圖像表面時,如圖3中的b或c,核值相似區面積逐漸增大;當圓形模板完全處于圖像內部時,如圖3中的d,核值相似區面積最大。

圖3 核值相似區面積示意Fig.3 Diagram of SUSAN area

判斷像素點是否屬于核值相似區的公式為

(1)

式中:I(r)為圓形模板中非核像素的灰度值,I(r0)為核的像素值,t為相似度閾值。對模板中每個像素都進行比較后,I(r0)處的核值相似區面積為

(2)

在得到每個像素點的核值相似區面積后,將其與幾何閾值g進行比較,若小于g,則該點被認為是一個角點。角點響應可表示為

(3)

不同的g值可以檢測出不同的特征,如角點、邊緣等。本文將g值設定為24,以便同時提取角點和邊緣特征點,使這些特征點能較為完整地描述物體輪廓信息,模擬人眼對邊緣信息更加敏感的視覺特性。

1.2 多尺度描述子構建

SIFT描述子對仿射變換、光照變化和噪聲變化等具有良好的適應性[11]。由于仿人眼雙目圖像存在顯著的視點和視角差異,因此本文對SIFT進行改進,與人眼中心視力與周邊視力的多分辨率感知特性相結合,通過圖像金字塔結構產生多尺度信息,并采用平方根核度量梯度信息之間的相似性,構建一種更為可靠的多尺度特征描述子。

SIFT算法在構建特征描述子時以特征點為中心,取16×16的鄰域并將其劃分為4×4的子區域,在每個子區域統計8方向的梯度直方圖,形成4×4×8=128維的特征向量,如圖4(a)所示。由于仿人眼雙目圖像對之間存在較大的視點和視角差異,同一特征點在左、右目圖像中的相對位置會發生改變,導致其周圍場景發生變化。考慮到這一問題,本文首先縮小特征點的鄰域大小,以特征點為中心取8×8的鄰域并將其劃分為2×2的子區域,然后將每個子區域劃分為8個方向并進行梯度幅值統計,利用圓形模板對梯度幅值進行加權處理,進一步提高靠近關鍵點的梯度信息對匹配的貢獻度。所使用的高斯加權函數為

圖4 鄰域改進示意Fig.4 Diagram of improved neighborhood area

(4)

式中i、j為樣本點與關鍵點之間的相對位置。最后形成2×2×8=32維的特征向量,如圖4(b)所示。

改進的32維描述子摒棄遠離特征點的梯度信息,減少因視點和視角差異帶來的梯度信息變化,能夠提高后續準確匹配的抗干擾能力。SIFT描述子在單一尺度上計算梯度信息、生成特征向量,對靠近關鍵點的梯度信息利用有限。為進一步提高特征點的信息描述能力,增強同名特征的匹配穩定性,本文結合人眼中心視力的高分辨率與周邊視力的低分辨率感知特性,在4層圖像金字塔的每一層圖像上對同名特征點計算改進的32維描述子,并按照尺度大小進行拼接,生成4×32=128維,具有多尺度信息的特征描述子,獲取的特征點描述信息更加全面,能夠提高對主要梯度信息的利用率。兩種描述子的構建方式如圖5所示。

圖5 構建多尺度描述子Fig.5 Multi-scale descriptor construction

此時得到的描述子以歐式距離作為相似性度量,而用平方根核比較梯度相似性時得到的匹配效果更好[12]。因此本文使用平方根核衡量多尺度特征向量之間的相似性。其基本思想是對特征向量的每個元素進行L1范式歸一化,并開平方根,以達到用平方根核替代原先的特征向量的目的。

設x和y是具有歐式距離規范的n維特征向量,則x、y之間的歐式距離為

dE(x,y)2=2-2SE(x,y)

(5)

式中SE(x,y)=xTy,表示x和y之間的歐拉距離與它們的相似性。x和y的平方根核定義為

(6)

設m和n為多尺度描述子的特征向量,首先對m、n進行L1規范化,再對每個元素求平方根,即

(7)

(8)

1.3 特征點匹配

采用雙向匹配的方式對得到的多尺度描述子進行初步匹配,具體步驟為:

Step1將仿人眼左、右目圖像中提取的特征點集合分別記為P、Q。

Step2首先將P作為基準集合,遍歷其中所有的點,以歐氏距離作為相似性準則,找到Q中與其對應的匹配點,記為集合Z{P→Q}。

Step3然后采用相同的策略,以Q作為基準集合,遍歷其中所有的點,搜索其在P中的對應匹配點,記為集合W{Q→P}。

Step4比較集合Z和W中的所有匹配點對,若某匹配點對在兩個集合中存在相同的對應關系,則這兩點被認為是一對正確匹配點對。

此時得到的初步匹配點集中仍會不可避免地存在部分誤匹配對,因此本文采用隨機抽樣一致算法(RAndom SAmple consensus,RANSAC)[13]對匹配點對再次進行篩選。RANSAC算法通過迭代計算的方式在初步匹配點集中尋找滿足某一正確模型對應的最大內點集,能夠有效地剔除誤匹配點對。

2 實驗與分析

為充分說明本文算法在提高匹配準確率和匹配精度方面的優勢,對提出的多尺度描述子和整體算法分別進行評價。首先將多尺度描述子與SIFT、SURF、Root-SIFT[12]、LGHD以及BEBLID[14]描述子進行對比分析;然后在不同光照變化的仿人眼雙目圖像上對多尺度描述子的適應性進行驗證;最后對整體算法進行單應性估計實驗(homography estimation),并與GMS[15]、RIFT[16]、SuperGlue[17]和DFM[18]算法進行對比。所有實驗均在Windows 10,64位操作系統,基于Intel Core i5-6300HQ、16 G內存的測試環境下進行。

2.1 描述子對比實驗

為體現多尺度描述子的匹配性能,將其與SIFT、SURF、Root-SIFT、LGHD以及BEBLID描述子進行性能比較。SIFT算法通過統計鄰域梯度信息生成描述向量。SURF算法通過計算水平和垂直方向的Haar小波響應獲取描述信息,這兩種描述子因對多種圖像變換都具有良好的魯棒性而得到廣泛應用。Root-SIFT算法使用海林格距離替代歐式距離以比較SIFT描述子之間的相似性,能夠產生更多的準確匹配點對。LGHD算法通過構建多尺度和多方向的Log-Gabor濾波器計算頻率和空間信息來描述特征點鄰域信息,對光照變化具有良好的適應性。BEBLID算法作為近年來先進的機器學習算法之一[19],利用積分圖像計算平均灰度值之差,能夠顯著提高圖像匹配精度。

2.1.1 評價指標

為進行定量比較,本文采用文獻[20-21]中的評價指標對多尺度描述子的性能進行量化比較,具體如下。

1)假定匹配率(putative match ratio,PMR)為初步匹配點對數量與左、右目圖像中提取較少特征點數量的比值,表示算法的選擇性,假定匹配率越低說明算法的限制性越強,即

(9)

式中:Pp為假定匹配率,Nm為初步匹配點對數量,Nleft、Nright分別為左、右目圖像中提取的特征點數量。

2)正確匹配數(number of correct matches,NCM)表示最終得到的匹配點對數量。本文以經過RANSAC算法篩選后得到的匹配點對數量作為正確匹配點對數量,即

Nc=Nr

(10)

式中:Nc為正確匹配點對數量,Nr為經過RANSAC算法篩選后得到的匹配點對數量。

3)可重復率(repeatability,REP)為正確匹配點對數量與左、右目圖像中提取較少特征點數量的比值,可重復率越高說明算法的準確率越高,即

(11)

式中Pr為可重復率。

2.1.2 實驗過程

實驗選取6組仿人眼雙目圖像進行特征提取與匹配,測試圖像如圖6所示,圖6中的圓圈表示仿人眼雙目視線會聚點。其中:第1、2組實驗圖像分別表示平面場景和三維場景,第3、4組實驗圖像分別表示近距離場景和遠距離場景,第5、6組實驗圖像分別表示簡單場景和復雜場景。為充分體現描述子的匹配性能,在特征提取階段均采用SUSAN檢測器,匹配方式和篩選過程均保持一致,圖7展示了不同描述子對比的實驗結果。

圖6 仿人眼雙目圖像Fig.6 Humanoid-eye binocular image

圖7 不同描述子的性能比較結果Fig.7 Performance comparison results of different descriptors

從圖7可以看出,本文算法的假定匹配率略低,卻能取得最高的可重復率,說明本文提出的多尺度描述子能夠有效增強對特征點描述的獨特性,降低不相似特征點間的誤匹配率,從而減少誤匹配點對數量。這主要是由于在構建描述子時結合人眼中心視力與周邊視力的多分辨率感知特性,采用多尺度結構計算特征點鄰域梯度信息,得到的信息量更加全面,并能充分利用特征點周圍的主要梯度信息,提高特征點初始匹配時的抗干擾能力,限制不可靠特征點之間的匹配能力,以達到有效剔除誤匹配點對的目的。從圖7(b)可以看出,本文提出的多尺度描述子在6組實驗圖像上取得的平均可重復率為11.31%,比SIFT描述子高出5.62%,比第2位的LGHD描述子和第3位的Root-SIFT描述子分別高出2.88%、5.03%,表明多尺度描述子在SIFT描述子的基礎上能夠顯著提高匹配準確率,較其他算法相比同樣具有明顯優勢。

為驗證本文提出的多尺度描述子在光照變化下具有一定的適應能力,選取了5組存在3種光照強度的仿人眼雙目圖像進行實驗,如圖8所示,圖8中的圓圈表示仿人眼雙目視線會聚點。圖9展示了其中一組圖像的正確匹配和誤匹配結果。

圖8 3種光照強度變化下的仿人眼雙目圖像Fig.8 Humanoid-eye binocular images under three kinds of illumination intensity changes

圖9 3種光照強度變化下不同描述子的匹配效果Fig.9 Matching effect of different descriptors under three kinds of illumination intensity variations

由圖9可知,SURF算法和BEBLID算法在圖像存在較大的視點和視角差異時易出現誤匹配。SIFT算法和Root-SIFT算法對視點和視角變化具有一定的魯棒性,但隨著光照強度減弱,其重復率也會隨之降低,說明其對圖像光照變化的適應能力較差。LGHD作為一種適用于非線性強度變化圖像之間的特征點匹配算法,能夠在圖像存在光照變化時保持較為穩定的重復率,但得到的正確匹配點對的數量有限。相較于上述算法,本文算法能夠取得數量最多的正確匹配點對,并且在光照強度降低時仍能保持較為穩定的重復率,說明對圖像光照變化具有良好的適應性。

為了在圖像存在光照強度變化時對算法進行定量比較,對正確匹配數和可重復率這兩種直接反映算法匹配性能的指標在不同光照強度下的實驗結果進行平均化,計算結果見表1。

表1 光照強度變化下6種算法的平均計算結果Tab.1 Average calculation results of six algorithms under illumination intensity variations

由表1可知,在不同光照強度變化下,本文算法可取得數量最多的正確匹配點對和最高的可重復率。與SIFT算法相比,本文算法得到的正確匹配點對數量增加60.14%,可重復率提高5.66%,說明本文提出的多尺度描述子與SIFT描述子相比具有更強的光照變化適應能力。相較于第2位的LGHD算法和第3位的Root-SIFT算法,本文算法得到的正確匹配點對數量分別增加10.10%、51.66%,可重復率分別提高1.28%、5.18%,說明本文算法不僅能提高存在視點和視角差異圖像的匹配準確率,而且對圖像光照變化具有良好的適應性。

最后,本文對不同描述子的運行效率進行了對比分析,表2為6種描述子在圖6所示的仿人眼雙目圖像上的平均運行時間。

表2 6種算法的平均運行時間Tab.2 Average running time of six algorithms

由表2可知, SURF、LGHD和BEBLID算法的運行時間較短,但其產生的正確匹配點對數量較少、可重復率也較低。而與本文描述子維數相同的SIFT和Root-SIFT算法的匹配效果遠低于本文算法。與這兩種算法相比,本文算法的運行時間花費略高,這是由于SIFT和Root-SIFT算法只在單一尺度上構建描述子,而本文則在4個不同尺度上構建描述子,這會不可避免地增加匹配耗時。

2.2 總體算法對比實驗

為進一步說明本文算法在圖像存在視點和視角差異下的匹配準確性,將所提出的總體算法與GMS、RIFT、SuperGlue和DFM算法進行對比。GMS算法以運動估計為基礎,是一種具有代表性的特征匹配過濾算法,在實驗中采用其默認的ORB算法進行特征點提取與匹配。RIFT算法使用相位一致性替代圖像強度來檢測特征點,并通過Log-Gabor濾波器構建用于特征描述的最大索引圖,不僅提高了特征檢測的穩定性,也克服了梯度信息對特征描述的限制性。SuperGlue和DFM是兩種先進的基于深度學習的特征匹配算法,前者利用圖神經網絡對特征點進行匹配,在實驗中采用其默認的SuperPoint算法提取特征點及其描述子;后者使用預訓練的VGG網絡提取特征點,對待匹配圖像應用由粗到細的策略實現特征點對的準確匹配。

2.2.1 評價指標

本文對上述算法進行了單應性估計實驗以比較各自的匹配性能。采用文獻[21]中的精確率作為評價指標,表示準確估計值與所有估計值的比值。具體來說,本文利用RANSAC算法推導出仿人眼雙目圖像對之間的變換模型,并將其與真實投影模型進行比較,若誤差小于3像素,則認為該單應性估計準確。

2.2.2 實驗過程

選取5組仿人眼雙目圖像進行單應性估計實驗,實驗結果見表3。

表3 仿人眼雙目圖像單應性估計的定量比較Tab.3 Quantitative comparison of homography estimation in humanoid-eye binocular images

由表3可知,本文算法在除圖組1外的4個圖組中均取得了97.00%以上的精確率。與其他4種算法相比,本文算法的平均精確率最高,比第2位的RIFT算法和第3位的DFM算法分別高出2.97%、13.30%,說明本文算法相較于其他4種常規算法和基于深度學習的特征點匹配算法在匹配準確性方面具有明顯的優勢。

為了對具體的投影誤差進行量化比較,實驗過程中對相關算法的單應性估計誤差的最小值、最大值以及平均值進行比較,圖10展示了這3種距離誤差在5個圖組中的平均計算結果?？梢钥闯?本文算法的最小誤差、最大誤差和平均誤差均低于其他4種算法,這表明本文算法能夠取得較為準確的匹配結果,提高對存在視點和視角變化圖像的匹配穩定性。

圖10 5種算法的平均單應性估計誤差Fig.10 Average estimated homography error of five algorithms

3 結 論

1)結合人眼對邊緣信息敏感和多分辨率感知的特性,以平方根核作為相似性度量,構建了一種多尺度描述子。

2)實驗結果表明:與相關描述子相比,多尺度描述子的可重復率至少提高2.88%,對光照強度變化也具有良好的適應性;與相關總體算法相比,本文算法的匹配精確率至少提高2.97%,并能使距離誤差達到最小。

3)本文算法能夠提取較多的邊緣特征點對,增強描述子的獨特性,限制不可靠特征之間的匹配能力,實現視點和視角差異較大的仿人眼雙目圖像的準確匹配。這對于推動仿生視覺技術在智能機器上的應用具有重要的意義。