基于改進BRISK算法的圖像特征提取方法研究

陳 嬋， 管 啟， 朱鳴鏑

(上海理工大學 光電信息與計算機工程學院, 上海 200093)

0 引 言

視覺SLAM(Visual Simultaneous Localization and Mapping)[1-2]是基于視覺的同時定位和建圖系統，該系統分為前端和后端,前端也稱為視覺里程計(VO)。研究時是根據相鄰幀圖像的信息，估計出粗略的相機運動，給后端提供較好的初始值。基于特征點法的前端，長久以來被認為是視覺里程計的主流方法。而且運行穩定，對光照、動態物體不敏感，是目前比較成熟的解決方案。

獲取場景圖像中的特征點信息通常包括特征點檢測與特征點描述兩個步驟。首先特征點檢測算子檢測出場景圖像中的那些包含豐富結構信息的特征點。然后使用描述子對檢測到的特征點進行描述。對特征點的描述主要是對特征點周圍像素信息的描述，最終將產生一個和特征點一一對應的描述符。

視覺SLAM中常用的特征點提取算法有SIFT[3]、SURF[4]、ORB[5]等，由于SIFT、SURF算法的復雜度，無法滿足視覺SLAM系統對實時性的要求。實時特征提取算法ORB算法在SLAM中被廣泛使用。由文獻[6-8]得知，ORB特有的二值描述符大大加速了特征提取與匹配算法的運行效率。類似的二值描述子特征提取算法還有BRISK[9]，FREAK[10]等。

根據文獻[8,11-12]了解到，BRISK算法在尺度不變性上表現較差，如果使用BRISK算法作為視覺里程計中的特征點檢測算法，在尺度變化較大的情況下，常常不能為后端提供準確的位置信息。本文提出的BRISK算法通過細化尺度空間的尺度間隔為BRISK建立新的尺度空間，使得尺度盡可能接近理想的連續尺度，并使用灰度質心法來代替原來使用長距離匹配點對為關鍵點分配主方向，經過多次實驗后發現改進的BRISK在匹配準確率上有很大提高，在尺度不變性上表現優異，同時具有很好的抗噪聲干擾性能。

1 BRISK檢測與描述

1.1 尺度空間的構建

BRISK算法中，尺度空間金字塔由n個普通層圖像octaves(用ci表示)和n個內層圖像inttra-octaves(用di表示)組成，通常n=4，i={1,2，......,n-1}。其中,原始圖像ci-1和di-1作為基準層圖像，普通層圖像ci(i≠0)均由ci-1層不斷2倍降采樣生成，內層圖像di(i≠0)均由di-1層不斷降采樣生成，每個內層圖像di都位于ci和ci+1之間，可以構建一個2n層金字塔，如圖1所示。其中內層圖像d0是由原圖c0的1.5倍降采樣得到。如果使用t來代表尺度,則有:t(ci)=2i,t(di)=2i·1.5。

圖1 尺度空間特征點檢測

1.2 特征點檢測與定位

(1)BRISK算法在尺度空間中每個octaves和intra-octaves上使用AGAST9-16[13]算子進行關鍵點檢測(額外增加的d-1層使用的是FAST5-8[14]算子)，在此基礎上對每個關鍵點計算AGAST得分。對檢測出來的角點在上下兩層使用非極大值抑制來篩選響應較強的點，這里使用AGAST得分作為每個角點的響應值。

(2)對已經粗篩選出的特征點進行插值，這種插值是利用最小二乘法對x、y方向的二維二次插值，以得到準確的特征點坐標位置，并在尺度方向上進行拋物線插值，以得到極值點所在尺度，用這個尺度根據上下層極值點與關鍵點位置的偏移量再次對特征點位置進行二次修正，把這個位置作為特征點的位置。

1.3 構建描述子

BRISK描述符由簡單亮度比較測試構成的二進制字符串組成。這種方法在文獻[15]中證明是非常高效的，BRISK描述符的關鍵概念是對關鍵點的鄰域進行采樣的思想，如圖2所示。在圖2中，小藍色圓圈表示采樣位置；紅色虛線圓圈則以半徑σ繪制，該半徑σ正比于平滑采樣點的高斯核的標準偏差。圖案定義了在與關鍵點同心圓上等距間隔的N個位置。把N個采樣點兩兩組合成一對，將所有組合方式的集合稱作采樣點對集，用A表示，則有：

A={(Pi,Pj)∈R2×R2|i≤N,j

(1)

其中，(Pi,Pj)表示采樣點對，將經過高斯濾波后的采樣點Pi、Pj分別標記為I(Pi,σi)與I(Pj,σj)，用g(Pi,Pj)表示采樣點對的局部梯度集合，則有：

(2)

根據采樣點對間的距離，定義短距離點對子集S、長距離點對子集L，即:

S={(Pi,Pj)∈A|‖Pj-Pi‖<δL}?A,

(3)

L={(Pi,Pj)∈A|‖Pj-Pi‖>δS}?A,

(4)

其中，δS為短距離閾值，通常取9.75t；δL為長距離閾值，通常取13.67t；t是特征點所在的尺度。

根據長距離子集計算特征點的方向，這里將用到如下數學公式:

(5)

其中，g為特征點主方向；l是長距離點對子集L中所有采集點對間距之和；g(Pi,Pj)為(Pi,Pj)的梯度；gx與gy分別為L中各采集點對在x方向和y方向梯度。在生成描述子之前，需要將模板沿中心順時針旋轉θ度，即：

θ=tan-1(gy,gx),

(6)

按照公式(6)在短距離點對子集S中對比采樣點對灰度值，最終生成二進制描述子。其對應公式可寫為如下形式：

(7)

2 改進的BRISK算法

2.1 細化尺度空間金字塔的構建

細化尺度空間金字塔由n個普通層圖像octaves(用ci表示)、n個內層圖像intra-octaves(用di表示)和n個上層圖片up-octaves(用ui表示)組成，通常n=4，i={1,2,……,n-1}。其中，原始圖像c0,d0和u0作為基準層圖像，普通層圖像ci(i≠0)均由ci-1層不斷2倍降采樣生成，內層圖像di(i≠0)均由di-1層不斷降采樣生成，上層圖像ui(i≠0)均由ui-1層不斷降采樣生成，因此構建一個3n層金字塔。其中，內層圖像d0是由原圖c01.25倍降采樣得到，上層圖像u0是由原圖c01.5倍降采樣得到。如果使用t來代表尺度，則有：t(ci)=2i，t(di)=2i·1.25，t(ui)=2i·1.5。

圖2 采樣點N=60的BRISK采樣模式

本文引入細化的尺度空間，一方面原因是，在視覺信息處理模型中通常引入一個尺度的參數，就是要通過連續變化尺度參數獲取不同尺度下的視覺信息，然后綜合這些信息才能夠深入挖掘圖像的本質特征。在圖像的特征匹配中，研究中同樣也希望通過連續變化尺度參數獲取不同尺度下的圖像，獲取連續尺度下檢測到的特征點，特征匹配才能真正達到尺度不變性，本文對原算法尺度空間的ci和di層之上增加了ui層，更細化了尺度間隔，增加了更多尺度下的視覺信息；另一方面這樣的改變會更加細化特征的選擇，原因是在特征點粗定位時，會將中間層的特征點與上下兩層的特征點使用非極大值抑制，增加了ui層同時也增加了更多的中間層，拓寬了特征搜索范圍，增大匹配的概率，有利于粗定位的改善；也有助于通過插值得到特征點精確位置，在精度上也有一定程度上的提升。從2個方面出發提高整個系統魯棒性，為后續準確的匹配提供了良好基礎。

2.2 灰度質心法確定關鍵點主方向

(1)在一個小的圖像塊中，定義圖像塊的矩為：

(8)

(2) 通過矩可以找到圖像塊的質心，其對應公式可表示為：

(9)

(10)

這樣就為每個關鍵點確定了主方向，使得AGAST角點具有了旋轉不變性。

通過以上步驟，AGAST角點就具有了尺度與旋轉不變性，顯著提高了其在不同圖像中檢測性能。

2.3 2種算法的流程圖

綜合前述研究可知，推得2種算法的設計流程如圖3所示。

(a) 原算法流程圖 (b) 改進算法流程圖

3 實驗

本文的硬件環境為Windows10，64位操作系統，工作站型號：intel(R) Xeon(R) Silver4116，實驗平臺為VS2015+OpenCV3.4。本文采用牛津大學網站(http://www.roborts.ox.ac.uk/～vgg/affine)的標準Oxford數據集作為測試圖像[16]。研究中使用不同的幾何和光度變換以及不同的場景類型來評估真實圖像上的描述符。本文擬將評估4種圖像變換：旋轉+尺度變換(boat/bark數據集)；視點變換(graff/wall數據集)；圖像模糊(bikes/tree數集)；光照變換(leuven數據集)。

3.1 實驗效果

為了驗證本文算法在提高匹配質量和匹配效果上的有效性，從數據集中隨機選取一組旋轉+尺度圖片(boat數據集)，和使用手機拍攝實驗室雜亂場景下的圖片進行試驗，將本文算法與SURF、ORB、BRISK進行比較。實驗效果如圖4所示，在實驗室拍攝的圖片中，對比圖4(a)和圖4(c)可以發現SURF與ORB算法幾乎沒有正確匹配，相比之下本文算法匹配效果最好。對比boat數據集，本文算法在成功匹配點個數與BRISK算法相差不大，實驗驗證了使用灰度質心法為關鍵點確定主方向的有效性。進而，研究求得算法運行時間的結果比較見表1。

圖4 2組圖片在4種不同算法下的匹配效果

Fig. 4 Matching effect of two groups of pictures under four different algorithms

表1 算法運行時間比較

3.2 魯棒性測試

3.2.1 評估標準

本文使用類似于文獻[17]中提出的標準。該標準提出了3種不同的指標：假定匹配率(PutativeMatchRatio)，精確度(Precision)和匹配得分(MatchScore)。對此研究內容可詳述如下。

(1)假定匹配率。能夠體現描述符的獨特性，并描述檢測到的特征的哪一部分最初將被識別為匹配(盡管可能不正確)。具體數學公式如下：

(11)

其中，PutativeMatch表示在所有的匹配對中，最近鄰與次近鄰比值小于0.7的匹配對數，且保證匹配是一對一的匹配；Features的大小為2幅待匹配的圖像中檢測到關鍵點個數較少的那個。

(2)精度。定義了一組假定匹配中的正確匹配數(inlierratio)。具體數學公式如下：

(12)

在該等式中，正確匹配的數量是基于已知相機位置幾何驗證的假定匹配。文中使用牛津數據集中提供的GroundTruth數據。通過2幅圖像間的單應性矩陣，將配對的關鍵點映射到一幅圖像中，如果彼此的距離在2.5像素內，則該匹配對是正確的。

(3)匹配得分。是假定的匹配率和精度的乘積。具體數學公式如下：

(13)

該指標描述了正確匹配的初始特征的數量，并且與前兩個度量一樣，匹配分數可能受到描述符獨特性和匹配標準的影響。

3.2.2 實驗結果分析

圖5展示了本次研究對4種算法的描述子性能評估的結果。

在圖5中，橫坐標為以每個場景數據集中的第一張圖像與其余的5幅圖像組成的匹配對，節點形狀含義： ‘-*-’代表PutativeMatchRatio標注中簡寫為PMR；‘…Δ…’Precision標注中簡寫為PRE；‘--—’代表MatchScore標注中簡寫MS。經過觀察圖5(a)，研究發現在圖像發生較大程度的模糊變化時，本文算法綜合表現最好，說明構建細化的尺度空間可以使算法在尺度上具有更強的魯棒性。經過觀察圖5(b)，分析發現在旋轉和尺度變化的數據集中，4種算法的假定匹配率和匹配得分普遍偏低。其中，SURF算法綜合表現最好，BRISK算法與本文算法效果相當，說明SURF算法、BRISK算法和本文算法的描述子具有較好的獨特性。經過觀察圖5(c)，分析發現4種算法描述子對光照的魯棒性相差不大，對圖像光照變化均有較強的魯棒性。經過觀察圖5(d)，進一步發現在較大的視角變化時，ORB和SURF算法在img1/3到img1/5之間精度出現急劇下降，說明這兩種算法對較大視角變化沒有較好的魯棒性，綜合來看，BRISK算法表現最優，本文算法與BRISK算法表現相差不大，能夠達到一定程度的有效匹配。

(a) 模糊變換數據集上不同匹配指標的結果測試

(a) The test results of different matching indices on ambiguity change datasets

(b) 旋轉+尺度數據集上不同匹配指標的結果測試

(b) The test results of different matching indices on rotation+scale change datasets

(c) 視點變換數據集上不同匹配指標的結果測試

(c) The test results of different matching indices on viewpoint transformation datasets

(d) 光照變換數據集上不同匹配指標的結果測試

(d) The test results of different matching indices on illumination transformation datasets

圖5 仿真測試結果

Fig. 5 Simulation test results

3.3 時間評估

算法匹配速度比較：在相同的匹配環境下，使用同樣配置的計算機，對相同的一對圖像進行比較，測試算法的執行時間。研究得到的同一對圖像匹配100次的執行時間統計結果見表2。結果顯示本文算法執行時間略大于原算法執行時間。

表2 算法運行時間比較

4 結束語

本文提出了一種改進的BRISK算法，有效地解決了BRISK對尺度不變性表現欠佳的缺點，同時繼承了BRISK的快速檢測的特性。此外，使用灰度質心法為關鍵點分配主方向，有效地減少了描述子構建過程中的計算時間。實驗結果表明，本文提出的方法大大提高了BRISK的特征點匹配性能。與使用BRISK方法的視覺里程計相比，使用本文方法能有效改善視覺里程計的位置估計和方向估計。此外，本文所提算法在特征點匹配精度和計算時間方面表現良好，可以實際應用于實時單目視覺里程計。