面向視覺SLAM的改進(jìn)RGB特征點(diǎn)檢測(cè)算法

王一波，梁偉鄯，趙 云

（柳州工學(xué)院，廣西 柳州 545616）

0 引 言

視覺 SLAM（Simultaneous Localization And Mapping）的關(guān)鍵是建立圖像間魯棒的特征點(diǎn)匹配關(guān)系，其決定著攝像機(jī)運(yùn)動(dòng)參數(shù)的求解精度和目標(biāo)點(diǎn)三維世界坐標(biāo)重建精度，而影響匹配效果的重要因素是特征點(diǎn)提取算法。當(dāng)前相對(duì)成熟的視覺SLAM解決方案有Mono、PTAM、ORBSLAM、SVO、LSD-SLAM和ORBSLAM2等，普遍基于灰度圖像進(jìn)行特征點(diǎn)提取即匹配，對(duì)于環(huán)境對(duì)比明顯的情況表現(xiàn)相對(duì)穩(wěn)定，尤其ORBSLAM2更是因采用了ORB特征在室外環(huán)境也有著較好的表現(xiàn)；相比于SIFT、SURF等多尺度提取算法，ORB特征提取算法簡(jiǎn)單，匹配精度相對(duì)較高，適合實(shí)時(shí)應(yīng)用的場(chǎng)合。但也存在著當(dāng)環(huán)境局部紋理或結(jié)構(gòu)相似時(shí)所提取特征點(diǎn)的描述子無(wú)法加以區(qū)別的問題，從而造成錯(cuò)誤匹配，而這種錯(cuò)誤在多數(shù)應(yīng)用場(chǎng)景下是無(wú)法接受的。為此，尋求更為魯棒的特征點(diǎn)提取算法對(duì)于視覺SLAM就顯得尤為重要。隨著彩色圖像處理技術(shù)的不斷發(fā)展，基于彩色圖像的特征提取已經(jīng)應(yīng)用在很多場(chǎng)合。彩色圖像包含的特征信息要多于灰度圖像，它不僅包含灰度圖所攜帶的特征信息，還包含飽和度及色度分量的特征信息。據(jù)統(tǒng)計(jì)，基于灰度圖像提取的特征信息僅占原始彩色圖像的百分之九十。本文將充分挖掘彩色圖像所包含的信息，構(gòu)建基于RGB圖像特征點(diǎn)提取算法，以此提高視覺SLAM的魯棒性。

1 RGB圖像信息熵度量

圖像特征點(diǎn)提取的本質(zhì)即信息的提取，如果能對(duì)灰度圖像和彩色圖像包含信息進(jìn)行特定度量和比較，將為信息提取算法提供理論上的指導(dǎo)。按照Marr計(jì)算理論，圖像中的信息即圖像中顏色或亮度的變化，呈現(xiàn)出的是物體和物體的關(guān)系以及與人的關(guān)系的要素。如果把一幅圖像看作一個(gè)虛構(gòu)零記憶“灰度信源”的輸出時(shí)，可以通過觀察圖像的直方圖來(lái)估計(jì)該信源的符號(hào)概率。假設(shè)圖像大小為×，灰度范圍為[0，-1]，r為此區(qū)間的離散灰度隨機(jī)變量，n為第級(jí)灰度在圖像中出現(xiàn)的次數(shù)。這時(shí)，灰度信源的熵變?yōu)椋?/p>

目前對(duì)于RGB值和灰度的轉(zhuǎn)換，從心理學(xué)的角度來(lái)看滿足人眼從彩色到亮度的感覺轉(zhuǎn)換，對(duì)紅、綠、藍(lán)三種顏色賦以固定權(quán)重，通過加權(quán)求和得到灰度值，數(shù)學(xué)關(guān)系如下：

其中：、、分別為對(duì)應(yīng)像素的紅、綠、藍(lán)分量；Grey為轉(zhuǎn)換后像素的灰度值。

根據(jù)式（1）圖像信息熵的定義，變換后的灰度圖像的信息熵可輕易求得，而原始RGB圖像的信息熵成為問題的關(guān)鍵。如果將RGB圖像看作三個(gè)獨(dú)立圖層的簡(jiǎn)單疊加，則它的信息熵就是三個(gè)圖層信息熵的和，即：

其中：H、H、H分別為、、三個(gè)圖層對(duì)應(yīng)的信息熵，而為彩色圖像總的信息熵。此種定義在形式上比較簡(jiǎn)單，但其割裂了三個(gè)圖層的彼此聯(lián)系，這與實(shí)際情況不符。為最大限度反映彩色圖像的信息規(guī)律，將、、三個(gè)圖層看作一個(gè)整體，某個(gè)像素看作隨機(jī)向量=(,,)，∈[0,-1]，∈[0,-1]，∈[0,-1]，則其信息熵可定義為：

在此運(yùn)用上述定義對(duì)變換前后的RGB圖像和灰度圖像的信息進(jìn)行比較，為得到可靠的結(jié)果，選用了4幅不同場(chǎng)景的圖像進(jìn)行變換，其結(jié)果如圖1所示。

圖1 RGB圖像與灰度圖像信息熵對(duì)比

由圖1可以看出，RGB信息熵都遠(yuǎn)大于相對(duì)應(yīng)的灰度圖像信息熵。也就是彩色圖像變換為灰度圖像后，圖像的信息量有比較大的損失，對(duì)后續(xù)的特征提取必將產(chǎn)生影響。

2 基于RGB特征點(diǎn)提取算法

基于RGB圖像的特征點(diǎn)提取算法可分為三類：一是基于輸出融合，分別對(duì)RGB圖像三個(gè)通道進(jìn)行特征提取，根據(jù)設(shè)計(jì)的融合準(zhǔn)則得到整體的特征，實(shí)現(xiàn)相對(duì)簡(jiǎn)單，但容易導(dǎo)致信息丟失；二是基于RGB顏色向量，將RGB圖像看作二維網(wǎng)格上的三維向量場(chǎng)，通過求解向量值函數(shù)實(shí)現(xiàn)特征提?。蝗嵌嗑S梯度方法，屬于信息級(jí)的融合策略，可實(shí)現(xiàn)最終RGB特征信息增強(qiáng)。

2.1 RGB特征點(diǎn)查找算法

本文將采用第二類方法，基于信息熵計(jì)算RGB每個(gè)分量的最優(yōu)融合權(quán)值，實(shí)現(xiàn)像素級(jí)的融合。算法步驟如下：

（1）計(jì)算RGB圖像三個(gè)通道I、I、I的信息熵：

其中，p(R)、p(G)、p(B)分別是I、I、I三個(gè)通道的直方圖統(tǒng)計(jì)量。

（2）根據(jù)圖像信息量確定三個(gè)通道的權(quán)重。為了最大限度地保留圖像信息，按照信息量的大小分配權(quán)重：

（3）基于信息量將RGB圖像線性變換為灰度圖像：

式中，、、分別是RGB圖像任意像素的分量。

由此證明基于信息熵的線性變換的信息量得到最大保留，該命題可等效為：任意假設(shè)線性變換Grey=λR+λG+λB，對(duì)應(yīng)的信息量≤。

證明：假設(shè)Grey為變換后灰度圖像的離散灰度隨機(jī)變量，R、G、B分別為原始RGB圖像三通道I、I、I的離散隨機(jī)變量。根據(jù)信息論可知，當(dāng)信源的方差越大，則信息熵越大。

假設(shè)I、I、I的方差分別為(R)、(G)、(B)，且(R)>(G)>(B)，則可推出H>H>H，從而推出λ>λ>λ。

（4）運(yùn)用FAST算法確定特征點(diǎn)，此處不再贅述。

2.2 RGB特征點(diǎn)描述子

本文采用的特征點(diǎn)描述子是在Brief描述子基礎(chǔ)上加以改進(jìn)的。為充分利用RGB三個(gè)通道的信息，描述子建立如下：

（1）將RGB圖像看作××3的數(shù)組，I、I、I由上至下分布，以I某二維特征點(diǎn)(,)為中心，取××3的立體鄰域。

（3）比較二者像素的大小，并按照如下公式進(jìn)行二進(jìn)制賦值。

（4）重復(fù)步驟1～3，生成一個(gè)二進(jìn)制編碼，此編碼即為特征點(diǎn)描述子。

3 實(shí)驗(yàn)及分析

為驗(yàn)證本文提出的特征點(diǎn)提取算法，擬與原始ORB特征點(diǎn)檢測(cè)算法進(jìn)行比較。分別采集兩組圖片：第一組是在相同場(chǎng)景下通過平移、旋轉(zhuǎn)、尺度等變換得到的；第二組為完全不同的場(chǎng)景圖片。分別對(duì)兩組圖片進(jìn)行特征點(diǎn)提取，并進(jìn)行特征點(diǎn)匹配，采用改進(jìn)的ORB特征點(diǎn)提取算法（為使ORB算法具有尺度、旋轉(zhuǎn)不變性，在此將原算法中的Brief描述子更換為Surf描述子）的結(jié)果如圖2、圖3所示。

圖2 相同場(chǎng)景下ORB特征提取結(jié)果

圖3 不同場(chǎng)景下ORB特征提取結(jié)果

由圖中可看出，相同場(chǎng)景下大部分點(diǎn)的匹配是正確的，由于未采用RANSC算法，有少數(shù)點(diǎn)發(fā)生了匹配錯(cuò)誤。如果采用RANSC算法，誤匹配點(diǎn)對(duì)可以避免，但匹配時(shí)間會(huì)大大增加，平均為218.902 ms。對(duì)完全不同的場(chǎng)景進(jìn)行特征提取，即使使用了RANSC算法仍然存在明顯的3處誤匹配，這種錯(cuò)誤對(duì)于人類視覺而言是荒唐的。特征描述子采用的是局部鄰域編碼，從原理上只是經(jīng)過編碼的特征點(diǎn)的匹配，不代表客觀物體間關(guān)系的匹配。產(chǎn)生這一現(xiàn)象一方面是由于特征定義的問題，另一方面是由于算法普遍是基于灰度圖像，未能充分利用原始RGB圖像信息的問題。

對(duì)以上兩組圖片采用本文提出的基于RGB特征點(diǎn)提取算法進(jìn)行處理，同時(shí)采用基于距離的匹配算法進(jìn)行匹配，其結(jié)果如圖4、圖5所示。

圖4 相同場(chǎng)景下RGB特征提取結(jié)果

圖5 不同場(chǎng)景下RGB特征提取結(jié)果

相較于原算法，相同場(chǎng)景下基于RGB特征點(diǎn)的提取算法降低了錯(cuò)誤匹配，其與原算法組合使用RANSC算法的性能相近，但處理時(shí)間縮短了62.014 ms。也說明了在算法充分利用RGB信息后，對(duì)于匹配結(jié)果的提升是有效的。但在不同場(chǎng)景下基于RGB特征提取仍然存在著極少的明顯誤匹配，這是因?yàn)樗惴ū旧砣允腔趫D像局部范圍，當(dāng)不同場(chǎng)景存在著較大的相似度時(shí)，這種錯(cuò)誤發(fā)生的概率就會(huì)增加，通過擴(kuò)大描述子隨機(jī)范圍可以降低錯(cuò)誤率，但不可能完全避免。

4 結(jié) 語(yǔ)

本文面向SLAM魯棒應(yīng)用提出了基于RGB特征點(diǎn)提取算法，通過與目前普遍使用的ORB特征提取算法進(jìn)行比較，發(fā)現(xiàn)誤匹配率有明顯降低，性能與使用RANSC算法相當(dāng)，但處理時(shí)間得到了明顯降低，從而也驗(yàn)證了本文提出的RGB圖像信息熵度量方法的正確性，從信息論的角度解釋了算法的有效性。今后，將圍繞不同場(chǎng)景下誤匹配發(fā)生的機(jī)理展開理論研究，進(jìn)一步提升特征提取的魯棒性。