基于深度學習特征點法的單目視覺里程計*

熊 煒，金靖熠，王 娟，劉 敏，曾春艷

(1.湖北工業大學電氣與電子工程學院，湖北 武漢 430068； 2.南卡羅來納大學計算機科學與工程系，哥倫比亞 29201)

1 引言

即時定位和建圖SLAM(Simultaneous Localization And Mapping)是指搭載特定傳感器的主體，在沒有環境先驗信息的情況下，根據運動引起的圖像變化，估計相機的運動以及周邊地圖[1]，是解決機器人、無人駕駛、增強現實、虛擬現實導航定位的重要技術[2]。SLAM技術起源于國外，近年來也逐漸成為國內產業和學術研究的熱點。視覺里程計VO(Visual Odometry)是SLAM的重要組成部分。

從前端來看，VO可分為2大類：特征點法[3]、直接法[4]或光流法[5]。特征點法的VO根據已提取的特征點使用多視圖幾何方法求解相機的位姿，而直接法或光流法基于光度不變假設來直接計算相機位姿。本文的研究屬于特征點法的范疇。在計算機視覺領域，SIFT(Scale Invariant Feature Transform)方法[6]提取的特征點展現了出眾的效果，SURF(Speeded Up Robust Features)方法[7,8]相較于SIFT方法在速度上具有明顯優勢。由于SLAM對實時性要求較高，SIFT、SURF 2種方法因效率問題都無法勝任前端VO。FAST(Features from Accelerated Segment Test)方法[9]是一種速度很快的關鍵點提取方法，但它不具有描述子，因此匹配效果較差。ORB(Oriented FAST and Rotated BRIEF)方法[10]在FAST角點基礎上增加了尺度和旋轉的描述，增強了性能與速度的均衡性，是特征點法SLAM常用的方法。

SLAM作為2D、3D視覺領域結合的熱點問題，通常用傳統的圖像處理和機器學習去解決，因空間幾何難度和實時性的限制，這些方法很難像解決純2D視覺問題那樣完全被深度學習所替代。圖像特征點的提取屬于2D視覺的范疇，而深度學習中的神經網絡在圖像特征提取方面具有卓越的優勢。基于深度學習的特征點與傳統特征點相似，包含關鍵點和描述子。LIFT(Learned Invariant Feature Transform)[11]利用深度學習網絡框架實現了特征點的檢測、方向估計和特征描述，相比于SIFT提取的特征點更加稠密。MagicPoint[12]使用雙卷積神經網絡架構，1個用來提取圖像角點，另1個用來對2幅圖像的角點進行匹配。

為了彌補傳統特征點法對光照和視點變化比較敏感的缺陷，本文在深度學習特征點SuperPoint方法[13]和現有VO方法的基礎之上，提出了基于深度學習特征點SuperPoint方法的VO，簡稱DSP-VO(Deep Learning SuperPoint Visual Odometry)。本文使用亮度非線性逐點調整方法增強了特征點檢測器對光照變化的魯棒性，對公開的單目數據集實現了角點的提取和描述子的計算，使用NMS(Non Maximum Suppression)方法[14]剔除冗余角點，基于最鄰近方法[15]改進的雙向最鄰近方法進行特征點匹配，通過匹配的特征點對VO進行初始化，利用基礎矩陣或單應矩陣恢復相機位姿，建立最小化重投影誤差[16,17]方程優化相機位姿及空間點參數。

2 DSP-VO方法介紹

2.1 總體框架

VO作為SLAM的前端，求解出較好的運動估計結果，為后端優化提供良好的基礎。在傳統的VO中，對特征點的提取是先進行角點檢測，然后計算描述子。本文提出的DSP-VO，其系統框架如圖1所示。主要操作流程如下所示：

(1)DSP模型訓練。將特征點的提取從VO中單獨分離出來，使用基于深度學習的方法訓練得到1個模型——DSP檢測器。使用DSP檢測器可以同時得到圖像的角點和對應的描述子。

(2)特征點檢測。使用基于(1)得到的DSP檢測器，對數據集序列進行特征點的檢測，即得到圖像的角點信息與對應的描述子信息。針對DSP檢測器的特點，本文使用NMS方法剔除冗余角點。

(3)特征匹配。使用基于最鄰近方法改進的雙向最鄰近方法，獲得更加精準的特征點匹配結果。

(4)位姿估計。根據特征匹配結果，利用基礎矩陣或單應矩陣恢復相機位姿。前2幀需要通過三角化測量對軌跡、3D空間點的尺度進行初始化。

(5)局部優化。若位姿估計成功，利用特征點對應的3D空間點，構建最小化重投影誤差函數，求解得到優化的位姿變換；若位姿估計失敗，則結束VO。

Figure 1 System framework of DSP-VO圖1 DSP-VO系統框架

2.2 DSP模型框架

DSP是一種利用自監督學習方式對角點進行提取并生成對應描述子的網絡架構[13]。該架構流程如圖2所示，主要分為3個階段：(1)使用OpenCV圖像處理庫生成數量龐大的包含簡單幾何形狀的圖像，圖像中加入了適量的高斯噪聲，并記錄相應的角點標注信息(標簽)；使用VGG-16網絡[18]對這些人工生成標注的圖像進行訓練得到1個基礎的角點檢測器。(2)結合Homegraphic Adaptation方法，使用(1)中得到的角點檢測器對大量的自然場景圖像進行角點提取，即通過自監督的方式得到了自然場景圖像的角點標注信息。(3)使用Warp方法，對(2)中所得的帶有標注信息的圖像進行變形操作，生成角點標注圖像對；使用VGG-16網絡對角點標注圖像對進行再訓練，通過最小化角點距離誤差函數和圖像對匹配誤差函數，最終得到可以同時提取角點和描述子的模型。

Figure 2 Training process of DSP圖2 DSP訓練流程

針對VO對光照變化魯棒性較差的特征，在原始DSP訓練流程第(3)步的聯合訓練過程中，對仿射變換的圖像進一步實施光度變換。本文使用亮度非線性逐點調整方法[19,20]對圖像亮度進行Gamma調整。圖像亮度Gamma調整如式(1)所示。

I′(x,y)=(I(x,y)/255)γ·255,0.5≤γ≤2

(1)

其中，I(x,y)和I′(x,y)分別是像素(x,y)的灰度值和校正值，γ為調整參數，取值為[0.5,2]，當γ大于1時可增加圖像亮度，反之則降低圖像亮度。

γ值的變化較好地模擬了相機捕獲自然場景圖像時圖像細節的放大或抑制。將受到不同光照的圖像對放入到DSP框架中訓練，有利于網絡學習到由光照引起的圖像細節變化，從而使得最終檢測到的特征點置信度更高，描述子的性能更優。

2.3 DSP特征點提取

在SLAM領域，傳統的特征點包含點的像素坐標和描述子(描述子為特征點的特征向量)。DSP特征點和傳統的特征點不同，其角點包含了置信度信息。DSP檢測器對單幅圖像進行特征點提取，得到特征點集P，對于某個特征點(x,d)∈P，其中x為角點，d為對應的描述子，其形式如式(2)和式(3)所示。

(2)

d=(d0,d1,…,d255)T,

di∈{-1,1},i=0,1,…,255

(3)

其中，x為一個列向量，表示單個角點;u,v為角點在圖像中的像素坐標，第3維c為角點像素坐標的置信度。d為描述子，d0～d255為描述子每個維度的值。

使用DSP檢測器對圖像進行角點提取時，若圖像的角點和紋理比較豐富，檢測的特征點會出現局部擁擠的現象，需經過必要的角點剔除和篩選，否則會形成角點冗余，且造成較多的誤匹配。DSP特征點不僅包含角點像素坐標，還包含角點對應的置信度，根據該特點，本文使用NMS方法對角點進行篩選。(1)首先創建1個像素網格矩陣G，其維度為h×w，h和w分別等于被檢測圖像的像素高度和寬度；(2)提取角點x的像素坐標(u,v)為索引值，將G中對應元素賦值為1，其余賦值為0；(3)創建1個形狀為α×α的滑動窗口W，其中α為抑制距離，以α為橫向和縱向步長對G進行遍歷，并將遍歷重疊部分的角點置信度按照維度索引賦值給A，即滑動窗口內的角點置信度矩陣；(4)以式(4)為判定標準對角點進行抑制，其中Px表示特征點的角點集合；(5)經過遍歷，G中元素等于-1的維度索引，即為最終保留的特征點的像素坐標。

(4)

其中，(u,v)∈W,(u,v,c)∈Px。

2.4 DSP特征點匹配

(5)

(6)

arg mindm,n*,dm,n*<δ,m=1,2,…,M}

(7)

Ci?i+1=Ai→i+1∩Bi+1→i

(8)

2.5 基于DSP特征點法的視覺里程計

(9)

(10)

其中,Ti,i+1為第i幀到第i+1幀的位姿變換。

(11)

選擇計算基礎矩陣F和單應矩陣H2種方法得到的最小化重投影誤差中的較小者，獲得最優的相機位姿參數和特征點對應的3D空間坐標。

3 實驗結果及分析

本文的實驗內容主要圍繞2部分展開：DSP檢測器性能及提取特征點的匹配效果，視覺里程計的結果、對比及誤差分析。為了保證實驗結果的有效性和實驗方法對比的一致性，實驗在同一硬件及軟件環境下完成。實驗所使用的設備內存為16 GB，CPU為Intel CORE i7-8750H，GPU為NVIDIA GTX1080，顯存為8 GB，運行系統為Ubuntu16.04。使用Pytorch深度學習框架對DSP檢測器進行訓練。對于2種視覺里程計方法的對比，均使用CUDA庫進行加速。

3.1 數據集

本文使用Hpatches數據集[21]作為特征點提取的驗證數據集，此數據集包含了相同場景下光照、視點發生變化的圖像，以用于檢測不同特征提取方法對光度、視點變化的魯棒性。在視覺里程計中，使用The KITTI Vision Benchmark Suite提供的Visual Odometry數據集[3]。為了使實驗結果可對比和評估，本文選取其中提供真實軌跡的00～10共11個序列的Sequence作為驗證數據集。

Figure 3 Comparison of feature points matching圖3 特征點匹配對比

3.2 特征點提取與匹配對比

本文利用訓練好的DSP檢測器對Hpatches數據集圖像的特征點進行提取與匹配，同時利用OpenCV庫自帶函數檢測并匹配ORB特征點、SIFT特征點，進而對3種方法進行對比。實驗結果如圖3所示，本文DSP檢測器提取的特征點更加均勻、清晰。在相同場景下，當光照發生變化時，ORB方法和SIFT方法的提取和匹配結果發生了明顯的變化；而DSP檢測器的提取與匹配結果表現出更強的魯棒性。當視點發生變化時，ORB方法只提取到圖像中部分角點，而且有較多的誤匹配；SIFT方法傾向于提取更豐富的角點，但匹配率較低，且復雜度較高，這意味著更大的時間開銷，不利于視覺里程計的實時性與工程化；DSP特征點不僅在分布范圍上接近SIFT，與之相比有更高的匹配率，在匹配準確率方面也明顯優于ORB方法。在DSP檢測器的訓練過程中，對訓練圖像進行Gamma調整，相對于無Gamma調整的情況，在視點變化的實驗中檢測結果無明顯差別，但在光度變化的實驗中，檢測特征點的數量更多，分布更加均衡。

3.3 視覺里程計結果分析

本文采用Visual Odometry公路數據集進行實驗驗證，不限定圖像序列的讀取幀率，以記錄視覺里程計的實時幀率。如圖4所示，將跟蹤結果與真實軌跡數據進行同步對比，并實時進行誤差計算(如圖4a所示)。為了驗證DSP特征點法視覺里程計的性能表現，使用傳統ORB方法作為實驗對比方法(圖4b為2種方法的軌跡與真實值的對比)。

Figure 4 Visual odometry visualization圖4 視覺里程計可視化

為了同時檢測DSP特征點法視覺里程計在視點、光照變化的圖像上的性能表現，選擇了屬于室外場景的Visual Odometry公路數據集。本文采用了均方根誤差RMSE(Root Mean Square Error)來評估方法的性能。絕對軌跡的均方根誤差RMSE(s)定義如式(12)所示:

(12)

在Sequence 08序列上運行，對于每一幀都計算絕對軌跡均方根誤差。實驗還使用了基于ORB特征點法的視覺里程計(ORB-VO)進行對比。如圖5所示，從測試結果可以看出，隨著追蹤幀數的增加，本文方法的絕對軌跡均方根誤差趨于穩定，而ORB-VO的絕對軌跡均方根誤差總體趨向于不斷增長。

Figure 5 Real-time absolute trajectory error of sequence 08圖5 Sequence 08實時絕對軌跡誤差

本實驗不涉及后端優化，所以不可避免地會產生追蹤軌跡漂移現象。由于沒有姿態信息，絕對軌跡均方根誤差無法直觀地體現產生漂移的位置。對此，本文還使用了相對位姿均方根誤差RMSE(T)作為評價標準，其定義如式(13)所示：

(13)

位姿可以分解為平移分量和旋轉分量，因此將相對位姿誤差分解為相對平移誤差和相對旋轉誤差來分別進行評價。由于存在軌跡漂移，導致絕對軌跡誤差較大，但由圖6可以看出，在Sequence 08序列上運行，本文DSP-VO的RMSE(T)保持在較低水平，且全程優于ORB-VO的。在追蹤過程中，ORB-VO多次出現較大的旋轉偏移(如圖6b中圓圈標記位置)，這表明可能遇到較大的旋轉、較小的平移或者較強的光線干擾，而DSP-VO則在這些位置表現出更強的穩定性。

Figure 6 Real-time relative pose error of sequence 08圖6 Sequence 08實時相對位姿誤差

實驗一共測試了00～10這11個Sequence，并給出了DSP-VO和傳統方法ORB-VO在幀率、絕對軌跡誤差、相對平移誤差和相對旋轉誤差等評價指標上的對比。表1所示為偶數序列的實驗結果，可以看出，DSP-VO在速度方面低于ORB-VO，但仍然達到了實時性要求；在其他指標對比中，除了02序列的相對位姿均方根誤差，DSP-VO的表現全面優于ORB-VO。

4 結束語

本文提出一種基于深度學習特征點法的視覺里程計，將深度學習特征點方法應用到視覺里程計中，通過對輸入DSP網絡的圖像增加光度變換處理，得到光照魯棒性更強的DSP特征提取模型，采用非極大值抑制方法對DSP特征點進行冗余點剔除，采用雙向最鄰近方法對DSP特征點進行匹配，結合位姿追蹤方法建立視覺里程計。實驗結果表明，在Visual Odometry公路數據集的11個Sequence

Table 1 Pose tracking analysis results表1 位姿追蹤分析結果

序列中，本文的DSP-VO平均運行幀率達到了19.4 fps，符合實時性要求，對比于傳統ORB-VO，絕對軌跡誤差、相對平移誤差和相對旋轉誤差等有明顯提升，表明了深度學習特征點用于視覺里程計的可行性與優越性。未來的工作主要對本文方法進行工程優化，提高運行速度；加入后端優化，進一步減小誤差。