基于深度學習的語義SLAM關鍵幀圖像處理

鄧 晨 ，李宏偉，張 斌，許智賓，肖志遠

1. 鄭州大學信息工程學院，河南 鄭州 450052； 2. 鄭州大學地球科學與技術學院，河南 鄭州 450052； 3. 鄭州大學水利科學與工程學院，河南 鄭州 450001

隨著人工智能應用的進步與深度學習的興起，在同時定位與地圖構建(simultaneous localization and mapping，SLAM)中加入機器學習的思想已然成為探索未知環境自主建圖方面極有潛力的研究點。文獻[1]提出了HOG算子作為特征，并選擇支持向量機(SVM)當作試驗過程中的分類器，從而進行運動中的行人個體檢測，2012年之前，目標檢測與識別的過程是采用人工的方式進行圖像特征的訓練，再選擇一種分類器以完成最終的分類任務。經典的物體目標檢測任務通常具有3個關鍵點：①在圖像中標記出一定數量不同的候選區；②對標出的候選區進行特征的提取工作；③采用高效的分類器完成分類任務。

伴隨深度學習算法和技術的迅速發展，結合卷積神經網絡的目標檢測算法在大多數場景下均具有良好的檢測效果和較強的實時性能。近年來，有學者嘗試將融合了深度學習算法的目標檢測技術加入視覺SLAM算法過程中，進行實例級的語義建圖。文獻[2]提出一種實例級的語義地圖構建方法，利用SSD目標檢測和3D點云分割算法完成幀間目標的檢測和數據關聯，構建實例級的語義地圖。文獻[3]設計了一種基于YOLOv3目標檢測算法的語義地圖構建方案，通過YOLOv3目標檢測和GrabCut點云分割法實現實例級的語義建圖。文獻[4]提出一種實時的移動機器人語義地圖構建系統，利用不同幀之間特征點的匹配關系完成物體之間的目標關聯，最終構建增量式的語義地圖。文獻[5]提出了基于Faster R-CNN網絡的多物體檢測，利用單獨的RPN網絡進行區域選擇，并結合Fast R-CNN網絡對不同區域進行分類和回歸實現對多物體的檢測。文獻[6]提出了基于單次拍攝多邊界框檢測(SSD)的目標檢測算法，這種算法能夠一步到位地預測出物體的類別，速度更快且效率更高。相較于Faster R-CNN網絡，該算法沒有基于RPN的區域選擇部分，因此提高了檢測速度。然而，上述目標檢測算法只能獲取物體的矩形框，不能很好地實現對物體邊界進行精準分割。文獻[7]提出了目標實例分割框架Mask R-CNN，其算法框架的創新來源于Faster R-CNN，算法的思路是在Faster RCNN算法中邊界框之外補充了一個分支部分，這個模塊的主要作用是計算生成目標對象的掩碼，從而實現像素級別的物體分割。文獻[8]是一個實時分割、跟蹤和重建多個物體的語義SLAM框架，通過結合基于條件隨機場的運動分割和語義標簽來對圖像進行實例化的分割，實現重建實例級的語義地圖。Mask-Fusion[9]采用了類似的策略，不同的是Mask-Fusion選擇直接使用Mask R-CNN算法的網絡結構，完成關鍵幀目標中的語義分割任務，從而獲得實例對象的語義信息，最后通過文獻[10]中的算法對目標實例進行跟蹤并同時構建實例級語義地圖。以上工作結合深度學習算法和視覺SLAM技術對采集的圖像或視頻幀進行目標檢測、幀間目標跟蹤和語義地圖構建，實現了實例級的語義SLAM算法。然而總覽已有的各種開源系統，并未發現有科研團隊及人員將最新ORB-SLAM3系統進行創新融合或改進，大部分研究和試驗僅結合了前代經典ORB-SLAM系統，因此缺乏應用的豐富度和創新性。本文聚焦于最新深度學習與視覺SLAM系統的融合框架構建，完成了新系統中涉及的算法優化和改進，提升SLAM技術的應用豐富性，擴展了其應用范圍。

本文針對經典SLAM系統的前端視覺里程計部分，在暴力匹配的基礎上使用RANSAC[11]對去除產生的誤匹配并通過試驗驗證了此方法的可行性；提出一種基于Lucas-Kanade光流法[12]的相鄰幀特征狀態判別法；采用YOLOV4[13]目標檢測算法和融合全連接條件隨機場CRF[14]的Mask R-CNN語義分割算法對ORB-SLAM3[15]中的關鍵幀的圖像處理。最后，將以上兩部分作為獨立的新線程中融入ORB-SLAM3系統中，形成一個優化改進后的完整視覺框架。

1 融合語義信息的ORB-SLAM3系統設計

1.1 基于特征點法的視覺里程計

ORB-SLAM是一種使用ORB特征點實現同時定位與制圖的方法模型，ORB-SLAM3是在ORB-SLAM系統的基礎上經過了兩次方法迭代，實現了集視覺SLAM、視覺慣導融合SLAM以及混合地圖的開源SLAM系統，并且支持多種視覺傳感器?；谔卣鞣ǖ囊曈X里程計充分利用了圖像中特征點對光照強度和環境尺度的穩健性，并且得益于眾多成熟的特征匹配[16]算法，是目前視覺SLAM中穩健性較高的視覺里程計的主流方法。

特征匹配是通過在相鄰兩個圖像幀之間比較特征點描述子的方法實現SLAM問題中數據關聯和運動跟蹤。通過特征匹配可以在相鄰圖像幀之間得到正確的匹配點對，有利于提高SLAM系統位姿估計的精度。由于特征點僅僅是圖像中局部灰度值變化較大的像素點，將會導致在特征匹配的過程中產生一些誤匹配，影響SLAM系統的位姿估計精度。因此，去除誤匹配是實現特征匹配的一項重要工作。

由圖1可以看出，暴力匹配得到較多的匹配點對，同時也存在較多的誤匹配點對。而且當圖像中特征點的數量較多時，使用暴力匹配將會占用較多的計算資源。對于誤匹配可以使用快速近似最近鄰[18](FLANN)、隨機一致性采樣(RANSAC)等方法進行誤匹配的剔除，得到正確的特征匹配點對。本文使用RANSAC方法進行誤匹配的剔除。采用ORB特征和RANSAC算法進行剔除誤匹配后的結果如圖2所示。

圖1 暴力匹配Fig.1 Schematic diagram of violence matching

圖2 改進后的匹配結果Fig.2 The improved matching result

1.2 ORB-SLAM3系統概述

ORB-SLAM3是第1個能夠用單目、立體和RGB-D相機，并使用針孔和魚眼鏡頭模型進行視覺慣性和多地圖SLAM的系統，主要創新表現在兩個方面：①它是一個基于特征的緊密集成視覺慣性SLAM系統，它完全依賴于最大后驗概率估計，包括在IMU[19]初始化階段也是如此；②它是一個多地圖系統，依賴于一種新的位置識別方法和改進的召回，這種改進方法使得ORB-SLAM3能夠長時間在較少視覺信息的環境下運行，當保存的地圖丟失時，它會啟動一個新的地圖，然后在重新訪問地圖區域時，將其與以前的地圖無縫地合并。

之前已被廣泛應用的ORB-SLAM2由3個平行的線程組成、跟蹤、局部建圖和回環檢測。在一次回環檢測后，會執行第4個線程，去執行BA優化。跟蹤線程在雙目或RGB-D輸入前進行，剩下的系統模塊能夠與傳感器模塊獨立運行。相比ORB-SLAM2系統，ORB-SLAM3新增部分如下。

(1) 地圖集。如圖3所示，地圖集包括一系列分離的地圖組成的多地圖表示，包括活動地圖和非活動地圖?；顒拥貓D表示當前位置的地圖，跟蹤線程向其中傳入圖像幀，并由局部建圖線程不斷優化及增加新的關鍵幀擴大規模，其他地圖為非活動地圖。

圖3 ORB-SLAM3經典框架Fig.3 ORB-SLAM3 classic framework

(2) 跟蹤線程。判斷當前幀是否為關鍵幀；實時處理傳感器信息并計算當前姿態；最大限度地減少匹配地圖特征的重投影誤差；通過加入慣性殘差來估計物體速度及慣性測量單元偏差。

(3) 局部建圖線程。將關鍵幀和地圖點添加到活動地圖，刪除多余關鍵幀，并使用視覺或視覺慣性BA優化[20]地圖。另外此線程也包括慣性情況下，利用地圖估計初始化和優化IMU參數。

(4) 回環和地圖融合線程?；陉P鍵幀的速度，對地圖集中的活動地圖和非活動地圖進行相似性度量。每當建圖線程創建一個新的關鍵幀時，就會啟動位置識別，嘗試檢測與地圖集中已經存在的任何關鍵幀的匹配。

1.3 基于Lucas-Kanade光流的動態物體判別法

1.3.1 Lucas-Kanade光流

在Lucas-Kanade光流(圖4)中，可以把相機采集到的圖像當作是關于時間的函數，在圖像中位于坐標(x,y)出的像素點在t時刻的灰度值可以寫成I(x,y,t)。圖像中t時刻位置為(x,y)的像素點，在t+1時刻它在圖像中的位置將會變為(x+dx,y+dy)，而這兩個位置的像素灰度值應該是相同的，即I(x+dx,y+dy,t+dt)=I(x,y,t)。

圖4 Lucas-Kanade光流Fig.4 Lucas-Kanade optical flow

由于灰度不變，則有

I(x+dx,y+dy,t+dt)=I(x,y,t)

(1)

對左邊進行泰勒展開，保留一階項，得

I(x+dx,y+dy,t+dt)≈

(2)

由于有灰度不變假設[21]這個前提條件，于是下一個時刻的灰度等于之前的灰度，從而

(3)

兩邊同除以dt，得

(4)

(5)

式中，Ix是像素點在圖像中x方向的梯度；Iy是像素點在圖像中y方向的梯度。

當t取離散時刻時，通過多次迭代運算后就可以估計部分像素在若干個圖像中出現的位置，從而實現像素點得跟蹤。

1.3.2 相鄰幀特征狀態判別法

為了在室內場景中相鄰圖像幀間進行動態特征的檢測和辨別，本文設計了一種基于Lucas-Kanade光流的幀間特征狀態判別法：首先，采用光流法進行特征匹配，獲得匹配點的像素坐標；然后，根據相機模型得到上一幀相機坐標系下空間點的三維坐標，之后利用坐標變換求出該空間點在下一幀相機坐標系下的三維坐標，再進行投影變換得到該空間點在下一幀圖像中的像素坐標；最后，計算匹配點與投影點間的距離。認定當該距離超過閾值時，判定此特征點為動態點，即特征狀態發生了改變。

這里記p1、p2為一對匹配正確的點對，它們在圖像中的像素坐標記為

(6)

根據相機模型，恢復得到上一幀圖像中相機坐標系下空間點的三維坐標P

(7)

利用坐標變換，可得空間點在下一幀相機坐標系下的三維坐標P′

P′=TP

(8)

(9)

若距離d大于一定閾值時，即可判定此特征點為動態點。具體算法過程如圖5所示。

1.4 語義信息的融合

在本文涉及的視覺SLAM范圍內，語義信息反映的是圖像中特征點屬于不同事物類別的概率情況，語義信息獲取的途徑是采用計算機視覺技術對圖像內容進行檢測并識別。在對圖像的語義信息進行捕捉和提取時， 有多種相互關聯又存在一定區別的任務，本文僅對比目標檢測、語義分割和實例分割3種任務過程，如圖6所示。

圖5 基于Lucas-Kanade光流的幀間特征狀態判別法Fig.5 Inter-frame feature state discrimination method based on Lucas-Kanade optical flow

以圖6為例，目標檢測的主要過程是檢測出圖中所包含的人和動物，再對其進行逐個標注，然后用矩形框圈出以展示其邊界所在；語義分割是實現對人和動物像素級的分類任務， 為了更為直觀地展示分割效果，通常使用不同的顏色對其進行填充和覆蓋；而實例分割則能夠具體標出每只羊，并且精確到每個羊實體的邊緣，而不是將圖像中的所有羊視為一個整體進行定位和分類。

目標檢測、語義分割和實例分割這3種方法均可為經典的視覺SLAM系統及建圖結果提供較豐富的語義信息，因此本文研究在ORB-SLAM3的3個線程基礎之上加入了兩個線程，分別是動態特征檢測線程和圖像處理線程，語義信息與傳統ORB-SLAM3的融合系統架構如圖7所示。動態特征檢測線程位于圖像IMU輸入端與跟蹤線程之間，該線程首先采用RANSAC算法完成了剔除特征匹配過程中產生的誤匹配點，隨后結合Lucas-Kanade光流設計了相鄰幀特征狀態判別法，以實現在室內場景中對相鄰圖像幀間進行動態特征的檢測和辨別，從而減輕動態特征點對前端視覺里程計的干擾和影響程度。圖像處理線程則接收來自跟蹤線程篩選出的關鍵幀，采用基于深度學習的YOLOV4目標檢測算法對關鍵幀語義信息進行分類和標注，然后運用基于Mask-RCNN和CRF的算法策略對圖像進行語義分割和邊緣優化操作，最后將經過圖像處理線程后的圖像映射到經閉環優化后的點云地圖上進行語義融合，最終形成一張完整的三維語義點云地圖。

圖6 圖像識別的3種類型[22]Fig.6 Three types of image recognition[22]

1.5 基于深度學習的室內場景圖像檢測與分割

1.5.1 Mask R-CNN算法

從網絡結構上來看，相比于Faster R-CNN，Mask R-CNN增加了一個用于預測Mask的模塊，Mask的作用是為輸入的目標對象添加編碼，采用正方形的矩陣對每一個ROI[23]進行預測，這是為了維持ROI中的信息完整且避免發生丟失。

Mask-RCNN使用Resnet101作為主干特征提取網絡，對應著圖8中的CNN部分。ResNet101有兩個最基礎的模塊，分別為Conv Block和Identity Block[24]，二者的結構如圖9和圖10所示，Identity Block輸入和輸出的維度是相同的，因此可以串聯多個；而Conv Block輸入和輸出的維度是不相同的，因此不能連續串聯，原因是它的作用就是為了改變特征向量的維度[25]。

1.5.2 YOLOV4算法

YOLO是一個能實現端到端目標檢測的算法，算法內部僅包含一個獨立的卷積網絡模型(如圖11所示，效果圖來自開源目標檢測算法試驗)。YOLO算法經過了多次迭代，如今已經發展到YOLOV4，其作為前代版本YOLOV3的改進版，在YOLOV3的基礎上增加了非常多的細節技巧，并且很好地結合了速度與精度。且實際效果上，YOLOV4在YOLOV3的基礎上，保證FPS不下降的情況下，使mAP提升到了44%(在MS COCO數據集上的驗證)。

圖7 融合語義信息的ORB-SLAM3系統架構Fig.7 ORB-SLAM3 system architecture integrating semantic information

圖8 Mask-RCNN網絡結構Fig.8 Mask-RCNN network structure

圖9 Conv Block結構Fig.9 Conv Block structure

YOLOV3采用的是Darknet53結構，它由一系列殘差網絡[26]構成，在Darknet53中存在一個resblock_body模塊，它由一次下采樣和多次殘差結構的堆疊構成，而在YOLOV4中，其對該部分進行了一定的修改：①將DarknetConv2D的激活函數由LeakyReLU修改成了Mish，卷積塊由DarknetConv2D_BN_Leaky變成了DarknetConv2D_BN_Mish；②將resblock_body的結構進行修改，使用了CSPnet結構。此時YOLOV3當中的Darknet53被修改成了CSPDarknet53，則當輸入是608×608時，其特征結構如圖12所示。

圖10 Identity Block結構Fig.10 Identity Block structure

圖11 YOLOV4算法實現[25]Fig.11 YOLOV4 algorithm implementation[25]

圖12 YOLOV4網絡結構Fig.12 YOLOV4 network structure

YOLOV4的CIOU將目標對象與錨框間的距離、覆蓋率及懲罰類都加入了計算結果的范圍內，使得目標框的回歸計算更加精準，而不會如IOU或GIOU一般出現訓練過程無法收斂的情況，CIOU公式如下

(10)

式中，ρ2(b,bgt)分別為預測框和真實框的中心點的歐氏距離；c為能夠同時包含預測框和真實框的最小閉包區域的對角線距離；α是權重函數；影響因子αv把預測框長寬比擬合目標框的長寬比考慮進去。α和v的公式如下

(11)

(12)

則對應的LOSS為

(13)

2 目標檢測和語義分割試驗

2.1 試驗環境及數據集

試驗環境：處理器為Intel(R) Core(TM)i7-8700 CPU @3.20 GHz，配有8 GB RAM和Windows10系統，硬盤容量1TB SSD，配置Tensorflow的深度學習框架、OpenCV及其他依賴庫。本文試驗基于Windows平臺，通過Python語言編程實現，應用深度學習框架Tensorflow作為后端的Keras搭建網絡模型，下載安裝對應版本的CUDA和CUDNN。

試驗數據集：MS COCO[27]數據集，其來自微軟2014年出資標注的Microsoft COCO數據集，它是一個體量巨大且內容豐富的用于物體檢測分割的數據集。該數據集注重對環境內容的理解，全部從復雜的日常環境中獲取，圖像中目標對象的標定是采用精準分割確定的具體位置。COCO數據集平均每張圖片包含3.5個類別和7.7個實例目標，僅有不到20%的圖片只包含一個類別，僅有10%的圖片包含一個實例目標。因此，COCO數據集不僅數據量大，種類和實例數量也多。

2.2 評價指標

對于多分類目標檢測模型而言，分別計算每個類別的TP(true positive)、FP(false positive)及FN(false negative)的數量。TP代表預測框分類預測正確并且CIOU大于設定閾值的預測框數量；FP代表預測框與真實框分類預測錯誤或者分類預測正確但是兩者CIOU小于閾值的預測框數量；FN代表未被預測出來真實框的數量。

精確率Precision代表預測框中預測正確的比例，公式如下

(14)

召回率Recall代表所有真實框中被預測出的比例，公式如下

(15)

AP代表某一分類的精度，即在0～1之間所有Recall值對應的Precision的平均值。mAP代表多分類檢測模型中所有類別的AP均值，mAP的值越大，表示該模型的定位與識別的準確率越高。mAP50表示當檢測框與目標框CIOU值大于0.5時，算正類樣本，本文的評價均使用mAP50作為評價指標來判別模型的效果。

2.3 YOLOV4目標檢測試驗結果分析

試驗采用經典目標檢測數據集對YOLOV4模型進行訓練并得到訓練權重，然后對使用ORB-SLAM3系統跟蹤線程處理過的關鍵幀圖像進行目標檢測，得到的結果如圖13所示，可以看出室內場景的檢測效果更好，關鍵幀中的每個對象擁有更高的置信度。

表1 目標檢測試驗分析

室外圖像的平均精度值mAP1值為0.810，室內圖像的平均精度值mAP2值為0.900，可以認為YOLOV4模型算法對室內場景下采集到的關鍵幀圖像目標檢測試驗效果更好。

圖13 室內外目標檢測試驗Fig.13 Indoor and outdoor target detection experiment

2.4 Mask R-CNN語義分割試驗結果分析

為了更好地完成對關鍵幀圖像的語義分割試驗，本節專門針對圖像中物體的分割邊緣進行了優化策略，即融合全連接條件隨機場CRF的Mask R-CNN算法。在傳統研究中，全連接條件隨機場CRF通常被用于優化并完善帶有部分噪聲的分割圖像，全連接條件隨機場的能量函數為

(16)

(17)

試驗首先將數據集放在系統中一個具體目錄下，下載MS COCO 2012數據集，并對Mask R-CNN網絡進行預訓練，得到卷積神經網絡的初始權重；然后運行train.py，使用數據集對網絡進行訓練，訓練后的網絡權重；在預測階段，使用訓練后的Mask R-CNN模型融合全連接條件隨機場CRF對使用ORB-SLAM3系統跟蹤線程處理過的關鍵幀圖像進行語義分割，得到的結果如圖14其中虛線部分是預測的物體的邊界框，同時在上方標出了每個物體標示出的類別名稱和置信度，圖14分別對比了室內外場景下融合全連接條件隨機場CRF的語義分割和未融合的分割效果，可以明顯看出目標對象邊緣的細節部分當屬融合算法的效果更好。

同樣觀察mAP的值對試驗結果進行分析和評價，則對于所有檢測對象類，分析結果見表2。

表2 語義分割試驗分析

最終融合后的分割mAP值為0.929，大于未融合算法的mAP，則可認為融合后的Mask R-CNN模型算法對采集到的關鍵幀圖像語義分割效果更好且精度更高。

3 結 語

本文針對經典SLAM系統的前端視覺里程計部分，完成基于RANSAC算法的剔除誤匹配點試驗，驗證其良好的匹配和優化效果；研究ORB-SLAM3系統的各個線程模塊后提出一種基于Lucas-Kanade光流法的相鄰幀特征狀態判別法；使用YOLOV4目標檢測算法和融合全連接條件隨機場CRF的Mask R-CNN語義分割算法對ORB-SLAM3中的關鍵幀圖像進行處理，將以上兩部分作為兩個獨立的新線程中融入ORB-SLAM3系統中，形成一個優化改進后的完整視覺框架。

最終的試驗結果表明本文提出的改進算法對關鍵幀圖像的處理精度較高，且每個對象的語義標注效果較好，極大程度地豐富了圖像語義信息。在此基礎之上的研究可以更好地進行三維點云語義地圖的構造與建立，有效提高機器人等智能設備對室內環境的感知能力。