光學與深度特征融合在機器人場景定位中的應用

劉 冰 羅 熊 劉華平 孫富春

(1北京科技大學計算機與通信工程學院，北京 100083)

(2材料領域知識工程北京市重點實驗室，北京 100083)

(3清華大學計算機科學與技術系，北京 100084)

移動機器人的場景定位技術是輔助機器人進行精確定位與導航的有效方法之一.該技術主要涉及基于場景圖像組的特征提取和基于場景理解的圖像組匹配兩方面的工作［1-3］.因環境的差異，機器人活動范圍可分為室內環境和室外環境兩類.與室外環境相比，室內環境更加結構化，但是不同場景間的差異性程度更小，導致視覺場景匹配的難度加大.同時，室內同一場景的局部性因素，比如圖像序列中只有某單一對象的圖像，會造成較大的匹配誤差，導致定位的失敗［4］.現有定位算法比較復雜，匹配和識別的準確率不夠理想，同時提取的信息來源比較單一.本文針對室內場景的復雜環境，基于特征融合技術，結合深度圖像特征和光學圖像特征，設計了機器人場景定位的視覺匹配算法，并應用于移動機器人的實時場景定位實驗系統中，取得了滿意的應用效果.

1 基于光學與深度特征融合的場景匹配算法

1.1 基本流程

本文提出的基于視覺光學與深度特征融合的場景匹配算法，首先對Kinect攝像機采集到的光學圖像與其相應的深度圖像信息進行預處理，均勻采樣后分別對其進行尺度不變特征變換(scale invariant feature transform，SIFT)的特征提取，然后將兩組特征進行特征融合，并利用局部線性編碼(locality-constrained linear coding，LLC)算法進行特征編碼，最后應用支持向量機 (support vector machine，SVM)的線性分類器(本文實驗中采用的是liblinear線性分類器)，對場景圖像進行分類和匹配，得到場景定位信息.算法流程如圖1所示.

1.2 深度圖像的獲取和特征提取

在深度圖像的獲取方面，使用的深度成像傳感器主要分為兩類:主動式和被動式.主動式是指向目標發射能量束，如激光、電磁波和超聲波等.被動式是指傳感器利用周圍的環境進行成像，形成具有深度信息的圖像.由于外界環境對被動式的傳感器影響極大，并且對測量裝置的精度要求較高，因此其應用范圍的局限性很大，而主動式的傳感器不存在這些限制的不利影響，得到了廣泛的應用［5-7］.這里設計的算法實現過程中，主要使用Kinect傳感器，此類主動式深度傳感器來進行圖像采集.

圖1 算法流程

深度圖像特征提取的目的是，提取出場景的三維幾何特征，建立場景的空間立體模型，然后通過視覺匹配算法的處理，完成系統的高級任務要求.

本文中采用均勻采樣的方式，對空間深度圖像進行SIFT特征提取［8］，具體方法如下:

1)對深度圖像進行滑動窗口取樣.將深度圖像進行空間網格劃分，實驗中網格的尺寸為16×16像素，采樣時，滑動窗口尺寸也為16×16像素，步長為8像素.由于圖像中深度信息在一定范圍內取值，因此圖像上每個網格窗口實際上對應了空間坐標系下的一系列深度不同的窗口，此時提取特征的過程是面向空間層次的.光學圖像對應的深度圖像層次性如圖2所示.

2)在每個窗口圖像中提取局部SIFT特征.將窗口劃分為16×16個子窗口，然后在每個4×4像素的圖像小窗口中進行梯度直方圖統計，得到一個8維的特征描述符向量，這樣共得到4×4個描述符，即4×4×8維向量.此時，每個窗口中可以提取到一個128維的特征向量.

圖2 光學圖像對應深度圖像層次演示

3)對窗口特征進行拼接.將每個滑動窗口中提取到的反映深度信息的SIFT特征進行拼接，得到整個樣本圖像的SIFT深度特征.當圖像共劃分為N個滑動窗口 (N大于網格數)時，整個樣本的SIFT深度特征為一個N×128維的特征向量，此即樣本均勻采樣后的特征描述符.

通過上述特征提取過程，完成了對深度圖像樣本的特征提取，此時的SIFT局部特征不僅僅反映了局部窗口的特征，還帶有深度意義，能夠通過此信息盡可能地剔除場景中動態物體的干擾.

1.3 光學圖像特征與深度圖像特征的融合

本文針對室內場景因干擾性和局部性強的特點，而導致匹配和識別準確率不高的問題，這里考慮將光學圖像特征和深度圖像特征融合匹配，以指導場景的識別與定位.

在完成前述的RGB光學特征提取和Depth深度特征提取之后，基于多特征融合技術，將特征描述符按照一定的權值(本文實驗中采用1∶1的比例關系)拼接，將這2種視覺特征有效結合，有效地避免了單一特征對圖像匹配和分類的局限性，增強了算法的準確高效性.

1.4 基于LLC的特征編碼與匹配

本文采用LLC算法進行特征編碼.LLC實際上是對傳統的基于BoF(bag-of-features)的稀疏編碼空間金字塔算法的升級和改進［9］.它將局部特征用最接近的k個詞匯進行線性表達，其編碼誤差較BoF的量化編碼更小;同時，它使用“最大值合并”(max pooling)方法，對于合并向量的每一維，取所有“局部表達”向量在這一維度上的最大值，作為合并向量在該維度上的值，即

式中，Sni是第n個特征的LLC編碼的第i個分量.此后，LLC使用線性SVM中的liblinear線性分類器進行分類，能夠取得比傳統的空間金字塔方法更好的分類效果.同時，線性分類器的分類效率受到詞匯量增大的影響，遠小于非線性分類器.

LLC的局部約束編碼方法，首先對每個局部特征向量，采用k近鄰算法，在詞庫中找到k個和它最接近的詞匯.然后計算該局部特征向量由這k個詞匯線性表達的系數，作為它的LLC編碼.它利用距離制約把每個描述符投影到一個局部坐標系中，然后通過投影坐標來生成特征向量.

訓練集借助于liblinear線性分類器得到分類模型后，測試的圖像通過分類模型，可計算估計出該圖像所屬場景類別，即完成匹配過程.

2 實驗結果與分析

2.1 基于Kyushu數據庫的實驗驗證

Kyushu數據庫是在日本九州大學的多個不同建筑里，通過安置在高125 cm的移動機器人平臺上的Kinect傳感器，采集的場景數據庫［10］.該數據庫包括RGB圖像和深度圖像2部分，共有五類場景，分別是走廊、廚房、實驗室、辦公室和自習室.每類場景的光學圖像和深度圖像都來自不同的場所，這就增加了場景定位的難度.

Kyushu數據庫的每個類別各個場景的深度圖像和光學圖像的示例，如圖3(a)所示，其中的數字表示各個子場景的圖像數量.

對Kyushu數據庫的光學圖像和深度圖像，基于SIFT特征進行LLC編碼，運用三層空間金字塔結構，采用RGB-D特征融合算法，結合SVM線性分類器，實現了對場景圖像的較為準確的分類.通過與基于單一特征(如RGB光學特征或Depth深度特征)的LLC算法實驗對比，可以明顯地看到，RGB-D特征融合算法在場景分類方面具有顯著的優勢.

圖3 Kyushu數據庫實驗結果

實驗中隨機選取10組子場景圖像作為測試數據，并將各組的實驗結果 (即測試集的分類準確率)取平均值，得到場景的平均分類準確率，如圖3(b)所示.在基于SIFT的RGB-D特征融合算法下，得到了高達89.1762%的平均準確率，充分驗證了此算法的可行性與高效性.

2.2 實時應用系統中的擴展實驗

將此算法應用于機器人實時場景定位系統.首先，通過微軟的Kinect攝像機和PowerBot機器人搭建的平臺，在清華大學FIT樓中采集數據，生成數據庫，它涵蓋了大樓中的眾多場景(見圖4).然后，共選取了1113對同步的光學和深度圖像作為訓練集，測試實時輸入的圖像.FIT數據庫包括車庫、走廊、討論區、實驗室、會議室五大類場景，訓練集與實時系統的2次采集過程相互獨立，確保訓練集與測試集的圖像互不重復，以此保證了實驗結果的真實有效性.

圖4 FIT數據庫

實時系統輸入圖像中，加入了大量人、物等動態和靜態干擾因素，從而增加了場景匹配和分類的難度，進一步考驗了算法的魯棒性和高效性.通過實時系統的實驗結果記錄得到，當k最近鄰參數為25時，由SIFT特征融合的場景匹配算法最高可以獲得96.8421%的高準確率.不過，當k最近鄰參數過大時，特征編碼就失去了意義，這里將其設定為5，此時，基于單一光學特征僅能得到91.5789%的分類準確率，基于單一深度特征則得到85.8647%的分類準確率，而基于本文提出的融合算法，可得到高達96.0801%的分類準確率，提高了4.8%，由此驗證了算法較高的魯棒性和較強的穩定性.實驗結果的比較如圖5所示.

圖5 FIT數據庫實驗結果

3 結語

本文基于計算機圖像處理、圖像特征匹配、場景定位等相關理論基礎，提出了基于視覺光學與深度特征融合的場景定位方法，并應用于機器人實時場景定位系統中，實驗結果表明，獲得了96.0801%的較高分類準確率，充分驗證了基于SIFT融合特征的場景定位算法的高效性和可靠性.

References)

［1］Siagian C，Itti L.Biologically inspired mobile robot vision localization ［J］.IEEE Transactions on Robotics，2009，25(4):861-873.

［2］Choi B S，Lee J J.Sensor network based localization algorithm using fusion sensor-agent for indoor service robot［J］.IEEE Transactions on Consumer Electronics，2010，56(3):1457-1465.

［3］Rebai K，Azouaoui O，Achour N.Bio-inspired visual memory for robot cognitive map building and scene recognition［C］//Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems.Vilamoura，Portugal，2012:2985-2990.

［4］Zou Y，Chen W，Wu X，et al.Indoor localization and 3D scene reconstruction for mobile robots using the Microsoft Kinect sensor［C］//Proceedings of the 10th IEEE International Conference on Industrial Informatics.Beijing，China，2012:1182-1187.

［5］Maslyuk L L，Ignatenko A，Zhirkov A，et al.Depth image-based representation and compression for static and animated 3-D objects［J］.IEEE Transactions on Circuits and Systems for Video Technology，2004，14(7):1032-1045.

［6］Kim S Y，Cho J H，Koschan A，et al.3D video generation and service based on a TOF depth sensor in MPEG-4 multimedia framework［J］.IEEE Transactions on Consumer Electronics，2010，56(3):1730-1738.

［7］Park S Y，Kim S D.Efficient depth compression based on partial surface for 3-D object represented by layered depth image ［J］.IEEE Signal Processing Letters，2010，17(10):839-842.

［8］Lowe D G.Distinctive image features from scale-invariant key points［J］.International Journal of Computer Vision，2004，60(2):91-110.

［9］Wang J，Yang J，Yu K，et al.Locality-constrained linear coding for image classification［C］//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.San Francisco，USA，2010:3360-3367.

［10］Mozos O M，Mizutani H，Kurazume R，et al.Categorization of indoor places using the Kinect sensor［J］.Sensors，2012，12(5):6695-6711.