基于單目視頻路徑移動機器人導航方法研究*

張大偉，王 佳，孟森森，鄧計才

(鄭州大學 信息工程學院,河南 鄭州 450001)

0 引 言

移動機器人導航是機器人領域的一個研究熱點[1]。視覺傳感器作為最接近人類的環境感知工具，具有其他傳感器無法比擬的優勢。根據視覺傳感器的數目，視覺導航分為3種：單目視覺、雙目視覺、多目視覺[2]。單目視覺具有結構簡單、適用范圍廣等優點，單目視覺導航分為3類：基于單視圖[3]、雙視圖[4]、多視圖[5]。雙視圖根據兩幀圖像所包含的目標物體的視差信息完成定位，兩幀圖像中對應點間存在一定的約束關系，根據這種約束關系可實現基礎矩陣求解，三維重建，運動估計等，并且計算量較小。因此，在成本控制、性價比、實時性要求高的移動機器人領域，單目視覺中的雙視圖導航方式是一個較佳的選擇。

本文以雙視圖定位為基礎，提出了基于單目視頻路徑的導航方法。

1 導航原理

原理流程如圖1所示。

圖1 導航原理流程

1)人工驅動機器人沿參考路徑移動，并通過自身的前置攝像機沿途拍攝視頻序列，從中提取關鍵圖像，并用一組有序的關鍵圖像代表參考路徑的視頻序列；2)當機器人在參考路徑附近移動時，可拍攝當前圖像，利用攝像機中心間的最短歐氏距離，從關鍵圖像序列中找出與當前圖像最近似的圖像，并提取其特征點，進行圖像匹配，求出基礎矩陣并優化，得到位姿參數，完成機器人定位；3)結合參考路徑的視頻序列，找出當前圖像和關鍵圖像共同包含的特征點，以其形心橫坐標為參照，使機器人沿參考路徑行走，實現自主導航。

1.1 定 位

1.1.1 關鍵圖像獲取

視頻路徑拍攝后，需要從視頻序列中提取一組有序關鍵圖像，目的是為機器人的定位及后續導航提供引導[6]。將視頻序列的第一幀圖像，始終作為第一幀關鍵圖像，記作I1，然后，提取下一幀關鍵圖像I2。關鍵圖像提取原則如下：

1)關鍵圖像In和In+1間存在盡可能多的視頻圖像；

2)關鍵圖像In和In+1間至少有M個共同的特征點；

3)關鍵圖像In-1和In+1間至少有N個共同的特征點，以保證圖像的連續性。

1.1.2 最近似關鍵圖像

(1)

從關鍵圖像序列中，選擇歐氏距離最短的圖像，作為與當前圖像I最近似的關鍵圖像，并記作Ik，最近似關鍵圖像的選擇是一次粗匹配，為圖像匹配奠定基礎。

1.1.3 特征點提取

采用Harris 角點檢測算法，尋找圖像的特征點。算法思路：在圖像中設置一個局部測試窗口，當該窗口沿任意方向作微小移動時，窗口的灰度值將發生變化。引入微分運算和自相關矩陣來檢測灰度的變化情況，當該窗口的灰度變化值超過設定的閾值時，即將窗口的中心像素點作為角點。角點響應函數CFR定義為

CFR=det(M)-k(traceM)2

(2)

式中

(3)

矩陣M為像素點的自相關矩陣；Wu,v為高斯平滑因子；X，Y分別為像素點在水平、垂直方向上的一階導數；k為經驗值常數，通常k=0.04。

1.1.4 圖像匹配

(4)

1.1.5 對極幾何與基礎矩陣

當前圖像I與最近似關鍵圖像Ik為針對同一目標、不同角度拍攝得的2幀圖像，其對極幾何關系如圖2所示。D為空間任一點，C和Ck分別為兩攝像機的中心，C和Ck連接的直線稱為基線，與圖像I和Ik的交點分別為e，ek；d和dk為空間中點D分別在2幀圖像上的投影，為一對匹配點；平面DCCk與圖像I的交線為h，與圖像Ik的交線為hk，d和dk分別在各自的交線上，稱h為匹配點dk對應的極線，同理，hk為匹配點d對應的極線。

圖2 對極幾何

基礎矩陣是對極幾何的代數表示，可以由兩幀圖像之間的匹配點對進行求解。假設：d?dk是當前圖像I和最近似關鍵圖像Ik之間的一對匹配點，坐標分別為d=(u,v,1)T,dk=(uk,vk,1)T，d和dk之間約束關系為

(5)

將式(5)整理可得線性方程組

Af=0

(6)

式中f為基礎矩陣F的展開變形

f=(f11f12f13f21f22f23f31f32f33)T

(7)

(8)

求解基礎矩陣F需要有9個參數，歸一化，變為8個。因此，需要8對匹配點代入線性方程組(6)，即可以完全確定基礎矩陣。

1.1.6 基礎矩陣優化

算法思路：兩幀圖像的一對匹配點，其中一個特征點對應的另一幀圖像上的匹配點，必然在該特征點對應的極線上，利用這一特點，將匹配點到該極線的垂直距離作為選擇最優匹配點對的標準。

具體做法：第一次迭代，任意選取8對匹配點，求出基礎矩陣F1，然后分別計算8個特征點到極線F1d的垂直距離，剔除其中距離最大的特征點。第二次迭代，從眾多剩余的特征點中任意選取一個特征點，求出基礎矩陣F2，再分別計算這8個特征點到極線F2d的垂直距離，再次剔除其中距離最大的特征點。重復操作，直到獲得最終8個特征點，由于該8個特征點在所有特征點中匹配精度最優，所以利用該8對特征點所求出的基礎矩陣的準確性最好。

1.1.7 目標定位

空間中任一點D在當前圖像I和最近似關鍵圖像Ik中的投影點分別為d和dk，點d和dk是一對匹配點。設目標點D在圖像I和Ik中的攝像機坐標分別為X=(x,y,z),Xk=(xk,yk,zk)，圖像坐標分別為(u,v),(uk,vk)，像素。攝像機由最近似關鍵圖像Ik到當前圖像I，相當于做了一次運動。假設攝像機運動的旋轉矩陣為R、平移向量為t，在攝像機坐標系下，兩個坐標的關系可表示為

X=RXk+t

(9)

假設t=(tx,ty,tz)T，G為攝像機內參數矩陣，根據圖像坐標系和攝像機坐標系間的轉換關系有

(10)

式中αx,αy分別為u軸和v軸上的歸一化焦距；u0，v0為圖像的中心。

式(10)整理可得

(11)

式中

(12)

式中G,R,t為可求量;zk為可測量;z為目標點在當前攝像機坐標系下的深度值，可由最小二乘法計算得到，圖像坐標(u,v)和(uk,vk)可以通過特征點的提取和匹配獲得。將z代入式(10)，可以求得x和y

(13)

點X=(x,y,z)即為攝像機坐標系下目標點的當前三維坐標，由此可以實現目標定位。

1.2 路徑規劃

具體做法為：首先，當前圖像記為I，與當前圖像最近似的關鍵圖像記為Ik，記圖像Ik的下一張關鍵圖像為Ik+1∈{I1，I2，I3,…,In}。使用Harris算法分別提取圖像I和Ik+1的特征點，求出2幀圖像共同包含的特征點集的形心，用形心的橫坐標X作為定位的參照[7,8]。當機器人沿參考路徑移動，圖像I與Ik+1共同包含的特征點集的形心橫坐標X發生變化，由圖像I的形心橫坐標X1，不斷趨向于圖像Ik+1的形心橫坐標Xk+1，當到達Xk+1時，即機器人到達關鍵圖像Ik+1的位置。此時，下一張關鍵圖像Ik+2變為目標位置，以此類推，直到到達關鍵圖像In位置，完成自主導航，如圖3(a)所示。

圖3 視覺導航與移動機器人平臺

2 實 驗

實驗驗證在自主開發移動機器人平臺上進行如圖3(b)。該機器人采用基于4個麥克納姆輪的全向移動機構，內部配備有一個微型電腦(英特爾Intel NUC 6i5SYH，處理器i5，內存8 GB)，頭部安裝了一個用于單目視覺定位導航的攝像機(微軟Kinect V2內部彩色攝像機)。所開發的定位導航算法基于Visual Studio 2015 和 OpenCV 3.0開發。

實驗步驟如下：1)人工驅動機器人沿參考路徑行走，用攝像機記錄視頻路徑;2)提取圖像特征點，從視頻序列中提取一組有序關鍵圖像{…,Ik,Ik+1,Ik+2,…}作為代表，算法如前所述，實驗中,設定M=400,N=300；3)拍攝當前圖像I，根據圖像之間歐氏距離最短，從關鍵圖像序列中選取最近似關鍵圖像Ik，將圖像I和Ik進行圖像匹配，求出基礎矩陣并優化，實現目標定位；4)根據已有路線，通過單目攝像機動態攝取路面圖像，經計算機處理識別出關鍵圖像，并判斷關鍵圖像特征點集形心的橫坐標位置，使機器人的實際行駛路線與參考路線的偏差保持在允許的范圍內，以此實現自主視覺導航。如圖3(a)所示，機器人根據當前圖像I和最近似的關鍵圖像Ik，實現定位，并完成從Ik到Ik+1，Ik+2的導航。

機器人運動軌跡與參考路徑如圖4所示，其置信區間如圖5所示。

圖5 置信區間

3 結 論

實驗結果表明:機器人實際軌跡與參考路徑的誤差始終控制在一定允許范圍內(小于2 m)。在實驗過程中，影響精度的原因主要有3個：1)鏡頭本身的畸變；2)標定誤差;3)匹配誤差；隨著工藝技術的發展和各種算法的不斷改進，誤差的影響會越來越小。

[1] 譚 民,王 碩.機器人技術研究進展[J].自動化學報,2013,39(7): 963-972.

[2] 敬 澤,薛方正,李祖樞.基于單目視覺的空間目標位置測量[J].傳感器與微系統,2011,30(3):125-131.

[3] 余厚云,張為公.基于單目視覺傳感器的車距測量與誤差分析[J].傳感器與微系統,2012,31(9):10-13.

[4] 于天慧,孫金瑋.面向復雜場景的未標定兩視圖三維重構方法[J].計算機輔助設計與圖形學學報,2016,28(8):1232-1241.

[5] 姜翰青,趙長飛,章國鋒,等.基于多視圖深度采樣的自然場景三維重建[J].計算機輔助設計與圖形學學報,2015,27(10):1805-1815.

[6] Cherubini A,Chaumette F.Visual navigation of a mobile robot with laser-based collision avoidance[J].The International Journal of Robotics Research,2013,32(2):189-205.

[7] Charmette B,Royer E,Chausse F.Vision-based robot localization based on the efficient matching of planar features[J].Machine vision and Applications,2016,27(4): 415-436.

[8] Cherubini A,Spindler F,Chaumette F.Autonomous visual navigation and laser-based moving obstacle avoidance[J].IEEE Transactions on Intelligent Transportation Systems,2014,15(5):2101-2110.

鄧計才(1974-)，男，通訊作者，博士，教授，主要從事競技機器人領域研究工作，E—mail：iejcdeng@zzu.edu.cn。