單目視覺人工路標輔助的移動機器人導航方法①

黃 露,朱 明

(中國科學技術大學 信息科學技術學院,合肥 230027)

1 引言

伴隨著室內機器人研究水平的不斷深入,其應用場景也越來越多,對人們的生活和工業(yè)生產的影響也越來越明顯.在室內機器人相關技術的研究中,導航技術是其研究核心[1],而里程計法是室內移動機器人自主導航技術中廣泛采用的方法之一.采用里程計法的室內機器人利用安裝在車輪上的光電編碼器記錄車輪的轉數,進而獲得機器人相對于上一采樣時刻位置和姿態(tài)的改變量,通過這些位移量的累積就可以估計機器人的位置,然而由于存在車輪打滑、地面不平等多種外在因素的影響,以及光電編碼器自身系統(tǒng)誤差隨著位移積累,導致機器人定位精度下降很快,從而不適宜長距離導航.因此,解決機器人里程計法導航時的定位精度問題是一項迫不及待的任務[2].在實際應用中,移動機器人的室內導航環(huán)境是已知的或者大部分已知的,機器人完全能夠充分利用這些已知信息來改善里程計法導航的不足,而視覺方法因其獲取環(huán)境的信息量大,作為傳統(tǒng)里程計導航方法的有效補充,得到了越來越多的關注[3].

目前,視覺方法主要通過單目視覺傳感器獲取環(huán)境中具有明顯特征的路標進行定位[4],其中路標主要分為自然路標和人工路標.從大量的文獻來看,目前基于自然路標的視覺導航[5-7]受環(huán)境不確定因素影響大,算法復雜.相比于自然路標,人工路標輔助機器人定位技術,具有路標特征穩(wěn)定、定位算法簡單等優(yōu)勢[8],因此,近年來國內外研究人員開展了很多研究工作[9-16].文獻[9-13]提出了基于二維碼的人工路標,雖然該路標包含的信息量大,但是二維碼的識別速度慢,難以滿足實時性的要求,而且識別的準確率受機器人與二維碼的距離影響較大.

針對上述問題,為了同時滿足人工路標輔助室內機器人定位導航的準確性和實時性,本文先從人工路標的設計著手,然后在室內機器人的導航區(qū)域設置人工路標,提出基于單目視覺人工路標輔助室內機器人導航的方法,能夠有效糾正機器人采用里程計法導航時的累積誤差,最后,利用卡爾曼濾波將人工路標識別得到的定位信息和里程計法定位數據有效融合起來,獲得更加準確有效的定位精度.最后通過實驗表明,該方法有效地提高了機器人在采用里程計法進行導航時的精度和魯棒性.該方法主要包括人工路標的設計、路標標準庫的建立、路標識別定位、修正機器人累積偏差以及定位數據融合這5個主要步驟.

2 人工路標的設計

針對室內移動機器人的實際工作環(huán)境,本文在常用桌號場景路標的基礎上,設計了草綠色背景的阿拉伯數字人工路標,如圖1所示,數字位于人工路標的中心區(qū)域.

圖1 數字人工路標

本文的人工路標是放置在靠近機器人行走路徑旁的桌面上的.當室內機器人的導航距離較長,需要更多的人工路標以修正自身導航誤差時,可在導航路徑中增加含不同數字的路標即可.

3 路標標準庫的建立

室內服務機器人工作區(qū)域有N張桌子中,根據機器人的行走路徑和室內N張桌子排布的位置關系,按順序給桌子編上號碼,在桌面上布置上相對應數字為1-N的人工路標,則本文將利用這N個人工路標來建立路標標準庫.

考慮到常用的圖像特征提取與匹配方法有顏色直方圖、紋理特征及不變矩特征等,其中,不變矩特征[17]是由Hu在1962年提出來的,由于Hu不變矩具有旋轉、平移、尺度和鏡像等不變的特征,所以本文利用該算法來建立路標標準庫,其定義如下.

則歸一化中心矩定義為:

利用二階矩和三階矩可以推導出7個Hu不變矩組:

本文設計的人工路標邊緣特征豐富,故使用canny邊緣算法分別提取這N個人工路標的邊緣輪廓,然后分別計算這N個路標邊緣的Hu不變矩的7個Hu不變矩值,并一一記錄在路標標準庫中.

4 人工路標的識別

機器人要利用人工路標來進行修正里程計法導航帶來的累積誤差,必須能夠從采集的圖片中判斷是否存在人工路標,因此,人工路標的有效識別是其輔助室內移動機器人導航的關鍵技術.本文主要利用人工路標的顏色特征來快速檢測視野中是否存在人工路標,然后再進行定位和識別,具體方法步驟如下:

(1)顏色空間轉換.對機器人采集的圖像轉換顏色空間:從 RGB 空間轉變?yōu)?YCbCr空間.在 YCbCr顏色空間中將Y亮度信息分離出來,從一定程度上降低了光照的干擾.

(2)通過高斯模型檢測路標區(qū)域.高斯模型應用統(tǒng)計學原理,對大量目標區(qū)域的像素進行統(tǒng)計分析,確定樣本中Cr、Cb的均值M和協方差C.然后通過已經建立的高斯模型,從而來判斷采集圖像中的像素屬于目標模型的概率,也就是根據每個像素點距離高斯分布中心點的距離,來判斷與目標顏色的相似度.二維高斯模型的函數為:

式中,x為每個像素點在YCbCr顏色空間下的值

因此,遍歷采集圖像,通過式(16)將符合高斯模型的像素點的像素值設置為255,其余為0,從而對圖像進行了二值化.

(3)得到路標區(qū)域.對二值化后的圖像使用findContours獲得輪廓向量,然后通過輪廓寬高比和其包圍的區(qū)域面積選擇出目標輪廓,得到目標輪廓的中心坐標.通過大量的實驗發(fā)現,在采集圖像中,路標區(qū)域的輪廓寬高比在1左右(0.8-1.0),而且在滿足寬高比的條件下,所圍面積最大的輪廓即為路標所對應的輪廓.新建一個黑色的遮罩圖層,通過drawContours操作將目標輪廓內部空間用白色填充,然后用CopyTo將路標區(qū)域從采集圖像中拷貝出來.

(4)識別路標.對路標區(qū)域使用canny操作獲得其邊緣輪廓,然后再提取邊緣輪廓的Hu不變矩的值本文定義兩個Hu不變矩的距離為:

依次按式(17)計算并比較路標標準庫中的不變矩值與待識別的邊緣不變矩的距離,選取最小不變矩距離dmin且根據大量實驗數據分析,要求進行路標識別,這樣就完成路標識別的任務了.

5 校正機器人導航偏差

對采用光電編碼器里程計法進行導航中的機器人來說,必須在短時間短距離內對機器人運動產生的航向偏差進行修正.行進中的機器人在采集的圖像中判斷是否存在人工路標,與標準庫進行匹配識別,當正確匹配識別后,根據單目視覺攝像機的成像原理,可以完成二維圖像與三維空間的坐標轉換,確定機器人所處環(huán)境中的位置,然后校正機器人的航向,進一步降低系統(tǒng)的累積偏差.

在單目視覺室內機器人導航系統(tǒng)中,機器人車體坐標系和相機坐標系是相對不變的,于是將兩者合成一個坐標系.為了表示圖像坐標系與世界坐標系的關系,本文用分別表示世界坐標系、相機坐標系的三維坐標值,用表示圖像坐標系的二維坐標值.根據單目攝像機的成像原理,確定圖像坐標系與世界坐標的轉換關系為:

然后,確定相機坐標系與世界坐標系存在如下的轉換關系:

在式 (18)、(19)中f為攝像機的焦距,du、dv分別為每個像素在圖像坐標系U軸、V軸的間距,是圖像的中心點坐標,R為 3×3 旋轉矩陣,t是三維平移向量,

本文機器人所攜帶的單目攝像機事先已經進行了標定[18],在采集的圖像中識別出人工路標,通過式(18)由人工路標中心點的坐標計算出該點對應的世界坐標,然后使用式(19)計算出該點的攝像機坐標,即該點相對攝像機的位置,然后通過逆變換即可確定攝像機的世界坐標,這樣就能確定機器人在室內的位置了,從而與光電編碼器反饋的機器人位置進行比較,就能達到糾正機器人航向偏差的目的了.

6 里程計導航與路標定位的融合

移動機器人采用里程計導航時,光電編碼器提供兩次不同定位時刻之間的距離,其航位推算方程為:

本文的室內移動機器人采用里程計法作為主要的導航方式,而基于單目視覺人工路標的定位方法作為輔助手段來對導航定位數據進行修正.里程計誤差主要包括系統(tǒng)誤差和非系統(tǒng)誤差兩種.系統(tǒng)誤差是由于移動機器人設計結構不合理或者里程計精度不高導致的內部誤差,是一個與時間無關的近似零均值物理量[19].非系統(tǒng)誤差主要是由車輪打滑造成的,但它對里程計造成的誤差是隨機產生的,可以當作零均值白噪聲來處理[20].單目視覺人工路標的定位誤差也是隨機產生的,進而也可以近似當作零均值白噪聲來處理.因此,里程計誤差和人工路標的定位誤差都可以近似當作零均值的高斯白噪聲來處理,而且兩者之間是相互獨立的.所以,本文這里采用卡爾曼濾波(Kalman Filter)方式對位置信息進行融合.機器人車體所在位置被定義為濾波的狀態(tài)量,用里程計法航跡推算公式(20)為預測模型,從而來實現狀態(tài)量的預測與更新,單目視覺人工路標的定位方式規(guī)定為觀測模型來提供觀測值,從而構建系統(tǒng)的狀態(tài)方程與測量方程分別為:

7 實驗論證

本文采用如圖2所示的室內移動機器人來完成系統(tǒng)實驗.該機器人采用2HSS57-KH-XX混合式步進伺服驅動提供動力,并采用每50微秒高速采樣的光電編碼器進行位置反饋.機器人的運行速度為 0.50 m/s,并且采用100萬像素的攝像頭來采集圖像,并配備CPU 為 1.86 GHz、運行內存為 2 GB 的 PC 機.移動機器人室內實驗環(huán)境的導航路徑是矩形(長為8.85 m,寬為 2.40 m),如圖 3所示,本次實驗在實驗區(qū)域設置8個人工路標(從數字1到數字8對應的人工路標).

7.1 路標識別的實驗結果

人工路標導航方案的關鍵在于路標能否被較好識別[9],因此下面將進行人工路標的識別準確性和實時性的實驗.為了不贅述,本文只展示數字為1的路標在光線強度適中的實驗效果,如圖4所示.采集的圖像如圖4(a)所示;進行上文第4節(jié)的步驟(1)、(2)、(3)后,得到的路標區(qū)域如圖4(b)所示;按照上文第4節(jié)的步驟(4)進行canny操作后的邊緣輪廓如圖4(c)所示.

圖2 室內移動機器人

圖3 室內實驗環(huán)境

圖4 實驗結果展示

同時,本文添加了背景干擾實驗,采集的圖片如圖 5(a)所示;進行上文第 4 節(jié)的步驟 (1)、(2)后,得到可能的路標區(qū)域如圖5(b)所示;進行上文第4節(jié)的步驟(3)后,得到的路標區(qū)域如圖5(c)所示,按照上文第4節(jié)的步驟(4)進行canny操作后的邊緣輪廓如圖5(d)所示.

分別對圖4(c)、圖5(d)所示的目標區(qū)域的邊緣輪廓提取Hu不變矩的數值,其結果和標準庫中的數字1對應的人工路標滿足不變矩距離d最小,且,故人工路標能被正確識別.

移動機器人在圖3所示的室內環(huán)境中進行導航時,人工路標的識別主要會受到光線、路標所在區(qū)域的背景復雜程度以及攝像頭拍攝角度等因素的干擾.因此,本文在光線較暗、適中、較強三種不同條件下,以及在人工路標背景簡單、復雜兩種情況下,分別從不同的拍攝角度采集50幅含有人工路標的圖像,進行對比實驗,測試人工路標的識別速度和準確率,表1給出了實驗數據.

圖5 背景干擾實驗

表1 人工路標識別的實驗數據

由此可以看出,本文提出的人工路標識別對光照、背景復雜程度和拍攝角度的變化具有很強的魯棒性,而且平均識別準確率為88.67%,平均識別時間為97 ms,能夠滿足移動機器人進行自主導航的準確性和實時性要求.

7.2 輔助定位及數據融合實驗結果

機器人在如圖3所示的室內矩形場地進行自主導航時,8個路標處均能被快速準確地識別.移動機器人在采用里程計法導航時,利用單目視覺人工路標定位的位置信息對里程計法推算的位置信息進行融合修正,得到修正后的位置定位估計.在此導航路徑中進行機器人導航實驗,分別記錄機器人運動軌跡的實測值、采用里程計導航的自定位數據以及路標定位和里程計定位進行融合后的定位數據,機器人導航的定位數據分析對比如圖6所示.圖中,黑點為機器人導航運動軌跡的實測值.紅色“*”點對應的是里程計導航系統(tǒng)的定位數據,與真實數據對比,誤差明顯,這些誤差主要是由于輪子在地面上打滑、里程計導航系統(tǒng)本身的誤差等諸多因素造成的,由于定位誤差的存在,使得此系統(tǒng)的定位數據發(fā)生向外漂移的現象,尤其在車體長距離移動后,不斷累積的誤差使得這種漂移現象更加嚴重.在融入視覺人工路標的定位信息修正后(綠色“+”對應的數據),定位數據的精度得到了明顯地提高,使得定位數據明顯趨近與真實測量數據,整個導航系統(tǒng)的誤差大幅度降低.

圖6 定位數據對比圖

與此同時,本文又以8個人工路標位置為間隔,將機器人運動軌跡劃分為8段進行逐段分析(分析數據如表2所示),在表中,序號1表示第1個路標到第2個路標的導航分段,序號2表示第2個路標到第3個路標的導航分段,以此類推;X為各個分段的機器人運動距離;E1、E2分別為里程計導航和融合視覺人工路標定位算法在個導航分段的累積誤差;R1、R2分別為這兩個誤差占各個分段行駛距離的比例.

從表2中的實驗數據可以看出,機器人采用里程計法導航時的誤差主要發(fā)生在導航路徑長且存在轉向的分段5,說明此導航路段誤差主要是因為常量誤差不斷積累,使得累積誤差偏大,而修正后的直行路段(如分段6)累積誤差有限.存在轉向且導航距離較長的路段(如分段5和分段7)的累積誤差明顯高于其它導航路段,但經過修正后,均已得到明顯改善,說明人工路標定位信息的引入使得單點定位的誤差明顯改善,車體航向的校正使得整個導航軌跡趨于正常,兩者結合后明顯改善了導航系統(tǒng)的累積誤差.

表2 分段定位誤差分析

8 結束語

在室內環(huán)境下,針對室內移動機器人里程計法不適宜長距離導航的問題,本文提出了一種基于單目視覺人工路標輔助機器人定位和導航的方法.首先,本文設計了一種新的數字人工路標,并提出了相應快速準確的識別方法,對采用里程計法導航的機器人進行運動航向偏差的修正,最后通過卡爾曼濾波器有效地實現了定位數據的融合.通過實驗表明,數字人工路標的識別對光照、背景復雜程度和拍攝角度的變化具有很強的魯棒性,且能夠滿足機器人導航準確性和實時性的要求,該方法有效地降低了里程計法導航時的累積誤差,明顯地提高了導航系統(tǒng)的精度和魯棒性.本文下一步將繼續(xù)優(yōu)化人工路標的識別方法,提高人工路標在光線昏暗和強光情況下的正確識別率,使機器人在室內更好地完成自主導航的任務.

1 王志文,郭戈.移動機器人導航技術現狀與展望.機器人,2003,25(5):470–474.

2 陸新華,張桂林.室內服務機器人導航方法研究.機器人,2003,25(1):80–87.

3 陳明芽,項志宇,劉濟林.單目視覺自然路標輔助的移動機器人定位方法.浙江大學學報 (工學版),2014,48(2):285–291.

4 劉振宇,姜楠,張令濤.基于人工路標和立體視覺的移動機器人自定位.計算機工程與應用,2010,46(9):190–192,211.

5 唐琎,白濤,蔡自興.移動機器人的一種室內自然路標定位法.計算機工程與應用,2005,41(15):44–47,185.[doi:10.3321/j.issn:1002-8331.2005.15.013]

6 Sun YD,Ding N,Qian HH,et al.Real-time monocular visual self-localization approach using natural circular landmarks for indoor navigation.Proceedings of 2012 IEEE International Conference on Robotics and Biomimetics(ROBIO).Guangzhou,China.2012.495–500.

7 Lu Y,Song DZ.Visual navigation using heterogeneous landmarks and unsupervised geometric constraints. IEEE Transactions on Robotics,2015,31(3):736–749.[doi:10.1109/TRO.2015.2424032]

8 唐恒博,陳衛(wèi)東,王景川.基于多元M序列的人工路標設置方法.機器人,2014,36(1):29–35.

9 王孫平,田喬,傅世忱,等.QR 碼導航的室內目標搜尋機器人研究.計算機系統(tǒng)應用,2014,23(1):193–196.

10 姜海濤,田國會,薛英花,等.新型人工地標的設計、識別、定位及應用.山東大學學報 (工學版),2011,41(2):107–113,118.

11 George L,Mazel A.Humanoid robot indoor navigation based on 2D bar codes:Application to the NAO robot.Proceedings of the 2013 13th IEEE-RAS International Conference on Humanoid Robots (Humanoids).Atlanta,GA,USA.2013.329–335.

12 Zhang S,Sun L,Dong L,et al.Initial location calibration of home service robot based on 2-dimensional codes landmarks.Proceedings of the 33rd Chinese Control Conference.Nanjing,China.2014.8315–8320.

13 Lee SJ,Tewolde G,Lim J,et al.QR-code based localization for indoor mobile robot with validation using a 3D optical tracking instrument.Proceedings of 2015 IEEE International Conference on Advanced Intelligent Mechatronics (AIM).Busan,Korea.2015.965–970.

14 丁娜娜,田國會,李國棟,等.基于人工地標的雙足機器人視覺自定位.山東大學學報 (工學版),2013,43(4):51–56.

15 Guo Y,Xu XH.Color landmark design for mobile robot localization. Proceedings of the Multiconference on“Computational Engineering in Systems Applications ”.Beijing,China.2006.1868–1874.

16 Shen JL,Hu HS.Mobile robot navigation through digital landmarks.Proceedings of the 10th Chinese Automation &Computing Society Conference in the UK. Liverpool,England.2004.117–124.

17 Hu MK.Visual pattern recognition by moment invariants.IRE Transactions on Information Theory,1962,8(2):179–187.[doi:10.1109/TIT.1962.1057692]

18 Remondino F,Fraser C.Digital camera calibration methods:Considerations and comparisons.International Archives of Photogrammetry,Remote Sensing and Spatial Information Sciences,2006,36(5):266–272.

19 楊晶東,楊敬輝,洪炳熔.一種有效的移動機器人里程計誤差建模方法.自動化學報,2009,35(2):168–173.

20 孫華,李偉,吳亞明.基于里程計/地磁/GPS 的導航系統(tǒng)設計.微型機與應用,2016,35(1):81–84,87.