基于雙目視覺的機器人運動目標檢測與定位*

崔寶俠， 欒婷婷， 張　馳， 段　勇

(沈陽工業(yè)大學 信息科學與工程學院， 沈陽 110870)

?

基于雙目視覺的機器人運動目標檢測與定位*

崔寶俠， 欒婷婷， 張馳， 段勇

(沈陽工業(yè)大學 信息科學與工程學院， 沈陽 110870)

針對移動機器人自定位精度低的問題，提出了先由靜止的工作機器人進行自定位，再對運動目標進行檢測和定位的方法.基于HSV模型顏色特征，工作機器人分割出人工路標并進行自定位，利用幀間差分法將采集到的視頻圖像序列中相鄰兩幀作差分運算，提取出運動目標，并通過雙目立體視覺視差原理計算出運動目標的絕對坐標，幫助運動目標完成定位.結果表明，該方法定位精度高于傳統(tǒng)的移動機器人自定位的定位精度，且算法的實時性好，具有現(xiàn)實的研究意義.

雙目視覺； 移動機器人； 幀間差分法； 運動目標； 人工路標； HSV模型； 閾值分割； 定位

雙目立體視覺采用的是類似于人的左右眼識別、理解外界的方式，利用左右兩部并行排列的CCD鏡頭分別獲取外界圖像，對兩幅圖進行處理以獲得外界的3D信息[1].雙目立體視覺是計算機視覺研究中的一個重要分支，能直接模仿人類雙眼處理客觀場景[2]，可以代替人類在危險系數(shù)較高的場合(如重度污染區(qū)、核輻射區(qū)以及有炸彈包裹的大樓等)工作[3].

定位是其執(zhí)行其他任務的前提和基礎，也是評價機器人性能的關鍵指標之一[4].目前的雙目視覺移動機器人在定位過程中，一般都是采用移動機器人用雙目攝像機直接采集路標完成自定位的方法，這種方法簡單高效，但是具有一定的缺陷，即雙目視覺傳感器可能由于過快或不平穩(wěn)的運動使得采集路標的圖像模糊不準確，導致自定位誤差較大，而且移動機器人可能運動到陰暗或難以采集路標的位置，會出現(xiàn)無法采集到路標的情況.

針對以上缺陷，文中提出了一種新的定位方法，即由另一個機器人代替移動機器人完成定位，負責定位工作的機器人可以在能夠檢測到路標和移動機器人的位置保持靜止狀態(tài)，利用傳感器完成自定位，再為移動機器人進行定位并實時為其傳達位置信息.

工作機器人整體的定位流程如圖1所示，工作機器人首先采集帶有移動機器人與人工路標的視頻，然后對視頻進行兩方面的處理：一方面是分割提取人工路標并找到其質心，根據(jù)視差原理求出工作機器人與人工路標質心的相對位置，在實驗環(huán)境中已知人工路標的質心坐標，這樣就能求出工作機器人的絕對坐標，從而完成其自定位；另一方面工作機器人通過對視頻圖像的處理提取出運動目標，也根據(jù)視差原理得到工作機器人與移動機器人的相對位置，由于工作機器人的絕對坐標已經(jīng)得到，因此可以計算出移動機器人的絕對坐標，即完成了工作機器人自定位及對運動目標檢測與定位的任務.

圖1　工作機器人整體定位流程圖Fig.1　Flow chart of total positioning of work robot

本文分別介紹人工路標與運動目標的檢測方法，并通過實驗比較了工作機器人幫助移動機器人自定位法與傳統(tǒng)移動機器人自定位法的優(yōu)劣.

1　目標檢測

1.1人工路標檢測

1.1.1HSV顏色模型

RGB色彩空間是一種常見的顏色表示法，通常攝像機拍攝到的圖像都是基于RGB模型，但RGB色彩空間與人眼的感知差異大，其空間的相似不代表實際顏色的相似[5].為了符合人的視覺特征，同時也由于從RGB到HSV的轉換是一個簡單且快速的非線性變換[6]，本文采用HSV色彩空間顏色模型，如圖2a所示.在HSV色彩空間顏色模型中，H和S是色度信息，且獨立于亮度信息V，這是HSV模型的一個重要優(yōu)點[7].色調(diào)(H)代表顏色信息，取值范圍為0～360°，對其設定閾值可以區(qū)分不同顏色的路標；飽和度(S)表示顏色的深淺，取值范圍為0～1，S越大，顏色越深；亮度(V)表示顏色的明暗程度，取值范圍為0～1，V越大，物體亮度越高.將HSV圓柱模型展開成如圖2b所示平面模型，色彩從左至右代表模型中H分量沿逆時針方向從0°變化到360°，從下至上代表飽和度S由中心向圓周漸變，最右側灰度圖代表亮度V.

圖2　HSV模型示意圖Fig.2　Schematic HSV model

1.1.2基于顏色特征提取人工路標

本文設計的人工路標是由紅、藍、黃三種顏色組成的矩形紙板.圖3a所示為左目攝像機拍攝到的機器人所處環(huán)境示意圖；利用HSV顏色模型對H、S、V三分量進行閾值的設置即可將人工路標提取出來(如圖3b所示)，但效果不理想，人工路標內(nèi)部有細小的空洞；而利用相關運算對其進行圖像處理后，人工路標內(nèi)部細小的空洞被填平，提取效果較好，如圖3c所示.

1.2運動目標檢測

1.2.1幀間差分法

幀間差分法[8]是通過對視頻圖像序列中相鄰兩幀作差分運算來獲得運動目標輪廓信息，即

(1)

對差分結果閾值判斷可以采用式(2)，即

圖3　人工路標分割提取結果示意圖Fig.3　Schematic segmentation and extraction results of artificial landmark

(2)

大于閾值的判斷為前景，小于閾值的則判斷為背景，從而突出運動區(qū)域，確定運動目標.幀間差分法的優(yōu)點是算法實現(xiàn)簡單，對光線等場景變化不太敏感，穩(wěn)定性好.

1.2.2檢測結果

移動機器人水平向右運動，圖4a、b分別為運動過程中雙目攝像機左目采集到的第2幀和第3幀視頻圖像，圖4c為利用幀間差分法檢測到的運動目標示意圖.檢測結果顯示，幀間差分法能夠將運動目標的輪廓提取出來.

圖4　采用幀間差分法檢測運動目標Fig.4　Detection of moving object with frame differential method

2　自定位與運動目標定位

2.1雙目立體視覺原理

利用兩臺攝像機從兩個視點觀察同一景物，以獲取在不同視角下的感知圖像，通過計算空間點在兩幅圖像中的視差來獲取目標物體的三維坐標，該原理即是視差測距原理[9].空間點在雙目攝像機中的成像示意圖如圖5所示.

2.2工作機器人自定位

首先，基于HSV顏色特征對采集到的左右兩幅圖像中的人工路標進行閾值分割，其次，計算左右兩幅圖像中人工路標的中心點坐標，將其作為一對匹配點，利用雙目視覺視差原理計算人工路標在攝像機坐標系下的三維坐標，由于人工路標是人為設置的，其在坐標系下的絕對坐標已知，由此可以得到攝像機坐標系與環(huán)境坐標系的轉換關系.利用此關系可以計算出工作機器人的絕對坐標，從而完成工作機器人自定位.

圖5　空間點在雙目攝像機中成像示意圖Fig.5　Schematic imaging of space point in binocular camera

2.3運動目標定位

目前，視頻運動目標定位方法主要有基于區(qū)域生長法、水平垂直投影法以及基于模式分類法[10].基于投影定位方法思路簡單，易于實現(xiàn)，精確度高，本文采用基于投影的運動目標定位方法.將運動目標的像素值設為255，其余所有點的像素值設為0，通過對含有運動目標的二值圖像進行逐行以及逐列掃描，可以得到運動前景對應的像素點在水平方向以及垂直方向的具體分布情況及坐標值.

通過逐行掃描可以得到運動目標對應像素的最小行號rmin和最大行號rmax，同理通過逐列掃描可以得到運動目標對應像素的最小列號cmin和最大行號cmax，由此可以得到矩形框的兩個對角點(cmin，rmin)和(cmax，rmax)，矩形的中心點坐標為

xmid=cmin+(cmax-cmin)/2

(3)

ymid=rmin+(rmax-rmin)/2

(4)

式中：xmid為中心坐標的橫坐標值；ymid為中心坐標的縱坐標值.

將雙目攝像機拍攝到的左右兩幅圖像中的運動目標檢測出來，并用矩形框標記，得出運動目標的中心點坐標，將其作為一對匹配點，利用雙目立體視覺視差公式即可求出運動目標在攝像機坐標系下的三維坐標.由于已經(jīng)通過工作機器人自定位得到攝像機坐標系與世界坐標系之間轉換關系，因此，可以計算出運動目標在環(huán)境坐標系下的絕對坐標，由此完成運動目標定位過程.

3　實驗仿真

本文使用的機器人是由北京博創(chuàng)興盛技術有限公司開發(fā)的自主移動機器人旅行家Ⅱ號，該機器人為兩輪差動式控制，在機器人本體上安裝了由加拿大Point Grey Research公司生產(chǎn)的Bumblebee2雙目攝像機，攝像機固定在機器人頂部，以期獲得較好的圖像采集角度.旅行家Ⅱ號機器人本體如圖6所示，Bumblebee2攝像機的性能參數(shù)如表1所示.

圖6　旅行家Ⅱ號機器人Fig.6　Voyager Ⅱ robot表1　Bumblebee2雙目攝像機性能參數(shù)Tab.1　Performance parameters for Bumblebee2 binocular camera

性能參數(shù)數(shù)值傳感器SonyCCD攝像頭2個有效像素640×480,每個像素7.4μm基線12cm焦距3.8mm幀率15幀/s快門速度0.01～66.63ms

3.1運動目標檢測仿真結果

裝有雙目攝像機Bumblebee2的移動機器人為工作機器人，實驗環(huán)境中將另一臺移動機器人作為運動目標.運動目標在實驗環(huán)境中分別作縱向運動與橫向運動，運動速度為0.1 m/s，如圖7所示.墻上貼有由紅、藍、黃三種顏色構成的人工路標，雙目攝像機對工作機器人所處環(huán)境每1 s采集一幀圖像，共采集15幀.

圖7　實驗環(huán)境Fig.7　Experimental environment

圖8為檢測運動目標縱向運動示意圖，圖8a～d分別為雙目攝像機采集到的原始視頻第5幀和第12幀左右兩幅圖像；圖8e～h為利用幀間差分法對運動目標進行檢測并用矩形框進行標記的結果示意圖.

圖9為檢測運動目標水平運動示意圖，圖9a～d分別為雙目攝像機采集到的原始視頻第7幀和第12幀左右兩幅圖像；圖9e～h分別為利用幀間差分法對運動目標進行檢測并用矩形框進行標記的結果示意圖.

3.2傳統(tǒng)移動機器人自定位

傳統(tǒng)移動機器人縱向與水平運動自定位數(shù)據(jù)如表2和表3所示.

3.3工作機器人幫助運動目標定位

人工路標檢測結果數(shù)據(jù)顯示如表4所示，工作機器人自定位數(shù)據(jù)如表5所示，運動目標縱向運動定位數(shù)據(jù)如表6所示，運動目標水平運動定位數(shù)據(jù)如表7所示.

圖8　檢測運動目標縱向運動示意圖Fig.8　Schematic detection for longitudinal motion of moving object

圖9　檢測運動目標水平運動示意圖Fig.9　Schematic detection for horizontal motion of moving object表2　傳統(tǒng)方式縱向運動自定位數(shù)據(jù)Tab.2　Self-positioning data for longitudinal motion with traditional method

圖像絕對坐標測量值mm絕對坐標真實值mm誤差mm相對誤差%第4幀(1274.7,1420.6,742.3)(1340,1400,800)(65.3,20.6,57.7)(4.87,1.47,7.21)第5幀(1314.8,1505.4,790.8)(1340,1500,800)(25.2,5.4,9.2)(1.88,0.36,1.15)第6幀(1312.9,1528.3,842.3)(1340,1600,800)(27.1,71.7,42.3)(2.02,4.48,5.29)第7幀(1393.6,1505.4,893.8)(1340,1700,800)(53.6,194.6,93.8)(4,11.45,11.73)第8幀(1365.1,1576.0,940.6)(1340,1800,800)(25.1,224,140.6)(1.87,12.44,17.58)

通過與傳統(tǒng)機器人自定位數(shù)據(jù)的對比可以看出，利用工作機器人代替移動機器人進行定位的精度要高于移動機器人自定位的精度.只有極少部分數(shù)據(jù)顯示移動機器人的定位誤差更小，但大多數(shù)的情形下，采用工作機器人自定位再對運動目標進行檢測與定位的方法精度更高.雖然本文所述方法算法較多，但算法比較簡單，實時性好，充分滿足要求.

表3　傳統(tǒng)方式水平運動自定位數(shù)據(jù)Tab.3　Self-positioning data for horizontal motion with traditional method

表4　人工路標檢測結果Tab.4　Detection results of artificial landmark

表5　工作機器人自定位數(shù)據(jù)Tab.5　Self-positioning data of work robot

表6　運動目標縱向運動定位數(shù)據(jù)Tab.6　Longitudinal motion positioning data of moving object

表7　運動目標水平運動定位數(shù)據(jù)Tab.7　Horizontal motion positioning data of moving object

4　結　論

本文提出的運動目標檢測與定位的思路是首先利用定位機器人自定位，再對運動目標定位.實驗結果表明，工作機器人自定位相對誤差不足1%，運動目標縱向運動與水平運動定位的相對誤差在多數(shù)情況下低于工作機器人自定位的誤差，且算法的實時性較好，具有現(xiàn)實的研究意義.

[1]吳若鴻.基于特征匹配的雙目立體視覺技術研究 [D].武漢：武漢科技大學，2010.

(WU Ruo-hong.Research on binocular stereo vision technology based on feature matching [D].Wuhan：Wuhan University of Science and Technology，2010.)

[2]杜宇.三維重建中雙目立體視覺關鍵技術的研究 [D].哈爾濱：哈爾濱理工大學，2014.

(DU Yu.Research on key technology of binocular stereo vision in three-dimensional reconstruction [D].Harbin：Harbin University of Science and Technology，2014.)

[3]余俊.基于雙目視覺的機器人目標檢測與控制研究 [D].北京：北京交通大學，2011.

(YU Jun.Research on target detection and robot control based on binocular vision [D].Beijing：Beijing Jiaotong University，2011.)

[4]張本法，孟祥萍，岳華.移動機器人定位方法概述 [J].山東工業(yè)技術，2014(22)：250.

(ZHANG Ben-fa，MENG Xiang-ping，YUE Hua.Outline of mobile robot localization methods [J].Shandong Industrial Technology，2014(22)：250.)

[5]黃雁華，武文遠，龔艷春，等.量化顏色直方圖的改進與應用 [J].光電技術應用，2011，26(4)：76-80.

(HUANG Yan-hua，WU Wen-yuan，GONG Yan-chun，et al.Improvement and application of color histogrm [J].Electro-optic Technology Application，2011，26(4)：76-80.)

[6]郭英華.基于HSV色彩空間的圖像分割 [J].黑龍江冶金，2011，31(2)：35-37.

(GUO Ying-hua.Image segmentation based on HSV color space [J].Heilongjiang Metallurgy，2011，31(2)：35-37.)

[7]陳向東，李平.基于色彩特征的CAMSHIFT視頻圖像汽車流量監(jiān)測 [J].沈陽工業(yè)大學學報，2015，37(2)：183-188.

(CHEN Xiang-dong，LI Ping.Vehicle flow detection with CAMSHIFT video images based on color feature [J].Journal of Shenyang University of Technology，2015，37(2)：183-188.)

[8]張曉慧.視頻監(jiān)控運動目標檢測算法的研究與實現(xiàn) [D].西安：西安電子科技大學，2012.

(ZHANG Xiao-hui.Research and implementation on moving object detection algorithm in video surveill ance [D].Xi’an：Xidian University，2012.)

[9]靳盼盼.雙目立體視覺測距技術研究 [D].西安：長安大學，2014.

(JIN Pan-pan.Study on the technology of binocular stereo vision measurement [D].Xi’an：Chang’an University，2014.)

[10]張君昌，李明，谷衛(wèi)東.融合減法聚類與C-均值聚類的目標定位方法 [J].計算機仿真，2012，29(7)：269-273.

(ZHANG Jun-chang，LI Min，GU Wei-dong.Joint subtractive clustering and C-means clustering object Location algorithm [J].Computer Simulation，2012，29(7)：269-273.)

(責任編輯：景勇英文審校：尹淑英)

Moving object detection and positioning of robot based on binocular vision

CUI Bao-xia, LUAN Ting-ting, ZHANG Chi, DUAN Yong

(School of Information Science and Engineering, Shenyang University of Technology, Shenyang 110870, China)

In order to solve the problem that the self-positioning precision of mobile robot is low, a method, where the self-positioning of stationary work robot is firstly performed and then the moving object is detected and positioned, was proposed. Based on the HSV model colour feathers, the work robot divided the artificial landmark and performed the self-positioning. In addition, the differential operation for two adjacent frames in the collected video image sequence was performed with frame differential method, and the moving object was extracted. The absolute coordinates of moving object were calculated with binocular stereo vision parallax principle, which could help the moving object to complete the positioning. The results show that the positioning accuracy of the proposed method is higher than that of traditional mobile robot, and the algorithm shows good real-time performance and has the practical significance.

binocular vision; mobile robot; frame differential method; moving object; artificial landmark; HSV model; threshold segmentation; positioning

2015-08-27.

國家自然科學基金資助項目(60695054)； 遼寧省高等學校優(yōu)秀科技人才支持計劃(LR2015045).

崔寶俠(1962-)，女，遼寧沈陽人，教授，博士，主要從事過程控制、管理信息系統(tǒng)及決策支持系統(tǒng)等方面的研究.

10.7688/j.issn.1000-1646.2016.04.11

TP 391.4

A

1000-1646(2016)04-0421-07

*本文已于2015-12-07 16∶18在中國知網(wǎng)優(yōu)先數(shù)字出版. 網(wǎng)絡出版地址： http：∥www.cnki.net/kcms/detail/21.1189.T.20151207.1618.024.html