基于視覺(jué)跟蹤與自主導(dǎo)航的移動(dòng)機(jī)器人目標(biāo)跟隨系統(tǒng)

張 瑞，蔣婉玥

（青島大學(xué) 自動(dòng)化學(xué)院未來(lái)研究院，山東 青島 266071）

近年來(lái)，越來(lái)越多的機(jī)器人參與到人類的生產(chǎn)和生活中。在許多場(chǎng)景，要求機(jī)器人能夠在復(fù)雜環(huán)境中跟隨目標(biāo)移動(dòng)，如跟隨購(gòu)物車、高爾夫球車等[1-2]，這些都是跟隨技術(shù)的應(yīng)用實(shí)例。

目前已有多種基于傳感器的目標(biāo)跟隨方法[3-4]。通過(guò)激光雷達(dá)、相機(jī)、UWB（ultra wide band，超寬帶）技術(shù)等實(shí)現(xiàn)對(duì)目標(biāo)位置的感知，并根據(jù)目標(biāo)位置設(shè)計(jì)機(jī)器人導(dǎo)航與控制算法。如：Ferrer等[5]通過(guò)激光雷達(dá)對(duì)目標(biāo)進(jìn)行定位，利用SFM（social force mode，社會(huì)力模型）量化行人運(yùn)動(dòng)意圖，使機(jī)器人能夠并排跟隨目標(biāo)行人；Chung等[6]通過(guò)激光點(diǎn)云獲得行人腿部模型，分析了行人腿部運(yùn)動(dòng)，得到目標(biāo)行人的位置，但僅憑點(diǎn)云數(shù)據(jù)很難區(qū)分不同的行人；Ling 等[7]提出了一種通過(guò)檢測(cè)反射材料來(lái)跟隨行人的方法。

在視覺(jué)跟隨及視覺(jué)目標(biāo)跟蹤方面，也已有不少的研究成果。視覺(jué)跟隨研究方面：Cheng等[8]提出了一種通過(guò)檢測(cè)目標(biāo)行人的上身和腳實(shí)現(xiàn)跟隨的方法；Sun等[9]開(kāi)發(fā)了一種基于手勢(shì)的方法，機(jī)器人可以根據(jù)手勢(shì)完成不同的任務(wù)；Koide等[10]提出了一種結(jié)合身高和顏色特征來(lái)識(shí)別目標(biāo)行人的方法，然而這些身體信息很容易受到目標(biāo)行人姿勢(shì)和步態(tài)的干擾；余鐸等[11]通過(guò)將快速判別尺度空間的算法與卡爾曼濾波算法進(jìn)行切換來(lái)實(shí)現(xiàn)穩(wěn)定跟隨；萬(wàn)琴等[12]采用改進(jìn)的卡爾曼濾波器來(lái)預(yù)測(cè)目標(biāo)的狀態(tài)，并通過(guò)數(shù)據(jù)關(guān)聯(lián)進(jìn)行目標(biāo)匹配，利用多目標(biāo)跟蹤并通過(guò)標(biāo)定目標(biāo)人的ID（identity document，身份標(biāo)識(shí)號(hào)）來(lái)跟隨。視覺(jué)目標(biāo)跟蹤研究方面：Henriques 等[13-14]提出了CSK （circulant structure of tracking-by-detec‐tion with kernels，核檢測(cè)跟蹤的循環(huán)結(jié)構(gòu)）算法，利用循環(huán)矩陣進(jìn)行圖像密集采樣，提高了跟蹤精度，隨后又拓展了多特征通道，提出了KCF（kernelized correlation filters，核相關(guān)濾波）算法；Danelljan等[15]優(yōu)化了平移檢測(cè)和尺度檢測(cè)濾波，提出了FDSST（fast discriminative scale space tracking，快速判別尺度空間跟蹤）算法；Bertinetto等[16]將孿生網(wǎng)絡(luò)應(yīng)用于跟蹤，提出了SiamFC（fully-convolutional Sia‐mese network，全卷積孿生網(wǎng)絡(luò)）算法；Li等[17-18]在SiamFC 算法的基礎(chǔ)上加入?yún)^(qū)域候選網(wǎng)絡(luò)，提出了SiamRPN（Siamese region proposal network，孿生候選區(qū)域生成網(wǎng)絡(luò)）算法，后又提出了SiamRPN++算法，采用空間感知采樣策略，在目標(biāo)跟蹤時(shí)采用深層網(wǎng)絡(luò)進(jìn)行特征提取。上述研究考慮了人的外觀特征，而當(dāng)場(chǎng)景中有外觀相似的行人時(shí)則不易區(qū)分，在機(jī)器人跟隨目標(biāo)行人時(shí)會(huì)出現(xiàn)跟蹤失敗的問(wèn)題。

本文提出了一種基于深度相機(jī)的移動(dòng)機(jī)器人目標(biāo)跟隨方法，通過(guò)視覺(jué)跟蹤和自主導(dǎo)航實(shí)現(xiàn)機(jī)器人跟隨社交目標(biāo)移動(dòng)。常規(guī)的目標(biāo)跟蹤算法僅能解決目標(biāo)在短時(shí)間內(nèi)被遮擋的問(wèn)題；當(dāng)目標(biāo)在走廊拐角處轉(zhuǎn)彎后不再出現(xiàn)在機(jī)器人視野內(nèi)時(shí)，就需要機(jī)器人主動(dòng)轉(zhuǎn)彎，改變相機(jī)的視野。本文將機(jī)器人跟隨問(wèn)題分為目標(biāo)在機(jī)器人視野內(nèi)和目標(biāo)消失兩種情況。針對(duì)前者，將基于卡爾曼濾波的運(yùn)動(dòng)信息處理方法與基于特征網(wǎng)絡(luò)提取的外觀特征信息處理方法相結(jié)合，提高目標(biāo)識(shí)別的精度；針對(duì)后者，根據(jù)目標(biāo)消失前與機(jī)器人的相對(duì)位置，利用自主導(dǎo)航使機(jī)器人移動(dòng)到目標(biāo)消失位置附近進(jìn)行搜索，提高對(duì)目標(biāo)跟隨的成功率。本文采用OTB100公開(kāi)測(cè)試集和機(jī)器人應(yīng)用場(chǎng)景下的跟隨測(cè)試集進(jìn)行視覺(jué)跟蹤效果評(píng)估，并在機(jī)器人平臺(tái)上進(jìn)行跟隨實(shí)驗(yàn)，來(lái)驗(yàn)證機(jī)器人在室內(nèi)外行人眾多的環(huán)境中對(duì)目標(biāo)行人的跟隨性能。

1 移動(dòng)機(jī)器人結(jié)構(gòu)及跟隨系統(tǒng)框架

移動(dòng)機(jī)器人主要由視覺(jué)跟蹤定位模塊和機(jī)器人跟隨控制模塊組成，如圖1所示。視覺(jué)跟蹤定位模塊通過(guò)深度相機(jī)獲取機(jī)器人跟隨所需的RGB視頻序列和深度視頻序列。外置主機(jī)是視覺(jué)跟蹤定位信息的處理器，用來(lái)處理深度相機(jī)獲取的視頻序列，確定目標(biāo)與機(jī)器人的相對(duì)位置。移動(dòng)機(jī)器人平臺(tái)為由麥克納姆輪驅(qū)動(dòng)的ROS（robot operating system, 機(jī)器人操作系統(tǒng)）平臺(tái)，搭載Jetson TX1 控制主板，其通過(guò)控制算法在該平臺(tái)上運(yùn)行。

圖1 移動(dòng)機(jī)器人結(jié)構(gòu)Fig.1 Structure of mobile robot

移動(dòng)機(jī)器人目標(biāo)跟隨系統(tǒng)框架如圖2所示。深度相機(jī)獲取RGB視頻序列和深度視頻序列；通過(guò)目標(biāo)檢測(cè)及目標(biāo)跟蹤在RGB視頻序列中找出目標(biāo)，深度視頻序列用來(lái)確定目標(biāo)與相機(jī)的相對(duì)位置；若跟蹤成功，根據(jù)機(jī)器人與目標(biāo)的相對(duì)位置，控制機(jī)器人進(jìn)行跟隨；若在視覺(jué)跟蹤過(guò)程中目標(biāo)長(zhǎng)時(shí)間消失，則認(rèn)定跟蹤失敗，此時(shí)啟動(dòng)自主導(dǎo)航，將目標(biāo)消失前的相對(duì)位置轉(zhuǎn)化為世界坐標(biāo)系中的坐標(biāo)，機(jī)器人移動(dòng)到目標(biāo)消失的位置去主動(dòng)尋找。本方法可以有效解決在視覺(jué)跟蹤過(guò)程中目標(biāo)長(zhǎng)時(shí)間消失或被遮擋等問(wèn)題，較好地處理在機(jī)器人跟隨過(guò)程中目標(biāo)在走廊拐角、門(mén)口處轉(zhuǎn)彎而消失的情況。

圖2 移動(dòng)機(jī)器人目標(biāo)跟隨系統(tǒng)框架Fig.2 Framework of mobile robot target following system

2 視覺(jué)跟蹤定位

視覺(jué)跟蹤定位包括目標(biāo)檢測(cè)與識(shí)別、目標(biāo)跟蹤和目標(biāo)定位三部分。首先，由深度相機(jī)獲取視頻的幀圖像，利用YOLOv5s 進(jìn)行行人檢測(cè)，結(jié)合人臉識(shí)別判定目標(biāo)是否位于機(jī)器人視野范圍內(nèi)；其次，對(duì)跟蹤算法進(jìn)行初始化，并提取目標(biāo)的運(yùn)動(dòng)狀態(tài)和外觀特征，在后續(xù)幀中對(duì)目標(biāo)進(jìn)行跟蹤，并對(duì)跟蹤成功的目標(biāo)進(jìn)行定位；最后，輸出目標(biāo)與機(jī)器人的相對(duì)位置信息。

2.1 目標(biāo)檢測(cè)與識(shí)別

在實(shí)驗(yàn)中手動(dòng)框選跟蹤目標(biāo)是不方便的，因此在運(yùn)行跟蹤算法前加入人臉識(shí)別，且只在第1幀或者前幾幀進(jìn)行人臉識(shí)別，一旦檢測(cè)到目標(biāo)進(jìn)入機(jī)器人視野，則進(jìn)行目標(biāo)跟蹤。采用已經(jīng)訓(xùn)練好的檢測(cè)模型YOLOv5s作為行人檢測(cè)器[19]。該模型運(yùn)行速度快、識(shí)別精度高，可以很好地檢測(cè)到目標(biāo)行人。人臉識(shí)別算法采用人臉識(shí)別庫(kù)face_recognition，其在人臉數(shù)據(jù)集Labeled Faces in the Wild 測(cè)試中有99.38%的準(zhǔn)確率[20]。

在第1幀中，將人臉識(shí)別框和YOLOv5s檢測(cè)框進(jìn)行IOU（intersection over union，交并比）匹配，IOU距離最小的檢測(cè)框?yàn)槟繕?biāo)框。IOU距離可以表示為：

式中：Βface=[x1y1x2y2]，Βi=[xi1yi1xi2yi2]，其元素分別為人臉檢測(cè)框和第i個(gè)行人檢測(cè)框的左上角以及右下角在圖像坐標(biāo)系中的坐標(biāo)。

2.2 目標(biāo)跟蹤

目標(biāo)跟蹤流程如圖3所示。當(dāng)目標(biāo)出現(xiàn)時(shí)，基于上述的目標(biāo)檢測(cè)與識(shí)別方法可以得到目標(biāo)框；提取目標(biāo)框的圖像特征以及位置信息，將該目標(biāo)框初始化為一個(gè)目標(biāo)軌跡T=[xyrhsF]，其中包含目標(biāo)邊界框中心位置(x,y)、目標(biāo)邊界框?qū)捀弑萺、高度h、當(dāng)前軌跡經(jīng)過(guò)卡爾曼濾波器預(yù)測(cè)的次數(shù)s以及目標(biāo)的外觀特征庫(kù)F；在第t幀，通過(guò)卡爾曼濾波器預(yù)測(cè)當(dāng)前幀的目標(biāo)位置，并將預(yù)測(cè)次數(shù)s加1，將YOLOv5s檢測(cè)到的行人框與預(yù)測(cè)后的軌跡進(jìn)行關(guān)聯(lián)匹配；若匹配目標(biāo)成功，更新目標(biāo)軌跡的外觀特征庫(kù)F、卡爾曼濾波的參數(shù)，并將卡爾曼預(yù)測(cè)次數(shù)s置零；若目標(biāo)匹配不成功，目標(biāo)軌跡T不進(jìn)行更新，當(dāng)預(yù)測(cè)次數(shù)大于消失閾值，認(rèn)定目標(biāo)長(zhǎng)時(shí)間消失，則進(jìn)行自主導(dǎo)航；當(dāng)檢測(cè)框與目標(biāo)軌跡再次成功匹配后，關(guān)閉自主導(dǎo)航。

圖3 目標(biāo)跟蹤流程Fig.3 Target tracking process

2.2.1 卡爾曼濾波

本文采用具有恒定速度模型的標(biāo)準(zhǔn)卡爾曼濾波器，假定行人的運(yùn)動(dòng)速度是恒定的。跟蹤場(chǎng)景在八維狀態(tài)變量上定義，該變量包含目標(biāo)的4個(gè)位置狀態(tài)變量及其在各自圖像坐標(biāo)系中的變化速度，其中將邊界框狀態(tài)zt=[xyrh]Τ作為目標(biāo)狀態(tài)的直接觀測(cè)值。

狀態(tài)預(yù)測(cè)：

狀態(tài)更新：

式中：I為8×8型單位矩陣；分別為t時(shí)刻的狀態(tài)預(yù)測(cè)值和t-1時(shí)刻的狀態(tài)最優(yōu)估計(jì)值，分別為t時(shí)刻的先驗(yàn)估計(jì)協(xié)方差矩陣和t-1時(shí)刻的后驗(yàn)估計(jì)協(xié)方差矩陣，A為8×8型狀態(tài)轉(zhuǎn)移矩陣，Q為8×8 型過(guò)程噪聲矩陣，R為4×4 型測(cè)量噪聲矩陣，H為4×8型狀態(tài)觀測(cè)矩陣，Κt為卡爾曼增益。

2.2.2 關(guān)聯(lián)匹配

關(guān)聯(lián)匹配模塊解決了卡爾曼預(yù)測(cè)的目標(biāo)軌跡與新一幀檢測(cè)量之間的關(guān)聯(lián)問(wèn)題。通過(guò)余弦距離和馬氏距離來(lái)整合外觀信息和運(yùn)動(dòng)信息。

針對(duì)外觀信息，用余弦距離來(lái)度量。利用訓(xùn)練好的特征提取網(wǎng)絡(luò)提取第i個(gè)行人檢測(cè)框的外觀特征fi以及目標(biāo)軌跡的外觀特征庫(kù)F=[f1f2…f100]。第i個(gè)檢測(cè)框與目標(biāo)軌跡的最小余弦距離為：

式中：fΤi?fj為第i個(gè)檢測(cè)框特征與目標(biāo)軌跡第j個(gè)特征的余弦相似度。

當(dāng)有外觀相似的行人時(shí)，僅根據(jù)余弦距離不能進(jìn)行準(zhǔn)確區(qū)分而造成跟蹤漂移，因此須用運(yùn)動(dòng)信息進(jìn)行衡量。為了結(jié)合運(yùn)動(dòng)信息，采用預(yù)測(cè)的卡爾曼狀態(tài)與新一幀檢測(cè)量之間的馬氏距離：

式中：Di為第i個(gè)檢測(cè)框的狀態(tài)向量，為由卡爾曼預(yù)測(cè)狀態(tài)向量映射的4×1 型可觀測(cè)的狀態(tài)向量，為映射的4×4型協(xié)方差矩陣。

這2 種度量可以在不同方面相互補(bǔ)充。一方面，馬氏距離提供了目標(biāo)基于運(yùn)動(dòng)的位置信息，有助于短期預(yù)測(cè)；另一方面，余弦距離考慮了外觀信息，這些信息對(duì)于目標(biāo)被遮擋或相機(jī)抖動(dòng)后的運(yùn)動(dòng)信息不具有辨別力，但有助于對(duì)恢復(fù)的目標(biāo)進(jìn)行跟蹤。設(shè)置權(quán)重λ加權(quán)這2 個(gè)度量值，得到最優(yōu)關(guān)聯(lián)值d：

為了避免目標(biāo)被遮擋而導(dǎo)致關(guān)聯(lián)錯(cuò)誤，加入一個(gè)閾值δ來(lái)衡量關(guān)聯(lián)值d是否可以接受。若d≤δ，則認(rèn)為關(guān)聯(lián)成功。

目標(biāo)軌跡與檢測(cè)框匹配成功后，須對(duì)目標(biāo)軌跡的外觀特征庫(kù)F進(jìn)行更新。將匹配成功的檢測(cè)框的外觀特征替換掉與其外觀特征相似度最高的目標(biāo)軌跡的特征fj。

外觀特征的提取采用ResNet殘差網(wǎng)絡(luò)，其結(jié)構(gòu)如圖4 所示。輸入模型的尺寸為128×64×3，經(jīng)過(guò)步長(zhǎng)為1，64 個(gè)3×3 的卷積核卷積并最大池化后得到64×32×64的輸出，然后經(jīng)過(guò)16個(gè)普通殘差塊卷積后得到8×4×512 的輸出，經(jīng)自適應(yīng)平均池化后進(jìn)行全連接層分類。在目標(biāo)跟蹤方法中，采用該特征提取網(wǎng)絡(luò)時(shí)不需要全連接層分類，在自適應(yīng)平均池化后對(duì)該數(shù)據(jù)進(jìn)行歸一化，得到512維的特征，再進(jìn)行余弦距離計(jì)算。對(duì)該網(wǎng)絡(luò)在行人重識(shí)別的Market-1501數(shù)據(jù)集上進(jìn)行訓(xùn)練。該數(shù)據(jù)集包括由6個(gè)攝像頭拍攝到的1 502個(gè)行人、32 668個(gè)檢測(cè)到的行人矩形框。在訓(xùn)練過(guò)程中，學(xué)習(xí)率衰減采用余弦退火方法。驗(yàn)證集中分類概率最高類別的準(zhǔn)確率（top-1 accuracy）為89.348%。

圖4 外觀特征提取網(wǎng)絡(luò)的結(jié)構(gòu)Fig.4 Structure of appearance feature extraction network

2.3 目標(biāo)定位

為了完成跟隨行人的任務(wù)，機(jī)器人須知道目標(biāo)的位置信息。根據(jù)跟蹤檢測(cè)結(jié)果，通過(guò)目標(biāo)矩形框中心點(diǎn)的坐標(biāo)來(lái)計(jì)算機(jī)器人與目標(biāo)之間的相對(duì)距離。為了減小計(jì)算量，根據(jù)中心像素的位置確定搜索框，然后從搜索框中選擇40個(gè)搜索點(diǎn)進(jìn)行測(cè)距，并對(duì)搜索點(diǎn)的有效值進(jìn)行中位值平均濾波以獲得目標(biāo)的距離。

根據(jù)目標(biāo)的最優(yōu)狀態(tài)向量，確定搜索框的邊長(zhǎng)as為：

則搜索框狀態(tài)向量為[xyasas]，搜索點(diǎn)為Ps(x+ε,x+ε)，其中ε為偏差，。

通過(guò)測(cè)試可知，深度相機(jī)的深度視野約為60°，圖像分辨率為（640×480）像素。將機(jī)器人的正前方設(shè)為0°，左側(cè)為負(fù)角度，右側(cè)為正角度。將相機(jī)視野與圖像大小線性映射，可以算出機(jī)器人與目標(biāo)之間的相對(duì)角度。設(shè)xpi為目標(biāo)中心的橫坐標(biāo)，則相對(duì)角度α為：

深度相機(jī)測(cè)得的目標(biāo)距離和角度如圖5所示。

圖5 深度相機(jī)測(cè)得的目標(biāo)距離和角度示意Fig.5 Schematic of distance and angle of target measured by depth camera

3 機(jī)器人跟隨控制

機(jī)器人跟隨控制系統(tǒng)是在帶有Jetson TX1控制主板的ROS平臺(tái)上運(yùn)行的。通過(guò)局域網(wǎng)接收視覺(jué)跟蹤定位系統(tǒng)傳輸?shù)臋C(jī)器人與目標(biāo)的相對(duì)距離、相對(duì)角度以及目標(biāo)是否長(zhǎng)時(shí)間消失的標(biāo)志位。根據(jù)目標(biāo)是否長(zhǎng)時(shí)間消失，進(jìn)行常規(guī)跟隨和自主導(dǎo)航兩種處理。

3.1 常規(guī)跟隨

在目標(biāo)長(zhǎng)時(shí)間消失或被遮擋前，根據(jù)機(jī)器人與目標(biāo)的相對(duì)距離d(t)、相對(duì)角度α(t)，采用PID（proportion-integral-derivative，比例?積分?微分）控制器求解機(jī)器人線速度v及角速度ω，令c=[vω]Τ。

式中：kp、ki、kd為PID控制參數(shù)；e(t)為t時(shí)刻機(jī)器人與目標(biāo)期望位置的誤差；d?為期望的跟隨距離，d?=1 m；α?為期望的跟隨角度，α?=0°。

3.2 自主導(dǎo)航

當(dāng)目標(biāo)消失后，將目標(biāo)消失前的位置保存下來(lái)，同時(shí)機(jī)器人停止運(yùn)動(dòng)，等待目標(biāo)出現(xiàn)。當(dāng)目標(biāo)消失30幀后，認(rèn)定目標(biāo)長(zhǎng)時(shí)間消失，則啟動(dòng)自主導(dǎo)航，機(jī)器人主動(dòng)尋找目標(biāo)。其路徑規(guī)劃采用A*算法。

3.2.1 坐標(biāo)轉(zhuǎn)換

2.3 節(jié)中定位的目標(biāo)位置即為機(jī)器人與目標(biāo)的相對(duì)位置，在機(jī)器人自主導(dǎo)航時(shí)須將其轉(zhuǎn)化為世界坐標(biāo)系中的坐標(biāo)。將相機(jī)坐標(biāo)系看作機(jī)器人坐標(biāo)系，則機(jī)器人坐標(biāo)系與世界坐標(biāo)系的轉(zhuǎn)換如圖6所示。

圖6 機(jī)器人坐標(biāo)系與世界坐標(biāo)系的轉(zhuǎn)換Fig.6 Transformation of robot coordinate system and world coordinate system

世界坐標(biāo)系為XmOmYm，機(jī)器人坐標(biāo)系為XrOrYr，機(jī)器人坐標(biāo)系與世界坐標(biāo)系的偏轉(zhuǎn)角為θ。機(jī)器人在世界坐標(biāo)系中的坐標(biāo)為Or(xr,yr)，目標(biāo)在機(jī)器人坐標(biāo)系中的坐標(biāo)為P(xpr,ypr)，即：

則目標(biāo)在世界坐標(biāo)系中的坐標(biāo)為：

3.2.2 機(jī)器人朝向

根據(jù)目標(biāo)在機(jī)器人左前方還是右前方消失決定機(jī)器人移動(dòng)到目標(biāo)位置時(shí)的朝向。例如，目標(biāo)在機(jī)器人左前方消失，那么機(jī)器人最終朝向是左轉(zhuǎn)90°。

在實(shí)際運(yùn)行過(guò)程中，相機(jī)檢測(cè)到目標(biāo)消失前的最后一幀時(shí)，因?yàn)闄C(jī)器人運(yùn)動(dòng)的滯后性，機(jī)器人會(huì)根據(jù)目標(biāo)消失前檢測(cè)到的位置轉(zhuǎn)動(dòng)，從而造成目標(biāo)定位偏差，如圖7所示。目標(biāo)消失位置為P1，機(jī)器人坐標(biāo)系為XrOrYr。機(jī)器人根據(jù)目標(biāo)位置轉(zhuǎn)動(dòng)，此時(shí)機(jī)器人坐標(biāo)系為。若根據(jù)目標(biāo)消失時(shí)的相對(duì)距離以及相對(duì)角度，目標(biāo)將會(huì)被定位到世界坐標(biāo)中的P2。如果目標(biāo)位置被定位到障礙物，會(huì)導(dǎo)致路徑規(guī)劃失敗，所以需要對(duì)目標(biāo)消失時(shí)的世界坐標(biāo)進(jìn)行角度補(bǔ)償。

圖7 機(jī)器人偏移后目標(biāo)定位偏差Fig.7 Target positioning deviation after robot offset

根據(jù)式(15)，可得：

目標(biāo)消失時(shí)機(jī)器人的朝向可以通過(guò)機(jī)器人發(fā)布的Odom的四元數(shù)(x,y,z,w)求出：

機(jī)器人最終的朝向可表示為：

最終，將得到的歐拉角轉(zhuǎn)換為四元數(shù)(x,y,z,w)發(fā)布。因?yàn)闄C(jī)器人只有偏航，不涉及俯仰和翻轉(zhuǎn)，故只求z和w:

4 移動(dòng)機(jī)器人目標(biāo)跟隨實(shí)驗(yàn)

移動(dòng)機(jī)器人視覺(jué)跟蹤定位系統(tǒng)采用搭載了RTX2060 GPU 的主機(jī)和Realsense D435 深度相機(jī)，其中CUDA （computer unified device architecture，計(jì)算機(jī)統(tǒng)一設(shè)備架構(gòu)）版本為11.6，深度相機(jī)的分辨率為（640×480）像素，目標(biāo)跟蹤與定位算法運(yùn)行速度為30幀/s，能夠滿足實(shí)時(shí)性要求。機(jī)器人搭載了Jetson TX1控制主板、四輪麥克納姆輪，通過(guò)ROS操作系統(tǒng)進(jìn)行控制，平均移動(dòng)速度為0.8 m/s。

4.1 目標(biāo)跟蹤實(shí)驗(yàn)

首先在OTB100公開(kāi)測(cè)試集上進(jìn)行測(cè)試和評(píng)估。由于本文所提出的跟蹤算法適用于行人跟蹤，選取了OTB100測(cè)試集上的行人序列。

將本文算法的參數(shù)選為表1中的參數(shù)組1。當(dāng)最優(yōu)關(guān)聯(lián)值小于0.175 時(shí)，認(rèn)定目標(biāo)關(guān)聯(lián)成功，則更新卡爾曼濾波器以及目標(biāo)的外觀特征庫(kù)F。當(dāng)成功關(guān)聯(lián)的檢測(cè)框的外觀特征余弦距離小于0.15，則將其更新到特征庫(kù)F中。由于在測(cè)試集上評(píng)估，無(wú)法實(shí)現(xiàn)目標(biāo)丟失后自主導(dǎo)航，故當(dāng)目標(biāo)丟失30幀后，將λ置為0。

表1 本文算法的參數(shù)取值Table 1 Parameter values for the algorithm in this paper

采用精確度和成功率兩個(gè)性能指標(biāo)對(duì)算法進(jìn)行評(píng)估。精確度是算法運(yùn)行后輸出的目標(biāo)邊界框中心點(diǎn)與真實(shí)框中心點(diǎn)的距離小于給定閾值的幀數(shù)占總幀數(shù)的百分比。繪制不同中心誤差閾值下的精確度曲線，并將閾值為20像素所對(duì)應(yīng)的精確度作為代表性的評(píng)價(jià)指標(biāo)。成功率是目標(biāo)邊界框與真實(shí)框的區(qū)域重疊面積比大于給定閾值的幀數(shù)占總幀數(shù)的百分比，其取值范圍為0～1，因此可以繪制出重疊率閾值從0到1時(shí)的成功率曲線。

采用OTB100 數(shù)據(jù)集對(duì)本文算法與KCF[14]、SiamFC[16]、SiamR-CNN（Siamese re-detection convolu‐tional neural network，孿生重檢測(cè)卷積神經(jīng)網(wǎng)絡(luò)）[21]，TLD（tracking-learning-detection，跟蹤學(xué)習(xí)檢測(cè)）[22]、DSST（discriminative scale space tracker，判別尺度空間跟蹤）[23]、SRDCF（spatially regularized discrimina‐tive correlation filters，空間正則判別相關(guān)濾波）[24]等其他7 種算法進(jìn)行比較，結(jié)果如圖8 所示。由圖可知，在OTB100數(shù)據(jù)集上測(cè)試時(shí)，本文算法的性能稍差于SiamRPN++算法，這是由于結(jié)合卡爾曼濾波后目標(biāo)行人的肢體快速移動(dòng)不會(huì)迅速影響跟蹤框的位置，跟蹤框主要集中在人體的軀干部分，導(dǎo)致一些視頻的幀目標(biāo)框與準(zhǔn)確框的重疊面積比不夠高。因此，當(dāng)重疊率閾值為0.4～0.8 時(shí)，成功率下降較快。同時(shí)，本文算法明顯優(yōu)于其他6種算法，能夠較快速地測(cè)到行人位置并識(shí)別目標(biāo)，在目標(biāo)被遮擋后具有更好的重識(shí)別能力。減小λ，可以有效處理相機(jī)劇烈晃動(dòng)的情況。對(duì)于目標(biāo)被遮擋，特別是當(dāng)目標(biāo)與其他行人重合時(shí)，可以通過(guò)減小δ和μ來(lái)解決。

圖8 不同算法在OTB100數(shù)據(jù)集中的跟蹤性能Fig.8 Tracking performance of different algorithms in OTB100 dataset

在OTB100 評(píng)估集上，測(cè)試序列大多在監(jiān)控視角下，而缺少相機(jī)與行人近距離同時(shí)運(yùn)動(dòng)的情況。為了進(jìn)一步評(píng)估本文算法的跟蹤性能，作者在室外不同環(huán)境中收集了2個(gè)數(shù)據(jù)流。在黑暗環(huán)境中，光照有變化，目標(biāo)有遮擋；在明亮環(huán)境中，背景復(fù)雜，相似行人多，干擾因素也較多。在收集的數(shù)據(jù)流中，圖像的分辨率為（1 280×720）像素。采取本文算法對(duì)數(shù)據(jù)流中的目標(biāo)進(jìn)行跟蹤，結(jié)果如圖9所示。由圖可知，在不同的照明條件下，采用本文算法均可以檢測(cè)和定位目標(biāo)。

圖9 本文算法對(duì)數(shù)據(jù)流中目標(biāo)的跟蹤效果Fig.9 Tracking effect of the algorithm in this paper on the target in the data stream

從對(duì)上述2個(gè)數(shù)據(jù)流的測(cè)試結(jié)果可以看出，本文算法在行人跟蹤方面有更好的表現(xiàn)。這主要源于以下兩方面：其一，基于YOLOv5s 的檢測(cè)器可以準(zhǔn)確檢測(cè)復(fù)雜環(huán)境中的人；其二，當(dāng)目標(biāo)消失后，得益于算法的目標(biāo)跟蹤機(jī)制，機(jī)器人可以準(zhǔn)確地重識(shí)別目標(biāo)。將基于卡爾曼濾波預(yù)測(cè)的運(yùn)動(dòng)信息與基于ResNet網(wǎng)絡(luò)行人重識(shí)別的外觀特征相結(jié)合來(lái)重識(shí)別目標(biāo)，提高了重識(shí)別的準(zhǔn)確性和目標(biāo)跟蹤的穩(wěn)定性。

此外，為了進(jìn)一步驗(yàn)證本文算法的優(yōu)勢(shì)，將本文算法的參數(shù)選為表1中的參數(shù)組2，采用收集的數(shù)據(jù)流對(duì)本文算法與SiamRPN[17]、SiamRPN++[18]和SiamBAN（Siamese box adaptive network，孿生自適應(yīng)框網(wǎng)絡(luò)）[25]等其他3 種算法進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如圖10所示。對(duì)于用于比較實(shí)驗(yàn)的數(shù)據(jù)流，通過(guò)Labelimg標(biāo)注工具手動(dòng)標(biāo)記每幀中目標(biāo)行人的邊界框來(lái)獲得真實(shí)標(biāo)簽（ground truth）。從2 個(gè)指標(biāo)來(lái)看，本文算法明顯優(yōu)于其他算法。當(dāng)場(chǎng)景中有相似行人時(shí)，其他方法僅通過(guò)外觀特征很難在多個(gè)相似行人中跟蹤到目標(biāo)。本文算法加入了運(yùn)動(dòng)信息，可以有效解決出現(xiàn)外觀相似行人后目標(biāo)切換的問(wèn)題。從整體上看，本文算法對(duì)復(fù)雜環(huán)境具有更好的適應(yīng)性，對(duì)目標(biāo)的重識(shí)別具有更高的準(zhǔn)確性。

圖10 不同算法在收集的數(shù)據(jù)流中的跟蹤性能Fig.10 Tracking performance of different algorithms in the collected data stream

4.2 機(jī)器人目標(biāo)跟隨實(shí)驗(yàn)

為了在實(shí)際的機(jī)器人平臺(tái)上評(píng)估本文算法的性能，在室內(nèi)環(huán)境中進(jìn)行了目標(biāo)跟隨實(shí)驗(yàn)。在機(jī)器人平臺(tái)上安裝了一臺(tái)深度相機(jī)作為感知傳感器。設(shè)定的目標(biāo)行走路徑如圖11 所示，機(jī)器人相機(jī)視角的跟隨效果如圖12 所示，移動(dòng)機(jī)器人跟隨效果如13 所示。特別地，當(dāng)目標(biāo)消失后，機(jī)器人自主導(dǎo)航機(jī)制被激活，從而尋找目標(biāo)并繼續(xù)跟隨，如圖14所示。

圖11 設(shè)定的目標(biāo)行走路徑Fig.11 Predefined target walking path

圖12 機(jī)器人相機(jī)視角的跟隨效果Fig.12 Following effect from robot camera's perspective

圖13 移動(dòng)機(jī)器人跟隨效果Fig.13 Mobile robot following effect

圖14 機(jī)器人尋找消失的目標(biāo)Fig.14 Robot looking for the disappearing target

目標(biāo)長(zhǎng)時(shí)間消失后，機(jī)器人自主尋找目標(biāo)，如圖12(c)和圖13(c)所示。當(dāng)目標(biāo)再次出現(xiàn)在機(jī)器人視野內(nèi)時(shí)，其仍能跟蹤到目標(biāo)并跟隨。在跟隨過(guò)程中，機(jī)器人始終可以穩(wěn)定地跟隨目標(biāo)，且處理圖片的平均速率在30幀/s以上。實(shí)驗(yàn)表明，采用本文算法可以實(shí)現(xiàn)對(duì)目標(biāo)的穩(wěn)定、實(shí)時(shí)跟蹤。

由圖14可知，目標(biāo)消失后，機(jī)器人能夠準(zhǔn)確地確定目標(biāo)消失時(shí)的位置及方位，可有效解決目標(biāo)消失后的跟隨問(wèn)題。

5 結(jié) 論

本文提出了一種基于視覺(jué)傳感器的目標(biāo)跟隨方法。采用YoloV5s檢測(cè)所有行人，通過(guò)人臉識(shí)別模塊確定目標(biāo)的位置。利用特征提取網(wǎng)絡(luò)提取目標(biāo)特征，創(chuàng)建特征庫(kù)，采用卡爾曼濾波器對(duì)目標(biāo)進(jìn)行運(yùn)動(dòng)信息的預(yù)測(cè)，并結(jié)合運(yùn)動(dòng)信息和外觀特征跟蹤目標(biāo)。此外，當(dāng)機(jī)器人長(zhǎng)時(shí)間捕捉不到目標(biāo)時(shí)，通過(guò)自主導(dǎo)航移動(dòng)到目標(biāo)消失的位置尋找目標(biāo)。將本文算法在OTB100數(shù)據(jù)集、收集的測(cè)試集中與其他算法進(jìn)行了比較，并在機(jī)器人平臺(tái)上進(jìn)行了實(shí)驗(yàn)。結(jié)果表明，采用本文算法可以解決目標(biāo)長(zhǎng)時(shí)間消失或被遮擋的問(wèn)題，在保證實(shí)時(shí)性的前提下能夠準(zhǔn)確、穩(wěn)定地跟隨目標(biāo)。

未來(lái)，將進(jìn)一步研究機(jī)器人在目標(biāo)跟隨過(guò)程中的避障問(wèn)題，使機(jī)器人能夠應(yīng)對(duì)更加復(fù)雜的環(huán)境。此外，將多個(gè)傳感器與相機(jī)結(jié)合起來(lái)，以進(jìn)一步提高方法的穩(wěn)健性。