基于Tiny-YOLOV3的無(wú)人機(jī)地面目標(biāo)跟蹤算法設(shè)計(jì)

張興旺，劉小雄，林傳健，梁 晨

(西北工業(yè)大學(xué) 自動(dòng)化學(xué)院, 西安 710072)

0 引言

隨著計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展，目標(biāo)對(duì)象跟蹤越來(lái)越成為計(jì)算機(jī)視覺(jué)領(lǐng)域的熱門(mén)研究方向[1-2]。近年來(lái)無(wú)人機(jī)領(lǐng)域的技術(shù)愈發(fā)成熟，這使得基于無(wú)人機(jī)的目標(biāo)跟蹤系統(tǒng)的實(shí)現(xiàn)變得相對(duì)容易，而在工業(yè)、軍事等領(lǐng)域的應(yīng)用需求也使得無(wú)人機(jī)跟蹤系統(tǒng)的實(shí)現(xiàn)變得迫切。因此目前涌現(xiàn)了一大批國(guó)內(nèi)外學(xué)者對(duì)無(wú)人機(jī)目標(biāo)跟蹤領(lǐng)域進(jìn)行了深入研究。R.Gonzalo[3]等人提出了一種利用單攝像機(jī)實(shí)時(shí)檢測(cè)和跟蹤無(wú)人機(jī)運(yùn)動(dòng)目標(biāo)的方法，該方法主要是通過(guò)比較人工建立的光流場(chǎng)和真實(shí)光流場(chǎng)得到一個(gè)動(dòng)態(tài)像素列表，然后分組為動(dòng)態(tài)對(duì)象，在時(shí)間和空間中對(duì)動(dòng)態(tài)對(duì)象進(jìn)行跟蹤。JeongWoon等人利用目標(biāo)的顏色特征對(duì)目標(biāo)進(jìn)行識(shí)別，并利用AR.Drone 2.0無(wú)人機(jī)實(shí)現(xiàn)了對(duì)一個(gè)紅色橢圓圖案的跟蹤[4]。東南大學(xué)針對(duì)四旋翼無(wú)人機(jī)跟蹤地面目標(biāo)過(guò)程中出現(xiàn)的目標(biāo)遮擋問(wèn)題，設(shè)計(jì)了基于粒子濾波結(jié)合P-N在線學(xué)習(xí)的目標(biāo)跟蹤算法[5]。

目前關(guān)注度較高的目標(biāo)跟蹤算法分為兩類：相關(guān)濾波和深度學(xué)習(xí)。而相關(guān)濾波選用的特征大都基于手工設(shè)計(jì)的特征，如方向梯度直方圖(HOG)[6]、局部二分模式特征(LBP)[7]等。相比較大量訓(xùn)練數(shù)據(jù)樣本學(xué)習(xí)出來(lái)的深度特征，手工設(shè)計(jì)的特征在檢測(cè)的準(zhǔn)確性上相比較深度特征差了很多[8-9]。YOLOV3[10]作為一種目標(biāo)檢測(cè)算法，使用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練目標(biāo)深度特征，最終得到目標(biāo)的類別和位置，可以在兼顧速度和準(zhǔn)確率的前提下實(shí)現(xiàn)單一目標(biāo)的跟蹤，是一種性能優(yōu)良的算法。

由于目標(biāo)檢測(cè)算法不可避免地存在漏檢問(wèn)題，目標(biāo)物體的丟失將會(huì)導(dǎo)致跟蹤失敗。而卡爾曼濾波(KF)作為一種順序最小二乘逼近算法，可以從包含噪聲的有限信號(hào)中預(yù)測(cè)出目標(biāo)的真實(shí)值[11]。它的基本思想是：根據(jù)目標(biāo)的狀態(tài)方程和量測(cè)方程，建立卡爾曼濾波方程。在給定狀態(tài)初值的基礎(chǔ)上，利用目標(biāo)的動(dòng)態(tài)信息，采用遞推方法去掉噪聲的影響，從而得到目標(biāo)的最優(yōu)估計(jì)量。因此它可以針對(duì)目標(biāo)跟蹤算法某一時(shí)刻檢測(cè)不到物體時(shí)對(duì)該時(shí)刻的目標(biāo)軌跡進(jìn)行預(yù)測(cè)，同時(shí)濾除整個(gè)目標(biāo)運(yùn)動(dòng)過(guò)程中的噪聲干擾[12-13]。

基于以上研究成果，考慮到旋翼無(wú)人機(jī)機(jī)載處理器的處理性能有限，本文采用Tiny-YOLOV3作為目標(biāo)跟蹤算法，通過(guò)與無(wú)人機(jī)數(shù)據(jù)的融合建立了目標(biāo)跟蹤模型，并結(jié)合卡爾曼濾波器進(jìn)行目標(biāo)軌跡預(yù)測(cè)，然后設(shè)計(jì)基于PID的旋翼無(wú)人機(jī)控制律以實(shí)現(xiàn)無(wú)人機(jī)對(duì)目標(biāo)的有效跟蹤，仿真結(jié)果表明了本文提出的算法的有效性[14]。

1 基于Tiny-YOLOV3的目標(biāo)檢測(cè)

1.1 Tiny-YOLOV3基本原理

YOLO[15-16]全名You Only Look Once,歷經(jīng)三次演變?yōu)楝F(xiàn)在的YOLOV3。Tiny-YOLOV3作為YOLOV3的簡(jiǎn)化版本，其算法的基本原理是：首先輸入大小為416×416的RGB圖像，通過(guò)特征提取網(wǎng)絡(luò)后獲得兩個(gè)不同尺度大小的特征圖，分別為13×13和26×26；然后將輸入圖像劃分成和特征圖大小相同的網(wǎng)格單元，圖像中每個(gè)物體的中心部分所在的網(wǎng)格負(fù)責(zé)該物體的檢測(cè)，即標(biāo)注數(shù)據(jù)(ground truth)中某個(gè)物體的中心坐標(biāo)落在哪個(gè)網(wǎng)格中，就由該網(wǎng)格預(yù)測(cè)該物體接著每個(gè)單元網(wǎng)格預(yù)測(cè)3個(gè)邊界框(bounding box)；最終輸出的預(yù)測(cè)圖具有兩個(gè)維度，即特征提取的維度，如13×13的特征圖；另外的維度是深度，對(duì)于COCO數(shù)據(jù)集來(lái)說(shuō)，深度為3×(80+5)。因此最終輸出的特征圖大小為13×13×255和26×26×255。

最終預(yù)測(cè)輸出中，每個(gè)邊界框需要給出一個(gè)置信度。這個(gè)置信度包含兩個(gè)方面的信息，即反映網(wǎng)格中是否有物體以及對(duì)網(wǎng)格中物體的預(yù)測(cè)是否準(zhǔn)確。因此置信度的定義如下：

(1)

(2)

此外，每個(gè)邊界框除了給出置信度的信息之外，還需要預(yù)測(cè)出檢測(cè)框的中心坐標(biāo)(x,y),檢測(cè)框的寬度和高度(w,h)。檢測(cè)框的中心坐標(biāo)是相對(duì)于其所在小方格的偏移量，并以小方格的邊長(zhǎng)為基準(zhǔn)歸一化到[0,1]之間；而檢測(cè)框的寬度和高度則是以輸入圖像的寬度和高度歸一化到[0,1]之間。除了以上5個(gè)參數(shù)，對(duì)于每個(gè)邊界框，還需要預(yù)測(cè)80個(gè)類別的概率。每個(gè)邊界框預(yù)測(cè)的類別置信度可以由以下公式表示：

(3)

可以看出，最終預(yù)測(cè)的物體的置信度由方格內(nèi)邊界框的置信度乘以該方格預(yù)測(cè)出來(lái)的每個(gè)類別物體的條件概率得到。既反映了檢測(cè)框包含某種待檢測(cè)物體的概率，也反映了檢測(cè)框定位該物體的效果。

Tiny-YOLOV3模型進(jìn)行目標(biāo)預(yù)測(cè)的具體過(guò)程包括以下4個(gè)階段：首先對(duì)標(biāo)注的真實(shí)邊界框進(jìn)行K-Means聚類[17]，自動(dòng)提取具有代表性的錨框(anchor box)，與標(biāo)注框交并比(IOU)最大的錨框作為訓(xùn)練時(shí)錨框的標(biāo)簽;之后對(duì)訓(xùn)練時(shí)輸入的圖像數(shù)據(jù)進(jìn)行尺度縮放，即大小為416×416的圖像數(shù)據(jù);接著對(duì)輸入數(shù)據(jù)進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)[18]的前向傳播過(guò)程，生成2個(gè)不同尺度大小的特征圖，針對(duì)每個(gè)特征圖求取不同類別的概率以及檢測(cè)框的位置，根據(jù)一個(gè)概率值來(lái)篩選概率低于閾值的檢測(cè)框;最后根據(jù)非極大值抑制(NMS)算法篩選出多余的檢測(cè)框，得到最終的物體檢測(cè)框及置信度得分。

非極大值抑制算法就是一種逐步迭代獲取局部極大值的一種方法，在目標(biāo)檢測(cè)中主要是為了消除多余的預(yù)測(cè)框，得到待檢測(cè)目標(biāo)的最佳位置。它的主要思想是：在圖像上首先對(duì)所有的預(yù)測(cè)框的置信度進(jìn)行排名，選取置信度最高的預(yù)測(cè)框作為基準(zhǔn)；然后計(jì)算剩余預(yù)測(cè)框與基準(zhǔn)預(yù)測(cè)框之間的交并比，如果大于設(shè)定的閾值，就刪除該邊界框；再?gòu)氖Ｏ碌倪吔缈蛑羞x取置信度最高的作為基準(zhǔn)，重復(fù)以上過(guò)程，最終得到滿足標(biāo)準(zhǔn)的最佳預(yù)測(cè)框。

1.2 Tiny-YOLOV3網(wǎng)絡(luò)結(jié)構(gòu)

Tiny-YOlOV3網(wǎng)絡(luò)是YOLOV3網(wǎng)絡(luò)的簡(jiǎn)化版本，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。與YOLOV3類似，網(wǎng)絡(luò)中使用3×3和1×1兩種大小的卷積核，3×3的卷積核主要用來(lái)提取圖片的特征信息，1×1的卷積核可以在保持特征圖尺寸不變的前提下增加非線性特征，減少網(wǎng)絡(luò)訓(xùn)練的參數(shù)。卷積層包含卷積操作、批歸一化處理和Leaky Relu三種基本操作。卷積操作是為了提取圖片的特征；批歸一化處理是通過(guò)一定的規(guī)范化方法，提高網(wǎng)絡(luò)的訓(xùn)練速度，使網(wǎng)絡(luò)的收斂過(guò)程大大加快，防止網(wǎng)絡(luò)出現(xiàn)過(guò)擬合；Leaky Relu則是網(wǎng)絡(luò)使用的非線性激活函數(shù)。Tiny-YOLOV3主干網(wǎng)絡(luò)主要有7個(gè)3×3的卷積層及6個(gè)最大池化層，前5個(gè)最大池化層的步長(zhǎng)為2，最后一個(gè)步長(zhǎng)為1。當(dāng)輸入大小為416×416的圖像時(shí)，整體網(wǎng)絡(luò)的輸出為13×13的特征圖，經(jīng)過(guò)上采樣之后與第5個(gè)卷積層的輸出進(jìn)行張量拼接，再進(jìn)行卷積運(yùn)算得到26×26大小的特征圖，最終網(wǎng)絡(luò)輸出兩個(gè)不同尺度的特征圖。小尺度特征圖具有較大的感受野，適合檢測(cè)大目標(biāo)物體；大尺度特征圖具有較小的感受野，適合檢測(cè)小目標(biāo)物體。

圖1 Tiny-YOLOV3網(wǎng)絡(luò)結(jié)構(gòu)

相比較YOLOV3網(wǎng)絡(luò)，Tiny-YOlOV3網(wǎng)絡(luò)結(jié)構(gòu)更加簡(jiǎn)單，網(wǎng)絡(luò)層數(shù)大大減少，需要訓(xùn)練的參數(shù)大大減少，特別適合于工程實(shí)現(xiàn)。尤其在旋翼無(wú)人機(jī)進(jìn)行目標(biāo)跟蹤時(shí)，由于機(jī)載處理器算力不足，無(wú)法運(yùn)行深層的卷積神經(jīng)網(wǎng)絡(luò)模型，而針對(duì)無(wú)人機(jī)的目標(biāo)跟蹤又需要兼顧準(zhǔn)確率和實(shí)時(shí)性的要求，那么Tiny-YOlOV3網(wǎng)絡(luò)便成了首要選擇。

2 四旋翼目標(biāo)跟蹤模型

由于Tiny-YOLOV3目標(biāo)檢測(cè)算法最終輸出的是目標(biāo)物體在像素坐標(biāo)系下的像素坐標(biāo)，因此要想計(jì)算目標(biāo)在導(dǎo)航坐標(biāo)系下的具體位置，需要先建立一個(gè)目標(biāo)圖像的跟蹤模型，建立的模型如圖2所示。

圖2 四旋翼目標(biāo)跟蹤模型

根據(jù)幾何關(guān)系，可以將目標(biāo)位置P4=[xcn,ycn,zcn]由以下關(guān)系式表示：

P4=P1+P2+P3

(4)

P2=CbnbP2

(5)

P3=CbnCcbcP3

(6)

P4=P1+CbnbP2+CbnCcbcP3

(7)

最終可以得出：

(8)

假設(shè)實(shí)際中目標(biāo)所處位置處地形變化不大，因此可以確定地面的海拔高度為目標(biāo)的位置zcn，令CbnCcbM1-1=C，則以下關(guān)系式成立，即:

(9)

從而圖像深度信息計(jì)算如下：

(10)

最終計(jì)算出目標(biāo)在導(dǎo)航坐標(biāo)系下的位置為：

(11)

3 基于卡爾曼濾波的目標(biāo)軌跡預(yù)測(cè)

由于機(jī)載處理器目標(biāo)檢測(cè)和識(shí)別的速度大概在13～14 FPS，也就是目標(biāo)位置的更新頻率在13～14 Hz ，而在無(wú)人機(jī)控制中，位置環(huán)的控制頻率為20 Hz，同時(shí)考慮到目標(biāo)檢測(cè)算法有時(shí)會(huì)檢測(cè)不到目標(biāo)物體，導(dǎo)致目標(biāo)跟蹤效果較差。此外，考慮到檢測(cè)結(jié)果的信號(hào)傳輸可能會(huì)受到設(shè)備本身和外界的干擾，因此需要建立目標(biāo)的運(yùn)動(dòng)學(xué)模型，使用卡爾曼濾波器對(duì)目標(biāo)位置進(jìn)行濾波的同時(shí)預(yù)測(cè)目標(biāo)物體的運(yùn)動(dòng)軌跡，保證目標(biāo)位置更新頻率與位置控制器更新頻率一致，以實(shí)現(xiàn)四旋翼無(wú)人機(jī)對(duì)目標(biāo)的穩(wěn)定跟蹤。

卡爾曼濾波器作為一種順序最小二乘逼近，可以利用目標(biāo)的動(dòng)態(tài)信息，通過(guò)遞推方法得到目標(biāo)的最優(yōu)估計(jì)。這個(gè)估計(jì)可以是對(duì)當(dāng)前的估計(jì)，也可以是對(duì)過(guò)去的估計(jì)。對(duì)于卡爾曼濾波來(lái)說(shuō)，只需要獲得上一時(shí)刻的狀態(tài)估計(jì)值以及當(dāng)前時(shí)刻的量測(cè)信息就可以對(duì)當(dāng)前時(shí)刻的估計(jì)值進(jìn)行計(jì)算，因此它是一種遞歸估計(jì)。卡爾曼濾波器分為兩個(gè)過(guò)程：時(shí)間更新和量測(cè)更新。時(shí)間更新是狀態(tài)的預(yù)估過(guò)程，即通過(guò)一步預(yù)測(cè)方程建立對(duì)當(dāng)前狀態(tài)的先驗(yàn)估計(jì)，同時(shí)計(jì)算狀態(tài)誤差協(xié)方差估計(jì)值，以便為狀態(tài)估計(jì)方程的計(jì)算做準(zhǔn)備;量測(cè)更新即狀態(tài)的校正過(guò)程，利用量測(cè)更新方程在時(shí)間更新過(guò)程中的先驗(yàn)估計(jì)值及當(dāng)前量測(cè)值的基礎(chǔ)上計(jì)算當(dāng)前狀態(tài)的后驗(yàn)估計(jì)。

(12)

式中，Δt為更新周期。

(13)

式中，v(t)為量測(cè)噪聲，可以考慮為高斯噪聲。

對(duì)上面的運(yùn)動(dòng)學(xué)方程離散化可得狀態(tài)轉(zhuǎn)移矩陣、過(guò)程噪聲成型矩陣和量測(cè)矩陣為：

(14)

式中，I為4×4的單位矩陣，Ts為相鄰兩幀圖像之間的采樣間隔，即目標(biāo)檢測(cè)算法識(shí)別目標(biāo)的時(shí)間。

基于目標(biāo)運(yùn)動(dòng)方程建立卡爾曼濾波方程，選取狀態(tài)初值xcn0=ycn0=0，Vx0=Vy0=0.8 m/s，加速度噪聲方差強(qiáng)度為Qax=Qay=0.000 9 m2/s4，量測(cè)噪聲方差強(qiáng)度為Rvx=Rvy=0.001 6 m2。仿真結(jié)果如圖3和圖4所示。

圖3 濾波前后目標(biāo)位置對(duì)比

圖4 濾波誤差

從仿真結(jié)果可以看出，采用卡爾曼濾波后，目標(biāo)在x方向誤差最大不超過(guò)0.06 m，在y方向誤差最大不超過(guò)0.06 m，濾波前后運(yùn)動(dòng)軌跡基本一致，說(shuō)明采用卡爾曼濾波對(duì)目標(biāo)軌跡的預(yù)測(cè)效果很好。

4 四旋翼無(wú)人機(jī)控制律設(shè)計(jì)

對(duì)于四旋翼無(wú)人機(jī)來(lái)說(shuō)，良好的控制律設(shè)計(jì)是無(wú)人機(jī)實(shí)現(xiàn)穩(wěn)定飛行的前提。對(duì)四旋翼無(wú)人機(jī)來(lái)說(shuō)，高度控制獨(dú)立于姿態(tài)控制，位置控制則是基于無(wú)人機(jī)姿態(tài)的改變來(lái)進(jìn)行控制的。因此為了保證無(wú)人機(jī)在目標(biāo)跟蹤過(guò)程中的穩(wěn)定飛行，本節(jié)通過(guò)對(duì)實(shí)驗(yàn)室四旋翼無(wú)人機(jī)建立模型，分析設(shè)計(jì)后采用PID控制的方式，得到四旋翼無(wú)人機(jī)的控制律如下：

1)姿態(tài)控制律：

(15)

2)高度控制律：

(16)

式中，UT為高度控制量，m為旋翼無(wú)人機(jī)總質(zhì)量，hg為無(wú)人機(jī)期望高度，h為無(wú)人機(jī)當(dāng)前高度。

3)水平位置控制律：

(17)

其中：xg和yg為無(wú)人機(jī)水平期望位置，vxg和vyg為無(wú)人機(jī)水平期望速度，x和y是無(wú)人機(jī)當(dāng)前水平位置，vx和vy為無(wú)人機(jī)當(dāng)前水平速度，ux和uy是水平方向上等效控制量。

由于水平位置控制的最終目的是俯仰角和滾轉(zhuǎn)角的控制，因此姿態(tài)控制器目標(biāo)姿態(tài)角的輸入為：

(18)

式中，φd和θd為姿態(tài)控制器滾轉(zhuǎn)角和俯仰角的期望輸入量。

5 仿真結(jié)果與分析

基于第4節(jié)設(shè)計(jì)的控制器，通過(guò)Matlab/Simulink搭建仿真模型，將經(jīng)過(guò)卡爾曼濾波后的目標(biāo)運(yùn)動(dòng)軌跡輸入到位置控制器中，將目標(biāo)的運(yùn)動(dòng)方向角作為四旋翼無(wú)人機(jī)偏航角的期望輸入，得到最終的仿真結(jié)果。

5.1 四旋翼位置控制仿真結(jié)果

圖5和圖6為40 s內(nèi)目標(biāo)運(yùn)動(dòng)軌跡和四旋翼無(wú)人機(jī)運(yùn)動(dòng)軌跡，可以看出由于位置控制器存在調(diào)節(jié)時(shí)間，無(wú)人機(jī)運(yùn)動(dòng)相較于目標(biāo)的運(yùn)動(dòng)存在一定的滯后，穩(wěn)態(tài)誤差維持在0.5 m以內(nèi)，基本不影響跟蹤的結(jié)果。最終目標(biāo)水平位置為(39.56 m,29.88 m),無(wú)人機(jī)水平位置為(39.18 m,29.64 m),整體上兩者運(yùn)動(dòng)軌跡基本一致。圖7為三維空間下兩者運(yùn)動(dòng)軌跡對(duì)比，無(wú)人機(jī)先飛行到6 m的高度，然后進(jìn)行目標(biāo)軌跡的跟蹤，仿真結(jié)果表明雖然無(wú)人機(jī)與目標(biāo)之間的運(yùn)動(dòng)軌跡存在一定的偏差，但不影響最終的跟蹤效果。

圖5 無(wú)人機(jī)位置控制結(jié)果

圖6 二維空間下運(yùn)動(dòng)軌跡對(duì)比

圖7 三維空間下運(yùn)動(dòng)軌跡對(duì)比

5.2 四旋翼速度控制結(jié)果

圖8為旋翼無(wú)人機(jī)的速度與目標(biāo)運(yùn)動(dòng)的速度對(duì)比，初始時(shí)刻由于噪聲的影響，目標(biāo)速度存在跳變，無(wú)人機(jī)速度經(jīng)過(guò)一定的調(diào)節(jié)時(shí)間慢慢跟蹤上目標(biāo)運(yùn)動(dòng)速度，雖然無(wú)人機(jī)速度有些滯后于目標(biāo)速度，但整體偏差不超過(guò)0.2 m/s,速度運(yùn)動(dòng)曲線基本一致，說(shuō)明旋翼無(wú)人機(jī)能夠很好地保持與目標(biāo)之間的相對(duì)靜止。

圖8 運(yùn)動(dòng)速度對(duì)比

5.3 四旋翼航向控制結(jié)果

圖9為目標(biāo)與無(wú)人機(jī)運(yùn)動(dòng)方向?qū)Ρ龋跏紩r(shí)刻由于噪聲的影響，目標(biāo)方向產(chǎn)生了突變，導(dǎo)致無(wú)人機(jī)與目標(biāo)存在10°左右的夾角，經(jīng)過(guò)一定的調(diào)節(jié)時(shí)間，無(wú)人機(jī)與目標(biāo)的運(yùn)動(dòng)方向基本一致，穩(wěn)態(tài)偏差在3°以內(nèi)，航向控制效果良好。

圖9 運(yùn)動(dòng)方向?qū)Ρ?/p>

綜上所述，四旋翼無(wú)人機(jī)跟蹤地面目標(biāo)的過(guò)程中，在軌跡跟蹤的同時(shí)控制無(wú)人機(jī)的速度和方向，使無(wú)人機(jī)始終沿著目標(biāo)的運(yùn)動(dòng)軌跡飛行。仿真結(jié)果表明無(wú)人機(jī)位置跟蹤的精度在0.5 m以內(nèi)，跟蹤過(guò)程中與目標(biāo)的速度偏差不超過(guò)0.2 m/s，同時(shí)在航向控制上基本與目標(biāo)運(yùn)動(dòng)方向一致，跟蹤效果良好。

6 結(jié)束語(yǔ)

本文針對(duì)Tiny-YOLOV3目標(biāo)檢測(cè)算法存在目標(biāo)漏檢的問(wèn)題，同時(shí)考慮到實(shí)際中的噪聲干擾和無(wú)人機(jī)控制器的更新頻率，提出了一種聯(lián)合Tiny-YOLOV3和KF的四旋翼無(wú)人機(jī)目標(biāo)跟蹤算法。通過(guò)建立目標(biāo)跟蹤模型并設(shè)計(jì)四旋翼無(wú)人機(jī)控制律，最終通過(guò)仿真驗(yàn)證了所提出算法的穩(wěn)定可靠性。所提出的算法可以實(shí)現(xiàn)對(duì)單一目標(biāo)的穩(wěn)定跟蹤，但針對(duì)多個(gè)同類目標(biāo)，還需對(duì)算法進(jìn)行深入研究。