融合YOLO檢測(cè)的多目標(biāo)跟蹤算法*

李星辰，柳曉鳴，成曉男

(大連海事大學(xué)信息科學(xué)技術(shù)學(xué)院，遼寧 大連 116026)

1 引言

在很多應(yīng)用圖像處理和計(jì)算機(jī)視覺(jué)的場(chǎng)景中，運(yùn)動(dòng)目標(biāo)跟蹤MOT(Moving Object Tracking)是非常重要的環(huán)節(jié)，尤其是在未知多變的背景下，目標(biāo)容易出現(xiàn)遮擋、形變等問(wèn)題，使得目標(biāo)跟蹤更具挑戰(zhàn)性。按照跟蹤目標(biāo)的數(shù)量來(lái)分，目標(biāo)跟蹤可以劃分為單目標(biāo)跟蹤和多目標(biāo)跟蹤2大類(lèi)，從目前的國(guó)內(nèi)外發(fā)展現(xiàn)狀來(lái)看，單目標(biāo)跟蹤技術(shù)已經(jīng)趨于成熟，而多目標(biāo)跟蹤仍然處于不斷發(fā)展的階段，在機(jī)器視覺(jué)和圖像處理等領(lǐng)域備受關(guān)注，例如智能監(jiān)控、交通監(jiān)控、內(nèi)河船舶監(jiān)控和車(chē)輛的無(wú)人駕駛等。

在單目標(biāo)跟蹤中，我們往往會(huì)手動(dòng)選定初始框，然后在后續(xù)幀對(duì)初始框內(nèi)的目標(biāo)進(jìn)行位置預(yù)測(cè)，然而多目標(biāo)跟蹤過(guò)程中，必然會(huì)出現(xiàn)目標(biāo)的消失和產(chǎn)生，手動(dòng)選定初始框存在很大的局限性，所以在多目標(biāo)跟蹤領(lǐng)域，大多數(shù)研究人員使用的策略是基于檢測(cè)的多目標(biāo)跟蹤(tracking-by-detection)。基于檢測(cè)的多目標(biāo)跟蹤算法將檢測(cè)和跟蹤過(guò)程緊密結(jié)合，通過(guò)檢測(cè)器來(lái)檢測(cè)和識(shí)別出目標(biāo)，將這些信息傳遞給跟蹤器，即通過(guò)跟蹤器來(lái)跟蹤多目標(biāo)的同時(shí)，不斷通過(guò)與檢測(cè)器進(jìn)行信息交流來(lái)完善跟蹤，提升整個(gè)跟蹤過(guò)程的魯棒性。例如，Milan等人[1]基于tracking-by-detection策略提出了連續(xù)能量函數(shù)最小化方法，從運(yùn)動(dòng)的整體性出發(fā)，提出了一個(gè)整體的、比較貼合運(yùn)動(dòng)特征的能量函數(shù)，然后通過(guò)對(duì)該能量函數(shù)進(jìn)行尋優(yōu)得到較好的跟蹤結(jié)果。在處理遮擋問(wèn)題時(shí)取得了較好的效果。Song等人[2]基于tracking by detection策略提出了一種在線多目標(biāo)跟蹤算法，采用了高斯混合概率假設(shè)密度GM-PHD(Gaussian Mixture Probability Hypothesis Density)來(lái)處理錯(cuò)誤的檢測(cè)，并且針對(duì)對(duì)跟蹤過(guò)程中出現(xiàn)的遮擋或者不完整檢測(cè)而導(dǎo)致的跟蹤碎片現(xiàn)象，設(shè)計(jì)了一個(gè)分層跟蹤框架，可以將分段、ID交換過(guò)的軌跡連接起來(lái)。該方法在處理遮擋情況和碎片現(xiàn)象時(shí)取得了不錯(cuò)的效果。

近些年，深度學(xué)習(xí)不僅在檢測(cè)和識(shí)別領(lǐng)域取得了不錯(cuò)的效果，也被越來(lái)越多地應(yīng)用到了基于檢測(cè)的多目標(biāo)跟蹤中，因其離線訓(xùn)練與在線檢測(cè)相結(jié)合的特殊設(shè)計(jì)方案，即先利用支持向量機(jī)等分類(lèi)器離線訓(xùn)練大量圖像和視頻，并且在跟蹤的過(guò)程開(kāi)始后，隨著目標(biāo)特征信息的變化，利用在線檢測(cè)的結(jié)果去更新分類(lèi)器，從而可以很好地適應(yīng)目標(biāo)的特征外觀變化，更加準(zhǔn)確地檢測(cè)目標(biāo)而被廣泛采用。例如，Leal-Taixé等人[3]基于tracking-by-detection策略并結(jié)合深度學(xué)習(xí),提出了一種在行人跟蹤背景下處理數(shù)據(jù)關(guān)聯(lián)任務(wù)的新方法，引入了一種two-stage學(xué)習(xí)方案去匹配“檢測(cè)對(duì)”。首先, 對(duì) Siamese 卷積神經(jīng)網(wǎng)絡(luò) (CNN) 進(jìn)行了訓(xùn)練, 以學(xué)習(xí)描述2個(gè)輸入圖像塊之間的局部時(shí)空結(jié)構(gòu)、聚合像素值和光流信息。其次,通過(guò)梯度提升分類(lèi)器(gradient boost), 將從比較的輸入圖像塊的位置和大小中導(dǎo)出的1組上下文特征與 CNN 輸出相結(jié)合, 生成最終的匹配概率。經(jīng)驗(yàn)證該方法在多人跟蹤中符合最先進(jìn)標(biāo)準(zhǔn)。

考慮到深度學(xué)習(xí)在目標(biāo)檢測(cè)和識(shí)別過(guò)程中的優(yōu)異表現(xiàn)，以及tracking-by-detection策略在解決遮擋等問(wèn)題時(shí)的效果，本文采用了tracking-by-detection策略，以深度學(xué)習(xí)模型檢測(cè)和識(shí)別目標(biāo)，從而獲取更加準(zhǔn)確的檢測(cè)結(jié)果來(lái)進(jìn)行多目標(biāo)跟蹤。目前主流的目標(biāo)檢測(cè)算法又可以分為以R-CNN[4]、Faster R-CNN[5 - 8]等為代表的two-stage檢測(cè)算法和以SSD(Single Shot multibox Detector)[9]、YOLO[10 - 12]等為代表的one-stage檢測(cè)算法。2類(lèi)檢測(cè)算法的主要區(qū)別在于是否分成2個(gè)階段進(jìn)行檢測(cè)，前者由檢測(cè)和分類(lèi)2個(gè)階段組成，后者則將2個(gè)階段融合到1個(gè)階段進(jìn)行。目標(biāo)檢測(cè)算法的主要性能指標(biāo)是檢測(cè)的準(zhǔn)確度和速度，第1類(lèi)算法在準(zhǔn)確度上有優(yōu)勢(shì)，但是處理速度過(guò)慢，而第2類(lèi)算法將圖像的檢測(cè)速度提升到了40 fps以上，雖然準(zhǔn)確度比第1類(lèi)算法要略差一些，但是目前YOLO已經(jīng)發(fā)展到Y(jié)OLO v3，準(zhǔn)確度上有了很大提升，同時(shí)提升了弱小目標(biāo)的檢測(cè)性能，并且使用GPU加速，保證了較好的實(shí)時(shí)性，所以本文選擇YOLO v3作為檢測(cè)算法。

目前國(guó)內(nèi)的學(xué)者大多都是利用YOLO、R-CNN等深度學(xué)習(xí)檢測(cè)算法和CamShift(Continuously Adaptive Mean-Shift)、KCF(Kernel Correlation Filter) 等跟蹤算法相結(jié)合來(lái)進(jìn)行目標(biāo)跟蹤。例如，韓鵬等人[13]提出了將 YOLO 和 CamShift 算法相結(jié)合的目標(biāo)跟蹤算法。用 YOLO 算法確定出目標(biāo),根據(jù)目標(biāo)的位置信息使用 CamShift 算法對(duì)后續(xù)的視頻幀進(jìn)行處理,在解決目標(biāo)遮擋問(wèn)題時(shí)取得了不錯(cuò)的跟蹤效果。王春艷等人[14]沿用tracking-by-detection策略，在檢測(cè)環(huán)節(jié)采用 YOLO v3檢測(cè)目標(biāo)，在跟蹤環(huán)節(jié)使用卡爾曼濾波算法預(yù)測(cè)目標(biāo)運(yùn)動(dòng)軌跡，在數(shù)據(jù)關(guān)聯(lián)環(huán)節(jié)使用匈牙利算法對(duì)候選目標(biāo)進(jìn)行匹配關(guān)聯(lián)，在應(yīng)對(duì)目標(biāo)跟蹤的常見(jiàn)問(wèn)題時(shí)取得了不錯(cuò)的效果。在總結(jié)多篇國(guó)內(nèi)外文獻(xiàn)出現(xiàn)的問(wèn)題和解決方案以后，本文選擇沿用經(jīng)典的tracking-by-detection策略，以YOLO v3作為檢測(cè)算法,提出了一種多目標(biāo)視頻跟蹤算法。

多目標(biāo)跟蹤過(guò)程容易受到復(fù)雜多變的環(huán)境、目標(biāo)遮擋、背景以及目標(biāo)之間相似性等因素的影響，出現(xiàn)跟蹤失敗、誤判和漏判等問(wèn)題。當(dāng)前多目標(biāo)跟蹤的難點(diǎn)主要包括：遮擋問(wèn)題、背景復(fù)雜度問(wèn)題和數(shù)據(jù)關(guān)聯(lián)[15]問(wèn)題。

針對(duì)目標(biāo)跟蹤過(guò)程中可能遇到的遮擋和數(shù)據(jù)關(guān)聯(lián)等問(wèn)題，本文提出了一種融合YOLO檢測(cè)的多目標(biāo)跟蹤算法，通過(guò)YOLO v3目標(biāo)檢測(cè)器確定目標(biāo)物體的跟蹤框，根據(jù)框出的目標(biāo)區(qū)域，采用卡爾曼濾波算法[16]進(jìn)行跟蹤預(yù)測(cè)；提出了軌跡異常修正算法，針對(duì)遮擋引起的軌跡和跟蹤異常進(jìn)行糾正；并提出了一種緊鄰最優(yōu)算法來(lái)解決因目標(biāo)遮擋而引起的目標(biāo)身份互換問(wèn)題。

2 多目標(biāo)跟蹤算法整體框架

多目標(biāo)跟蹤算法整體框架如圖 1 所示，主要分為2個(gè)模塊：檢測(cè)器和跟蹤器。檢測(cè)器主要是結(jié)合YOLO v3進(jìn)行目標(biāo)的檢測(cè)和識(shí)別，首先對(duì)視頻序列的圖像進(jìn)行預(yù)處理；然后經(jīng)過(guò)全卷積神經(jīng)網(wǎng)絡(luò)獲得卷積特征圖，利用檢測(cè)網(wǎng)絡(luò)對(duì)輸入的特征圖進(jìn)行分析和過(guò)濾；最終通過(guò)置信度計(jì)算和多尺度預(yù)測(cè)部分得到最優(yōu)目標(biāo)的邊框，并且利用分類(lèi)器對(duì)目標(biāo)進(jìn)行分類(lèi)，得到該類(lèi)目標(biāo)的最優(yōu)目標(biāo)的邊框的中心點(diǎn)坐標(biāo)。跟蹤器就是結(jié)合檢測(cè)器的輸出結(jié)果進(jìn)行數(shù)據(jù)關(guān)聯(lián)和跟蹤，將得到的該類(lèi)目標(biāo)的最優(yōu)目標(biāo)中心點(diǎn)坐標(biāo)輸入到卡爾曼濾波器，進(jìn)行下一時(shí)刻中心點(diǎn)的預(yù)測(cè)，即軌跡預(yù)測(cè)；對(duì)檢測(cè)器輸出的物體邊界框進(jìn)行幀間數(shù)據(jù)關(guān)聯(lián)，從而確定目標(biāo)的編號(hào)，利用物體的中心點(diǎn)測(cè)量值和該時(shí)刻的中心點(diǎn)估計(jì)值，得到目標(biāo)的真實(shí)狀態(tài)最優(yōu)估計(jì)值。如果因遮擋原因?qū)е聰?shù)據(jù)關(guān)聯(lián)失敗，利用緊鄰最優(yōu)跟蹤算法進(jìn)行數(shù)據(jù)關(guān)聯(lián)，對(duì)該時(shí)刻新出現(xiàn)的目標(biāo)和因遮擋而消失的目標(biāo)進(jìn)行關(guān)聯(lián)。如果因部分遮擋而導(dǎo)致軌跡異常波動(dòng)，則利用軌跡異常修正算法修正目標(biāo)框體和軌跡。

Figure 1 Framework of the multi-target tracking algorithm圖1 多目標(biāo)跟蹤算法整體框架

3 YOLO v3目標(biāo)檢測(cè)器

利用YOLO v3目標(biāo)檢測(cè)算法，首先將輸入到檢測(cè)器的圖像按照一定的尺度標(biāo)準(zhǔn)劃分為相同大小的P×P個(gè)網(wǎng)格，其中每個(gè)網(wǎng)格又可以劃分為K個(gè)候選區(qū)域，如圖 2中多尺度預(yù)測(cè)部分所示，圖中每個(gè)大的黑色矩形框代表1個(gè)網(wǎng)格。于是得到了每個(gè)候選區(qū)域中存在當(dāng)前目標(biāo)的置信度，表達(dá)式如式(1)所示：

(1)

其中,Target代表目標(biāo)的種類(lèi)，Cond(Target)表示在網(wǎng)格中是否存在該種類(lèi)的目標(biāo)：

(2)

(3)

Figure 2 Object detection process圖2 物體檢測(cè)過(guò)程

假設(shè)1個(gè)網(wǎng)格相對(duì)于圖像左上角的偏移量是cx和cy，邊框的寬度和高度分別為pw和ph，根據(jù)式(4)～式(8)就可以得到目標(biāo)的真實(shí)框信息。

bx=σ(tx)+cx

(4)

by=σ(ty)+cy

(5)

bw=pwetw

(6)

bh=pheth

(7)

(8)

其中，tx，ty是預(yù)測(cè)的坐標(biāo)偏移值，tw，th是尺度縮放，bx,by,bw,bh分別用來(lái)表示目標(biāo)的框體坐標(biāo)和大小，σ(t)是Logistic回歸函數(shù)。

當(dāng)前時(shí)刻T，所有檢測(cè)器檢測(cè)到的結(jié)果表達(dá)式為:

其中，下標(biāo)4j表示矩陣為1個(gè)4*j矩陣，j∈{0,1,2,…,M}，M為T(mén)時(shí)刻檢測(cè)到的目標(biāo)總個(gè)數(shù)。

4 跟蹤器

4.1 軌跡預(yù)測(cè)

將檢測(cè)器輸出的目標(biāo)的中心點(diǎn)輸入到卡爾曼濾波器，對(duì)T+1時(shí)刻的中心點(diǎn)進(jìn)行預(yù)測(cè)，即軌跡預(yù)測(cè)?？柭鼮V波的步驟一般包括預(yù)測(cè)和測(cè)量更新部分，假設(shè)T時(shí)刻來(lái)自檢測(cè)器的目標(biāo)j的測(cè)量結(jié)果為X(T)j={bx,by,vx,vy}T，其中vx,vy分別為目標(biāo)在x方向和y方向的速度分量，j∈{0,1,2,…,M}。將該時(shí)刻的測(cè)量結(jié)果輸入到式(9)和式(10)所示的卡爾曼濾波器的預(yù)測(cè)部分時(shí)，可得到T+1時(shí)刻目標(biāo)j的坐標(biāo)估計(jì)值X(T+1/T)′j={b′x,b′y}T。

預(yù)測(cè)部分：

X′=FX+U

(9)

P′=FPFT+Q

(10)

更新部分：

Y=Z-HX′

(11)

S=HP′HT+R

(12)

X=X′+KY

(13)

P=(I-KH)P′

(14)

其中,卡爾曼增益K=P′HTS-1,F為狀態(tài)轉(zhuǎn)移矩陣，P為狀態(tài)協(xié)方差矩陣，Q為過(guò)程噪聲，R為測(cè)量噪聲矩陣，H為測(cè)量矩陣，I是單位矩陣。X′是后驗(yàn)狀態(tài)估計(jì)值,U是過(guò)程噪聲矩陣,P′是后驗(yàn)協(xié)方差估計(jì)值，Z是測(cè)量值(觀測(cè)值)，即濾波的輸入，Y是實(shí)際觀測(cè)和預(yù)測(cè)觀測(cè)的殘差，S是濾波增益矩陣。

4.2 數(shù)據(jù)關(guān)聯(lián)

數(shù)據(jù)關(guān)聯(lián)將檢測(cè)器的結(jié)果與跟蹤的結(jié)果互相聯(lián)系,在多目標(biāo)跟蹤中尤為重要。本文所提算法的數(shù)據(jù)關(guān)聯(lián)步驟如下所示：

(15)

a 如果IOUMax大于閾值，可能發(fā)生了目標(biāo)移動(dòng)過(guò)快，當(dāng)前幀的目標(biāo)j對(duì)應(yīng)的目標(biāo)就是上一幀編號(hào)為k的目標(biāo)，此時(shí)更新目標(biāo)的框體信息和軌跡信息，并且更新最優(yōu)估計(jì)值和狀態(tài)協(xié)方差矩陣。

b 如果IOUMax小于閾值，則可能發(fā)生了遮擋，或者沒(méi)有檢測(cè)出目標(biāo)，此時(shí)保持目標(biāo)框高度和寬度不變，更新中心點(diǎn)坐標(biāo)為卡爾曼濾波器預(yù)測(cè)的中心點(diǎn)，即更新當(dāng)前幀中目標(biāo)k的目標(biāo)框，更新軌跡。此時(shí)認(rèn)為目標(biāo)k消失，當(dāng)消失時(shí)間超過(guò)一定閾值時(shí)，認(rèn)定目標(biāo)k徹底消失，清除目標(biāo)k的所有信息。

(2)利用緊鄰跟蹤算法解決目標(biāo)遮擋時(shí)的目標(biāo)序號(hào)互換問(wèn)題。當(dāng)新目標(biāo)k出現(xiàn)時(shí)，先判斷其周?chē)欠裼芯o鄰的目標(biāo)消失了。如果是，令k繼承消失的緊鄰目標(biāo)中最近的目標(biāo)gm的目標(biāo)框信息;否則目標(biāo)k為新目標(biāo)。

(3)利用軌跡異常修正算法對(duì)發(fā)生部分遮擋時(shí)目標(biāo)框體異常變化的目標(biāo)進(jìn)行框體修正，同時(shí)對(duì)軌跡伴隨的軌跡異常進(jìn)行修正。

(4)在目標(biāo)跟蹤的過(guò)程中，除了遮擋問(wèn)題以外，時(shí)常還會(huì)出現(xiàn)目標(biāo)形態(tài)發(fā)生變化(如行走姿態(tài)、跳躍、下蹲的人體、旋轉(zhuǎn)與放縮物體)的情況。此類(lèi)情況發(fā)生時(shí)，目標(biāo)前后幀框體的位置坐標(biāo)并不會(huì)發(fā)生明顯的變化，是一個(gè)漸變的過(guò)程。運(yùn)用本文的緊鄰跟蹤算法，在發(fā)生形態(tài)變化時(shí)，根據(jù)式(15)獲取T-1時(shí)刻和T時(shí)刻的目標(biāo)框的交并比IOU；然后進(jìn)行第①步操作中的閾值比對(duì)，并且獲取當(dāng)前T時(shí)刻為目標(biāo)j的概率Pj，如果Pj低于閾值，調(diào)高交并比與目標(biāo)概率的權(quán)重占比，即選取與上一時(shí)刻目標(biāo)準(zhǔn)確位置距離最近，且概率相對(duì)較高的目標(biāo)為目標(biāo)j，從而在目標(biāo)形態(tài)發(fā)生變化時(shí)仍然可以進(jìn)行準(zhǔn)確的目標(biāo)跟蹤。

對(duì)每一幀重復(fù)步驟(1)～(4)直至視頻終止，即跟蹤結(jié)束。

4.3 緊鄰最優(yōu)跟蹤算法

在多目標(biāo)跟蹤的過(guò)程中，若出現(xiàn)嚴(yán)重遮擋，可能會(huì)發(fā)生目標(biāo)交換現(xiàn)象，針對(duì)這一問(wèn)題，本文提出了緊鄰最優(yōu)跟蹤算法。發(fā)生遮擋時(shí)，目標(biāo)之間會(huì)有前后之分，判斷的依據(jù)主要是檢測(cè)結(jié)果的置信度，置信度高的目標(biāo)在前，置信度低的或者出現(xiàn)消失情況的目標(biāo)在后。緊鄰最優(yōu)跟蹤算法的具體過(guò)程如下所示:

(16)

其中,A1和A2分別表示目標(biāo)f和j的權(quán)重,A1+A2=1，且兩者取值關(guān)系滿足：

(2)當(dāng)djf≤d，記錄并保存目標(biāo)j的所有緊鄰目標(biāo)的序號(hào)fi∈{1,2,…,M}，fi≠j,其中下標(biāo)i用來(lái)區(qū)別不同的緊鄰目標(biāo)，并且繼續(xù)進(jìn)行第(3)步；當(dāng)djf>d時(shí)，認(rèn)定目標(biāo)j周?chē)淮嬖诰o鄰目標(biāo)，此時(shí)如果目標(biāo)j周?chē)霈F(xiàn)新的目標(biāo)時(shí)，認(rèn)定目標(biāo)為首次出現(xiàn)，記錄并存檔，此時(shí)跳過(guò)第(3)步，等待進(jìn)行T+1時(shí)刻的判斷。

(3)當(dāng)目標(biāo)j周?chē)霈F(xiàn)新目標(biāo)k時(shí)，先確定其緊鄰目標(biāo)gi是否消失。

①如果出現(xiàn)了多個(gè)消失的目標(biāo)g0,g1，…，計(jì)算得到離新目標(biāo)k距離最近的目標(biāo)gm，此時(shí)認(rèn)定新目標(biāo)k就是消失的目標(biāo)gm，修改新目標(biāo)k的序號(hào)為gm，并且繼承g(shù)m的目標(biāo)信息；

②如果沒(méi)有消失的目標(biāo)，那么認(rèn)定k為新目標(biāo)。

由于緊鄰跟蹤算法存在距離約束和權(quán)重比對(duì)，即在T-1時(shí)刻和T時(shí)刻時(shí)發(fā)生形態(tài)變化的目標(biāo)之間的距離最近，所以當(dāng)目標(biāo)發(fā)生遮擋和形變時(shí)能較為準(zhǔn)確地跟蹤。

4.4 軌跡異常修正算法

當(dāng)出現(xiàn)部分遮擋的時(shí)候，利用緊鄰最優(yōu)跟蹤算法仍能檢測(cè)出目標(biāo)，但此時(shí)只能取到目標(biāo)未被遮擋的部分。如圖3所示，行人從開(kāi)始被遮擋到結(jié)束被遮擋的過(guò)程中，白色曲線所代表的軌跡發(fā)生了較大的波動(dòng)。針對(duì)這種情況，本文提出了一種新的修正軌跡的算法，避免因?yàn)椴糠终趽跏垢欆壽E產(chǎn)生偏差。該算法利用跟蹤過(guò)程中目標(biāo)框體不會(huì)驟然變化的特性來(lái)修正框體和軌跡。

Figure 3 Pedestrian tracking results圖3 行人跟蹤結(jié)果

軌跡異常修正算法具體過(guò)程如下所示：

(17)

(18)

5 實(shí)驗(yàn)與分析

本文實(shí)驗(yàn)硬件環(huán)境為配置Intel Core i5-7300 CPU，3.60 GHz主頻，16 GB內(nèi)存的筆記本，算法開(kāi)發(fā)基于Darknet深度學(xué)習(xí)框架，CUDA庫(kù)，跟蹤可視化基于OpenCV實(shí)現(xiàn)，在GTX1060 6G以及Windows 10系統(tǒng)支持下，使用C語(yǔ)言集成實(shí)現(xiàn)整個(gè)跟蹤系統(tǒng)。

5.1 算法測(cè)試

利用MOT Challenge官網(wǎng)上的測(cè)試視頻來(lái)測(cè)試本文的跟蹤算法，圖4～圖9展示了部分測(cè)試結(jié)果。

Figure 4 Video sequence tracking results圖4 視頻序列跟蹤結(jié)果

Figure 5 Trajectory abnormal repair results圖5 軌跡異常修復(fù)結(jié)果

Figure 6 Coordinate comparison of the abnormal trajectory correction trajectory and the real trajectory圖6 異常軌跡修正軌跡和真實(shí)軌跡的坐標(biāo)對(duì)比圖

Figure 7 Comparison of target changes in y direction圖7 目標(biāo)在y方向上變化對(duì)比圖

Figure 8 Deviations comparison between the target trajectory and the real trajectory in the y direction圖8 目標(biāo)軌跡和真實(shí)軌跡在y方向上的偏差對(duì)比圖

從圖4a和圖5中的Walker1可以看出，當(dāng)黑色箭頭指向的行人被白色卡車(chē)遮擋時(shí)，目標(biāo)的邊框大小得到了修正，并且解決了軌跡異常的問(wèn)題。從Walker1和TUD-Stadtmitte中可以看出，黑色箭頭指向的目標(biāo)，在跟蹤過(guò)程中的軌跡和跟蹤結(jié)果較為準(zhǔn)確。在MOT-02中，在第439幀中，黑色箭頭指向的目標(biāo)被白色箭頭指向的目標(biāo)遮擋，此時(shí)仍然能被正確地檢測(cè)和跟蹤。 從圖6～圖8中可以看出，修正后的軌跡更加接近真實(shí)的軌跡。

如圖9所示，在目標(biāo)發(fā)生奔跑、跳躍、旋轉(zhuǎn)、下蹲等形態(tài)變化時(shí)，運(yùn)用本文的跟蹤算法，大多數(shù)情況下都可以準(zhǔn)確地識(shí)別出目標(biāo)的位置，顯示目標(biāo)的軌跡，準(zhǔn)確地進(jìn)行目標(biāo)跟蹤。

實(shí)驗(yàn)表明，本文算法能夠修正遮擋過(guò)程中目標(biāo)框的大小和位置，修正目標(biāo)軌跡，在一定程度上解決了跟蹤存在的目標(biāo)遮擋問(wèn)題，具有一定的參考價(jià)值和實(shí)用價(jià)值。

5.2 實(shí)驗(yàn)對(duì)比

本節(jié)將本文所提算法與其他2種算法進(jìn)行了對(duì)比實(shí)驗(yàn)，評(píng)價(jià)指標(biāo)及定義如表1所示，其中箭頭↓代表指標(biāo)越小跟蹤效果越好，箭頭↑代表指標(biāo)越大跟蹤效果越好。對(duì)比結(jié)果如表2所示，本文算法在AvgRank，MT，ML，F(xiàn)N等幾項(xiàng)指標(biāo)上都表現(xiàn)較好，在FP，MOTA，IDSw等幾項(xiàng)指標(biāo)上的表現(xiàn)相對(duì)較差，但是也具有一定的可比性。

Table 1 Tracking evaluation indicators and definitions表1 跟蹤評(píng)價(jià)指標(biāo)及定義

Table 2 Comparison results with other methods表2 與其他方法的對(duì)比結(jié)果

6 結(jié)束語(yǔ)

本文利用高性能的檢測(cè)器檢測(cè)同一類(lèi)的多個(gè)目標(biāo)，重點(diǎn)研究了同一目標(biāo)的前后幀之間的幀間關(guān)系以及目標(biāo)跟蹤過(guò)程中的遮擋問(wèn)題，在一定程度上解決了遮擋對(duì)軌跡和目標(biāo)識(shí)別的準(zhǔn)確性產(chǎn)生的干擾，具有較高的實(shí)時(shí)性，在船舶和道路交通監(jiān)管領(lǐng)域有一定的應(yīng)用價(jià)值。但是，目前的研究仍是在同一類(lèi)目標(biāo)中進(jìn)行的，接下來(lái)的研究將重點(diǎn)突破不同類(lèi)的多目標(biāo)跟蹤問(wèn)題，并且引用特征信息對(duì)現(xiàn)有幀間關(guān)系做出改進(jìn)。