基于改進(jìn)CStrack關(guān)聯(lián)策略的多目標(biāo)跟蹤算法

蘇 佳，馮康康，孟俊彤，梁 奔，張 明

(河北科技大學(xué) 信息科學(xué)與工程學(xué)院，河北 石家莊 050018)

0 引言

多目標(biāo)跟蹤(Multiple Object Tracking,MOT)是計(jì)算機(jī)視覺領(lǐng)域中的研究熱點(diǎn),在人機(jī)交互、交通監(jiān)控和人工智能等領(lǐng)域有著廣泛應(yīng)用[1]。MOT的任務(wù)是在視頻中持續(xù)對(duì)目標(biāo)進(jìn)行準(zhǔn)確定位,并且在目標(biāo)外觀以及場景發(fā)生變化時(shí)仍能維持身份信息不變,最后輸出完整的運(yùn)動(dòng)軌跡。在現(xiàn)實(shí)復(fù)雜場景中目標(biāo)的尺度變化、物體相互遮擋和光照等影響因素都給多目標(biāo)跟蹤帶來極大挑戰(zhàn)[2],因此,提出一種適用于復(fù)雜場景且具有魯棒性的多目標(biāo)跟蹤算法。

近年來,多目標(biāo)跟蹤方法主要分為兩步式(Two-step)和一步式(One-shot)兩類。Two-step中基于檢測(cè)的目標(biāo)跟蹤(Tracking-By-Detection,TBD)算法由檢測(cè)器和數(shù)據(jù)關(guān)聯(lián)模塊組成[3],能夠獲得很好的效果。首先,檢測(cè)器被用來定位視頻序列中所有感興趣的目標(biāo);然后在數(shù)據(jù)關(guān)聯(lián)過程中利用重識(shí)別(Re-Identification,Re-ID)網(wǎng)絡(luò)提取每個(gè)目標(biāo)的特征信息,通過外觀特征和運(yùn)動(dòng)特征將相同的物體關(guān)聯(lián)起來。所以在TBD算法中,檢測(cè)算法和數(shù)據(jù)關(guān)聯(lián)算法的性能共同決定了跟蹤的準(zhǔn)確性和魯棒性,檢測(cè)效果差可能導(dǎo)致邊界漂移和跟蹤準(zhǔn)確率低,關(guān)聯(lián)算法效果差可能導(dǎo)致ID切換頻繁。此外,檢測(cè)器和數(shù)據(jù)關(guān)聯(lián)都極大地影響了MOT的推理速度。Deep Sort[4]算法與YOLOv3結(jié)合,并引入殘差網(wǎng)絡(luò)來提取Re-ID外觀特征,以提高跟蹤效果。POI[5]使用Faster R-CNN作為檢測(cè)器,并通過多尺度特征融合提高跟蹤精度。Two-step方法中檢測(cè)網(wǎng)絡(luò)與Re-ID網(wǎng)絡(luò)是獨(dú)立分開的,檢測(cè)與Re-ID任務(wù)都可以提取到最優(yōu)的特征,對(duì)目標(biāo)尺度變換有較好的魯棒性,能夠?qū)崿F(xiàn)高精度的跟蹤,但由于要處理2個(gè)模型,增加了計(jì)算量,導(dǎo)致實(shí)時(shí)性下降。

One-shot中基于Joint Detection and Embedding(JDE)范式的算法是當(dāng)下研究熱點(diǎn)[6],其特點(diǎn)是在單一網(wǎng)絡(luò)中完成檢測(cè)與Re-ID特征的提取,提高跟蹤效率。FairMOT[7]采用CenterNet作為檢測(cè)器,通過基于Anchor-free的檢測(cè)來獲得低維度的特征向量,提高Re-ID特征質(zhì)量,減少身份切換次數(shù)。RetinaTrack[8]在FPN階段,提取每個(gè)Anchor的特征,能夠更好的利用中間層的優(yōu)勢(shì),同時(shí)增加一個(gè)256維的特征向量進(jìn)行Re-ID,提高應(yīng)對(duì)遮擋情況的能力。由于只利用單一網(wǎng)絡(luò)提取特征,檢測(cè)與Re-ID任務(wù)之間往往存在競爭,因此CStrack[9]算法提出交叉神經(jīng)網(wǎng)絡(luò)(Cross-Correlation Network,CCN)對(duì)主干網(wǎng)絡(luò)輸出的特征進(jìn)行解耦,并使用尺度感知注意力網(wǎng)絡(luò)(Scale-Aware Attention Network,SAAN)來提高Re-ID特征的表征能力。CStrack跟蹤部分采用傳統(tǒng)JDE范式的在線跟蹤關(guān)聯(lián)策略,無法適應(yīng)復(fù)雜環(huán)境和復(fù)雜運(yùn)動(dòng)帶來的影響,導(dǎo)致跟蹤精度低、身份切換頻繁,因此針對(duì)CStrack算法應(yīng)用于目標(biāo)外觀變化劇烈、運(yùn)動(dòng)不規(guī)律的復(fù)雜環(huán)境中魯棒性較差的問題,提出基于改進(jìn)CStrack關(guān)聯(lián)策略的多目標(biāo)跟蹤算法。使用YOLOv5檢測(cè)算法作為檢測(cè)器[10],改進(jìn)CStrack跟蹤器。實(shí)驗(yàn)表明,改進(jìn)CStrack關(guān)聯(lián)策略的多目標(biāo)跟蹤算法具有較好的跟蹤性能,與其他算法相比在指標(biāo)上有明顯提高,能夠兼顧準(zhǔn)確性和實(shí)時(shí)性。

1 CStrack多目標(biāo)跟蹤算法

CStrack采用JDE框架設(shè)計(jì)思想,通過CCN將檢測(cè)器主干網(wǎng)絡(luò)得到特征圖解耦成2個(gè)不同特征圖,用于構(gòu)建檢測(cè)分支和Re-ID分支。MOT算法處理Re-ID往往將圖像縮放到統(tǒng)一固定的尺寸來進(jìn)行提取特征,但現(xiàn)實(shí)場景中物體尺度變化較大,這種Re-ID策略就無法很好應(yīng)對(duì),因此使用SAAN來獲得目標(biāo)不同尺度的外觀信息。CStrack算法框架如圖1所示。

圖1 CStrack算法框架Fig.1 CStrack algorithm framework

CStrack跟蹤部分首先對(duì)檢測(cè)器檢測(cè)到的目標(biāo)初始化軌跡,使用卡爾曼濾波進(jìn)行預(yù)測(cè);第一次關(guān)聯(lián),通過余弦距離和馬氏距離將檢測(cè)框與跟蹤軌跡進(jìn)行匈牙利匹配;第二次匹配將檢測(cè)框與第一次未匹配的軌跡通過交并比(Intersection over Union, IoU)代價(jià)矩陣再次進(jìn)行匈牙利匹配;通過閾值處理匹配失效的檢測(cè)框和軌跡。

1.1 交叉神經(jīng)網(wǎng)絡(luò)

CCN用來提取更適合檢測(cè)任務(wù)與Re-ID任務(wù)的一般特征和外觀特征,通過學(xué)習(xí)不同通道之間的相互關(guān)系,來增強(qiáng)表征。CCN框架如圖2所示。

圖2 CCN框架Fig.2 CCN framework

圖3 SAAN框架Fig.3 SAAN framework

從YOLOv5主干網(wǎng)中得到特征圖F∈C×H×W,首先,經(jīng)過平均池化層將特征圖F降維,得到包含更精煉特征的特征圖F′∈C×H′×W′,F′通過2個(gè)不同的卷積層生成用于檢測(cè)和Re-ID的特征圖T1和T2,T1和T2分別被重塑為{M1,M2}∈C×N′(N′=H′×W′)大小的特征,再將M1、M2和各自的轉(zhuǎn)置矩陣相乘,獲得自注意力特征圖WT1、WT2。然后M1與M2的轉(zhuǎn)置相乘獲得互注意力圖WS1、WS2,將自注意力圖和互注意力圖相加以獲得通道級(jí)別的特征學(xué)習(xí)。最后,和原始的輸入特征圖F相乘再和F相加得到輸出特征圖FT1、FT2。FT1用于檢測(cè)器的檢測(cè)處理,FT2送入Re-ID特征提取模塊。

1.2 尺度感知注意力網(wǎng)絡(luò)

SAAN通過空間注意力模塊(Spatial Attention Module, SAM)[11]和通道注意力模塊(Channel Attention Module, CAM)[12]來增加Re-ID模型的尺度感知能力,聚合不同尺度的外觀特征信息,以緩解MOT中目標(biāo)尺度變化的問題,確保對(duì)不同大小目標(biāo)外觀特征的魯棒性。SAAN框架如3所示。

首先將1/16和1/32尺度(與輸入圖像的大小相比)的特征圖上采樣到1/8,3種不同尺度的特征圖通過SAM增強(qiáng)目標(biāo)相關(guān)特征并抑制背景噪聲。目標(biāo)在不同尺度下獲得的注意力不同,因此可以緩解目標(biāo)尺度變化和尺寸重疊問題。

將3種特征圖聚合,通過CAM學(xué)習(xí)每一個(gè)特征語義通道的注意力權(quán)重。CAM分別使用平均池化和最大池化,池化層輸出的特征圖先由1d卷積和全連接層組成參數(shù)共享MLP(Multi-Layer Perception)網(wǎng)絡(luò)處理,輸出的2個(gè)特征圖相加后通過Sigmoid激活函數(shù)得到注意力結(jié)果。通過元素相乘將一維的通道注意圖映射到特征上,再與SAM特征圖相加,學(xué)習(xí)輸入特征的不同語義信息,實(shí)現(xiàn)對(duì)通道注意力的調(diào)節(jié)。最后使用3×3的卷積層將特征映射到128通道上,輸出不同目標(biāo)的Re-ID特征。

2 改進(jìn)CStrack關(guān)聯(lián)算法的多目標(biāo)跟蹤算法

基于改進(jìn)CStrack數(shù)據(jù)關(guān)聯(lián)的多目標(biāo)跟蹤算法流程如圖4所示。輸入視頻序列,由YOLOv5檢測(cè)器進(jìn)行檢測(cè),將獲得的特征圖送入CCN,通過互相關(guān)、自相關(guān)學(xué)習(xí)機(jī)制來提取更適合檢測(cè)任務(wù)和Re-ID任務(wù)的特征。檢測(cè)特征圖送入YOLOv5的檢測(cè)頭,進(jìn)行目標(biāo)檢測(cè),獲取目標(biāo)的初始位置信息;Re-ID特征圖送入SAAN進(jìn)行特征融合,并使用外觀特征更新(Appearance Feature Update,AFU)模塊增強(qiáng)目標(biāo)的特征關(guān)聯(lián),對(duì)目標(biāo)的外觀特征進(jìn)行更新。提出二次關(guān)聯(lián)算法進(jìn)行數(shù)據(jù)關(guān)聯(lián),得到目標(biāo)軌跡,在第一次關(guān)聯(lián)中,IoU距離結(jié)合Re-ID特征作為匈牙利匹配的代價(jià)矩陣,完成高置信度檢測(cè)的線性分配;第二次關(guān)聯(lián)中,針對(duì)目標(biāo)不規(guī)律運(yùn)動(dòng)和外觀可區(qū)分度低所導(dǎo)致的度量失效,使用擴(kuò)展IoU匹配;通過高斯平滑插值(Gaussian Smoothed Interpolation, GSI)補(bǔ)償漏檢實(shí)現(xiàn)跟蹤。

圖4 改進(jìn)CStrack關(guān)聯(lián)策略的多目標(biāo)跟蹤算法框架Fig.4 Framework of multi-object tracking algorithm with improved CStrack association strategy

2.1 外觀特征更新模塊

隨著目標(biāo)的移動(dòng),目標(biāo)的特征會(huì)發(fā)生變化,不利于外觀特征的學(xué)習(xí),影響后續(xù)的匹配。為了增強(qiáng)目標(biāo)特征間的關(guān)聯(lián),使用外觀特征更新模塊來學(xué)習(xí)相鄰幀之間的外觀特征,AFU模塊利用時(shí)序相關(guān)性對(duì)先前幀與當(dāng)前幀的特征進(jìn)行關(guān)聯(lián),自適應(yīng)地更新目標(biāo)外觀特征。AFU框架如圖5所示。

圖5 AFU框架Fig.5 AFU framework

AFU首先提取It-1幀中的Re-ID特征Ht-1,為了簡化計(jì)算,假設(shè)對(duì)應(yīng)像素點(diǎn)的位移存在于固定的范圍內(nèi),在計(jì)算相關(guān)聯(lián)信息時(shí),維持一個(gè)固定大小d的搜索窗,并將特征Ht-1從128維壓縮到16維,用于特征更新;然后,通過互相關(guān)層[13](Correlation Layer)對(duì)It-1幀的特征Ht-1與It幀的特征Ht做關(guān)聯(lián)計(jì)算,得到互相關(guān)注意力權(quán)重,引導(dǎo)網(wǎng)絡(luò)在當(dāng)前幀中的注意力;最后,將互相關(guān)注意力權(quán)重與壓縮后的It-1幀特征圖相乘,得到It-1幀的相關(guān)注意力特征圖,再與Ht拼接,卷積后完成特征更新。

互相關(guān)層的計(jì)算如式(1)所示,其中,H1、H2分別代表2個(gè)特征圖,[d,-d]是要比較的區(qū)域,x1、x2代表特征圖上需要對(duì)比的點(diǎn),即以x+o為中心的patch之間的比較?；ハ嚓P(guān)運(yùn)算的本質(zhì)是通過前后2幀的特征圖相互卷積,來引導(dǎo)網(wǎng)絡(luò)關(guān)注2幀之間特征最相似的部分,保證外觀特征的魯棒性。

(1)

2.2 二次關(guān)聯(lián)跟蹤方法

CStrack算法在進(jìn)行數(shù)據(jù)關(guān)聯(lián)時(shí),通過位置、運(yùn)動(dòng)和外觀等信息與檢測(cè)框關(guān)聯(lián)得到跟蹤軌跡。由于檢測(cè)算法得到的檢測(cè)結(jié)果存在誤差,為了處理正負(fù)樣本,通常會(huì)設(shè)置一個(gè)閾值,保留置信度高于閾值的檢測(cè)結(jié)果,進(jìn)行下一步關(guān)聯(lián),低于閾值的直接舍棄[14]。

低分的檢測(cè)框往往也表示存在物體,因此上述方法明顯存在弊端,比如,當(dāng)目標(biāo)被遮擋嚴(yán)重時(shí),置信度也會(huì)降低,簡單的通過閾值判斷可能會(huì)帶來漏檢和軌跡中斷結(jié)果,降低了跟蹤性能。二次關(guān)聯(lián)算法首先將高分檢測(cè)框和低分檢測(cè)框分開處理,利用低分檢測(cè)框和跟蹤軌跡之間的相似性,從低分框中挖掘出目標(biāo),過濾掉背景。二次關(guān)聯(lián)跟蹤方法流程如圖6所示。

根據(jù)檢測(cè)框置信度,將檢測(cè)框分為高分框和低分框,置信度得分高于τhigh的劃為高分框,低于τhigh高于τlow的劃為低分框。高分檢測(cè)代表物體的特征顯著、運(yùn)動(dòng)狀態(tài)規(guī)律,因此,第一次匹配使用IoU距離和外觀特征進(jìn)行相似度計(jì)算,然后使用匈牙利算法完成高分框和跟蹤軌跡的匹配;低分檢測(cè)意味目標(biāo)狀態(tài)復(fù)雜,可能出現(xiàn)運(yùn)動(dòng)特征和外觀特征度量失效的情況,因此,第二次使用擴(kuò)展IoU將低分框和第一次沒有匹配上高分框的跟蹤軌跡進(jìn)行匹配;對(duì)于未匹配上現(xiàn)有跟蹤軌跡、得分又較高的檢測(cè)框,新建立一個(gè)跟蹤軌跡,達(dá)到過濾負(fù)樣本背景,同時(shí)恢復(fù)被遮擋的目標(biāo)的目的。對(duì)于2次都未匹配上檢測(cè)框的軌跡,保留30幀,若期間沒有匹配到檢測(cè)框則將其刪除。

2.3 IoU-Re-ID融合機(jī)制

在進(jìn)行第一次數(shù)據(jù)關(guān)聯(lián)時(shí),CStrack將運(yùn)動(dòng)特征和外觀特征結(jié)合作為代價(jià)矩陣,即對(duì)馬氏距離和余弦距離的加權(quán)。為了獲得更高準(zhǔn)確率的關(guān)聯(lián),改用IoU距離結(jié)合外觀距離的方式來作為代價(jià)矩陣。

刪除余弦相似度低和IoU距離較遠(yuǎn)的候選框。使用2個(gè)矩陣中值最小的作為代價(jià)矩陣C的最終值。IoU-Re-ID融合機(jī)制計(jì)算如下:

(2)

(3)

以IoU-Re-ID融合機(jī)制作為匈牙利匹配的代價(jià)矩陣,實(shí)現(xiàn)高置信度檢測(cè)的線性分配。

2.4 擴(kuò)展IoU關(guān)聯(lián)

在第二次匹配時(shí),對(duì)檢測(cè)效果較差的低分框進(jìn)行處理,造成其檢測(cè)效果差的原因往往包含如遮擋、光暗變化、尺度變化和外觀模糊等情況,意味著外觀特征受到較大影響,外觀可區(qū)分度低,通過外觀匹配的魯棒性將大大降低。此外,在跟蹤過程中,目標(biāo)運(yùn)動(dòng)過快等不規(guī)則運(yùn)動(dòng)致使在相鄰幀之間位置沒有重疊,也會(huì)導(dǎo)致目標(biāo)運(yùn)動(dòng)特征度量失效。如果對(duì)目標(biāo)的運(yùn)動(dòng)估計(jì)不準(zhǔn)確,在后續(xù)幀中對(duì)未匹配軌跡繼續(xù)匹配時(shí),即使有相應(yīng)的檢測(cè)結(jié)果,依舊會(huì)錯(cuò)過匹配。針對(duì)以上問題,在第二次匹配時(shí)使用擴(kuò)展IoU進(jìn)行匹配。

復(fù)雜環(huán)境下目標(biāo)運(yùn)動(dòng)不規(guī)律時(shí),相鄰幀中目標(biāo)沒有位置重疊,IoU值為0,因此通過IoU度量失效,IoU計(jì)算如式(4)所示。擴(kuò)展IoU彌補(bǔ)了這一缺點(diǎn),擴(kuò)展IoU關(guān)聯(lián)通過增加IoU的面積來增加檢測(cè)和軌跡的匹配范圍,以直接匹配相鄰幀中同一目標(biāo)不重疊的檢測(cè)和軌跡,補(bǔ)償匹配空間中的運(yùn)動(dòng)估計(jì)偏差,緩解了不規(guī)則運(yùn)動(dòng)對(duì)跟蹤的影響,對(duì)快速運(yùn)動(dòng)和運(yùn)動(dòng)估計(jì)偏差具有魯棒性、減少對(duì)目標(biāo)外觀特征的依賴。IoU與擴(kuò)展IoU計(jì)算示意如圖7所示。

(4)

圖7 IoU與擴(kuò)展IoU計(jì)算示意Fig.7 Illustration of IoU and extended IoU calculation

擴(kuò)展IoU保留與原始檢測(cè)軌跡的位置坐標(biāo)、比例,但擴(kuò)展匹配空間來進(jìn)行匹配,假設(shè)目標(biāo)框坐標(biāo)為o=(x,y,w,h),其中(x,y)為目標(biāo)框左上角坐標(biāo),(w,h)為目標(biāo)框?qū)挾群透叨?令擴(kuò)展尺度為b,則擴(kuò)展后的目標(biāo)框?yàn)?x-bw,y-bh,w+2bw,h+2bh)。

2.5 GSI

為了填補(bǔ)由于缺失檢測(cè)造成的軌跡空白,插值算法被廣泛使用,傳統(tǒng)的線性插值(Linear Interpolation, LI)計(jì)算簡單,但由于未使用運(yùn)動(dòng)信息,LI的精度和魯棒性不高,因此GSI采用高斯過程回歸來模擬非線性運(yùn)動(dòng)。假設(shè)目標(biāo)的運(yùn)動(dòng)服從高斯過程,且每個(gè)已知的目標(biāo)位置均存在觀測(cè)噪聲[15],則第i個(gè)軌跡的GSI模型描述如下:

pt=f(i)(t)+ε,

(5)

P*=K(F*,F)(K(F,F))-1P,

(6)

λ=τ*lb(τ3/L)。

(7)

2種插值方法的對(duì)比示意如圖8所示,綠色曲線為軌跡的真實(shí)值,原始跟蹤結(jié)果包含噪聲抖動(dòng)。可以看出,相較于LI方法,GSI方法更平滑,更貼近原始軌跡。

圖8 LI插值與GSI插值對(duì)比示意Fig.8 Illustration of LI interpolation compared with GSI interpolation

3 實(shí)驗(yàn)對(duì)比與分析

3.1 實(shí)驗(yàn)準(zhǔn)備

實(shí)驗(yàn)計(jì)算機(jī)硬件配置Intel Xeon W-2245 CPU@3.90 GHz,NVIDIA RTX3080,顯存10 GB;使用CUDA 11.2和cuDNN 8.1.0.77進(jìn)行GPU加速。YOLOv5使用CStrack開源的在CrowdHuman數(shù)據(jù)集上的預(yù)訓(xùn)練權(quán)重,在MOT17、MOT20訓(xùn)練集上進(jìn)行訓(xùn)練。學(xué)習(xí)率設(shè)置為5×10-4,batch size大小為10,共訓(xùn)練50個(gè)epoch。

3.2 評(píng)價(jià)指標(biāo)

采用MOT Challenge Benchmark的評(píng)價(jià)指標(biāo)對(duì)算法性能進(jìn)行評(píng)估,評(píng)價(jià)指標(biāo)如下:

多目標(biāo)跟蹤準(zhǔn)確率(Multiple Object Tracking Accuracy, MOTA):反映確定目標(biāo)數(shù)量和相關(guān)屬性關(guān)聯(lián)的準(zhǔn)確性,側(cè)重于檢測(cè)和保持軌跡的性能。

識(shí)別F1值(Identification F1 Score, IDF1):正確識(shí)別的檢測(cè)和計(jì)算的檢測(cè)數(shù)的比值,計(jì)算準(zhǔn)確率和召回率之間的平衡性,用來衡量ID匹配的一致性。

高階跟蹤精度(Higher Order Tracking Accuracy, HOTA):檢測(cè)精度和關(guān)聯(lián)精度的幾何平均值。將檢測(cè)效果和關(guān)聯(lián)效果平衡到單個(gè)統(tǒng)一度量中。此外,在預(yù)測(cè)框和真實(shí)框之間以多個(gè)不同的檢測(cè)相似值(0.05～0.95,間隔0.05)進(jìn)行評(píng)估,而不是像MOTA和IDF1那樣設(shè)置單一值,更好地考慮定位精度。

關(guān)聯(lián)精度(Association Accuracy, AssA):多目標(biāo)跟蹤關(guān)聯(lián)匹配的準(zhǔn)確率。

檢測(cè)精度(Detection Accuracy, DetA):多目標(biāo)跟蹤中檢測(cè)器的準(zhǔn)確率。

ID切換(Identity Switches, IDs):目標(biāo)ID發(fā)生改變的總數(shù)。

FPS:測(cè)量整個(gè)系統(tǒng)的幀速率。

3.3 消融實(shí)驗(yàn)

為驗(yàn)證改進(jìn)點(diǎn)的有效性,在MOT16測(cè)試集上進(jìn)行消融實(shí)驗(yàn)。消融實(shí)驗(yàn)結(jié)果如表1所示。

由表1可以看出,AFU模塊增強(qiáng)了Re-ID特征的關(guān)聯(lián),能有效適應(yīng)行人目標(biāo)外觀變化,提高了外觀度量的魯棒性,MOTA、IDF1和HOTA均較明顯提高。二次關(guān)聯(lián)算法通過改變不合理的關(guān)聯(lián)策略,盡可能地關(guān)聯(lián)檢測(cè)框,改善了跟蹤性能;針對(duì)高低分框的特點(diǎn),二次關(guān)聯(lián)設(shè)置不同的代價(jià)矩陣,提高跟蹤效果;隨著關(guān)聯(lián)算法性能的提升,錯(cuò)誤關(guān)聯(lián)減少的同時(shí)也減少了對(duì)GSI的誤導(dǎo),GSI可以獲得較好的收益。與原算法相比,改進(jìn)的CStrack關(guān)聯(lián)策略算法的MOTA提升3.84%、IDF1提升3.67%、HOTA提升1.91%,IDs有顯著減少。

為驗(yàn)證所提二次關(guān)聯(lián)跟蹤算法的有效性,將當(dāng)下主流的跟蹤器與CStrack檢測(cè)部分結(jié)合,在MOT16測(cè)試集上進(jìn)行對(duì)比實(shí)驗(yàn),不同跟蹤器對(duì)比實(shí)驗(yàn)結(jié)果如表2所示。

表2 不同跟蹤器對(duì)比實(shí)驗(yàn)

由表2可以看出,與其他跟蹤器相比,二次關(guān)聯(lián)跟蹤算法取得了較優(yōu)的跟蹤結(jié)果。MOT16數(shù)據(jù)集中包含了較多復(fù)雜運(yùn)動(dòng)和外觀模糊的目標(biāo),Sort和IoUTracker算法只利用運(yùn)動(dòng)特征度量,計(jì)算簡單,但對(duì)復(fù)雜環(huán)境和復(fù)雜運(yùn)動(dòng)狀態(tài)的魯棒性較差,容易度量失效,且過分依賴檢測(cè)結(jié)果。BYTEtrack算法優(yōu)化了對(duì)低分檢測(cè)框信息的利用問題,但沒有針對(duì)高低分檢測(cè)框的特性,改變度量方式。通過上述比較,證明了基于二次關(guān)聯(lián)跟蹤算法的有效性。

3.4 MOT17、MOT20實(shí)驗(yàn)對(duì)比分析

在MOT17、MOT20數(shù)據(jù)集提供的共11個(gè)序列上進(jìn)行測(cè)試,并與其他算法進(jìn)行對(duì)比?；诟倪M(jìn)CStrack關(guān)聯(lián)策略的多目標(biāo)跟蹤算法在MOT17測(cè)試集上的可視化結(jié)果如圖9所示。

圖9選取了較有代表性的3個(gè)序列,第一行為MOT17-03序列,該序列為俯拍視角,行人數(shù)量較多,且左上角行人密集,遮擋的情況較多;第二行為MOT17-08序列,特點(diǎn)為固定攝像頭、低視角拍攝,行人尺度變化較大;第三行為MOT17-12序列,該序列為移動(dòng)拍攝,且伴有抖動(dòng),加劇了行人位置變化程度,在預(yù)測(cè)過程中容易造成偏移。可以看出,基于改進(jìn)CStrack關(guān)聯(lián)策略的跟蹤算法具有優(yōu)異的跟蹤效果。

不同算法在MOT17測(cè)試集上指標(biāo)對(duì)比如表3所示,在MOT17測(cè)試集上進(jìn)行測(cè)試,相較于原始CStrack算法,基于改進(jìn)CStrack關(guān)聯(lián)策略的跟蹤算法在MOTA上提升3.3%,HOTA提升1.3%,IDF1提升1.7%;同時(shí)由于GSI彌補(bǔ)了漏檢的空白,IDs的數(shù)量有明顯下降。與其他先進(jìn)算法進(jìn)行比較,所提算法在各項(xiàng)指標(biāo)上都有一定程度提高,這是因?yàn)楦倪M(jìn)了跟蹤器,獲得了更準(zhǔn)確的關(guān)聯(lián)。與FairMOT相比,基于改進(jìn)CStrack關(guān)聯(lián)策略的跟蹤算法在HOTA、DetA和實(shí)時(shí)性上略低于FairMOT。FairMOT使用基于Anchor-free的CenterNet進(jìn)行檢測(cè),相較于CStrack所使用的YOLOv5檢測(cè),基于Anchor-free的檢測(cè)方法對(duì)Re-ID更友好,處理速度更快,在特征提取上具有優(yōu)勢(shì),能夠兼顧準(zhǔn)確率和實(shí)時(shí)性,但FairMOT使用的仍是傳統(tǒng)MOT的關(guān)聯(lián)策略,故在MOTA、IDF1等指標(biāo)上低于基于改進(jìn)CStrack關(guān)聯(lián)策略的跟蹤算法。

基于改進(jìn)CStrack關(guān)聯(lián)策略的多目標(biāo)跟蹤算法在MOT20測(cè)試集上的可視化結(jié)果圖10所示,圖10(a)、圖10(b)二組第一行為CStrack跟蹤結(jié)果,第二行為改進(jìn)CStrack關(guān)聯(lián)策略的跟蹤算法結(jié)果。圖10(a)圖片為MOT20-07序列中第117、123、125幀?？梢钥闯鲈诎l(fā)生嚴(yán)重遮擋時(shí),2個(gè)算法都發(fā)生了跟蹤丟失,但在目標(biāo)重新出現(xiàn)時(shí),改進(jìn)CStrack仍可以維持之前的ID,而CStrack發(fā)生了ID切換。圖10(b)圖片為MOT20-08序列中第568、711、769幀。第568幀中2個(gè)算法都可以準(zhǔn)確地實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤,但隨著目標(biāo)被遮擋嚴(yán)重,在第711幀時(shí),CStrack算法跟蹤丟失,雖然在769幀時(shí)重新跟蹤到目標(biāo),但發(fā)生了ID切換;改進(jìn)CStrack算法實(shí)現(xiàn)了對(duì)目標(biāo)長時(shí)間的有效跟蹤。以上對(duì)比證明了基于改進(jìn)CStrack關(guān)聯(lián)策略的跟蹤算法具有較好的魯棒性,能夠適應(yīng)目標(biāo)密集、目標(biāo)遮擋等復(fù)雜情況。

圖10 MOT20測(cè)試集可視化對(duì)比Fig.10 Visual comparison of MOT20 test set

MOT20測(cè)試集結(jié)果對(duì)比如表4所示,MOT20中包含更擁擠的場景,高遮擋意味著漏檢和關(guān)聯(lián)缺失的情況更多?；诟倪M(jìn)CStrack關(guān)聯(lián)策略的多目標(biāo)跟蹤算法在MOTA、HOTA、IDF1上分別提高4.1%、2%、2.2%。其中DetA略低于TransCenter,TransCenter使用基于Transformer架構(gòu)的Deformable DETR作為檢測(cè)器,雖然擁有較高的檢測(cè)精度,但模型參數(shù)量大,實(shí)時(shí)性差;LMOT_Tracker使用輕量的DLA-34骨干網(wǎng),并將檢測(cè)和跟蹤特征圖融合,在IDs和FPS上有一定優(yōu)勢(shì),但犧牲了跟蹤精度,在MOTA等指標(biāo)中低于改進(jìn)CStrack關(guān)聯(lián)策略的跟蹤算法。

表4 不同算法在MOT20測(cè)試集上指標(biāo)對(duì)比

基于改進(jìn)CStrack關(guān)聯(lián)策略的多目標(biāo)跟蹤算法在MOTA上有較好的表現(xiàn),是由于二次關(guān)聯(lián)跟蹤算法改進(jìn)了關(guān)聯(lián)策略,減少了缺失檢測(cè),在復(fù)雜場景下依舊能保持軌跡,獲得高質(zhì)量的關(guān)聯(lián)。但算法在HOTA、IDF1上略低于其他算法,說明在特征提取及Re-ID部分仍有欠缺。對(duì)于檢測(cè)器而言,如何解決檢測(cè)任務(wù)和重識(shí)別任務(wù)之間的競爭、提取表征能力更強(qiáng)的特征,是未來研究的重點(diǎn);針對(duì)跟蹤器,目前多目標(biāo)跟蹤都依賴卡爾曼濾波器的估計(jì)值,而簡單的線性卡爾曼濾波器魯棒性較差,如何減少復(fù)雜環(huán)境對(duì)估計(jì)值的影響,以及如何提高推理速度與效率仍是要考慮的問題。

4 結(jié)束語

針對(duì)目標(biāo)外觀變化明顯、運(yùn)動(dòng)不規(guī)律情況下多目標(biāo)跟蹤算法魯棒性差的問題,提出基于改進(jìn)CStrack關(guān)聯(lián)策略的多目標(biāo)跟蹤算法。使用AFU模塊,增強(qiáng)前后幀之間的特征關(guān)聯(lián),自適應(yīng)的更新Re-ID特征;提出二次關(guān)聯(lián)跟蹤算法,分開處理高置信度與低置信度的檢測(cè)結(jié)果,分別利用IoU距離結(jié)合Re-ID特征、擴(kuò)展IoU匹配進(jìn)行關(guān)聯(lián),提高匹配質(zhì)量,完善匹配策略;使用GSI關(guān)聯(lián)軌跡、補(bǔ)償漏檢,進(jìn)一步提升跟蹤效果。在MOT17、MOT20數(shù)據(jù)上測(cè)試,基于改進(jìn)CStrack關(guān)聯(lián)策略的多目標(biāo)跟蹤算法MOTA分別達(dá)到73.9%、64.2%,HOTA分別達(dá)到58.7%、48.3%。

綜上所述,基于改進(jìn)CStrack關(guān)聯(lián)策略的多目標(biāo)跟蹤算法在復(fù)雜場景中取得了較好的效果,能夠有效處理目標(biāo)被遮擋問題,提高了跟蹤的準(zhǔn)確度和魯棒性。未來,對(duì)于多目標(biāo)跟蹤的研究仍需在目標(biāo)檢測(cè)階段減少漏檢、誤檢;在數(shù)據(jù)關(guān)聯(lián)上,通過改善關(guān)聯(lián)機(jī)制,獲得更準(zhǔn)確的關(guān)聯(lián),提高跟蹤精度。