基于激光雷達(dá)的無人駕駛3D 多目標(biāo)跟蹤

熊珍凱 程曉強(qiáng) 吳幼冬 左志強(qiáng) 劉家勝

多目標(biāo)跟蹤 (Multi-object tracking,MOT)技術(shù)是自動(dòng)駕駛感知系統(tǒng)的重要組成部分.一方面,無人駕駛汽車的行駛過程是在時(shí)空下的連續(xù)運(yùn)動(dòng),無人駕駛的規(guī)劃與決策過程大多是基于連續(xù)時(shí)間序列完成的,因此除了目標(biāo)的位置信息以外,目標(biāo)的速度、角速度、加速度等時(shí)間關(guān)聯(lián)特征也同樣重要.另一方面,由于目標(biāo)檢測本身依據(jù)單幀圖像或點(diǎn)云數(shù)據(jù)完成[1],缺乏目標(biāo)在時(shí)空運(yùn)動(dòng)中的上下文信息,因此當(dāng)光照變化、目標(biāo)遮擋等情況發(fā)生時(shí),往往容易出現(xiàn)目標(biāo)丟失,這對(duì)于決策器和規(guī)劃器的穩(wěn)定運(yùn)行會(huì)產(chǎn)生不利影響.因此,實(shí)現(xiàn)可靠的多目標(biāo)跟蹤意義重大.多目標(biāo)跟蹤任務(wù)可以定義為當(dāng)傳感器獲得一段時(shí)間內(nèi)的目標(biāo)數(shù)據(jù)序列后 (如一系列RGB圖像或3D 點(diǎn)云),實(shí)現(xiàn)不同時(shí)刻數(shù)據(jù)幀下同一目標(biāo)的正確匹配.多目標(biāo)跟蹤問題需要解決以下問題:1)對(duì)不同數(shù)據(jù)幀中的同一目標(biāo),分配唯一的ID 標(biāo)號(hào),并維持該標(biāo)號(hào)不變;2)對(duì)于新出現(xiàn)的目標(biāo),分配新的ID 標(biāo)號(hào),并進(jìn)行持續(xù)跟蹤;3)對(duì)已經(jīng)從傳感器數(shù)據(jù)中消失的目標(biāo),應(yīng)及時(shí)剔除,避免不利影響.

目前多目標(biāo)跟蹤的方法主要可以分為兩類,分別是端到端 (End to end)方法和基于檢測的跟蹤(Tracking by detection)方法.前者將目標(biāo)檢測與跟蹤視為一個(gè)統(tǒng)一的過程,輸入單幀圖像或點(diǎn)云數(shù)據(jù),直接輸出帶有唯一ID 標(biāo)號(hào)的目標(biāo)檢測框信息;后者則將檢測與跟蹤視為遞進(jìn)過程,首先使用目標(biāo)檢測網(wǎng)絡(luò)如Complex-YOLO[2],PointRCNN[3]獲得檢測框位置,然后再使用目標(biāo)在多幀數(shù)據(jù)中的時(shí)空聯(lián)系性進(jìn)行關(guān)聯(lián),獲得跟蹤結(jié)果.代表方法包括SORT(Simple online and real time tracking)[4]、Deep-SORT (SORT with a deep association metric)[5]和AB3DMOT (A baseline for 3D multi-object tracking)[6].其中AB3DMOT 將2D 多目標(biāo)跟蹤問題擴(kuò)展到3D 多目標(biāo)跟蹤任務(wù),提出了一種簡潔高效的實(shí)時(shí)多目標(biāo)跟蹤框架,并在KITTI 數(shù)據(jù)集上驗(yàn)證了出色效果,實(shí)時(shí)性達(dá)到了200 幀/s,是3D 多目標(biāo)跟蹤領(lǐng)域的經(jīng)典之作.

本文在分析AB3DMOT 跟蹤算法的基礎(chǔ)上,針對(duì)原算法中的以下兩點(diǎn)問題進(jìn)行了研究:1)目標(biāo)關(guān)聯(lián)度計(jì)算在基于檢測的跟蹤方法中起到了突出作用,原AB3DMOT 算法使用傳統(tǒng)的交并比 (Intersection over union,IoU)作為度量指標(biāo),因此存在當(dāng)兩個(gè)檢測框不相交時(shí)IoU=0 的問題[7-8],造成匹配失敗;2)目前的MOT 算法中大多都會(huì)用到生存周期 (Birth and death memory,BDM)策略,用于降低漏檢率、獲得更好的跟蹤效果,但多采用固定生存周期,對(duì)所有目標(biāo)進(jìn)行無差別處理,并未考慮檢測結(jié)果本身置信度對(duì)跟蹤的影響.針對(duì)上述問題,本文提出了一種基于邊界交并比 (Border intersection over union,BIoU)度量的自適應(yīng)多目標(biāo)跟蹤算法,主要?jiǎng)?chuàng)新點(diǎn)包括:

1)提出了BIoU 度量方法用于計(jì)算檢測結(jié)果的關(guān)聯(lián)性矩陣,相比于單一使用歐氏距離或傳統(tǒng)IoU度量的方法,BIoU 可以有效解決無交集和奇點(diǎn)問題,獲得更可靠的多目標(biāo)跟蹤結(jié)果;

2)提出了一種自適應(yīng)的生存周期管理策略,將檢測結(jié)果本身的置信度與生存周期關(guān)聯(lián)起來,可以有效避免由于遮擋導(dǎo)致的跟蹤失敗和由于誤檢導(dǎo)致的錯(cuò)誤跟蹤的情況.

基于KITTI 多目標(biāo)跟蹤數(shù)據(jù)集[9]進(jìn)行的實(shí)驗(yàn)表明,本文提出的基于BIoU 和自適應(yīng)生存周期管理的多目標(biāo)跟蹤算法,相比于原算法可以有效地提高跟蹤的準(zhǔn)確性和魯棒性.

1 研究現(xiàn)狀

1.1 2D/3D 多目標(biāo)跟蹤任務(wù)

多目標(biāo)跟蹤問題按照跟蹤目標(biāo)的狀態(tài)種類可以分為2D 多目標(biāo)跟蹤和3D 多目標(biāo)跟蹤.其中2D 多目標(biāo)跟蹤主要用于圖像領(lǐng)域的目標(biāo)跟蹤任務(wù),如安防監(jiān)控、軍事偵察、自然觀測等領(lǐng)域[10].DeepSORT[5]算法引入馬氏距離度量和級(jí)聯(lián)匹配用于提高跟蹤精度.Leal-Taixé 等[11]介紹了一種兩階段深度學(xué)習(xí)跟蹤算法:使用局部時(shí)空編碼聚合像素和光流信息,通過梯度增強(qiáng)分類器將圖像上下文特征與CNN 輸出相結(jié)合.孟琭等[12]詳細(xì)說明了光流法、相關(guān)濾波法和深度學(xué)習(xí)方法在目標(biāo)跟蹤領(lǐng)域的應(yīng)用效果.與2D 多目標(biāo)跟蹤相比,基于點(diǎn)云數(shù)據(jù)的3D 多目標(biāo)跟蹤具有較為準(zhǔn)確的深度估計(jì),此類方法大多基于運(yùn)動(dòng)學(xué)模型.Azim 等[13]利用卡爾曼濾波器對(duì)獲得的相鄰兩幀激光點(diǎn)云基于八叉樹的占據(jù)柵格地圖分析其不一致信息,從而檢測動(dòng)態(tài)物體;再使用全局最近鄰的方法進(jìn)行數(shù)據(jù)關(guān)聯(lián);最后基于卡爾曼濾波跟蹤動(dòng)態(tài)物體的中心點(diǎn).Song 等[14]采用一種多任務(wù)的稀疏學(xué)習(xí)算法來選取最佳的候補(bǔ)對(duì)象,提高了復(fù)雜環(huán)境下的跟蹤效果.為了驗(yàn)證有效的深度估計(jì)對(duì)目標(biāo)跟蹤性能的影響,Sharma 等[15]使用基于3D點(diǎn)云校準(zhǔn)的2D 圖像進(jìn)行目標(biāo)跟蹤,考慮了三維空間信息,有效緩解了基于RGB 圖像中的深度估計(jì)不準(zhǔn)確和遮擋問題,實(shí)現(xiàn)了較好的跟蹤效果.2020 年,Weng 等[6]將2D 跟蹤算法SORT 的思想遷移到3D 點(diǎn)云中,提出AB3DMOT 算法,無需GPU 訓(xùn)練即可實(shí)現(xiàn)優(yōu)秀的跟蹤性能.

1.2 關(guān)聯(lián)度量

目標(biāo)匹配是多目標(biāo)跟蹤中的重要環(huán)節(jié),有效度量預(yù)測目標(biāo)與檢測目標(biāo)之間的關(guān)聯(lián)性,是獲得可靠匹配結(jié)果的關(guān)鍵.常用的匹配方法包括基于外觀顯著性特征的匹配方法[16-17]和基于空間位置相關(guān)性的匹配方法[18-19].與2D 圖像相比,3D 點(diǎn)云數(shù)據(jù)更為稀疏,外觀特征不明顯,因此更常采用空間位置的相關(guān)性進(jìn)行匹配.IoU 和目標(biāo)間距離是常用的兩種度量方法.SORT[4]和AB3DMOT[6]算法中均使用預(yù)測框與檢測框的IoU 值作為關(guān)聯(lián)度量,再利用匈牙利算法進(jìn)行匹配.使用原始IoU 進(jìn)行關(guān)聯(lián)度量存在兩個(gè)問題:1)當(dāng)預(yù)測框與檢測框無交集時(shí)IoU=0,此時(shí)無法獲得有效的度量信息;2)多個(gè)預(yù)測框可能與檢測框具有相同的IoU 值,如圖1(a)中的情況.另一種方法是使用目標(biāo)間距離作為度量指標(biāo),如預(yù)測框與檢測框中心點(diǎn)之間的歐氏距離[19].但使用距離度量同樣存在不同的預(yù)測框與目標(biāo)框的距離相同的情況.如圖1(b),雖然藍(lán)色和紅色表示的兩個(gè)預(yù)測框差異很大,但它們與檢測框中心的歐氏距離是相同的.近年來,使用深度網(wǎng)絡(luò)來學(xué)習(xí)目標(biāo)關(guān)聯(lián)性特征的方法也得到了諸多研究,如Wu 等[18]將Point-RCNN 檢測器得到的特征也作為關(guān)聯(lián)度量的要素加入度量過程,從而獲得更可靠的度量結(jié)果.

圖1 IoU 度量和歐氏距離度量失效情況Fig.1 Invalid cases about IoU metrics and Euclidean distance metrics

1.3 生存周期管理

在現(xiàn)有的多目標(biāo)跟蹤算法中,會(huì)使用生存周期管理策略[5-6,18].一方面,當(dāng)出現(xiàn)因?yàn)檎趽踉斐傻哪繕?biāo)丟失情況時(shí),生存周期管理策略可以保證在一段時(shí)間內(nèi)仍然可以持續(xù)跟蹤目標(biāo)而不會(huì)立刻丟失;另一方面,當(dāng)出現(xiàn)誤檢情況時(shí),由于生存周期管理策略要求目標(biāo)連續(xù)檢測多幀,所以可以有效過濾掉單幀誤檢的目標(biāo).目前通常使用的是固定周期的管理策略,即對(duì)所有目標(biāo)進(jìn)行相同時(shí)長跟蹤用于確定目標(biāo)或刪除目標(biāo).而在實(shí)際應(yīng)用中,考慮到目標(biāo)檢測單元會(huì)輸出檢測框的置信度,用于表征檢測結(jié)果的可靠性,因此,可以根據(jù)置信度對(duì)不同目標(biāo)進(jìn)行自適應(yīng)生存周期管理,即:對(duì)置信度較高的目標(biāo)可以保持更長時(shí)間以解決遮擋造成的目標(biāo)漏檢;對(duì)置信度較低的目標(biāo)在發(fā)生誤檢后應(yīng)盡快刪除.

2 基于BIoU 的3D 多目標(biāo)跟蹤

2.1 問題描述

多目標(biāo)跟蹤的主要任務(wù)是在給定一個(gè)圖像序列的前提下,找到圖像序列中待檢測目標(biāo),并將不同幀中檢測到的目標(biāo)進(jìn)行關(guān)聯(lián),得到目標(biāo)的運(yùn)動(dòng)信息,給每一個(gè)運(yùn)動(dòng)目標(biāo)一個(gè)固定準(zhǔn)確的ID 標(biāo)號(hào).對(duì)于3D目標(biāo)檢測,一方面其天然克服了基于RGB 圖像中的2D 目標(biāo)檢測的遮擋與目標(biāo)位置估計(jì)不準(zhǔn)確的問題,使得基于運(yùn)動(dòng)估計(jì)的在線跟蹤算法易于應(yīng)用;另一方面,對(duì)于3D 目標(biāo)檢測的點(diǎn)云數(shù)據(jù)而言,缺乏類似RGB 圖像那樣豐富的語義特征,導(dǎo)致難以使用特征描述的方式進(jìn)行跟蹤.因此,AB3DMOT[6]算法僅使用簡單樸素的跟蹤策略就實(shí)現(xiàn)了高效實(shí)時(shí)的目標(biāo)跟蹤效果.但是,該方法在匈牙利匹配環(huán)節(jié)中使用原始的3D IoU 作為成本度量,而無人駕駛汽車的多目標(biāo)跟蹤本質(zhì)仍然是一種近似的2D 平面運(yùn)動(dòng),其在z軸方向上變化較小,導(dǎo)致目標(biāo)檢測在z軸方向上的估計(jì)將對(duì)跟蹤性能產(chǎn)生較大影響,同時(shí)由于IoU 度量的局限性,本文提出BIoU 作為一種新的成本度量融入到匈牙利匹配之中.目標(biāo)的生存周期管理是目標(biāo)跟蹤的重要環(huán)節(jié),生存周期設(shè)置過短在目標(biāo)檢測不穩(wěn)定時(shí)會(huì)造成較為頻繁的ID 切換,生存周期過長容易增加錯(cuò)誤跟蹤和目標(biāo)誤檢.因此,通過對(duì)跟蹤軌跡的置信度打分,本文設(shè)計(jì)了自適應(yīng)的生存周期管理機(jī)制,動(dòng)態(tài)地調(diào)整目標(biāo)的生存周期減少了ID 切換和目標(biāo)誤檢,實(shí)現(xiàn)了較好的跟蹤性能.

如圖2 所示,本文所提出的3D 多目標(biāo)跟蹤的整體流程可以分為以下幾個(gè)部分:

圖2 基于BIoU 和自適應(yīng)生存周期的3D 多目標(biāo)跟蹤Fig.2 3D multi-object tracking based on BIoU and adaptive birth and death memory

1)使用3D 檢測器獲得目標(biāo)檢測框;

2)使用3D 卡爾曼濾波器獲得上一幀的目標(biāo)預(yù)測框;

3)基于BIoU 計(jì)算檢測框與預(yù)測框的關(guān)聯(lián)度,使用匈牙利匹配算法獲得最優(yōu)匹配結(jié)果;

4)使用3D 卡爾曼濾波對(duì)所有匹配目標(biāo)進(jìn)行狀態(tài)更新;

5)對(duì)未匹配成功的目標(biāo)進(jìn)行生存周期管理;6)輸出具有唯一ID 標(biāo)號(hào)的目標(biāo)邊框.

2.2 卡爾曼濾波

卡爾曼濾波[20]是目前狀態(tài)估計(jì)應(yīng)用最為廣泛的估計(jì)優(yōu)化算法,它能夠根據(jù)過去的信號(hào)信息,利用統(tǒng)計(jì)計(jì)算的原理,優(yōu)化最小均方誤差,從而預(yù)測出未來的狀態(tài)量.卡爾曼濾波是對(duì)時(shí)間參數(shù)估計(jì)的最小二乘逼近,能夠建立起狀態(tài)變量隨時(shí)間變化的方程,從而估計(jì)出今后某個(gè)時(shí)刻的狀態(tài).

卡爾曼濾波算法的核心包括如下幾個(gè)方程:

1)描述預(yù)測過程中,系統(tǒng)的狀態(tài)向量預(yù)測方程

其中,A為狀態(tài)轉(zhuǎn)移矩陣,B為控制輸入矩陣,Uk表示k時(shí)刻的控制輸入向量,表示k時(shí)刻狀態(tài)的預(yù)測值,Xk-1表示k-1 時(shí)刻的狀態(tài)輸出值,Wk-1為k-1 時(shí)刻的狀態(tài)轉(zhuǎn)移過程中的隨機(jī)干擾噪聲,表現(xiàn)為均值為零的高斯白噪聲.

2)描述先驗(yàn)估計(jì)協(xié)方差矩陣的更新過程

其中,Q為狀態(tài)轉(zhuǎn)移過程噪聲Wk的協(xié)方差矩陣,為k時(shí)刻的先驗(yàn)估計(jì)協(xié)方差矩陣的預(yù)測值.

3)描述觀測模型中由系統(tǒng)觀測值得到系統(tǒng)觀測向量的過程

其中,H為狀態(tài)觀測矩陣,Zk為k時(shí)刻狀態(tài)變量的觀測值,Vk為狀態(tài)觀測過程中的隨機(jī)干擾噪聲向量,表現(xiàn)為均值為零的高斯白噪聲.

4)卡爾曼濾波增益方程 (權(quán)重)

其中,Kk表示k時(shí)刻的卡爾曼增益,R為觀測噪聲Vk的協(xié)方差矩陣.

5)卡爾曼濾波估計(jì)方程 (k時(shí)刻的最優(yōu)狀態(tài)估計(jì))

其中,Xk表示k時(shí)刻狀態(tài)向量經(jīng)過卡爾曼濾波后的最優(yōu)估計(jì),是系統(tǒng)的實(shí)際輸出值,表現(xiàn)為在預(yù)測值的基礎(chǔ)上按照卡爾曼濾波增益疊加一個(gè)預(yù)測誤差項(xiàng).

6)卡爾曼濾波協(xié)方差估計(jì)方程 (k時(shí)刻的最優(yōu)協(xié)方差估計(jì))

其中,Pk為k時(shí)刻卡爾曼濾波的后驗(yàn)估計(jì)協(xié)方差矩陣的預(yù)測值.該方程用來描述狀態(tài)向量協(xié)方差矩陣的變化過程,正是這種不斷更新的機(jī)制才能保證卡爾曼濾波不斷克服隨機(jī)噪聲的影響.

卡爾曼濾波算法能夠在不準(zhǔn)確的測量數(shù)據(jù)基礎(chǔ)上盡可能地消除噪聲的影響,對(duì)真實(shí)值做出預(yù)測.目標(biāo)跟蹤算法把跟蹤目標(biāo)的屬性作為狀態(tài)變量,利用卡爾曼濾波器對(duì)屬性進(jìn)行線性濾波,得到更好的預(yù)測值.

2.2.1 狀態(tài)預(yù)測

為了預(yù)測上一幀到當(dāng)前幀的目標(biāo)狀態(tài),這里使用恒定速度模型估計(jì)對(duì)象間的幀間位移,將目標(biāo)狀態(tài)表示成一個(gè)11 維向量,即

其中,x,y和z分別表示目標(biāo)的中心點(diǎn)坐標(biāo),l,w和h分別表示目標(biāo)的3D 邊框尺度,θ為目標(biāo)邊框的航向角,s表示當(dāng)前軌跡的置信度分?jǐn)?shù),vx,vy和vz分別為目標(biāo)在三維空間中沿x,y和z軸方向上的運(yùn)動(dòng)速度.

第k-1 幀數(shù)據(jù)中的所有目標(biāo)狀態(tài)構(gòu)成的集合表示為

對(duì)于k-1 時(shí)刻的每個(gè)目標(biāo)狀態(tài)都可以給出k時(shí)刻的預(yù)測狀態(tài).

2.2.2 狀態(tài)更新

根據(jù)數(shù)據(jù)關(guān)聯(lián)的結(jié)果,可以將跟蹤目標(biāo)與檢測目標(biāo)分為4 類:跟蹤匹配成功、檢測匹配成功、跟蹤匹配失敗和檢測匹配失敗.它們各自的具體形式為

其中,Tmatch和Dmatch表示匹配成功的跟蹤目標(biāo)與檢測目標(biāo),wk表示當(dāng)前時(shí)刻匹配成功的數(shù)量,Tunmatch和Dunmatch分別表示匹配失敗的跟蹤目標(biāo)和檢測目標(biāo),mk-1表示上一時(shí)刻的所有跟蹤目標(biāo)數(shù)量,nk表示當(dāng)前時(shí)刻的檢測目標(biāo)數(shù)量.完成匹配之后,使用匹配成功的目標(biāo)Dmatch根據(jù)貝葉斯規(guī)則更新對(duì)應(yīng)的目標(biāo)狀態(tài).

2.3 基于BIoU 的匈牙利匹配算法

為了解決傳統(tǒng)IoU 度量或距離度量的失效問題,本文設(shè)計(jì)了一種結(jié)合歐氏距離與IoU 的綜合度量指標(biāo),即BIoU 度量,它由原始IoU 和邊界距離懲罰項(xiàng)共同組成,具體形式為

其中,IoU(B1,B2)表示一般意義下的兩個(gè)邊界框的交并比,RBIoU為基于邊界歐氏距離的懲罰項(xiàng),γ是懲罰項(xiàng)因子,分別表示兩個(gè)邊界框最小外接框的左上頂點(diǎn)和右下頂點(diǎn),函數(shù)ρ(·)為兩個(gè)頂點(diǎn)間的歐氏距離,Cmax(B1,B2)表示兩個(gè)邊界框最小外接框的最大對(duì)角線距離,用于對(duì)邊界距離進(jìn)行歸一化處理.需要說明的是,采用最小外接框的方法可以弱化旋轉(zhuǎn)對(duì)邊界距離的影響,便于計(jì)算邊界距離.圖3(a)展示了2D BIoU 的計(jì)算方法.綠色和藍(lán)色實(shí)線框代表兩個(gè)不同的邊界框,虛線框?yàn)樗鼈兏髯缘淖钚⊥饨涌?灰色區(qū)域表示IoU(B1,B2),紅色線段表示邊界距離黃色線段表示最大對(duì)角線距離Cmax(B1,B2).

圖3 邊界交并比示意圖Fig.3 Schematic diagram of BIoU

對(duì)于3D 多目標(biāo)跟蹤,本文將上述2D BIoU 的定義擴(kuò)展到3D 坐標(biāo)系下,如圖3(b)所示.3D BIoU的計(jì)算式為

其中,IoU3D(V1,V2)表示兩個(gè)3D 邊界框V1和V2的體積交并比 (圖中的灰色區(qū)域),懲罰項(xiàng)與邊界距離相關(guān),分別是兩個(gè)3D邊界框最小外接框的左-前-上頂點(diǎn)和右-后-下頂點(diǎn),ρ(plft1,plft2)和ρ(prrb1,prrb2)分別是對(duì)應(yīng)邊界距離 (圖中的紅色線段),Cmax(V1,V2)則表示兩個(gè)最小外接框所有頂點(diǎn)間的最大對(duì)角線距離 (圖中的黃色線段).在給定閾值BIoUthres的情況下,當(dāng)BIoU3D＜BIoUthres時(shí)，則認(rèn)為兩個(gè)3D 邊界框匹配失敗,即兩個(gè)3D 邊界框分別屬于獨(dú)立的兩個(gè)不同目標(biāo).

2.4 自適應(yīng)生存周期管理策略

在多目標(biāo)跟蹤中,現(xiàn)有目標(biāo)會(huì)離開視野,也可能有新目標(biāo)進(jìn)入視野,因此需要一個(gè)模塊來管理軌跡的產(chǎn)生和刪除.生存周期管理是常見的做法:將所有未成功匹配的檢測目標(biāo)視為潛在的新軌跡,為了避免跟蹤誤報(bào),只有在該目標(biāo)連續(xù)檢測到Fmin幀后才認(rèn)為是一個(gè)新的目標(biāo)軌跡;將所有未成功匹配的跟蹤目標(biāo)結(jié)果視為即將離開視野的軌跡,為了避免誤刪軌跡,只有該目標(biāo)未成功匹配Fmax幀后才視為目標(biāo)丟失并將其刪除.理想情況下,該策略可以保留因?yàn)閱螏z未能成功匹配的目標(biāo)軌跡,并僅刪除已經(jīng)離開視野的目標(biāo)軌跡.但在實(shí)際中,3D 目標(biāo)檢測器的誤檢和漏檢普遍存在,采用固定的生存周期管理策略,將出現(xiàn)錯(cuò)誤的跟蹤軌跡.原因主要是固定的生存周期管理策略未有效利用檢測目標(biāo)的置信度信息,而對(duì)所有目標(biāo)均進(jìn)行相同周期的檢查操作,從而導(dǎo)致檢測置信度較低的目標(biāo) (往往為誤檢目標(biāo))也需要跟蹤多幀后才會(huì)被刪除,而檢測置信度較高的目標(biāo)一旦被多幀遮擋 (往往出現(xiàn)漏檢)也可能被刪除.

因此,本文提出一種自適應(yīng)生存周期管理策略,根據(jù)目標(biāo)檢測結(jié)果的置信度,動(dòng)態(tài)調(diào)整最大生存周期,具體為

其中,score為當(dāng)前目標(biāo)的檢測置信度,α和β為尺度系數(shù)和偏移系數(shù),σ(·)表示Sigmoid 非線性函數(shù),Fmax為最大生存周期,FAmax為根據(jù)目標(biāo)檢測置信度計(jì)算后的生存周期.通過選取合適的α和β,實(shí)現(xiàn)更好的跟蹤效果.圖4 給出了當(dāng)Fmax=3,α=0.5,β=-5 時(shí)生存周期與檢測置信度之間的關(guān)系.利用Sigmoid 函數(shù)的S 型曲線特性,檢測目標(biāo)的置信度越高,該目標(biāo)的生存周期將會(huì)越長,從而實(shí)現(xiàn)生存周期動(dòng)態(tài)調(diào)整.

圖4 自適應(yīng)生存周期Fig.4 Adaptive birth and death memory

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集與評(píng)價(jià)指標(biāo)介紹

本實(shí)驗(yàn)基于KITTI 數(shù)據(jù)集的多目標(biāo)跟蹤基準(zhǔn)進(jìn)行評(píng)估,該基準(zhǔn)由21 個(gè)訓(xùn)練序列和29 個(gè)測試序列組成.對(duì)于每個(gè)序列都提供了LiDAR 點(diǎn)云、RGB圖像以及校準(zhǔn)文件.用于訓(xùn)練和測試的數(shù)據(jù)幀數(shù)分別為8 008 和11 095.對(duì)于測試集數(shù)據(jù),KITTI 不向用戶提供任何標(biāo)簽,而是在服務(wù)器上保留標(biāo)簽以進(jìn)行MOT 評(píng)估.對(duì)于訓(xùn)練集數(shù)據(jù),含有30 601 個(gè)目標(biāo)和636 條軌跡,同樣包括Car、Pedestrian 和Cyclist類別.由于本文使用的目標(biāo)跟蹤系統(tǒng)是基于卡爾曼濾波算法的,不需要進(jìn)行深度學(xué)習(xí)訓(xùn)練,因此將所有21 個(gè)訓(xùn)練序列作為驗(yàn)證集進(jìn)行驗(yàn)證.實(shí)驗(yàn)對(duì)比了Car、Pedestrian 和Cyclist 全部3 個(gè)類別上的多目標(biāo)跟蹤效果.

對(duì)于多目標(biāo)跟蹤方法,理想的評(píng)價(jià)指標(biāo)應(yīng)當(dāng)能夠同時(shí)滿足3 個(gè)要求:1)所有出現(xiàn)的目標(biāo)都能夠及時(shí)被發(fā)現(xiàn);2)找到的目標(biāo)位置應(yīng)當(dāng)盡可能和真實(shí)的目標(biāo)位置一致;3)應(yīng)當(dāng)保持目標(biāo)跟蹤的一致性,避免目標(biāo)標(biāo)志的頻繁切換.根據(jù)上述要求,傳統(tǒng)的多目標(biāo)跟蹤將評(píng)價(jià)指標(biāo)設(shè)置為以下內(nèi)容:多目標(biāo)跟蹤準(zhǔn)確度 (Multi-object tracking accuracy,MOTA)用于確定目標(biāo)的個(gè)數(shù)以及跟蹤過程中的誤差累計(jì),多目標(biāo)跟蹤精度 (Multi-object tracking precision,MOTP)用于衡量目標(biāo)位置上的精確度,主要跟蹤軌跡命中率 (Mostly tracked,MT),主要丟失軌跡丟失率 (Mostly lost,ML),身份切換次數(shù) (ID switch,IDS),跟蹤打斷次數(shù) (Fragment,FRAG)等.

3.2 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)流程如圖5 所示,其中3D 目標(biāo)檢測器使用與AB3DMOT 算法相同的、已經(jīng)訓(xùn)練好的PointRCNN 模型.在目標(biāo)匹配階段,使用本文提出的BIoU 計(jì)算預(yù)測框與目標(biāo)框之間的關(guān)聯(lián)度,然后使用匈牙利匹配算法進(jìn)行目標(biāo)匹配.成功匹配的目標(biāo)送入卡爾曼濾波器進(jìn)行狀態(tài)更新,未成功匹配的檢測目標(biāo)和預(yù)測目標(biāo)均送入自適應(yīng)周期管理模塊進(jìn)行判定.自適應(yīng)周期管理模塊根據(jù)目標(biāo)的置信度分?jǐn)?shù)自適應(yīng)調(diào)整目標(biāo)的最大生存周期,刪除已達(dá)到最大生存周期而仍未匹配成功的目標(biāo),最終得出具備唯一ID 標(biāo)號(hào)的目標(biāo)軌跡.BIoU 和自適應(yīng)生存周期管理中涉及的參數(shù)通過整定得到,最終模型使用的參數(shù)如表1 所示.

表1 模型參數(shù)Table 1 Model parameters

圖5 基于激光雷達(dá)的3D 多目標(biāo)跟蹤整體流程Fig.5 Overall pipeline for LiDAR-based 3D multi-object tracking

為了驗(yàn)證本文所提出的基于BIoU 度量和自適應(yīng)生存周期管理多目標(biāo)跟蹤算法的性能,本文與基準(zhǔn)AB3DMOT 算法在KITTI 多目標(biāo)跟蹤數(shù)據(jù)集的3 類目標(biāo)上進(jìn)行了對(duì)比;同時(shí)在Car 類別上還與另外兩種端到端的深度學(xué)習(xí)算法FANTrack[21]和DiTNet[22]進(jìn)行了比較.實(shí)驗(yàn)結(jié)果如表2 所示.

表2 KITTI 數(shù)據(jù)集上對(duì)3 類目標(biāo) (汽車、行人、騎自行車的人)跟蹤性能對(duì)比Table 2 Tracking performance comparison about three kinds of objects (Car,Pedestrian,Cyclist)on KITTI dataset

表2 的結(jié)果表明,本文提出的基于BIoU 度量和自適應(yīng)生存周期管理策略的多目標(biāo)跟蹤算法相比于基準(zhǔn)算法在3 類目標(biāo)上均獲得了更高的MT 值,意味著本文算法在對(duì)目標(biāo)的長時(shí)間跟蹤性能上明顯優(yōu)于基準(zhǔn)算法;在Pedestrian 和Cyclist 兩個(gè)類別上,跟蹤準(zhǔn)確度MOTA 較基準(zhǔn)算法有顯著提升,而在Car 類別上與基準(zhǔn)算法基本一致.最值得注意的是,本文算法在命中率MT 和丟失率ML 這兩項(xiàng)指標(biāo)上均有顯著提升,說明了本文算法在長時(shí)間穩(wěn)定跟蹤目標(biāo)這個(gè)問題上具有明顯優(yōu)勢(shì).另外,在Pedestrian 和Cyclist 兩類目標(biāo)的跟蹤任務(wù)上獲得更好的效果,也說明了基于BIoU 的目標(biāo)跟蹤可以有效提高對(duì)小目標(biāo)的跟蹤性能.分析其原因,可以發(fā)現(xiàn)小目標(biāo)更易于出現(xiàn)檢測框與預(yù)測框交集較少或無交集的情況,這也正是BIoU 相較于傳統(tǒng)IoU 最大的優(yōu)點(diǎn),即解決IoU 相等或IoU=0 時(shí)的關(guān)聯(lián)度量問題.

圖6 和圖7 分別展示在出現(xiàn)誤檢和漏檢情況時(shí),本文所提出改進(jìn)跟蹤算法和基準(zhǔn)算法的跟蹤結(jié)果.在圖6 的第2 行中,兩類算法均出現(xiàn)了誤檢的情況 (用紅色圓圈標(biāo)記),但相較于基準(zhǔn)算法(圖6(a)的第1 行),由于引入了自適應(yīng)生存周期管理,因此在下一幀數(shù)據(jù)中,改進(jìn)跟蹤算法及時(shí)將誤檢目標(biāo)刪除,而基準(zhǔn)跟蹤算法仍會(huì)對(duì)誤檢目標(biāo)進(jìn)行持續(xù)跟蹤,直到生存周期結(jié)束.上述結(jié)果表明基于本文改進(jìn)的跟蹤算法可以明顯減小誤檢目標(biāo)的生存周期,降低誤檢次數(shù).

圖6 改進(jìn)方法與基準(zhǔn)方法的跟蹤比較 (誤檢)Fig.6 Tracking comparison between our improved method and baseline (false detection)

圖7 改進(jìn)方法與基準(zhǔn)方法的跟蹤比較 (漏檢)Fig.7 Tracking comparison between our improved method and baseline (missed detection)

同樣,對(duì)于目標(biāo)漏檢的情況,本文算法也能給出更好的結(jié)果.圖7 (a)的第3 行中,由于紅色圓圈標(biāo)記的目標(biāo)被其他物體遮擋而導(dǎo)致漏檢,在下一幀中,該目標(biāo)再次被檢測到時(shí),已被標(biāo)記為新的目標(biāo)(這一點(diǎn)從對(duì)比圖7(a)的第2 行和圖7(a)的第4 行中檢測框顏色不一致可以看出).而使用本文提出的改進(jìn)算法,即使在圖7(b)的第3 行中出現(xiàn)了遮擋,因?yàn)樯嬷芷诓⑽唇Y(jié)束,因此目標(biāo)仍然在持續(xù)跟蹤,也未發(fā)生身份切換的問題.這說明,在由于目標(biāo)遮擋等問題出現(xiàn)漏檢時(shí),本文提出的改進(jìn)跟蹤算法可以有效克服漏檢問題,保持目標(biāo)持續(xù)跟蹤與ID恒定.

3.3 消融實(shí)驗(yàn)對(duì)比

為了進(jìn)一步說明BIoU 度量和自適應(yīng)生存周期管理策略的實(shí)際效果,本文在KITTI 驗(yàn)證集上進(jìn)行了消融實(shí)驗(yàn).為了便于比較,本文設(shè)置最大生存周期Fmax=5;對(duì)于固定生存周期策略,生存周期即為Fmax;對(duì)于自適應(yīng)生存周期策略,采用式 (13)描述的關(guān)系自適應(yīng)計(jì)算生存周期FAmax.消融實(shí)驗(yàn)的結(jié)果如表3 所示,其中不使用BIoU 和FAmax的跟蹤方法即為原始AB3DMOT 算法.

表3 消融實(shí)驗(yàn)Table 3 Ablation experiments

首先,對(duì)BIoU 進(jìn)行性能分析.在表3 中,每類目標(biāo)的第2 行數(shù)據(jù)與第1 行相比,區(qū)別在于使用BIoU替代原算法中的傳統(tǒng)IoU.對(duì)比發(fā)現(xiàn):3 類目標(biāo)的跟蹤準(zhǔn)確度MOTA 和命中率MT 性能均有提升;在大目標(biāo) (Car 類別)上,MOTA 和MT 略有提升;在小目標(biāo) (Pedestrian 和Cyclist)上提升明顯,Pedestrian 命中率MT 提升超過3%,Cyclist 準(zhǔn)確度MOTA 提升超過4%.需要說明的是:對(duì)于小目標(biāo)類別,更容易出現(xiàn)預(yù)測框與檢測框不重合 (IoU=0)的問題.這種情況下,本文提出的BIoU 由于引入了邊界度量懲罰項(xiàng),可以克服傳統(tǒng)IoU 失效的問題,獲得可靠的匹配結(jié)果,從而提高跟蹤精度和穩(wěn)定性.

其次,對(duì)自適應(yīng)生存周期管理策略進(jìn)行性能分析.在表3 中,每類目標(biāo)的第3 行數(shù)據(jù)與第1 行相比,區(qū)別在于使用自適應(yīng)生存周期替代原算法中的固定生存周期.對(duì)比發(fā)現(xiàn):使用自適應(yīng)生存周期可以提高跟蹤準(zhǔn)確度MOTA,減少身份切換次數(shù)IDS和跟蹤打斷次數(shù)FRAG;每個(gè)類別的MOTA 均有大約2%的性能提升;在Pedestrian 類別上,IDS和FRAG 均有明顯降低,這是因?yàn)閷?duì)于Pedestrian,更容易由于匹配失敗出現(xiàn)漏檢情況,使用自適應(yīng)生存周期管理策略可以有效克服固定生存周期對(duì)漏檢過于敏感的缺點(diǎn).

最后,對(duì)比基準(zhǔn)的AB3DMOT 算法,使用本文所提出的基于BIoU 和自適應(yīng)生存周期管理策略的跟蹤算法,在3 類目標(biāo)的跟蹤性能如準(zhǔn)確度MOTA、定位精度MOTP、丟失率ML、身份切換次數(shù)IDS上均得到了提升,其中以Cyclist 類別提升最為顯著.消融實(shí)驗(yàn)結(jié)果表明,本文所提出算法能明顯改善多目標(biāo)跟蹤效果.

4 結(jié)束語

本文提出了一種使用BIoU 度量和自適應(yīng)生存周期管理策略的多目標(biāo)跟蹤算法.該算法使用3D目標(biāo)檢測器輸出的目標(biāo)信息,使用BIoU 度量計(jì)算檢測框與預(yù)測框的匹配矩陣,使用匈牙利匹配算法獲得匹配結(jié)果.BIoU 度量可以有效克服單獨(dú)使用IoU度量或歐氏距離度量可能導(dǎo)致的度量失效問題.在對(duì)跟蹤目標(biāo)進(jìn)行生存周期管理時(shí),本文設(shè)計(jì)了一種自適應(yīng)生存周期管理策略.該策略根據(jù)跟蹤目標(biāo)的檢測置信度,自適應(yīng)計(jì)算目標(biāo)的最大生存周期,從而有效減少了由于固定生存周期導(dǎo)致的誤檢問題.在KITTI 多目標(biāo)跟蹤驗(yàn)證集上的實(shí)驗(yàn)表明,本文所提出的方法相較于基準(zhǔn)AB3DMOT 多目標(biāo)跟蹤算法,在跟蹤準(zhǔn)確度、長時(shí)間跟蹤命中率和丟失率指標(biāo)上均有顯著提升,尤其對(duì)于小目標(biāo)跟蹤具有較好的效果.