面向多目標(biāo)跟蹤系統(tǒng)的專用循環(huán)目標(biāo)檢測(cè)器

牛嘉豐，石蘊(yùn)玉，劉 翔，賀 楨，戴佩哲

上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院，上海201600

多目標(biāo)跟蹤（MOT）是對(duì)視頻幀中多個(gè)目標(biāo)的運(yùn)動(dòng)軌跡進(jìn)行預(yù)測(cè)的一種方法，它的應(yīng)用從無人駕駛到智能視頻分析和視頻摘要等的研究都有著重要意義。

解決MOT 問題的主要策略，即按檢測(cè)跟蹤方法將多目標(biāo)跟蹤分解為兩個(gè)步驟：（1）目標(biāo)檢測(cè)步驟，將視頻中各個(gè)幀的目標(biāo)檢測(cè)出來備用；（2）目標(biāo)關(guān)聯(lián)步驟，將檢測(cè)到的目標(biāo)區(qū)域匹配到現(xiàn)有軌跡或者作為軌跡起點(diǎn)。近年來，為了提高多目標(biāo)跟蹤任務(wù)的跟蹤精度和跟蹤速度，學(xué)者們針對(duì)按檢測(cè)跟蹤方法的兩個(gè)步驟提出了一系列新的方法。步驟（1）中使用的目標(biāo)檢測(cè)器主要分為二階段和一階段目標(biāo)檢測(cè)器。對(duì)二階段目標(biāo)檢測(cè)器，文獻(xiàn)[1]使用了Selective search 方法選取候選框并分別進(jìn)行分類和位置回歸。在此基礎(chǔ)上，文獻(xiàn)[2]和文獻(xiàn)[3]分別實(shí)現(xiàn)了端到端的訓(xùn)練方式、ROI Pooling 技術(shù)和候選框推薦網(wǎng)絡(luò)（RPN）代替Selective search 選取候選框等優(yōu)化策略，進(jìn)一步提高了網(wǎng)絡(luò)的訓(xùn)練速度和檢測(cè)速度。文獻(xiàn)[4]通過級(jí)聯(lián)幾個(gè)檢測(cè)網(wǎng)絡(luò)達(dá)到不斷優(yōu)化預(yù)測(cè)結(jié)果的目的，與普通級(jí)聯(lián)不同的是，它的幾個(gè)檢測(cè)網(wǎng)絡(luò)是基于不同IOU 閾值確定的正負(fù)樣本上訓(xùn)練得到的。對(duì)一階段目標(biāo)檢測(cè)器，文獻(xiàn)[5]首先在圖像上預(yù)定義預(yù)測(cè)區(qū)域，相當(dāng)于在圖像上畫網(wǎng)格，并且每個(gè)網(wǎng)格有若干個(gè)不同大小和不同比例的預(yù)候選區(qū)域，每個(gè)網(wǎng)格負(fù)責(zé)預(yù)測(cè)中心點(diǎn)落在該網(wǎng)格的目標(biāo)，由于其僅使用一個(gè)CNN 網(wǎng)絡(luò)直接預(yù)測(cè)不同目標(biāo)的類別與位置，所以檢測(cè)速度很快。一階段檢測(cè)器檢測(cè)速度比二階段檢測(cè)器要快，但兩者在檢測(cè)精度的性能表現(xiàn)卻相反。步驟（2）的研究重點(diǎn)是提取目標(biāo)的外觀特征，如使用梯度直方圖、顏色直方圖和積分通道特征表示目標(biāo)的外觀特征。隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展，文獻(xiàn)[6]訓(xùn)練了可以輸出具有辨識(shí)度的目標(biāo)外觀特征的神經(jīng)網(wǎng)絡(luò)模型，并且在訓(xùn)練時(shí)引入了空間注意力機(jī)制。以上方法均一定程度上提升了目標(biāo)外觀特征的辨識(shí)能力，但對(duì)MOT系統(tǒng)而言，也多出了一些運(yùn)算消耗。

為提高M(jìn)OT系統(tǒng)的運(yùn)行效率，設(shè)計(jì)了面向MOT系統(tǒng)的專用循環(huán)目標(biāo)檢測(cè)器（dedicated cyclic detector，DCD）。它以二階段目標(biāo)檢測(cè)器為基礎(chǔ)，提出了低參數(shù)量需求和低計(jì)算消耗的候選框推薦方法，替代了傳統(tǒng)的RPN，使得檢測(cè)器的檢測(cè)速度有所提升，并且檢測(cè)精度不受影響。同時(shí)DCD融入了目標(biāo)外觀特征提取分支共享了圖像特征圖，減少了計(jì)算消耗，進(jìn)一步提高了MOT系統(tǒng)的運(yùn)行效率。

1 專用循環(huán)目標(biāo)檢測(cè)器DCD

DCD 結(jié)構(gòu)如圖1 所示，其中C表示網(wǎng)絡(luò)預(yù)測(cè)類別數(shù)，M表示選取的候選框數(shù)量的最大值，t代表幀號(hào)且最小值為2。DCD網(wǎng)絡(luò)輸入由當(dāng)前幀圖像、先前幀特征圖和先前幀目標(biāo)位置信息三部分組成。網(wǎng)絡(luò)輸出為當(dāng)前幀特征圖、目標(biāo)類別位置信息和目標(biāo)外觀特征。DCD網(wǎng)絡(luò)使用了CSPDarkNet-53[7]作為主干特征提取網(wǎng)絡(luò)和路徑聚合網(wǎng)絡(luò)（PANet[8]）生成多尺度特征圖，PANet 后共生成四種尺度下的特征圖，分別對(duì)應(yīng)原圖像1/4、1/8、1/16、1/32的下采樣比例。DCD整體網(wǎng)絡(luò)結(jié)構(gòu)分為目標(biāo)檢測(cè)分支和外觀特征提取分支，將分別在1.1節(jié)和1.2節(jié)介紹。

圖1 DCD結(jié)構(gòu)流程框圖Fig.1 DCD structure flow diagram

1.1 目標(biāo)檢測(cè)分支

目標(biāo)檢測(cè)分支分為兩個(gè)部分完成。第一部分的任務(wù)類似于搭建傳統(tǒng)的二階段目標(biāo)檢測(cè)網(wǎng)絡(luò)并進(jìn)行訓(xùn)練，第二部分的任務(wù)是用新的候選框選取方法替換RPN選取候選框，替換過程不涉及新參數(shù)的引入，不需要再次進(jìn)行網(wǎng)絡(luò)訓(xùn)練。

1.1.1 二階段目標(biāo)檢測(cè)網(wǎng)絡(luò)

搭建的二階段檢測(cè)網(wǎng)絡(luò)與DCD網(wǎng)絡(luò)的不同在于候選框的獲取方法不一樣，兩種候選框的獲取方法將在1.1.2節(jié)通過仿真圖示說明。另外在anchor模板方面，根據(jù)數(shù)量，比例和縱橫比設(shè)計(jì)anchor，以使其能夠適應(yīng)目標(biāo)，即本例中的行人。根據(jù)共同的先驗(yàn)，將所有anchor的縱橫比設(shè)置為3∶1。將anchor模板的數(shù)量設(shè)置為12，以使每個(gè)尺度特征圖anchor 模板數(shù)量為3，并且anchor的寬度范圍約為11到512。

類似于Faster-RCNN[3]，網(wǎng)絡(luò)的損失主要分為RPN和Fast-RCNN[2]的損失，并且兩部分損失都包含分類損失和回歸損失。

對(duì)于分類損失，由于RPN 分為前景和背景兩個(gè)類別，F(xiàn)ast-RCNN 分為行人和背景兩個(gè)類別，因此RPN 和Fast-RCNN 都使用了二分類交叉熵?fù)p失，計(jì)算公式如式（1）所示：

其中，pi是預(yù)測(cè)為行人的概率，0代表負(fù)樣本，1代表正樣本。

對(duì)于回歸損失，RPN和Fast-RCNN都是對(duì)邊框位置偏移預(yù)測(cè)形成的損失，所用損失函數(shù)為Smooth-L1 函數(shù)，計(jì)算公式如式（2）所示：

其中，ti={tx,ty,tw,th} 是一個(gè)向量，包含的元素分別表示邊框的左上角橫縱坐標(biāo)以及寬和高的預(yù)測(cè)偏移量。是與ti維度相同的向量，表示邊框左上角橫縱坐標(biāo)以及寬和高相對(duì)于真實(shí)框的偏移量。不同的是，RPN 和Fast-RCNN訓(xùn)練時(shí)σ的取值分別為3和1。

RPN 和Fast-RCNN 的損失函數(shù)由分類損失和回歸損失加權(quán)融合而成，其計(jì)算公式如式（3）所示：

其中，RPN和Fast-RCNN訓(xùn)練時(shí)Ncls的值分別為256和64，Nreg取值和Ncls相同，λ值取1。

1.1.2 替換候選框選取方法

傳統(tǒng)二階段目標(biāo)檢測(cè)器的RPN結(jié)構(gòu)和DCD檢測(cè)器在圖像t(1 024×1 024×3)的1/4下采樣比例特征圖上獲取候選框的過程對(duì)比如圖2 所示。不同于傳統(tǒng)二階段目標(biāo)檢測(cè)器的候選框來源于RPN，DCD 的候選框一部分由先前幀檢測(cè)到的目標(biāo)位置信息轉(zhuǎn)化而來，另一部分通過度量相鄰幀間的相似度來判斷最容易出現(xiàn)目標(biāo)的區(qū)域，進(jìn)而選取出的候選框。對(duì)于后者，將這種候選框選取方法命名為D-RPN。

圖2 候選框獲取流程框圖Fig.2 Block diagram of candidate frame acquisition process

D-RPN 計(jì)算了當(dāng)前幀對(duì)于先前幀在不同尺度下的變化得分圖（variation score map，VSM），其在k(k∈{1/4,1/8,1/16,1/32})尺度特征圖上位置(i,j)處的得分計(jì)算如式（4）所示：

考慮到共有4 種不同尺度的VSM，且不同尺度VSM得分基準(zhǔn)、先驗(yàn)框數(shù)量和大小都不同，所以候選框的選取需要在不同尺度VSM 上分別進(jìn)行，記4 種不同尺度的VSM 尺度由淺到深依次為V1、V2、V3、V4。依據(jù)經(jīng)驗(yàn)，不同尺度VSM 候選框選取過程中所需參數(shù)如表1 所示。例如對(duì)尺度V1 的后選框選取過程為：依據(jù)先驗(yàn)框得分依次選取4 000 組，每組先驗(yàn)框個(gè)數(shù)為6，隨后在每組中隨機(jī)挑選出一個(gè)先驗(yàn)框匯總后進(jìn)行閾值為0.2 的極大值抑制（NMS），同時(shí)后選框個(gè)數(shù)最大值設(shè)為400。以上選取過程中分組時(shí)如果先驗(yàn)框數(shù)量不夠則停止分組，極大值抑制后未達(dá)到候選框個(gè)數(shù)最大值時(shí)則補(bǔ)0。

表1 后選框選取參數(shù)表Table 1 Parameters of candidate boxes select

DCD檢測(cè)器的候選框獲取方法的計(jì)算消耗主要來自于D-RPN，但是相對(duì)于RPN的候選框獲取方法而言，D-RPN的候選框獲取方法不但不需要參數(shù)，而且減少了檢測(cè)分支的計(jì)算消耗。通過計(jì)算可知，RPN 和D-RPN在特征圖大小為256×256×256上選取候選框時(shí)，所需的參數(shù)量分別是119 萬和0，所需浮點(diǎn)數(shù)計(jì)算次數(shù)分別是780 億次和0.735 億次。而且這只是其中一個(gè)尺度特征圖的計(jì)算消耗對(duì)比，4種尺度都計(jì)算情況下這種差距還會(huì)進(jìn)一步拉大。可見在候選框選取方法的計(jì)算消耗中，DCD檢測(cè)器相較于RPN結(jié)構(gòu)具有很大的優(yōu)勢(shì)。

1.2 外觀特征提取分支

1.2.1 外觀特征提取

外觀特征提取分支共享了目標(biāo)檢測(cè)分支的多尺度特征圖，并使用檢測(cè)到的目標(biāo)位置信息以ROIAlign技術(shù)獲取目標(biāo)特征塊，并調(diào)節(jié)為統(tǒng)一的形狀7×7×256。隨后經(jīng)過卷積和全連接操作后生成128維的目標(biāo)外觀特征。結(jié)構(gòu)圖如圖3所示，其中N為圖像中檢測(cè)到目標(biāo)的個(gè)數(shù)。

圖3 外觀特征提取分支結(jié)構(gòu)Fig.3 Appearance feature extraction branch

1.2.2 損失函數(shù)

外觀特征提取分支使用的損失函數(shù)如式（5）所示：

其中，E(?)表示f(xi)和f(xj)之間的歐式距離，f(xi)和f(xj)分別是目標(biāo)xi和目標(biāo)xj的128 維外觀特征。y=0 時(shí)，代表兩個(gè)目標(biāo)相似，此時(shí)的損失值是兩個(gè)目標(biāo)外觀特征的歐式距離；而y=1 時(shí)，代表兩個(gè)目標(biāo)不相似，當(dāng)E(f(xi),f(xj))不小于邊界值ε時(shí)，即認(rèn)為兩張圖像的不相似程度非常高，損失值設(shè)為0，若E(f(xi),f(xj))小于邊界值ε時(shí)，損失值為ε-E(f(xi),f(xj))，ε設(shè)為30。

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)硬件：處理器CPU為AMD Ryzen Threadr-ipper 1900X 8-Core 3.8 GHz，GPU為4×Nvidia GTX 1080Ti，內(nèi)存RAM為64 GB，操作系統(tǒng)為Windows 10專業(yè)版。

2.2 數(shù)據(jù)集和評(píng)估指標(biāo)

通過將6個(gè)關(guān)于行人檢測(cè)、多目標(biāo)跟蹤和行人搜索的公開數(shù)據(jù)集組合在一起，為目標(biāo)檢測(cè)分支構(gòu)建了大規(guī)模的數(shù)據(jù)集。這些數(shù)據(jù)集可分為兩種類型：僅包含邊界框注釋的數(shù)據(jù)集，以及同時(shí)具有邊界框和身份注釋的數(shù)據(jù)集。第一類包括ETH[9]數(shù)據(jù)集和CityPersons（CP）[10]數(shù)據(jù)集。第二類包括CalTech（CT）[11]數(shù)據(jù)集、MOT-16[12]數(shù)據(jù)集、CUHK-SYSU（CS）[13]數(shù)據(jù)集和PRW[14]數(shù)據(jù)集。收集所有這些數(shù)據(jù)集的訓(xùn)練子集以形成聯(lián)合訓(xùn)練集，并排除ETH 數(shù)據(jù)集中與MOT-16 測(cè)試集重疊的視頻以進(jìn)行檢測(cè)性能的公平評(píng)估。以上步驟生成的聯(lián)合數(shù)據(jù)集記為Data-A，其中圖像的數(shù)量約為50 000，目標(biāo)框的數(shù)量約為240 000，有ID標(biāo)注目標(biāo)框的數(shù)量約為8 500。

外觀特征提取分支融合在了目標(biāo)檢測(cè)器中，是在完成了目標(biāo)檢測(cè)分支的訓(xùn)練，固定了目標(biāo)檢測(cè)分支的參數(shù)后才對(duì)外觀特征提取任務(wù)進(jìn)行訓(xùn)練，根據(jù)DCD 檢測(cè)器的結(jié)構(gòu)和外觀特征提取分支的損失函數(shù)，外觀特征提取分支的數(shù)據(jù)集的準(zhǔn)備有如下兩點(diǎn)要求：

（1）訓(xùn)練樣本3 個(gè)為一組，每組中包含兩幅相似圖像，一幅非相似圖像。

（2）訓(xùn)練樣本的輸入形式相當(dāng)于圖像經(jīng)過目標(biāo)檢測(cè)后，檢測(cè)目標(biāo)在特征圖上的映射特征。

為了滿足以上兩點(diǎn)要求，使用了公開的行人重識(shí)別（REID）數(shù)據(jù)集Market-1501[15]以要求a為條件選取N組圖像，然后把每組的圖像分別隨機(jī)粘貼在具有固定尺寸的空白圖像上（分辨率為1 024×1 024）。記錄每組中圖像的粘貼位置，這樣就形成了N張具有相同背景且每張圖像具有一組滿足數(shù)據(jù)集要求a 的目標(biāo)和位置已知的圖像集。這些圖像作為訓(xùn)練集進(jìn)入網(wǎng)絡(luò)后經(jīng)過主干特征提取網(wǎng)絡(luò)和ROI-Align步驟后得到的目標(biāo)特征滿足要求b。以上步驟生成的數(shù)據(jù)集記為Data-B，其中N約為16 000，Data-B數(shù)據(jù)集示例如圖4所示。

圖4 Data-B數(shù)據(jù)集示例Fig.4 Data-B demo

使用平均準(zhǔn)確率（AP）和運(yùn)行速度（FPS，幀每秒）作為專用循環(huán)目標(biāo)檢測(cè)器（DCD）的檢測(cè)準(zhǔn)確度和檢測(cè)速度的評(píng)估指標(biāo)。使用多目標(biāo)跟蹤準(zhǔn)確度（MOTA）、ID F1分?jǐn)?shù)（IDF1）、軌跡改變ID的次數(shù)（IDS）、大部分軌跡被跟蹤到的目標(biāo)占比（MT，80%的軌跡被跟蹤到）、大部分軌跡跟丟了的目標(biāo)占比（ML，跟蹤到的軌跡小于20%）、運(yùn)行速度（FPS，幀每秒）作為多目標(biāo)跟蹤系統(tǒng)的評(píng)估指標(biāo)。其中MOTA指標(biāo)計(jì)算如式（6）所示：

其中，mt、fpt、mmet分別是t幀時(shí)漏檢、誤檢和錯(cuò)誤匹配的數(shù)量，gt是t幀時(shí)真實(shí)框的數(shù)量。注意在計(jì)算MOTA時(shí)計(jì)算的是整個(gè)跟蹤過程的平均值，而不是每一幀的結(jié)果。

2.3 實(shí)現(xiàn)細(xì)節(jié)

檢測(cè)分支：1.1.1小節(jié)中二階段檢測(cè)網(wǎng)絡(luò)共分為兩個(gè)類別，即行人和背景。訓(xùn)練時(shí)輸入圖像通過加灰條的方式保持橫縱比，分辨率調(diào)整為1 024×1 024，借鑒文獻(xiàn)[3]中近似聯(lián)合訓(xùn)練方式（approximate joint training）使用數(shù)據(jù)集Data-A 以Adam 優(yōu)化器訓(xùn)練100 個(gè)Epoch，學(xué)習(xí)率初始化為0.01 并在第30、第60 個(gè)和第90 個(gè)epoch 時(shí)減少到原來的0.1 倍。采用了多種數(shù)據(jù)增強(qiáng)技術(shù)，例如隨機(jī)縮放和色彩抖動(dòng)，以減少過擬合，網(wǎng)絡(luò)的損失收斂曲線如圖5 所示。隨后繼續(xù)完成1.1.2 小節(jié)中候選框選取方法的替換工作。由于替換過程不需要參數(shù)，所以不需要進(jìn)行額外訓(xùn)練。

圖5 損失值曲線Fig.5 Curve of loss

外觀特征提取分支：完成DCD檢測(cè)分支的任務(wù)后，接入外觀特征提取分支，凍結(jié)除外觀特征提取分支以外的其他所有權(quán)重參數(shù)，使用數(shù)據(jù)集Data-B作為網(wǎng)絡(luò)輸入以SGD 優(yōu)化器訓(xùn)練21 個(gè)epoch，學(xué)習(xí)率初始化為0.001并在第16、第19 個(gè)epoch 時(shí)減少到原來的0.1 倍。訓(xùn)練時(shí)輸入圖像分辨率為1 024×1 024。訓(xùn)練的損失值和準(zhǔn)確率曲線如圖6所示。

圖6 損失值和準(zhǔn)確率曲線Fig.6 Curve of loss and accuracy

2.4 實(shí)驗(yàn)結(jié)果分析

對(duì)于視頻的初始幀，使用了候選框推薦結(jié)構(gòu)改變前的目標(biāo)檢測(cè)器輸出初始幀的特征圖、目標(biāo)類別和位置作為DCD檢測(cè)器啟動(dòng)的條件。實(shí)驗(yàn)中起始幀檢測(cè)不進(jìn)行數(shù)據(jù)統(tǒng)計(jì)。

2.4.1 專用循環(huán)目標(biāo)檢測(cè)器DCD的消融實(shí)驗(yàn)

為了證明DCD在多目標(biāo)跟蹤任務(wù)上作為檢測(cè)器的優(yōu)勢(shì)，做了專用循環(huán)目標(biāo)檢測(cè)器DCD 的消融實(shí)驗(yàn)。實(shí)現(xiàn)了幾種最新的檢測(cè)器與DCD做檢測(cè)準(zhǔn)確度和檢測(cè)速度評(píng)估指標(biāo)的對(duì)比。實(shí)現(xiàn)的檢測(cè)器包括以ResNet-50和ResNet-101[16]為主干特征提取網(wǎng)絡(luò)的DCD、Faster RCNN和Cascade RCNN。為公平起見，這些實(shí)現(xiàn)的檢測(cè)器使用的訓(xùn)練數(shù)據(jù)與DCD相同，同時(shí)DCD屏蔽掉外觀特征提取分支。評(píng)測(cè)的基準(zhǔn)數(shù)據(jù)集為MOT-15[17]。對(duì)比結(jié)果如表2所示。

表2 DCD消融實(shí)驗(yàn)對(duì)比結(jié)果Table 2 Ablation experiments result

從表2可以看出，對(duì)于相同檢測(cè)器，使用ResNet-101比使用ResNet50 作為主干特征提取網(wǎng)絡(luò)時(shí)的AP 性能好，但在FPS性能上的表現(xiàn)相反。如交變比（IOU）閾值為0.5 時(shí)，帶有ResNet101 的FasterRCNN（ResNet101+Faster RCNN）的AP數(shù)值為63.5%，運(yùn)行速度為9.6 FPS，但是ResNet50+Faster RCNN 的AP 數(shù)值為59.2%，運(yùn)行速度卻為11.4 FPS。其次，IOU閾值設(shè)置越大，檢測(cè)器的AP 數(shù)值越小，例如當(dāng)IOU 閾值設(shè)為0.5 時(shí)，ResNet50+cascade 的AP 數(shù)值為62.3%，當(dāng)IOU 閾值設(shè)為0.7 時(shí)，ResNet50+cascade的AP數(shù)值為47.2%。

當(dāng)IOU 閾值設(shè)為0.5 時(shí)，ResNet101+cascade 的AP數(shù)值達(dá)到了最高67.1%。緊隨其后的是CSPDarkNet-53+DCD，它的AP數(shù)值達(dá)到了66.2%。ResNet101+DCD的AP 數(shù)值比ResNet101+cascade 低了3.7%，比ResNet-101+FRCNN 的AP 數(shù)值高了1.7%。但是在檢測(cè)速度上，ResNet101+DCD 的FPS 數(shù)值達(dá)到了12.3 FPS，約是ResNet101+cascade的FPS數(shù)值的1.4倍，約是ResNet101+FRCNN 的FPS 數(shù)值的1.3 倍。CSPDarkNet53+DCD 的AP數(shù)值不但比ResNet101+DCD檢測(cè)器高了1.2%，而且檢測(cè)速度比ResNet101+DCD的提升了約1.6倍，檢測(cè)速度為20.1 FPS。當(dāng)IOU閾值設(shè)為0.7時(shí)表現(xiàn)與IOU閾值設(shè)為0.5 時(shí)有相同的趨勢(shì)。因此可得出DCD 方法在多目標(biāo)跟蹤任務(wù)上檢測(cè)準(zhǔn)確度和現(xiàn)有檢測(cè)器相差不大，但是檢測(cè)速度具有優(yōu)越性。

2.4.2 MOT系統(tǒng)對(duì)比實(shí)驗(yàn)

為了證明使用DCD 的MOT（Proposeds）系統(tǒng)的優(yōu)越性，對(duì)比了幾種最新的MOT方法。由于DCD訓(xùn)練使用了聯(lián)合數(shù)據(jù)集而不僅僅是MOT-16 數(shù)據(jù)集訓(xùn)練檢測(cè)分支和外觀特征提取分支，公平起見，對(duì)比的MOT系統(tǒng)同樣使用了除MOT-16以外的數(shù)據(jù)集，目標(biāo)關(guān)聯(lián)策略統(tǒng)一使用文獻(xiàn)[18]中的方法。對(duì)比的MOT方法是TAP[19]、RAR16wVGG[20]、POI[21]和DeepSORT-2[18]。它們都使用了相同的檢測(cè)器，即以VGG-16為主干特征提取網(wǎng)絡(luò)的Faster RCNN，該檢測(cè)器在大型行人檢測(cè)數(shù)據(jù)集中進(jìn)行了訓(xùn)練。它們之間的主要區(qū)別在于它們的目標(biāo)外觀特征獲取方法。例如TAP、RAR16withVGG和POI分別使用了Mask-RCNN[22]、Inception[23]和QAN[24]作為其外觀特征提取模型，且訓(xùn)練數(shù)據(jù)集互不相同。DeepSORT-2 使用深度殘差網(wǎng)絡(luò)（WRN[25]）作為外觀特征提取模型，并使用MARS[26]數(shù)據(jù)集訓(xùn)練。表3 中列出了這些MOT 系統(tǒng)和使用DCD的MOT系統(tǒng)在MOT-16基準(zhǔn)數(shù)據(jù)集上的對(duì)比結(jié)果。

表3 MOT系統(tǒng)對(duì)比結(jié)果Table 3 MOT system comparison results

從表3 可以看出，對(duì)于MOTA 指標(biāo)。POI 系統(tǒng)的MOTA數(shù)值最高，為68.2%。其次是TAP系統(tǒng)，為64.5%。Proposeds 系統(tǒng)在MOTA 指標(biāo)上比最高的POI 系統(tǒng)低了約6.6%，比TAP 低了約1.2%，比DeepSORT-2 系統(tǒng)高了約2.7%。對(duì)于IDF1 指標(biāo)、IDS 指標(biāo)和MT 指標(biāo)，類似于MOTA 指標(biāo)，Proposeds 系統(tǒng)沒有表現(xiàn)出明顯的優(yōu)劣勢(shì)。而在ML指標(biāo)上Proposeds系統(tǒng)是5種MOT系統(tǒng)中最優(yōu)的，分析原因是DCD 檢測(cè)器的候選框的一部分來自于先前幀的檢測(cè)結(jié)果，因此在當(dāng)前幀中很容易檢測(cè)到先前幀出現(xiàn)過的目標(biāo)，所以使得軌跡中的目標(biāo)不容易丟失，進(jìn)而提升了ML的性能。對(duì)于運(yùn)行速度指標(biāo)FPS，由于其他4種方法均沒有計(jì)算檢測(cè)器的運(yùn)行時(shí)間，因此重新實(shí)現(xiàn)了基于VGG-16 的Faster RCNN 檢測(cè)器，計(jì)算時(shí)間后，Proposeds系統(tǒng)相較于其他4種方法中最快的DeepSORT-2 方法還要快2.2 倍，為18.2 FPS。圖7 為Proposeds系統(tǒng)跟蹤效果圖。

圖7 目標(biāo)運(yùn)動(dòng)軌跡跟蹤效果圖Fig.7 Objects trajectory tracking result demo

3 結(jié)束語

提出的面向MOT 系統(tǒng)的專用循環(huán)目標(biāo)檢測(cè)器DCD 利用了視頻幀序列間具有高度相似性的特點(diǎn)，依據(jù)先前幀的目標(biāo)位置信息和當(dāng)前幀相對(duì)于先前幀的變化得分圖VSM 來選取候選框，簡(jiǎn)單高效地替換了候選框推薦網(wǎng)絡(luò)RPN 的功能，在保證檢測(cè)準(zhǔn)確度的前提下提升了檢測(cè)速度，并且DCD 中融入了目標(biāo)外觀特征提取分支，進(jìn)一步減少了MOT 系統(tǒng)整體的運(yùn)算消耗。實(shí)驗(yàn)表明，DCD 目標(biāo)檢測(cè)器提升了MOT 系統(tǒng)的跟蹤速度，并且具有較好的跟蹤準(zhǔn)確度。下一步，將繼續(xù)改進(jìn)DCD選取候選框的方法，進(jìn)一步提高M(jìn)OT系統(tǒng)的跟蹤準(zhǔn)確度和跟蹤速度。