道路復(fù)雜交通場(chǎng)景下的改進(jìn)MDnet目標(biāo)跟蹤算法

王小平，施新嵐

(1. 重慶城市管理職業(yè)學(xué)院 大數(shù)據(jù)與信息產(chǎn)業(yè)學(xué)院，重慶 401331； 2. 重慶郵電大學(xué) 通信與信息工程學(xué)院，重慶 400065)

0 引 言

運(yùn)動(dòng)目標(biāo)跟蹤技術(shù)是智能交通應(yīng)用背景下的研究重難點(diǎn)，其主要目的是持續(xù)確定機(jī)動(dòng)車、非機(jī)動(dòng)車和行人目標(biāo)在視頻圖像序列中的位置。通過(guò)分析可以得到目標(biāo)運(yùn)動(dòng)速度、加速度等運(yùn)動(dòng)參數(shù)，經(jīng)進(jìn)一步處理，得到圖像畫面中目標(biāo)的運(yùn)動(dòng)軌跡、實(shí)時(shí)姿態(tài)信息，從而實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的行為分析與理解，最終判斷目標(biāo)是否違反交通規(guī)則[1]。

相關(guān)濾波器及深度學(xué)習(xí)目標(biāo)跟蹤算法是目前2種主流技術(shù)。相關(guān)濾波器的本質(zhì)是利用目標(biāo)前景與背景信息間的差異設(shè)計(jì)分類器[2]。深度學(xué)習(xí)算法在視頻圖像序列中以其多隱藏層的結(jié)構(gòu)提取目標(biāo)特征，并由模式識(shí)別完成運(yùn)動(dòng)目標(biāo)的跟蹤[1,3-4]。

POSTECH實(shí)驗(yàn)室在2016年提出一種被稱為MDnet多域網(wǎng)絡(luò)的新型CNN網(wǎng)絡(luò)體系結(jié)構(gòu)[5]，MDnet網(wǎng)絡(luò)規(guī)模較小，兼顧了多種目標(biāo)跟蹤的通用性。這種高實(shí)時(shí)性的模型非常適用于智能交通領(lǐng)域，但是智能交通領(lǐng)域中復(fù)雜的交通道路還有目標(biāo)尺度變化、目標(biāo)被遮擋、目標(biāo)模糊等特性問(wèn)題需要解決。MDnet在這些問(wèn)題中表現(xiàn)的相對(duì)一般，依然存在改進(jìn)空間。

運(yùn)動(dòng)目標(biāo)跟蹤技術(shù)的應(yīng)用載體是視頻圖像序列。由同一攝像頭捕獲的視頻圖像序列信息與時(shí)間相關(guān)，一般呈現(xiàn)出圖像連續(xù)變化的特性。根據(jù)圖像連續(xù)變化的時(shí)間相關(guān)特性，收集前序圖像中的目標(biāo)運(yùn)動(dòng)信息對(duì)當(dāng)前幀目標(biāo)位置進(jìn)行預(yù)測(cè)；同時(shí)，視頻圖像序列中背景信息相對(duì)運(yùn)動(dòng)目標(biāo)變化較少，輸入圖像中存在較多的冗余信息，因此可以忽略部分背景信息，把更多的計(jì)算資源用于目標(biāo)圖像區(qū)域，從而提高信息處理效率。L.YONG等[6]提出的SIN不僅處理當(dāng)前圖像物體的外觀信息，還利用圖片中背景信息和目標(biāo)之間的關(guān)聯(lián)信息、當(dāng)前幀圖像的上下文信息實(shí)現(xiàn)目標(biāo)的有效檢測(cè)。目標(biāo)跟蹤與目標(biāo)檢測(cè)的原理類似，因此這種利用背景與目標(biāo)關(guān)聯(lián)信息、上下文信息的方法也可以遷移至目標(biāo)跟蹤領(lǐng)域，并由多種信息融合實(shí)現(xiàn)目標(biāo)有效跟蹤[7]。

筆者在原來(lái)的MDnet上基于時(shí)間相關(guān)性對(duì)其進(jìn)行改進(jìn)，利用視頻圖像序列的時(shí)間相關(guān)性，由前序幀目標(biāo)信息，結(jié)合當(dāng)前幀信息的時(shí)空結(jié)合信息共同計(jì)算，得出道路復(fù)雜交通場(chǎng)景下機(jī)動(dòng)車、非機(jī)動(dòng)車以及行人目標(biāo)所在位置。

1 基于時(shí)間相關(guān)性的改進(jìn)MDnet算法

目標(biāo)快速運(yùn)動(dòng)使得圖像中目標(biāo)區(qū)域邊界模糊，邊緣特征不明顯，運(yùn)動(dòng)目標(biāo)的前景、背景信息難以區(qū)分。當(dāng)目標(biāo)被其他物體遮擋時(shí)，如果是輕微的遮擋，會(huì)出現(xiàn)目標(biāo)定位出現(xiàn)偏差，若是大面積且長(zhǎng)時(shí)間遮擋，則真實(shí)目標(biāo)跟丟，目標(biāo)器轉(zhuǎn)而跟蹤遮擋的物體或者其它物體。在一些智能交通跟蹤系統(tǒng)中，由于系統(tǒng)閉環(huán)控制作用，系統(tǒng)控制模塊會(huì)隨著目標(biāo)運(yùn)動(dòng)，控制攝像頭移動(dòng)保證目標(biāo)始終處于攝像頭捕捉范圍內(nèi)。若目標(biāo)被交通道路中遮擋物干擾，系統(tǒng)跟蹤目標(biāo)切換至假目標(biāo)，加之系統(tǒng)閉環(huán)控制作用，跟丟的現(xiàn)象愈發(fā)嚴(yán)重，會(huì)導(dǎo)致違章目標(biāo)跟蹤失敗。

為解決目標(biāo)跟蹤場(chǎng)景中運(yùn)動(dòng)模糊、障礙物干擾，造成跟蹤出現(xiàn)偏差甚至跟丟的問(wèn)題，常使用軌跡預(yù)測(cè)的方式，保證目標(biāo)不脫離視場(chǎng)，實(shí)現(xiàn)目標(biāo)遮擋情況下的目標(biāo)有效跟蹤。CNN不同規(guī)模的卷積核提取特征的能力不相同，有研究人員提出用更多、更小的卷積核代替單個(gè)的大卷積核，從而獲取更多的圖像信息，提升運(yùn)動(dòng)目標(biāo)跟蹤的準(zhǔn)確性。

1.1 軌跡預(yù)測(cè)

圖像中常用顏色、紋理以及邊緣信息作圖像特征，而遮擋物會(huì)破壞目標(biāo)的圖像特征，導(dǎo)致跟蹤算法魯棒性下降。對(duì)于殘缺的目標(biāo)特征，通常使用運(yùn)動(dòng)目標(biāo)的前序信息補(bǔ)充，補(bǔ)充后的目標(biāo)信息在一定程度上修正遮擋物帶來(lái)的影響，提升跟蹤的準(zhǔn)確度。

常用的軌跡預(yù)測(cè)方式，是使用當(dāng)前幀的前序信息，獲取目標(biāo)光流信息，預(yù)測(cè)當(dāng)前幀目標(biāo)所在區(qū)域。圖像中運(yùn)動(dòng)目標(biāo)由于其特殊性，無(wú)法直接獲取二維坐標(biāo)信息。由于系統(tǒng)閉環(huán)控制作用，無(wú)法體現(xiàn)目標(biāo)的真實(shí)運(yùn)動(dòng)軌跡，在圖像中只體現(xiàn)了目標(biāo)局部信息。因此可以借鑒采樣的思想，提取圖像中運(yùn)動(dòng)目標(biāo)的光流特征表征目標(biāo)運(yùn)動(dòng)信息。

光流是空間運(yùn)動(dòng)物體在成像平面中像素運(yùn)動(dòng)的瞬時(shí)速度，通常將二維圖像平面特定坐標(biāo)點(diǎn)上的灰度瞬時(shí)變化率定義為光流矢量。在三維空間中，由運(yùn)動(dòng)場(chǎng)描述運(yùn)動(dòng)，而在二維圖像中，物體的運(yùn)動(dòng)描述方式是通過(guò)圖像序列同一位置的像素灰度變化體現(xiàn)。當(dāng)運(yùn)動(dòng)由三維空間變換映射到二維圖像時(shí)，運(yùn)動(dòng)變化表現(xiàn)為光流變化，這種運(yùn)動(dòng)描述方式也稱為光流場(chǎng)。光流場(chǎng)中以二維矢量場(chǎng)的形式記錄了各像素點(diǎn)灰度變化趨勢(shì)，并作為每一個(gè)像素點(diǎn)灰度變化產(chǎn)生的矢量瞬時(shí)速度集。三維空間中的運(yùn)動(dòng)場(chǎng)與二維圖片平臺(tái)的映射關(guān)系示意圖如圖1、圖2，相鄰幀圖像獲取的運(yùn)動(dòng)光流場(chǎng)示意如圖3。

圖1 三維空間的矢量場(chǎng)Fig. 1 Three-dimensional space vector field

圖2 矢量場(chǎng)在二維平面內(nèi)的投影Fig. 2 Vector field projected on two-dimensional plane

圖3 可視化光流場(chǎng)Fig. 3 Visual optical flow field

圖像中運(yùn)動(dòng)目標(biāo)所提取的光流特征，由于攝像機(jī)抖動(dòng)、光照干擾等因素影響，難免會(huì)提取到存在誤差的光流信息。對(duì)所提取的光流特征進(jìn)行預(yù)處理：刪除異常處異常光流特征點(diǎn)，并在特征稀疏處插值填充光流特征，最后利用有效的軌跡預(yù)測(cè)方法實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)軌跡預(yù)測(cè)。其中軌跡預(yù)測(cè)是指由前序幀采集光流信息或其它時(shí)序信息，經(jīng)過(guò)預(yù)處理后分析時(shí)序信息規(guī)律，預(yù)測(cè)下一幀運(yùn)動(dòng)目標(biāo)所處位置[8]。

采用目標(biāo)探索策略判別式進(jìn)行軌跡預(yù)測(cè)，首先在前序幀目標(biāo)的位置周圍區(qū)域采樣[17]，隨后確定目標(biāo)探索空間，探索空間范圍計(jì)算式如式(1)：

y={(m,n)|m2+n2

(1)

式中：m,n為前序幀目標(biāo)所在中心位置；r為圓形探索空間半徑。

在探索空間y中進(jìn)行局部一致性全采樣，得到前序時(shí)序信息后，由結(jié)構(gòu)化輸出SVM模型建立目標(biāo)位置預(yù)測(cè)函數(shù)[9]，用于預(yù)估目標(biāo)在后續(xù)幀的位置信息預(yù)測(cè)函數(shù)如式(2)：

(2)

1.2 不同核大小的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

理論上卷積核的大小可以是任意的，但大部分CNN中使用的卷積核都是奇數(shù)形式的正方形核。且在感受野相同的情況下，卷積核越小，模型參數(shù)和目標(biāo)跟蹤計(jì)算量越小[10]。

文獻(xiàn)[10]指出，能夠捕獲單像素以及相鄰八領(lǐng)域信息的最小卷積尺寸是3×3，且1個(gè)5×5卷積核的感受野與2個(gè)3×3卷積層堆疊相同，同理1個(gè)5×5卷積核的感受野與3個(gè)3×3卷積層堆疊相同。因此，在保證感受野一致時(shí)，可通過(guò)小尺寸卷積層的堆疊替代大尺寸卷積層。每個(gè)卷積層后會(huì)附帶1個(gè)激活函數(shù)，激活函數(shù)的作用是讓判決函數(shù)擬合性更強(qiáng)，使用多個(gè)小卷積核代替大卷積核，會(huì)使得跟蹤模型準(zhǔn)確率更高。同時(shí)，多個(gè)3×3卷積層也減少了目標(biāo)跟蹤模型參數(shù)。當(dāng)輸入特征圖大小都是C×C時(shí)，使用1層7×7卷積核的參數(shù)個(gè)數(shù)為49C2，使用3層3×3卷積核的參數(shù)個(gè)數(shù)僅為3×(3×3×C×C)=27C2，使用3層3×3卷積核的網(wǎng)絡(luò)模型參數(shù)數(shù)量更少。

那么1層7×7卷積核由3層3×3卷積核代替，1層5×5卷積核由2層3×3卷積核代替的模式，不僅增加了隱藏層，還利用激活函數(shù)起到隱形正則化的作用，并減少了模型參數(shù)數(shù)量。

1.3 改進(jìn)MDnet結(jié)構(gòu)

筆者提出的改進(jìn)MDnet融合時(shí)間與空間2種信息，網(wǎng)絡(luò)結(jié)構(gòu)中信息處理模塊擁有時(shí)間、空間2個(gè)處理部分，圖像特征處理模塊部由多個(gè)小型卷積核與激活函數(shù)組合而成。改進(jìn)MDnet網(wǎng)絡(luò)結(jié)構(gòu)示意如圖4，改進(jìn)的MDnet由采集時(shí)空信息，特征目標(biāo)提取及處理，運(yùn)動(dòng)目標(biāo)位置確定3個(gè)步驟實(shí)現(xiàn)道路復(fù)雜交通場(chǎng)景下有效目標(biāo)跟蹤。

圖4 基于時(shí)間相關(guān)性的改進(jìn)MDnet網(wǎng)絡(luò)結(jié)構(gòu)Fig. 4 Improved MDnet network structure based on time correlation

MDnet模型的圖像輸入大小為107×107，隨后確定目標(biāo)探索空間，再輸入至堆疊的6層卷積層，得到大小為3×3的特征圖，通過(guò)2層大小為512個(gè)單位的全連接層。最后一層是多分支的，每個(gè)分支均是具有分支屬性的全連接層，并且負(fù)責(zé)對(duì)目標(biāo)進(jìn)行2分類。除最后一層獨(dú)立域的全連接層，其余層都共享特征圖。

時(shí)空信息采集模塊采集前序幀的光流特性信息作為時(shí)間信息，采集由光流信息軌跡預(yù)測(cè)所得目標(biāo)探索空間作為空間信息。時(shí)空信息采集模塊的流程示意圖如圖5。收集并處理前序光流特征信息，由目標(biāo)搜索策略，計(jì)算軌跡預(yù)測(cè)的趨勢(shì)以及設(shè)定的搜索空間大小，將目標(biāo)探索空間這一局部圖像信息輸入圖像特征提取及處理模塊，而當(dāng)前幀圖像中搜索區(qū)域外的其它圖像將被拋棄。

圖5 時(shí)間信息采集模塊的流程示意Fig. 5 Flow chart of time information acquisition module

只保留待處理圖像的探索空間區(qū)域的原因在于發(fā)現(xiàn)圖像特征后，確定特征在圖像的精確位置不是重點(diǎn)，特征與其它特征的相對(duì)位置關(guān)系才是最重要的。跟蹤目標(biāo)與背景圖像的聯(lián)系緊密程度與距離相關(guān)，相隔較遠(yuǎn)的背景圖像對(duì)目標(biāo)的跟蹤性能的影響力較小。且運(yùn)動(dòng)目標(biāo)在圖像中的位置變化是連續(xù)的，因此使用探索空間圖像訓(xùn)練網(wǎng)絡(luò)模型。

在模型的訓(xùn)練中采用long-term和short-term互補(bǔ)的更新方式，long-term是固定時(shí)間間隔內(nèi)的主動(dòng)更新，short-term是當(dāng)出現(xiàn)固定個(gè)候選框評(píng)分低于準(zhǔn)確率閾值時(shí)的被動(dòng)更新。原MDnet中卷積層處理圖像的全局信息，基于時(shí)間相關(guān)性的改進(jìn)MDnet卷積層只處理目標(biāo)探索空間處圖像，運(yùn)動(dòng)目標(biāo)候選框?yàn)樨?fù)樣本的概率相比未改進(jìn)前的網(wǎng)絡(luò)概率低，因此模型整體更新速度更快，模型收斂速度也更快?；跁r(shí)間相關(guān)性的改進(jìn)的MDnet模型long-term為每5幀更新1次，short-term為20個(gè)候選框評(píng)分低于0.65時(shí)更新1次。

2 實(shí)驗(yàn)驗(yàn)證與分析

2.1 實(shí)驗(yàn)設(shè)置與結(jié)果分析

筆者在道路復(fù)雜交通場(chǎng)景下，基于時(shí)間相關(guān)性的改進(jìn)MDnet機(jī)動(dòng)車、非機(jī)動(dòng)車及行人目標(biāo)跟蹤模型，由Pytorch深度學(xué)習(xí)框架搭建，并由GPU加速訓(xùn)練。具體實(shí)驗(yàn)環(huán)境如表1。

表1 實(shí)驗(yàn)相關(guān)環(huán)境配置Table 1 Experiment related environment configuration

筆者的目標(biāo)跟蹤算法，針對(duì)MDnet算法利用視頻圖像序列間的時(shí)間信息相關(guān)性進(jìn)行改進(jìn)。在本節(jié)的實(shí)驗(yàn)中，改進(jìn)算法對(duì)比原MDnet在公開OTB數(shù)據(jù)集進(jìn)行跟蹤準(zhǔn)確率、成功率的定量對(duì)比分析，不同特性的視頻序列以實(shí)驗(yàn)結(jié)果圖示的方式進(jìn)行定性比較分析。

2.1.1 定量分析

在MATLAB平臺(tái)使用公開的OTB數(shù)據(jù)集，對(duì)原MDnet目標(biāo)跟蹤方法與改進(jìn)的MDnet目標(biāo)跟蹤方法評(píng)估，根據(jù)實(shí)際跟蹤結(jié)果得到這2種方法的目標(biāo)跟蹤準(zhǔn)確率、成功率曲線圖。OTB公開數(shù)據(jù)集標(biāo)準(zhǔn)庫(kù)2種目標(biāo)跟蹤方法的準(zhǔn)確率、成功率如圖6； OTB目標(biāo)模糊自選庫(kù)2種跟蹤方法的目標(biāo)跟蹤準(zhǔn)確率、成功率如圖7。括號(hào)內(nèi)為最高準(zhǔn)確率、成功率。

圖6 基于標(biāo)準(zhǔn)庫(kù)的跟蹤方式準(zhǔn)確率與成功率Fig. 6 Accuracy and success rate of tracking method based on standard library

圖7 基于目標(biāo)模糊自選庫(kù)的跟蹤方式準(zhǔn)確率與成功率Fig. 7 Accuracy and success rate of tracking method based on target fuzzy self-selection database

由圖6可以看出：基于時(shí)間相關(guān)性的改進(jìn)MDnet目標(biāo)跟蹤方法相比于原MDnet目標(biāo)跟蹤方法在整體性能上基本保持一致，并且略有提升。由圖7可以看出：針對(duì)目標(biāo)快速運(yùn)動(dòng)、目標(biāo)模糊、目標(biāo)遮擋問(wèn)題，這些需要更多紋理細(xì)節(jié)來(lái)判斷道路復(fù)雜交通場(chǎng)景下的目標(biāo)跟蹤，改進(jìn)MDnet的目標(biāo)跟蹤方法準(zhǔn)確率、成功率都要高于原MDnet目標(biāo)跟蹤方法。

因此基于時(shí)間相關(guān)性的改進(jìn)MDnet在保持目標(biāo)跟蹤通用性的前提性下，擁有更強(qiáng)的針對(duì)性，對(duì)目標(biāo)快速運(yùn)動(dòng)等其它特性的智能交通監(jiān)管應(yīng)用場(chǎng)景具有更高的應(yīng)用價(jià)值。

2.1.2 定性分析

對(duì)基于時(shí)間相關(guān)特性的MDnet目標(biāo)跟蹤方法定性分析，圖8、圖9為實(shí)驗(yàn)結(jié)果示意。圖中實(shí)線框?yàn)楦倪M(jìn)MDnet的目標(biāo)跟蹤結(jié)果，虛線框是目標(biāo)的標(biāo)準(zhǔn)位置。圖8、圖9中右上角三位數(shù)字代指該幀在視頻序列中的序號(hào)。

1)目標(biāo)快速運(yùn)動(dòng)、模糊與遮擋特性分析

圖8(a)的walking交通監(jiān)控圖像中地形開闊，遮擋物較少，跟蹤目標(biāo)為行走的行人。圖8(b)的Crowds視頻序列是交通監(jiān)控中常見的行人目標(biāo)跟蹤應(yīng)用場(chǎng)景，道路周邊由于樹木的遮擋，光線斑駁，行人區(qū)域圖像顏色不均勻。圖8(c)的Car視頻序列是交通圖像中機(jī)動(dòng)車跟蹤場(chǎng)景，被跟蹤目標(biāo)與目標(biāo)拍攝者兩者相對(duì)運(yùn)動(dòng)，存在運(yùn)動(dòng)模糊、背景圖像存在與機(jī)動(dòng)車跟蹤目標(biāo)相似物的干擾，且由于天橋、道路周圍的遮擋，光照不均勻。圖8(d)CarDark視頻序列是智能交通系統(tǒng)中機(jī)動(dòng)車夜間跟蹤場(chǎng)景，由于地面濕滑反光，且目標(biāo)機(jī)動(dòng)車速度快，機(jī)動(dòng)車跟蹤目標(biāo)圖像更模糊。

圖8 目標(biāo)快速運(yùn)動(dòng)、模糊與遮擋特性實(shí)驗(yàn)結(jié)果Fig. 8 Experimental results of target fast motion,blur and occlusion characteristics

實(shí)驗(yàn)結(jié)果可以看出：圖8中改進(jìn)的MDnet對(duì)跟蹤目標(biāo)區(qū)域圖像整體模糊問(wèn)題，背景與目標(biāo)色系相同即目標(biāo)邊界分割模糊問(wèn)題，快速運(yùn)動(dòng)小目標(biāo)問(wèn)題能有效解決，并準(zhǔn)確跟蹤目標(biāo)所在位置。

2)目標(biāo)尺度變化、面內(nèi)旋轉(zhuǎn)、形變特性分析

在圖9(a)的CarScale視頻序列中，被跟蹤目標(biāo)是運(yùn)動(dòng)中的小汽車，視頻的特性有目標(biāo)發(fā)生的尺度變化、目標(biāo)被樹枝遮擋、目標(biāo)發(fā)生面內(nèi)旋轉(zhuǎn)現(xiàn)象。圖9(b)為Couple視頻序列跟蹤目標(biāo)為行走的一對(duì)夫婦，由于拍攝視角改變，目標(biāo)發(fā)生面內(nèi)旋轉(zhuǎn)與目標(biāo)形化。

圖9 目標(biāo)尺度變化、面內(nèi)旋轉(zhuǎn)、形變特性實(shí)驗(yàn)結(jié)果Fig. 9 Experimental results of target scale changes,in-plane rotation and deformation characteristics

實(shí)驗(yàn)結(jié)果可以看出：圖9(a)中可以有效跟蹤目標(biāo)，當(dāng)目標(biāo)發(fā)生面內(nèi)旋轉(zhuǎn)時(shí)，改進(jìn)的MDnet方法可以定位部分目標(biāo)區(qū)域圖像，但是目標(biāo)真實(shí)區(qū)域無(wú)法全部覆蓋。圖9(b)中目標(biāo)物由2人組成，但是目標(biāo)由于視角變化，目標(biāo)旋轉(zhuǎn)發(fā)生形變，造成目標(biāo)短暫跟丟，但是很快又找回目標(biāo)。

根據(jù)以上分析，基于時(shí)間相關(guān)性的改進(jìn)MDnet利用目標(biāo)圖像的上下文信息，能有效的解決道路復(fù)雜交通場(chǎng)景下目標(biāo)快速運(yùn)動(dòng)、模糊以及低分辨率場(chǎng)景下的目標(biāo)跟蹤。能在一定程度上解決部分圖像信息缺失的目標(biāo)遮擋問(wèn)題，基本實(shí)現(xiàn)目標(biāo)的有效跟蹤，當(dāng)目標(biāo)發(fā)生短時(shí)間局部信息突變但是后續(xù)目標(biāo)圖像還原時(shí)，目標(biāo)在丟失一段時(shí)間后可以找回。

總體而言，基于時(shí)間相關(guān)性的改進(jìn)MDnet的模型參數(shù)較少，目標(biāo)跟蹤耗時(shí)較短，具有較好的實(shí)時(shí)性。因此，改進(jìn)的MDnet對(duì)實(shí)時(shí)性有要求，低分辨率、目標(biāo)圖像存在模糊現(xiàn)象，短時(shí)間局部圖像缺失的運(yùn)動(dòng)目標(biāo)跟蹤智能交通應(yīng)用場(chǎng)景有較高的應(yīng)用價(jià)值。

2.2 軌跡預(yù)測(cè)對(duì)跟蹤性能的影響

運(yùn)動(dòng)目標(biāo)跟蹤算法的評(píng)價(jià)指標(biāo)主要從實(shí)時(shí)性、準(zhǔn)確率2個(gè)方面評(píng)估算法可用性?；跁r(shí)間相關(guān)性的改進(jìn)MDnet新增了軌跡預(yù)測(cè)模塊，筆者將分析增加軌跡預(yù)測(cè)模塊對(duì)目標(biāo)跟蹤性能實(shí)時(shí)性、準(zhǔn)確率的影響。目標(biāo)跟蹤的實(shí)時(shí)性能，包括模型訓(xùn)練過(guò)程中，模型擬合所消耗的時(shí)間、測(cè)試過(guò)程中目標(biāo)跟蹤模型在單位時(shí)間內(nèi)目標(biāo)跟蹤的幀數(shù)。目標(biāo)跟蹤準(zhǔn)確率，是指在測(cè)試集中跟蹤準(zhǔn)確率。分析不同大小的目標(biāo)搜索空間半徑r對(duì)目標(biāo)跟蹤效果的影響，根據(jù)式(2)計(jì)算所得目標(biāo)探索空間是圓形，但通常視覺(jué)處理任務(wù)中輸入圖像的形狀是矩形，因此把該圓形探索空間的直徑2r作為邊長(zhǎng)得到正方形輸入圖像，目標(biāo)探索空間如圖10。

圖10 目標(biāo)探索空間示意Fig. 10 Schematic diagram of target exploration space

目標(biāo)搜索空間半徑r大小與跟蹤準(zhǔn)確率的關(guān)系示意如圖11(a)，隨著半徑r的增長(zhǎng)，跟蹤準(zhǔn)確率也隨之升高，但是當(dāng)目標(biāo)探索空間半徑r為(1+70%)r時(shí)，目標(biāo)跟蹤準(zhǔn)確率增長(zhǎng)速度減慢。目標(biāo)搜索空間半徑r與模型擬合速度關(guān)系示意如圖11(b)，模型擬合速度隨半徑r的增大而變慢。目標(biāo)搜索空間半徑r與幀實(shí)時(shí)處理速度示意如圖11(c)，當(dāng)半徑r增大時(shí)，幀實(shí)時(shí)處理速度變慢，算法實(shí)時(shí)性能下降。

圖11 探索空間半徑r對(duì)目標(biāo)跟蹤的影響Fig. 11 Influence of exploration space radius r on target tracking

圖10的實(shí)驗(yàn)結(jié)果證明：隨著搜索半徑r的越大，模型擬合速度越慢、實(shí)時(shí)性下降的現(xiàn)象越明顯，但是模型在r取(1+70%)r時(shí)，目標(biāo)跟蹤準(zhǔn)確率達(dá)到93.81%，隨后準(zhǔn)確率提升不明顯。相比不使用軌跡預(yù)測(cè)和搜索空間的方法在實(shí)時(shí)性，模型擬合速度，準(zhǔn)確率等性能都有所提升。

3 結(jié) 語(yǔ)

筆者分析擁有較高準(zhǔn)確率的目標(biāo)跟蹤MDnet，針對(duì)智能交通領(lǐng)域中常見的目標(biāo)遮擋、目標(biāo)快速運(yùn)動(dòng)導(dǎo)致運(yùn)動(dòng)模應(yīng)用場(chǎng)景，實(shí)現(xiàn)對(duì)目標(biāo)的有效跟蹤，幫助判斷目標(biāo)是否有違章行為。目標(biāo)遮擋與目標(biāo)模糊容易跟丟的原因在于目標(biāo)圖像不可見，目標(biāo)前景信息與背景信息不可區(qū)分，當(dāng)前幀可用信息相比無(wú)遮擋不模糊圖像可用信息較少，因此需要借助前序幀圖像的時(shí)間信息確定當(dāng)前幀目標(biāo)探索空間，利用小尺寸卷積核以小視野提取目標(biāo)探索空間的更多紋理信息。截取當(dāng)前幀圖像目標(biāo)探索空間，拋棄其它圖像信息，小卷積核提取圖像特征，提高模型目標(biāo)遮擋與運(yùn)動(dòng)模糊場(chǎng)景的跟蹤準(zhǔn)確率。

改進(jìn)的MDnet能有效解決跟蹤目標(biāo)區(qū)域圖像整體模糊問(wèn)題，背景與目標(biāo)色系相同即目標(biāo)邊界分割模糊問(wèn)題，快速運(yùn)動(dòng)小目標(biāo)問(wèn)題，實(shí)時(shí)跟蹤目標(biāo)所在位置。改進(jìn)的MDnet使用邊長(zhǎng)為(1+70%)r的探索空間，模型訓(xùn)練long-term為每5幀更新1次，short-term為20個(gè)候選框評(píng)分低于0.65時(shí)更新1次。最終經(jīng)過(guò)標(biāo)準(zhǔn)庫(kù)實(shí)驗(yàn)驗(yàn)證，改進(jìn)后的MDnet目標(biāo)跟蹤準(zhǔn)確率可達(dá)到93.81%，高于改進(jìn)前93.00%的準(zhǔn)確率；經(jīng)過(guò)自選的目標(biāo)模糊自選庫(kù)實(shí)驗(yàn)驗(yàn)證，改進(jìn)后的MDne目標(biāo)跟蹤準(zhǔn)確率可達(dá)95.93%，高于改進(jìn)前93.92%的準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明改進(jìn)的MDnet可提升運(yùn)動(dòng)目標(biāo)跟蹤的準(zhǔn)確性。