基于深度學(xué)習(xí)的動態(tài)目標(biāo)跟蹤研究

諶 頏 鐘 貴 戴華珍 張袖斌 朱愷文

（廣州科技貿(mào)易職業(yè)學(xué)院，廣東 廣州 511442）

1 引言

現(xiàn)實空間環(huán)境中動態(tài)目標(biāo)對象遮擋、變形情況下的視覺跟蹤，是計算機圖像視覺領(lǐng)域研究的重要課題之一，特別是隨著城市交通網(wǎng)絡(luò)日益復(fù)雜化、城市居民數(shù)量的不斷增加，對于公共空間內(nèi)不同人員個體的目標(biāo)對象識別和跟蹤，成為計算機圖像視覺識別與分析的主要方向，對于實現(xiàn)空間人物目標(biāo)的智能化識別與監(jiān)控具有現(xiàn)實意義。目前有關(guān)空間動態(tài)目標(biāo)的識別與跟蹤研究，諸如文獻(xiàn)[1-4]，這些文獻(xiàn)從運動目標(biāo)圖像序列的像素點識別、像素樣本學(xué)習(xí)訓(xùn)練、目標(biāo)模板匹配等技術(shù)出發(fā)，對存在遮擋、干擾噪聲的動態(tài)目標(biāo)識別跟蹤作出分析，但即便如此，以上算法在動態(tài)目標(biāo)識別跟蹤的準(zhǔn)確性、魯棒性和可擴展性等方面依然存在不足，在復(fù)雜光照、遮擋和變形情況下的圖像處理質(zhì)量仍有待提高。基于此，本文從深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的角度出發(fā)，提出卡爾曼濾波的SiamRPN 深度學(xué)習(xí)算法進(jìn)行動態(tài)目標(biāo)跟蹤。首先運用SiamRPN網(wǎng)絡(luò)算法提取運動目標(biāo)的檢測幀、模板幀的重要特征，運用卡爾曼濾波預(yù)測模塊對現(xiàn)有的圖像幀進(jìn)行目標(biāo)預(yù)測，隨后通過置信度加權(quán)融合2個及以上的跟蹤模型，利用區(qū)域候選網(wǎng)絡(luò)RPN對存在遮擋、背景干擾等的動態(tài)目標(biāo)對象，進(jìn)行跟蹤框的位置坐標(biāo)和尺度的計算，確定最優(yōu)跟蹤框準(zhǔn)確地定位跟蹤目標(biāo)位置，實現(xiàn)對全遮擋目標(biāo)、噪聲干擾目標(biāo)的多次跟蹤識別，提高外部環(huán)境中動態(tài)目標(biāo)的跟蹤準(zhǔn)確率。

2 基于卡爾曼濾波的孿生(Siamese)網(wǎng)絡(luò)框架

2.1 Siamese跟蹤網(wǎng)絡(luò)框架架構(gòu)

Siamese跟蹤網(wǎng)絡(luò)是在Faster RCNN網(wǎng)絡(luò)框架的基礎(chǔ)上，建立起的用于區(qū)域候選網(wǎng)絡(luò)確定、目標(biāo)對象特征提取的卷積神經(jīng)網(wǎng)絡(luò)。[1]其中，RPN網(wǎng)絡(luò)判斷圖像幀的空間環(huán)境中，是否有動態(tài)監(jiān)測目標(biāo)，以及修正anchor 使跟蹤框更準(zhǔn)確，且RPN網(wǎng)絡(luò)的區(qū)域候選框提取、目標(biāo)對象跟蹤耗時更少，具體Siamese跟蹤網(wǎng)絡(luò)框架如圖1所示。

圖1 Siamese動態(tài)目標(biāo)跟蹤網(wǎng)絡(luò)框架

從圖1可以看出，Siamese網(wǎng)絡(luò)框架為具有孿生結(jié)構(gòu)的深度學(xué)習(xí)模型，分為搜索區(qū)域確定、動態(tài)跟蹤目標(biāo)特征提取兩個分支，左邊上下兩個支路為動態(tài)目標(biāo)特征提取的孿生網(wǎng)絡(luò)，支路的網(wǎng)絡(luò)結(jié)構(gòu)、提取特征參數(shù)完全相同，根據(jù)上方靠近候選區(qū)域的目標(biāo)模板幀，對下方的提取檢測幀作出對比分析，通過全卷積神經(jīng)網(wǎng)絡(luò)形成2個分支的連接。

右邊為搜索區(qū)域確定并輸出的孿生網(wǎng)絡(luò)，中間為搜索區(qū)域?qū)W習(xí)與提取網(wǎng)絡(luò)，包括分類分支、回歸分支，這里分類分支輸出含有2k個通道的特征圖像，紅色和藍(lán)色分別表示k個錨點的前景得分、背景得分；回歸分支輸出含有4k個通道的特征圖像，用不同顏色分別表示k個錨點的坐標(biāo)偏移預(yù)測值。

基于Siamese 網(wǎng)絡(luò)框架的動態(tài)目標(biāo)跟蹤，是在圖像搜索區(qū)域x內(nèi)，找到與模板幀z最相似的目標(biāo)跟蹤對象。[2]因而在Siamese全卷積網(wǎng)絡(luò)中，采用完全卷積函數(shù)h()，引入LT來表示平移算子，則對任意圖像幀平移轉(zhuǎn)換T、整數(shù)步長k之間的關(guān)系定義如式1：

計算圖像幀搜索區(qū)域x的所有目標(biāo)跟蹤對象，與模板幀z之間的相似性。使用卷積網(wǎng)絡(luò)嵌入函數(shù)ψ，計算搜索區(qū)域的目標(biāo)跟蹤對象x、模板幀z的相似性，計算公式如式2所示：

其中f表示相似性函數(shù)，*表示相關(guān)性操作符，φ(x)表示搜索圖像對象、φ(z)表示模板幀圖像。

2.2 SiamRPN深度學(xué)習(xí)算法

SiamRPN 算法包括目標(biāo)對象特征提取、分類回歸、分支回歸計算等執(zhí)行流程，其中分類回歸是對圖像搜索區(qū)域內(nèi)，存在的模板幀作出卷積運算；分支回歸是對圖像搜索區(qū)域內(nèi)，存在的檢測幀作出卷積運算[3]，計算公式如式3：

其中(Adx,Ady)為錨點框的中心點坐標(biāo)，Adw、Adh為錨點框的長和寬；(Tdx,Tdy)為真實檢測框的中心點坐標(biāo)，Tdw、Tdh為真實檢測框的長和寬，由于不同提取圖像的長和寬存在差異，因而需先對圖像尺寸作正則化處理。

采取RPN孿生網(wǎng)絡(luò)的端到端訓(xùn)練方式，在圖像搜索區(qū)域內(nèi)隨機提取模板幀、檢測幀，進(jìn)行錨框、真實檢測框的相似性識別訓(xùn)練。由于相鄰兩幀的目標(biāo)跟蹤對象變化較小，因而選取[0.33,0.5,1,2,3]等5種不同比例的錨，結(jié)合公式3、4，對0、1、2、3 等不同檢測框作出樣本訓(xùn)練識別，真實框樣本的正則化處理、損失函數(shù)如式5、6所示：

其中Lcls表示檢測圖像的目標(biāo)對象交叉的熵?fù)p失；λ表示分類或分支回歸的損失參數(shù)。在RPN 孿生網(wǎng)絡(luò)的錨框識別訓(xùn)練時，使用錨點框、真實目標(biāo)對象框的交并比(IOU)，判斷識別的目標(biāo)對象框?qū)儆谡龢颖净蜇?fù)樣本，定義IOU＞0.6 為正樣本、IOU＜0.3 為負(fù)樣本。

3 卡爾曼濾波模型的跟蹤目標(biāo)位置預(yù)測與估算

3.1 卡爾曼濾波模型

卡爾曼濾波是利用觀測方程、狀態(tài)方程，對動態(tài)目標(biāo)的狀態(tài)進(jìn)行實時跟蹤、迭代預(yù)測的方法。當(dāng)跟蹤動態(tài)目標(biāo)受到遮擋、噪聲干擾等影響時，將很大可能導(dǎo)致動態(tài)目標(biāo)跟丟的問題。[4]這一情況下，使用卡爾曼濾波器、濾波回歸算法，可對受到遮擋、噪聲干擾的目標(biāo)對象，進(jìn)行目標(biāo)位置預(yù)測及標(biāo)記，以保證前后相鄰幀目標(biāo)對象跟蹤的連續(xù)性。當(dāng)前卡爾曼濾波模型的狀態(tài)轉(zhuǎn)移方程、觀測方程如式7、8所示：

3.2 基于卡爾曼濾波的跟蹤目標(biāo)對象位置估算

在使用卡爾曼濾波模型，對動態(tài)跟蹤目標(biāo)的狀態(tài)進(jìn)行預(yù)測時，首要任務(wù)是確定圖像幀中目標(biāo)的初始狀態(tài)。假定某一動態(tài)跟蹤目標(biāo)的狀態(tài)為x=(p,v)，其中p表示目標(biāo)對象的位置、v表示目標(biāo)對象的速度[5]，則跟蹤目標(biāo)的狀態(tài)向量、觀測方程可用如式11、12表示。

其中x(0)表示觀測目標(biāo)的初始狀態(tài)、θ 表示目標(biāo)對象的轉(zhuǎn)動角度。在初始化階段定義目標(biāo)的模板幀為zpos，采用卡爾曼濾波模型，對目標(biāo)對象將會出現(xiàn)的區(qū)域作出預(yù)測，計算公式為式13、14，根據(jù)公式13 計算得到預(yù)測目標(biāo)對象的下一位置，多次迭代后得出目標(biāo)跟蹤的最優(yōu)化估計結(jié)果。

4 卡爾曼濾波模型、SiamRPN 深度學(xué)習(xí)算法融合的目標(biāo)跟蹤實現(xiàn)

面對跟蹤動態(tài)目標(biāo)存在遮擋、噪聲干擾的情況，提出卡爾曼濾波模型、SiamRPN 深度學(xué)習(xí)算法相融合跟蹤的方式，完成目標(biāo)對象跟蹤的總體流程設(shè)置，[6]具體如圖2所示。

圖2 卡爾曼濾波模型、SiamRPN融合算法的目標(biāo)跟蹤實現(xiàn)

首先使用跟蹤器采集圖像幀，使用RPN網(wǎng)絡(luò)確定跟蹤目標(biāo)的候選區(qū)域。隨后在初始化模塊中，將目標(biāo)對象的初始框中心點、坐標(biāo)位置，賦值給卡爾曼濾波器、SiamRPN 神經(jīng)網(wǎng)絡(luò)，并對卡爾曼濾波器中的跟蹤目標(biāo)初始狀態(tài)、初始預(yù)測值作出修改。

然后由SiamRPN神經(jīng)網(wǎng)絡(luò)算法，進(jìn)行跟蹤目標(biāo)對象的分類回歸、分支回歸卷積運算，提取圖像搜索區(qū)域內(nèi)的檢測幀特征，包括動態(tài)目標(biāo)對象跟蹤框的位置坐標(biāo)、尺度信息。最后將使用SiamRPN深度學(xué)習(xí)算法、卡爾曼濾波器，得到的目標(biāo)對象跟蹤框置信度值k1、k2，作出自適應(yīng)的加權(quán)融合計算，得到加權(quán)融合后的最優(yōu)跟蹤框值x為如式15、16：

其中w1、w2表示SiamRPN 網(wǎng)絡(luò)算法、卡爾曼濾波器的加權(quán)因子。假設(shè)使用SiamRPN 深度學(xué)習(xí)算法、卡爾曼濾波器，得到的動態(tài)目標(biāo)對象跟蹤框值分別為x1、x2，則利用公式15可得到加權(quán)融合后的目標(biāo)最優(yōu)跟蹤框值x。

5 實驗及結(jié)果分析

5.1 實驗環(huán)境及參數(shù)設(shè)置

基于Linux 系統(tǒng)平臺、MATLAB R2021a 仿真軟件，建立包含100 個視頻的OTB 跟蹤數(shù)據(jù)集(100 幀)，該數(shù)據(jù)集中涉及到跟蹤目標(biāo)對象，存在快速運動、背景相似、噪聲干擾、光照變化等一系列問題，基本上能夠全面反映卡爾曼濾波器、SiamRPN網(wǎng)絡(luò)算法的目標(biāo)跟蹤性能。

利用RPN 區(qū)域候選網(wǎng)絡(luò)，對OTB 跟蹤數(shù)據(jù)集的兩個卷積層參數(shù)作出調(diào)整，通過以上的損失函數(shù)進(jìn)行參數(shù)優(yōu)化。假設(shè)跟蹤目標(biāo)對象的邊界框的大小表示為(w,h)，則將裁剪后的模板幀大小設(shè)置為A*A，計算公式如式17：

其中p=(w+h)/2，按照圖1 的跟蹤目標(biāo)對象幀要求，將裁剪后的模板幀大小調(diào)整為127×127，將檢測幀設(shè)置為模板幀大小的2倍為255×255。

5.2 定性分析

選取OTB跟蹤數(shù)據(jù)集內(nèi)的3組典型跟蹤數(shù)據(jù)序列，設(shè)置為Soccer、Human6 和Bolt2 序列，其中Soccer 序列內(nèi)的跟蹤目標(biāo)對象，存在著遮擋、快速運動等影響因素；Human6 和Bolt2 序列的跟蹤目標(biāo)對象，存在著遮擋、平面旋轉(zhuǎn)、運動模糊等影響因素。采用卡爾曼濾波器、SiamRPN 深度學(xué)習(xí)算法，對以上3組序列的動態(tài)目標(biāo)對象作出跟蹤，具體的跟蹤結(jié)果如圖3所示。

圖3 Soccer、Human6和Bolt2序列的目標(biāo)對象跟蹤結(jié)果

從圖3 可以看出，最上層一組跟蹤圖像為Soccer 序列圖像，其存在著遮擋、快速運動等的干擾因素。在目標(biāo)對象未經(jīng)過紅綠燈桿時，采用卡爾曼濾波器（紅框）、SiamRPN 網(wǎng)絡(luò)算法（綠框）及SianFC 單目標(biāo)跟蹤算法（藍(lán)框），都能夠順利完成對動態(tài)行人目標(biāo)的有效跟蹤，且跟蹤精度差異不大。而當(dāng)目標(biāo)遇到紅綠燈桿的遮擋后（#56,#67 幀），基于SianFC算法的單目標(biāo)跟蹤很快丟失目標(biāo)，卡爾曼濾波器、SiamRPN網(wǎng)絡(luò)算法的跟蹤仍舊保持著較高精度，其中SiamRPN 深度學(xué)習(xí)算法的跟蹤精度最高，跟蹤效果基本上不受外部干擾因素的影響。

圖3 的中間層為Human6 序列，跟蹤目標(biāo)對象存在著平面旋轉(zhuǎn)、運動模糊等影響因素，如發(fā)現(xiàn)38幀以后跟蹤目標(biāo)快速運動、伴隨運動模糊，此時采用卡爾曼濾波器、SiamRPN深度學(xué)習(xí)算法相融合的跟蹤方式，均可以保證在連續(xù)多幀時間內(nèi)的跟蹤效果。圖3的最下層為Bolt2序列，跟蹤目標(biāo)對象存在著遮擋、平面旋轉(zhuǎn)等影響因素，在20～78 幀是的跟蹤時間范圍內(nèi)，發(fā)現(xiàn)使用卡爾曼濾波器、SiamRPN深度學(xué)習(xí)算法，均能保證跟蹤框、標(biāo)記目標(biāo)對象的跟蹤精準(zhǔn)性，而SianFC算法在面對人物遮擋的情況，很容易發(fā)生再次識別的跟蹤丟失問題。綜上分析可知，在上中下三組圖像的目標(biāo)對象跟蹤中，基于卡爾曼濾波的SiamRPN算法，可被用于含有遮擋、平面旋轉(zhuǎn)、快速運動的跟蹤情況，且具有明顯的算法跟蹤優(yōu)勢。

5.3 定量分析

根據(jù)跟蹤目標(biāo)的中心位置誤差(CLE)、重疊率(OR)等量化的度量指標(biāo)，對使用卡爾曼濾波器、SiamRPN 網(wǎng)絡(luò)算法、SianFC 算法、融合算法的目標(biāo)跟蹤精度，進(jìn)行量化性能分析。通常情況下，跟蹤目標(biāo)的中心位置誤差、重疊率成反比，也即CLE越小時OR越大，跟蹤精度越高。利用以上多種算法，進(jìn)行目標(biāo)對象幀測試序列的跟蹤分析，得到的CLE、OR相關(guān)量化指標(biāo)結(jié)果如表1、表2所示。

表1 動態(tài)目標(biāo)跟蹤的中心位置誤差(CLE)結(jié)果

表2 動態(tài)目標(biāo)跟蹤的重疊率(OR)結(jié)果

從表1、表2可以看出，針對以上三組跟蹤目標(biāo)序列的測試視頻幀，使用“卡爾曼濾波+SiamRPN算法”的跟蹤方式，平均跟蹤速率為37幀/秒，高于SianFC算法的18幀/秒、低于SiamRPN算法的49幀/秒，滿足目標(biāo)跟蹤的圖像幀實時性處理需求。同時相比于卡爾曼濾波器、SiamRPN 網(wǎng)絡(luò)算法、Sian-FC 算法而言，融合算法得到的動態(tài)目標(biāo)跟蹤的中心位置誤差(CLE)更小，目標(biāo)跟蹤的重疊率(OR)更高，在運行實時性、跟蹤精度方面體現(xiàn)出良好的性能。

6 結(jié)語

外部空間環(huán)境中動態(tài)目標(biāo)對象的視覺跟蹤，是近年來計算機視覺及姿態(tài)評估等領(lǐng)域關(guān)注的重要問題。特別在面對具有噪聲干擾、遮擋、變形的復(fù)雜場景中，需要采取濾波器目標(biāo)跟蹤、相鄰兩幀關(guān)聯(lián)分析的級聯(lián)匹配方法，對包含多個目標(biāo)的變量問題作出跟蹤分析。因此，在Faster RCNN 網(wǎng)絡(luò)框架的基礎(chǔ)上，建立用于區(qū)域候選網(wǎng)絡(luò)確定、目標(biāo)對象特征提取的卷積神經(jīng)網(wǎng)絡(luò)，使用卡爾曼濾波模型、SiamRPN 深度學(xué)習(xí)的融合算法，進(jìn)行圖像幀關(guān)聯(lián)分析，解決相似目標(biāo)的運動檢測、交互或遮擋監(jiān)測問題，對跟丟或再次出現(xiàn)的目標(biāo)作出準(zhǔn)確識別，相比于傳統(tǒng)的動態(tài)目標(biāo)跟蹤算法的識別跟蹤性能更優(yōu)。