動態(tài)權(quán)重層次卷積特征自適應(yīng)目標(biāo)追蹤算法

杜 豐，王萬良，李思遠(yuǎn)，張 智，劉子瑜

1(浙江工業(yè)大學(xué) 計算機(jī)學(xué)院，杭州 310023) 2(南京大學(xué) 計算機(jī)科學(xué)與技術(shù)系，南京 210023) 3(浙江工業(yè)大學(xué) 之江學(xué)院 信息工程學(xué)院，浙江 紹興 312030)

1 引 言

隨著計算機(jī)視覺技術(shù)的成熟度不斷提高，其應(yīng)用領(lǐng)域逐漸拓寬.其中目標(biāo)追蹤是熱門的研究方向之一，近年來廣泛應(yīng)用于面部識別、智能監(jiān)控、目標(biāo)檢測、智慧城市等領(lǐng)域[1，2].

判別式追蹤算法是目標(biāo)追蹤算法分類之一，判別相關(guān)濾波器(Discriminative Correlation Filter，DCF)在其中具有較快的發(fā)展速度.Bolme等[3]在2010年提出的基于最小平方誤差和輸出(Minimum Output Sum of Squared Error，MOSSE)濾波器追蹤速度快，且相對其他追蹤算法具有較高精準(zhǔn)性，但由于只能運行單通道灰度特征，很難適應(yīng)目標(biāo)運動尺度變化等復(fù)雜情況.2014年Danelljan等[4]提出判別尺度空間追蹤器(Discriminative Scale Space Tracker，DSST)算法改進(jìn)了MOSSE的不足，但是追蹤速度慢，難以在大幅度形變和遮擋等復(fù)雜情況下追蹤.2015年Henriques等提出了一種新的具有與線性相關(guān)算法同等復(fù)雜度的高速核相關(guān)濾波器(Kernelized Correlation Filter，KCF)[5]，但是KCF對尺度變化的目標(biāo)追蹤效果不佳，其采用的HOG特征無法應(yīng)對快速變形等復(fù)雜情形，魯棒性不佳.

為了解決追蹤算法在復(fù)雜的情形(如遮擋、快速運動、較大尺寸變化等)下的挑戰(zhàn)和難題，諸多學(xué)者引入了深度學(xué)習(xí)方法[6].由于各類卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)用作圖像特征提取時具有比傳統(tǒng)手工提取的特征更好的性質(zhì)，因此融合了CNN特征的目標(biāo)追蹤算法[7-9]皆獲得了高于傳統(tǒng)追蹤算法的性能.Ma Chao等[10]基于DCF框架提出HCF(Hierarchical Convolutional Features)追蹤算法，用深度卷積特征更替HOG特征，可以解決目標(biāo)大幅度變化，但是追蹤過程容易受背景顏色影響.Danelljan等人為改進(jìn)DCF提出了解決邊界效應(yīng)的SRDCF(Spatially Regularized DCF)[11]和引入深度特征的DeepSRDCF[12]，前者引入空間正則化，后者對不同深度特征進(jìn)行研究，結(jié)果表明在處理追蹤問題時效果更佳的是采用CNN特征，而后來STRCF(Spatial-Temporal Regularized Correlation Filters)[13]對SRDCF的改進(jìn)，雖然在抗遮擋方面具有在重大貢獻(xiàn)，但仍然是使用HOG.2016年Danelljan等[14]提出C-COT(Continuous Convolution Operators)，得到一個連續(xù)空間域卷積方程，原作者基于C-COT在2017年提出ECO(Efficient Convolution Operators)[15]，該算法解決了算法中模型過大、運行速度較慢的問題.Ma Chao等[16]于2018年強(qiáng)化了HCF，得到HCFT(HCF Tracker)進(jìn)一步解決了具有挑戰(zhàn)性的尺度估計和目標(biāo)再檢測問題.2019年Danelljan等又提出ATOM(Accurate Tracking by Overlap Maximization)[17]，提供了準(zhǔn)確的目標(biāo)狀態(tài)估計，彌補(bǔ)了視覺追蹤中目標(biāo)分類和狀態(tài)估計之間的性能差距.

雖然上述基于相關(guān)濾波器改進(jìn)的算法具有追蹤速度的優(yōu)勢，但是改進(jìn)的側(cè)重點仍在目標(biāo)尺度和位置的估計，追蹤精準(zhǔn)度會因為目標(biāo)快速運動或被遮擋而降低，也會因為目標(biāo)后期的位置、尺度或姿勢變化過于頻繁而在追蹤識別過程中產(chǎn)生較大誤差.

本文提出一種動態(tài)權(quán)重融合層次化卷積特征的自適應(yīng)目標(biāo)追蹤算法(Adaptive Dynamic Convolution Feature Fusion，ADCF).于KCF框架上，通過層次化手段提取CNN特征，通過動態(tài)權(quán)重提高了對不同特征場景的適應(yīng)性，從而提升了相關(guān)濾波目標(biāo)追蹤算法的精度.通過在基準(zhǔn)(Benchmark)視頻數(shù)據(jù)集上的實驗結(jié)果，驗證了新算法的有效性，并在目標(biāo)物體尺度或姿勢頻繁變化的場景下優(yōu)于現(xiàn)有算法.

2 相關(guān)算法

2.1 核相關(guān)濾波算法

Henriques等人[5]為提高追蹤性能和速度，于2015年使用更簡單的對角化技術(shù)重新推導(dǎo)了公式，得到新的KCF和一個計算復(fù)雜度非常低的線性多通道對偶濾波器，提出了一個用于不同平移提取圖像的斑塊并計算出對線性回歸算法的影響的分析模型.給定當(dāng)前幀目標(biāo)的感興趣區(qū)域(Region of Interest，ROI)，經(jīng)由特征提取后得到一張大小為M×N的輸入特征圖x進(jìn)行訓(xùn)練，對其采用循環(huán)采樣可得樣本矩陣X=C(x)，根據(jù)循環(huán)位移程度采用二維高斯函數(shù)作為各個采樣樣本x(m,n)∈{0,1,…,M-1}×{0,1,…,N-1}的軟標(biāo)簽，如公式(1)所示，其中σ為高斯核寬度，求解濾波器w可由嶺回歸表示，如公式(2)所示.

(1)

(2)

(3)

(4)

(5)

其中kxx′核相關(guān)的多通道計算公式如下，此處采用高斯核函數(shù)，如公式(6)所示：

(6)

Tt+1=ηTt+1+(1-η)Tt

(7)

通過核函數(shù)的計算，KCF融合了多通道的HOG特征，追蹤性能總體得到提升，但當(dāng)目標(biāo)快速運動時其追蹤效果不佳，于是許多學(xué)者開始研究如何利用深度特征提高追蹤算法的魯棒性.

2.2 基于深度特征的追蹤算法

基于分類的卷積神經(jīng)網(wǎng)絡(luò)模型通過大量的標(biāo)注數(shù)據(jù)訓(xùn)練獲得，在不同應(yīng)用場景可以進(jìn)行很好的泛化和遷移.不同深度的卷積特征具有不同目標(biāo)信息.較低層卷積特征保留了更多的細(xì)粒度的空間特征，隨著網(wǎng)絡(luò)加深，較深層卷積特征圖的分辨率不斷降低、基于分類的語義信息逐漸增多.在目標(biāo)追蹤中，較好的目標(biāo)特征需要同時具有能很好地適應(yīng)目標(biāo)表觀變化的語義特征和便于目標(biāo)定位的空間特征.

基于DCF引入深度特征的追蹤算法以DeepSRDCF[12]、C-COT[14]、HCFT[16]為代表.DeepSRDCF直接取用不同CNN的單層卷積深度特征，證明追蹤效果最佳的是包含較多空間細(xì)節(jié)信息的第一層卷積特征.C-COT于連續(xù)域中以融合的方式對不同分辨率的特征訓(xùn)練了多個濾波器，最終輸出單個響應(yīng)結(jié)果.HCFT基于VGGNet[19]層次化的提取了conv3-4、conv4-4、conv5-4的輸出層作為特征訓(xùn)練多個濾波器，按3個置信圖的定位精度賦以固定權(quán)重來確定最終目標(biāo)位置.由文獻(xiàn)[12]、[14]和[16]可知，層次化的深度神經(jīng)網(wǎng)絡(luò)的中高層卷積層含有利于追蹤高級特征，其低層則便于空間定位.但采用固定權(quán)重融合多種不同的特征所訓(xùn)練的濾波器對復(fù)雜場景的自適應(yīng)能力較低，融合后往往無法達(dá)到各特征中最佳追蹤效果.2018-MCCT[20]采用動態(tài)權(quán)重融合各層次卷積特征來增強(qiáng)對不同場景的適應(yīng)性.

已有的基于深度特征改進(jìn)KCF的研究大多數(shù)測試的卷積神經(jīng)網(wǎng)絡(luò)類型單一，大部分文獻(xiàn)如[17]、[21]和[22]等都只研究了經(jīng)典層次化的VGGNet，也有部分文獻(xiàn)如[23]測試了經(jīng)典殘差ResNet，相較于深層次結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)，殘差結(jié)構(gòu)的或者是輕量級的卷積神經(jīng)網(wǎng)絡(luò)也可以有更佳的表現(xiàn).針對這一問題，本文算法使用目標(biāo)尺度估計，并對不同類別的CNN都進(jìn)行測試，指出哪種CNN特征最有效、速度最佳并且精度更佳，并采用動態(tài)權(quán)重融合不同層次卷積特征，達(dá)到自適應(yīng)追蹤的效果.

3 動態(tài)權(quán)重層次化卷積特征追蹤算法

如圖1所示為本文算法的流程圖，實驗中對輸入的單個多通道特征圖的各通道分別訓(xùn)練一個濾波器，最終輸出單個響應(yīng)圖，對不同分辨率的多通道特征分開訓(xùn)練而融合各個響應(yīng)圖.本文以KCF為框架，將CNN根據(jù)卷積層深度劃分為低層級、中層級和高層級卷積特征，于不同層級提取深度卷積特征以訓(xùn)練核相關(guān)濾波器，對各層次的輸出結(jié)果采用動態(tài)評估權(quán)重進(jìn)行融合，對模型采用動態(tài)學(xué)習(xí)率更新.其中具體的特征提取手段見3.1節(jié)，層次化響應(yīng)圖融合方式見3.2節(jié)，模型更新方式見3.3節(jié)，代碼詳見腳注(1)https://github.com/Lupin1998/ADCF_2019/.

圖1 動態(tài)權(quán)重層次化卷積特征追蹤算法流程圖Fig.1 Flowchart of the tracking algorithm with dynamic weighted fusion hierarchical convolution feature

3.1 多分辨率卷積特征提取

表1 各CNN采用卷積層Table 1 Convolution layers of each CNN

3.2 動態(tài)加權(quán)層次化響應(yīng)圖融合

(8)

(9)

(10)

定位準(zhǔn)確性采用峰瓣比(Peak Sidelobe Ratio，PSR)評估，由[3]可知第t幀第i層次的追蹤結(jié)果PSR計算為式(11)，均值為式(12).

(11)

(12)

(13)

第i層次輸出結(jié)果的評估得分越高則定位性能越好.最終，對第t幀各層次輸出結(jié)果以評估得分歸一化后得到的動態(tài)權(quán)重結(jié)合各層次原有的靜態(tài)權(quán)重WL1,WL2,WL3,，加權(quán)得到當(dāng)前幀追蹤結(jié)果(定位中心位置)，如公式(14)所示：

(14)

3.3 動態(tài)模型更新

由[35]可知模型的學(xué)習(xí)率需考慮追蹤準(zhǔn)確度、目標(biāo)表觀變化程度、相鄰兩幀間圖像幀差均值和預(yù)測位置的位移量、追蹤器穩(wěn)定性等因素，故本文中采用動態(tài)學(xué)習(xí)率更新模型，實驗中結(jié)合了PSR、輸出追蹤器穩(wěn)定性、相鄰兩幀間圖像幀差均值(公式(15))和預(yù)測位置的位移量來動態(tài)調(diào)整學(xué)習(xí)率.

(15)

其中第t幀中截取的ROI圖像大小為M×N，(m，n)位置的像素表示為pm,n.第i層次輸出結(jié)果的相鄰兩幀間預(yù)測位置的位移量計算如公式(16)所示：

(16)

學(xué)習(xí)率求解如公式(17)所示：

(17)

4 實驗結(jié)果與分析

4.1 實驗環(huán)境及參數(shù)

本文所提濾波算法基于Python 3.6和PyTorch深度學(xué)習(xí)框架(2)https://pytorch.org/docs/stable/torchvision/models.html實現(xiàn)，PyTorch版本為PyTorch1.0、torchvision 0.4.0，硬件配置為Intel I7-8700K 3.70GHz CPU和16GB內(nèi)存，Nvidia GeForce GTX 1070顯卡，Nvidia依賴為CUDA10.0、cuDNN7.5.1.

圖2 CNN性能對比圖Fig.2 Comparison of CNN performance

實驗中對經(jīng)典層次化CNN、殘差結(jié)構(gòu)CNN和輕量級CNN進(jìn)行統(tǒng)一實驗.如圖2所示為本文實驗涉及的各類CNN的性能對比散點圖，橫軸表示CPU前向傳播速度，縱軸表示精確度，散點大小表示CNN模型大小.其中，CNN的前向傳播速度，會直接影響所提算法的跟蹤速度.

4.2 卷積特征性能評估

本實驗中采用時間魯棒性估計(Temporal robustness evaluation，TRE)作為模型精度的評估指標(biāo)，對各層次卷積特征分別做單獨測試和組合測試評估.按表1中特征的層次提取方式，分別提取各CNN中低、中、高層卷積特征做單獨測試.為了權(quán)衡計算量和精度，實驗中對低、中、高層特征分別采用0.8、0.65、0.5的隨機(jī)失活率.采用PyTorch官方預(yù)訓(xùn)練權(quán)重，使用具有尺度變化、快速運動、運動模糊和形變等干擾因素的數(shù)據(jù)集，包含Matrix、Deer、Boy、Basketball、Liquor和Soccer，得到包含3類CNN的TRE精度圖和成功率圖，如圖3所示.

由圖3可見高層次卷積特征相比中低層次普遍表現(xiàn)出較高的追蹤魯棒性，輕量級CNN特征的追蹤精度較高且穩(wěn)定，而殘差結(jié)構(gòu)CNN特征追蹤效果較差.整體上看，卷積特征的追蹤失敗率較低，且由同一數(shù)據(jù)集預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)，其卷積特征的追蹤效果與CNN本身的分類精度、參數(shù)量大小無直接關(guān)系.但在分析追蹤失敗情況時發(fā)現(xiàn)，追蹤效果較差時的卷積特征模版的PSR較低而不利于區(qū)分目標(biāo)和背景.同時，實驗中根據(jù)算法穩(wěn)定性和精度，從3類CNN中的選出性能較優(yōu)的GoogLeNet、ResNeXt、SqueezeNet，分別進(jìn)行從低層特征到高層特征的線性組合測試[17]，仍標(biāo)注為L1，L2，L3，結(jié)果如圖4所示.

圖3 3類CNN的TRE精度圖和成功率圖Fig.3 Precision and success rate of three types of CNN

由圖可比較出對于相同CNN，L3層次的精確度和成功率是最高的，不同層次的卷積特征具有一定互補(bǔ)性，但追蹤效果未必好于單獨采用高層次特征，而是趨于平均.進(jìn)一步分析測試結(jié)果可知各層次卷積特征對應(yīng)的響應(yīng)輸出所占的固有靜態(tài)權(quán)重可由追蹤效果確定.本文所提ADCF算法對各類CNN直接動態(tài)加權(quán)融合各層次特征，可以適應(yīng)不同特征環(huán)境，由此可在一定程度提高了追蹤效率.

圖4 組合測試結(jié)果Fig.4 Combined test results

4.3 實驗結(jié)果對比

基于實驗4.2，在對比實驗中分別選用經(jīng)典層次化GoogLeNet、殘差結(jié)構(gòu)ResNeXt和輕量級SqueezeNet作為卷積特征的3個版本，其中低、中、高層分別采用0.8、0.6、0.4的隨機(jī)失活率.同時，實驗中對連續(xù)50幀處于低學(xué)習(xí)率的追蹤器由當(dāng)前幀目標(biāo)框進(jìn)行重新初始化以提高魯棒性.為了消除不同的CNN預(yù)訓(xùn)練權(quán)重帶來的追蹤效果偏差，對比實驗中所用的CNN預(yù)訓(xùn)練模型皆來自Caffe框架[38].本文所選取進(jìn)行對比的算法有KCF、ECO和STRCF.在測試數(shù)據(jù)集上整體性能對比如表2所示，展示了本文ADCF算法和比較算法的精確率、成功率和速度.各算法在遮擋、運動模糊、快速運動干擾下的性能對比如表3所示.

表2 測試數(shù)據(jù)集上整體性能對比結(jié)果Table 2 Comparison results on the dataset

分析實驗結(jié)果可知，本文算法在對不同CNN進(jìn)行測試時，輕量級的CNN效果比經(jīng)典層次化或殘差結(jié)構(gòu)的CNN更好.所提算法在所用測試環(huán)境中整體上的成功率和精確率遠(yuǎn)高于經(jīng)典KCF和ECO，在GoogLeNet和SqueezeNet的測試中效果也比STRCF更佳，并且在抗遮擋方面ADCF整體優(yōu)于STRCF.但由于算法要對各層次特征圖訓(xùn)練核相關(guān)濾波器，所以計算量較大，且計算量與所用CNN的深度和各層次選用的特征圖通道數(shù)成正比.綜合對比表2、表3結(jié)果可知，本文算法不僅在所用數(shù)據(jù)集包含的所有干擾項的測試下性能較佳，而且在遮擋、運動模糊和快速運動的干擾下性能比其他對比算法更好，因此更加適用于目標(biāo)在快速運動時發(fā)生大規(guī)模的位置、尺度或姿勢變化的情形中.

5 總 結(jié)

本文提出的動態(tài)權(quán)重層次化卷積特征追蹤算法可以在目標(biāo)快速運動過程中進(jìn)行精準(zhǔn)追蹤，且相比同類型的主流濾波追蹤算法，受追蹤過程中目標(biāo)被遮擋、運動模糊及快速運動影響更小，體現(xiàn)出較好的魯棒性.層次化提取不同類型CNN特征改進(jìn)了傳統(tǒng)KCF使用HOG特征對于形變、運動模糊等魯棒性較低的缺點，并驗證了高層次卷積特征追蹤魯棒性較高、輕量級CNN不易發(fā)生漂移的特點.動態(tài)加權(quán)方式提高了追蹤算法對不同特征的適應(yīng)能力，并且本文所用的動態(tài)評估方式能較好的發(fā)揮不同層次卷積特征于不同情形下的優(yōu)勢，使整體性能得到顯著提升.后續(xù)工作將進(jìn)一步優(yōu)化追蹤的實時性和各層次特征的融合方式.