融合時空特性的孿生網(wǎng)絡(luò)視覺跟蹤

姜珊， 底曉強， 韓成

(長春理工大學(xué) 計算機科學(xué)技術(shù)學(xué)院， 吉林 長春 130022)

0 引言

計算機視覺作為人工智能領(lǐng)域的重要組成部分，為社會發(fā)展帶來了巨大變化。其中，目標(biāo)跟蹤作為計算機視覺領(lǐng)域內(nèi)的重要分支，在智能視頻監(jiān)控、人機交互等領(lǐng)域應(yīng)用廣泛。同時，作為自主空戰(zhàn)中的關(guān)鍵技術(shù)，目標(biāo)跟蹤為軍事領(lǐng)域提供了有力的技術(shù)支撐。以軍事偵察領(lǐng)域為例，近年來，隨著科技的發(fā)展，無人機已經(jīng)成為重要的軍事偵察工具，對軍事基地等敏感區(qū)域的安防造成了極大的威脅。因此，開展目標(biāo)跟蹤技術(shù)研究，實現(xiàn)對飛行器的有效監(jiān)管和必要的反制，對于提升軍事戰(zhàn)場中的競爭力具有重要意義。

近年來，深度學(xué)習(xí)方法推動了計算機視覺領(lǐng)域的技術(shù)革新，為目標(biāo)跟蹤技術(shù)注入新的動力[1-6]。然而，現(xiàn)有跟蹤算法在實際應(yīng)用環(huán)境中依舊面臨著復(fù)雜的考驗，這些算法不僅受到遮擋、光照變換等外在因素的影響，也受到目標(biāo)外觀形變、運動模糊等內(nèi)在因素的困擾，導(dǎo)致跟蹤過程中跟蹤框發(fā)生漂移，嚴(yán)重影響了對目標(biāo)位置信息的判斷。因此，如何實現(xiàn)對目標(biāo)準(zhǔn)確、穩(wěn)定的跟蹤，是亟待解決的問題。

Bertinetto等[7]提出的全卷積孿生網(wǎng)絡(luò)算法SimaFC將視頻序列初始幀作為模板，根據(jù)待跟蹤幀中目標(biāo)與模板幀的相似性定位目標(biāo)；通過此種方式完成對模型的離線訓(xùn)練后，不對模型進(jìn)行在線更新。因此，SiamFC算法在速度上優(yōu)勢顯著，極大程度上滿足了跟蹤任務(wù)的實時性要求。Valmadre等[8]將相關(guān)濾波嵌入SiamFC算法中，為相似跟蹤問題提供了一種端到端的解決方案。Li等[9]利用目標(biāo)檢測的思想將跟蹤任務(wù)轉(zhuǎn)化為定位目標(biāo)和尺度預(yù)測兩個任務(wù)的結(jié)合，取得了優(yōu)異的性能。Zhu等[10]引入光流特征，豐富了對目標(biāo)外觀運動信息的描述。Zhang等[11]從網(wǎng)絡(luò)結(jié)構(gòu)層面分析影響跟蹤精度和算法魯棒性的原因，設(shè)計了可供優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)的殘差子模塊。

以上算法在SiamFC算法的基礎(chǔ)上進(jìn)行改進(jìn)，性能有較大提升，但仍存在一定缺陷。一方面，一些算法始終采用第1幀中的先驗信息作為模板，不對其進(jìn)行更新，或使用固定學(xué)習(xí)率的方式對模板進(jìn)行線性更新，難以對目標(biāo)在連續(xù)時間內(nèi)的外觀變化建模，忽略了目標(biāo)外觀變化在前后幀之間的時間連續(xù)性；另一方面，神經(jīng)網(wǎng)絡(luò)中采用的卷積特征感受野有限，更側(cè)重于關(guān)注鄰近位置的關(guān)聯(lián)，缺乏對長距離空間關(guān)系建模的能力。

為了解決上述問題，本文提出一種融合時空特性的孿生網(wǎng)絡(luò)跟蹤算法。在SiamFC算法基礎(chǔ)上，從3個層面對其進(jìn)行改進(jìn)：引入時間注意力模塊，獲取視頻序列時間關(guān)聯(lián)特性，計算歷史參考幀與視頻序列初始幀的相似性，生成時間注意力權(quán)重，自適應(yīng)地對目標(biāo)運動信息進(jìn)行補充；通過空間注意力模塊，獲取不同區(qū)域之間長距離空間位置對應(yīng)關(guān)系，從全局范圍內(nèi)定位目標(biāo)位置；采用Focal Loss函數(shù)對網(wǎng)絡(luò)進(jìn)行離線訓(xùn)練，平衡正負(fù)樣本比例，發(fā)掘困難樣本，提升算法的判別能力。實驗驗證結(jié)果表明，本文算法有效提高了SiamFC算法的跟蹤精度與穩(wěn)定性。

1 融合時空特性的孿生網(wǎng)絡(luò)視覺跟蹤算法

融合時空特性的孿生網(wǎng)絡(luò)視覺跟蹤算法框架如圖1所示，本文算法沿用SiamFC算法的相似性匹配框架，網(wǎng)絡(luò)共有上下兩個分支：上方分支中，第t-1幀至第t-T幀為歷史參考幀，其中，t為待跟蹤序列幀，T為歷史參考幀數(shù)目。利用卷積神經(jīng)網(wǎng)絡(luò)φ分別提取第t-1幀至第t-T幀特征，并輸入至?xí)r間注意力模塊，輸出時間注意力特征。隨后，利用空間注意力模塊，獲取空間注意力特征。結(jié)合時間注意力特征和空間注意力特征，得到最終融合模板特征。下方分支中，利用特征提取網(wǎng)絡(luò)φ，獲取其特征，并與上方分支輸出的融合模板特征進(jìn)行相關(guān)度計算，將相關(guān)度得分最高的點映射至待跟蹤序列幀中，對應(yīng)圖像區(qū)域即為目標(biāo)所在位置。下面詳細(xì)描述本文算法的原理和實現(xiàn)步驟。

圖1 融合時空特性的孿生網(wǎng)絡(luò)架構(gòu)圖Fig.1 Architecture of siamese network with temporal-spatial properties

1.1 全卷積孿生跟蹤網(wǎng)絡(luò)

SiamFC算法采用了一種孿生網(wǎng)絡(luò)結(jié)構(gòu)，具有兩個輸入，每個輸入采用相同的網(wǎng)絡(luò)結(jié)構(gòu)對輸入圖像進(jìn)行特征提取，最后通過相似度量函數(shù)比較兩個特征的相似性，具體表示為

(1)

式中：f(·)為相似度量函數(shù)；z為視頻序列第1幀中提取的模板圖像；x為待跟蹤幀中搜索圖像；φρ(z)為由主干網(wǎng)絡(luò)φ(·)提取到的模板圖像特征，ρ為網(wǎng)絡(luò)參數(shù)；φρ(x)為提取到的搜索圖像特征。

SiamFC算法中的特征提取網(wǎng)絡(luò)參考了AlexNet[12]的網(wǎng)絡(luò)結(jié)構(gòu)，共使用5層作為特征提取網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)輕便，參量較少，取得了近80幀/s的速度，滿足了跟蹤任務(wù)的實時性需求。經(jīng)過離線訓(xùn)練，處理一般的跟蹤任務(wù)時取得了良好的跟蹤精度，但當(dāng)目標(biāo)自身發(fā)生快速運動以及目標(biāo)附近發(fā)生相似性干擾時跟蹤算法精度下降，甚至發(fā)生漂移。分析其原因，有以下3種：跟蹤過程中始終不對模板進(jìn)行更新，目標(biāo)外觀與初始幀相比發(fā)生較大變化時，相似性匹配結(jié)果受到嚴(yán)重影響；基準(zhǔn)特征提取網(wǎng)絡(luò)中卷積核更關(guān)注像素間的鄰域關(guān)系，感受野范圍有限，缺乏獲取全局信息的能力；訓(xùn)練集中正負(fù)樣本數(shù)目不平衡，且簡單樣本的比重較大時，對于算法判別能力提升有限。通過對SiamFC算法不足之處的分析，本文將從上述三方面入手，對SiamFC算法進(jìn)行改進(jìn)。

表1展示了本文算法與SiamFC算法部分對比實驗結(jié)果(OTB2015[13]數(shù)據(jù)集中Tiger2序列、VOT2016[14]數(shù)據(jù)集中Bmx序列的跟蹤結(jié)果可視化)。由表1可見，SiamFC算法對于跟蹤目標(biāo)的響應(yīng)范圍有所偏差，而本文算法響應(yīng)區(qū)域范圍更準(zhǔn)確，有效提升了SiamFC算法的精確度。

表1 本文算法與SiamFC算法跟蹤結(jié)果可視化對比

1.2 時間注意力模塊

目標(biāo)外觀在視頻序列中隨著自身運動狀態(tài)的改變而變化，在以往的跟蹤算法中，僅通過一個固定模板難以描述一段時間內(nèi)目標(biāo)外觀的連續(xù)變化。在當(dāng)前幀中判別力較強的樣本在長時域后可能不具有很強的參考價值。因此，本文構(gòu)建了一個動態(tài)模板特征，通過引入時間注意力模塊完成多個參考模板的自適應(yīng)特征融合，擴(kuò)充跟蹤目標(biāo)特征空間的多樣性，有效應(yīng)對跟蹤過程中目標(biāo)外觀發(fā)生的各種變化，進(jìn)而可以改善SiamFC算法中模板更新不足導(dǎo)致的跟蹤失敗問題。時間注意力模塊結(jié)構(gòu)如圖2所示。

圖2 時間注意力模塊Fig.2 Temporal attention module

(2)

式中：wi為對應(yīng)參考幀的融合權(quán)重，參考幀權(quán)重與其對模板的貢獻(xiàn)呈正相關(guān)；φi為第i幅參考幀的特征。由于初始幀中含有的目標(biāo)外觀信息較為全面，對于目標(biāo)被遮擋或發(fā)生運動模糊等情況下具有一定參考價值。因此，采用余弦函數(shù)逐一計算參考幀特征與初始幀特征的相似程度，與初始幀特征相似度更高的參考幀特征會具備更大的融合權(quán)重，計算得到權(quán)重結(jié)果后，對其進(jìn)行歸一化：

(3)

式中：φ0為視頻初始幀圖像特征。在跟蹤過程中，隨著參考幀模板的不斷更新，根據(jù)(1)式～(3)式可以實現(xiàn)融合權(quán)重的自適應(yīng)賦值，進(jìn)而獲取含有時間特性的模板特征。

由此可見，時間注意力模塊通過引入視頻序列初始幀作為參考，減弱了在跟蹤過程中算法受累積誤差的影響，因此可以提供可靠的自適應(yīng)權(quán)重，進(jìn)而提升模型對于相似物體的判別能力。

1.3 空間注意力模塊

圖3 空間注意力模塊Fig.3 Spatial attention module

(4)

(5)

式中：⊕表示按位加；?表示按位乘。

使用空間注意力模塊可對目標(biāo)外觀特征的長期變化建模，擴(kuò)大了感受野，提升了算法對于全局特征的感知能力。使用該模塊獲取的空間關(guān)系可以與時間注意力模塊中得到的時間關(guān)聯(lián)互補，使目標(biāo)外觀特征表達(dá)更加全面。

至此，通過上述步驟，得到最終的模板特征φ(z)，對搜索特征φ(x)與模板特征φ(z)作相關(guān)運算，選取最大值所在位置，即為跟蹤結(jié)果。

1.4 損失函數(shù)

在跟蹤任務(wù)中，離線訓(xùn)練數(shù)據(jù)集中正負(fù)樣本的分布會影響算法的表現(xiàn)，正負(fù)樣本數(shù)目的不平衡，會影響模型判別能力。大量的簡單負(fù)樣本占據(jù)了更大的誤差比重，反向傳播過程中對梯度計算影響較大，致使模型對困難樣本的判別能力下降。為了改善這一情況，在離線訓(xùn)練階段，本文采用Focal Loss[16]函數(shù)作為損失函數(shù)，平衡正負(fù)樣本的比例，以提升SiamFC算法在相似性干擾等復(fù)雜場景中的性能。在離線訓(xùn)練階段，采用的損失函數(shù)L形式為

(6)

式中：χ為平衡正負(fù)樣本的平衡因子；P為預(yù)測樣本為正樣本的概率；γ為調(diào)節(jié)簡單負(fù)樣本與困難負(fù)樣本比重的調(diào)制因子；y為樣本標(biāo)簽。通過設(shè)置平衡因子χ與調(diào)制因子γ，可以提升對困難負(fù)樣本的判別能力，從而提高網(wǎng)絡(luò)的泛化能力。

2 實驗結(jié)果與分析

本文算法在訓(xùn)練過程中通過配置11GB顯存的Nvidia GeForce 1080Ti GPU，16GB內(nèi)存的計算機實現(xiàn)。使用GOT10k[17]數(shù)據(jù)集離線訓(xùn)練網(wǎng)絡(luò)參數(shù)，訓(xùn)練過程迭代50個周期，初始學(xué)習(xí)率設(shè)置為0.01，隨迭代周期逐步降至0.000 1，T設(shè)置為3.特征提取網(wǎng)絡(luò)φ結(jié)構(gòu)如表2所示。時間注意力模塊由3個卷積層構(gòu)成，分別為1×1×128、3×3×128、3×3×512；空間注意力模塊的網(wǎng)絡(luò)結(jié)構(gòu)為1×1×128、1×1×128、1×1×128.在離線訓(xùn)練階段，損失函數(shù)L中參數(shù)χ=0.25，γ=2.為了驗證本文算法的有效性，利用OTB2015數(shù)據(jù)集與VOT2016數(shù)據(jù)集對算法進(jìn)行評估。

表2 特征提取網(wǎng)絡(luò)結(jié)構(gòu)

2.1 OTB數(shù)據(jù)集跟蹤結(jié)果

OTB2015數(shù)據(jù)集包含了由100組視頻抽取而成的圖像序列，并以11種屬性標(biāo)注了這些序列所包含的挑戰(zhàn)，分別為光照變化、背景干擾、運動模糊、快速運動、遮擋、目標(biāo)形變、超出視野、低分辨率、平面內(nèi)旋轉(zhuǎn)、平面外旋轉(zhuǎn)。對比算法選取HDT算法[5]、SiamFC算法[7]、CFNet算法[8]、ECO算法[18]、DSST算法[19]、KCF算法[20]、SRDCF算法[21]7種算法。利用OTB2015數(shù)據(jù)集，采用精確度與成功率兩個指標(biāo)對以上7種算法的性能進(jìn)行評估。精確度描述了跟蹤框與真實位置的偏離程度，計算跟蹤框中心點與標(biāo)注框中心點的距離小于給定閾值的幀數(shù)目在所有視頻序列幀所占比例，閾值設(shè)置為20個像素。成功率得分為跟蹤成功的幀數(shù)與總幀數(shù)的比值，其計算公式為score=area(A∩B)/area(A∪B)，score表示得分，area表示面積，A表示由跟蹤算法繪制的跟蹤框，B表示視頻真實標(biāo)注框，通常二者都由矩形標(biāo)注，通過計算估值、真值交集與并集的比值，取值范圍為(0，1)。預(yù)設(shè)閾值δ=0.5，若score>δ，則認(rèn)為算法成功跟蹤指定目標(biāo)。不斷改變δ的值，可獲得整段視頻序列成功率曲線，通過比較各個算法的曲線下面積，可以實現(xiàn)對所有對比算法的排序。

圖4展示了所有算法的精確度曲線和成功率曲線。由圖4可見：本文算法在精確度指標(biāo)上取得了80.6%的成績，較基準(zhǔn)SiamFC算法提升了2.6%，在所有算法中位列第3名；本文算法成功率成績?yōu)?6%，較SiamFC算法提高了3.2%，整體排名第2名。表3和表4分別列舉了所有算法在11個視頻屬性上的精確度和成功率得分，其中，每種屬性最優(yōu)得分用紅色字體表示，次優(yōu)得分用藍(lán)色字體表示，其他得分用黑色字體表示。由表3和表4可見，在11個屬性中，本文算法較SiamFC算法均有一定程度的提升，并在快速運動、運動模糊、低分辨率、平面外旋轉(zhuǎn)等屬性取得最好成績。

圖4 OTB2015數(shù)據(jù)集跟蹤結(jié)果Fig.4 Tracking results of OTB2015 benchmark

表3 OTB2015數(shù)據(jù)集視頻屬性準(zhǔn)確率得分

表4 OTB2015數(shù)據(jù)集視頻屬性成功率得分

為了更直觀地展示所有算法的跟蹤效果，選取OTB2015數(shù)據(jù)集中具有代表性的視頻序列進(jìn)行展示，利用不同顏色矩形框?qū)Σ煌惴右詤^(qū)分，所有算法跟蹤結(jié)果如表5所示。

按照視頻序列屬性進(jìn)行分類，下面從3個角度對實驗結(jié)果進(jìn)行分析。

1) 背景相似干擾及遮擋。表5中Basketball序列測試算法應(yīng)對背景相似性干擾的能力。所有算法在前期均可以實現(xiàn)對目標(biāo)的準(zhǔn)確跟蹤，但在視頻序列中后期結(jié)果產(chǎn)生分化。分析其原因，由于SiamFC算法不對模板進(jìn)行在線更新，且在離線訓(xùn)練階段沒有對困難樣本進(jìn)行標(biāo)注，導(dǎo)致跟蹤失敗。表5中Tiger2序列主要考驗算法處理遮擋問題的處理能力，大多數(shù)算法都可以覆蓋跟蹤目標(biāo)，僅有部分算法精度欠佳。

2) 光照及尺度變化。表5中的Shaking序列描述了目標(biāo)在不同光照環(huán)境下的狀態(tài)變化，這一變化過程同時伴隨著尺度變化、旋轉(zhuǎn)變化等復(fù)雜挑戰(zhàn)。實驗結(jié)果表明，KCF、SRDCF及SiamFC算法不能很好地應(yīng)對此場景，發(fā)生了目標(biāo)跟丟，而其他算法則很好地完成了這一挑戰(zhàn)。表5的Trans序列中，目標(biāo)經(jīng)歷了光照變化、外觀形變以及較大程度的尺度變化等多重挑戰(zhàn)。序列開始至46幀時所有算法均能夠定位目標(biāo)，隨后目標(biāo)發(fā)生旋轉(zhuǎn)并駛?cè)牍庹蛰^暗區(qū)域，各算法逐漸偏離目標(biāo)中心，至121幀時結(jié)果分化較為嚴(yán)重，大多數(shù)算法均發(fā)生偏離，僅本文算法可以定位目標(biāo)中心位置，但尺度信息不夠準(zhǔn)確。

3) 旋轉(zhuǎn)及快速運動。表5的Dragonbaby序列跟蹤過程中，目標(biāo)與場景中的其他物體進(jìn)行互動，過程中目標(biāo)相對于鏡頭的角度發(fā)生較大變化，本文算法、SiamFC及HDT算法均能夠定位目標(biāo)，其他算法則發(fā)生較大程度偏離。表5的Motorolling序列中目標(biāo)運動時速度較快，且運動幅度較大、畫面出現(xiàn)模糊。只有融合了多幅參考幀特征的本文算法以及結(jié)合了淺層和深層特征信息的HDT算法可以實現(xiàn)準(zhǔn)確跟蹤。

2.2 VOT2016數(shù)據(jù)集跟蹤結(jié)果

VOT2016數(shù)據(jù)集包含60組視頻序列，并對所有序列加以標(biāo)注，分別為相機抖動、光照變化、位移模糊、遮擋、尺度變化。VOT2016數(shù)據(jù)集采用的評價指標(biāo)有：1)精確度，描述預(yù)測框與真實標(biāo)注框之間的覆蓋情況，數(shù)值越大，準(zhǔn)確度越高；2)魯棒性，統(tǒng)計跟蹤算法丟失目標(biāo)的次數(shù)，數(shù)值越小，算法魯棒性越好；3)預(yù)期平均覆蓋率(EAO)，計算跟蹤算法在同一視頻序列非重置重疊區(qū)域的期望。此外，VOT2016數(shù)據(jù)庫在評測算法時，采用了跟丟重新啟動機制。如果某一幀中檢測到跟蹤器完全覆蓋不到目標(biāo)，則5幀之后將利用真實值重新初始化算法。

表5 OTB2015數(shù)據(jù)集實驗對比結(jié)果

在VOT2016數(shù)據(jù)集實驗驗證環(huán)節(jié)，選取KCF、SRDCF、DCFNet[22]、MEEM[23]、ANT[24]、BACF[25]、SiamVGG[26]、SiamFC、DSST等經(jīng)典算法與本文算法進(jìn)行對比，所有算法測試結(jié)果的EAO曲線及EAO得分分別如圖5、圖6所示。由圖5和圖6可見：本文算法在VOT2016數(shù)據(jù)集整體表現(xiàn)遜色于SiamVGG算法，與SRDCF算法性能相近，在所有對比算法中位列第3名；10種算法在VOT2016數(shù)據(jù)集的精確度得分和魯棒性得分如表6和表7所示，其中數(shù)據(jù)每項指標(biāo)最優(yōu)成績用紅色字體表示，次優(yōu)用藍(lán)色字體表示，其他則用黑色字體表示。由表6和表7可見，無論是準(zhǔn)確度還是魯棒性，本文算法較基準(zhǔn)算法均有提升，表明時間注意力和空間注意力的引入能夠有效提升算法在復(fù)雜場景下的跟蹤性能。

表6 10種算法在VOT2016數(shù)據(jù)集上不同視頻屬性精確度得分

2.3 飛行器目標(biāo)偵察仿真測試

為了檢驗本文算法在軍事領(lǐng)域的有效性，選取LASOT數(shù)據(jù)集中的Airplane9、Airplane18、Airplane19序列，以對飛行器的跟蹤來模擬對無人機的跟蹤，測試結(jié)果如表8所示。所有測試序列中，飛行器由地面飛向高空，飛行高度不斷發(fā)生變換，飛行過程中多次發(fā)生旋轉(zhuǎn)運動，且在空中呈現(xiàn)了多種飛行姿態(tài)。該項仿真測試展示出的主要挑戰(zhàn)有：在飛行器經(jīng)歷光照、場景轉(zhuǎn)換等外部環(huán)境變化(Airplane 9序列)；飛行器在云層中穿梭，飛行過程中被云霧遮擋，能見度較差，且目標(biāo)外觀與場景區(qū)分程度較小(Airplane 18序列)；飛行器運動過程中拍攝的視角發(fā)生改變，外觀變化程度較大，且受到外界環(huán)境的影響，攝像頭抖動等因素導(dǎo)致成像質(zhì)量較差(Airplane 19序列)。

表8 飛行器跟蹤仿真測試

仿真測試結(jié)果表明，本文算法能夠很好地應(yīng)對旋轉(zhuǎn)運動、光照變換等挑戰(zhàn)，實現(xiàn)對飛行器持續(xù)準(zhǔn)確地跟蹤，具備應(yīng)用于軍事領(lǐng)域無人機偵察任務(wù)的能力。

3 結(jié)論

本文對視頻序列中存在的快速運動和相似性干擾問題進(jìn)行了研究，在SiamFC算法基礎(chǔ)上，提出一種融合時空特性的孿生網(wǎng)絡(luò)視覺跟蹤算法。采用OTB2015、VOT2016數(shù)據(jù)集對本文算法性能進(jìn)行驗證，同時選取仿真軍事偵察任務(wù)的飛行器視頻序列進(jìn)行測試，與多個經(jīng)典目標(biāo)跟蹤算法進(jìn)行了對比。得出以下主要結(jié)論：

1) 通過引入時間注意力模塊，充分利用初始幀信息融合多幅參考幀，構(gòu)建具有時序關(guān)聯(lián)的匹配模板，提升了算法對近似目標(biāo)的判別能力。

2) 利用空間注意力模塊優(yōu)化空間特征，增強感知全局信息的能力，提升了模型準(zhǔn)確定位目標(biāo)的能力。

3) 使用Focal Loss函數(shù)作為網(wǎng)絡(luò)訓(xùn)練階段的損失函數(shù)，提升了算法處理不平衡樣本的能力。