優(yōu)化分類的弱目標(biāo)孿生網(wǎng)絡(luò)跟蹤研究

姜文濤，張大鵬

（1.遼寧工程技術(shù)大學(xué) 軟件學(xué)院, 遼寧 葫蘆島 125105; 2.遼寧工程技術(shù)大學(xué) 研究生院, 遼寧 葫蘆島 125105）

目標(biāo)跟蹤要求在連續(xù)視頻序列中，利用首幀提供的有限信息，在后續(xù)幀中定位目標(biāo)，結(jié)果一般使用與坐標(biāo)軸平行的跟蹤框表示。目標(biāo)跟蹤技術(shù)在自動駕駛[1-2]、增強現(xiàn)實[3]、行人檢測[4]和實時監(jiān)控[5]等領(lǐng)域都有良好的應(yīng)用潛力。在實際應(yīng)用中目標(biāo)跟蹤也面臨著很多由復(fù)雜情況帶來的挑戰(zhàn)，例如光照條件變化、低分辨率和圖片模糊等造成的弱目標(biāo)情況。因此，實現(xiàn)在復(fù)雜場景下的魯棒性跟蹤仍是計算機視覺領(lǐng)域中一個具有挑戰(zhàn)性的任務(wù)[6-7]。

隨著深度學(xué)習(xí)的發(fā)展，基于孿生網(wǎng)絡(luò)的跟蹤器逐漸成為主流，這類算法一般包含兩個輸入分支，并使用互相關(guān)操作連接這兩個輸入，生成響應(yīng)圖，通過響應(yīng)圖來判斷目標(biāo)在搜索區(qū)域的大致位置。經(jīng)典算法有Bertinatto 等[8]提出的全卷積孿生神經(jīng)網(wǎng)絡(luò)（fully-convolutional Siamese network,SiamFC）算法和Li 等[9]提出的孿生區(qū)域提議（siamese region proposal network, SiamRPN）算法等。SiamFC算法通過對目標(biāo)和搜索區(qū)域的響應(yīng)圖進(jìn)行插值，并在5 個尺度上對響應(yīng)圖峰值處進(jìn)行測試來確定目標(biāo)的具體位置和大小。劉如浩等[10]在Siam-FC 的基礎(chǔ)上引入可變形卷積(deformable convolution, DC)[11]提出了DCSiam 算法，通過DC 模塊提升單個卷積核的感受野，進(jìn)而使骨干網(wǎng)絡(luò)的特征提取能力得到增強，同時引入模板更新策略，在目標(biāo)特征發(fā)生變化時，依然能夠?qū)崿F(xiàn)有效匹配。但該算法繼承了多尺度測試的邊界預(yù)測策略，對運動模糊等弱目標(biāo)場景適應(yīng)性較差。SiamRPN 算法將區(qū)域推薦網(wǎng)絡(luò)(region proposal network, RPN)引入孿生網(wǎng)絡(luò)，通過在目標(biāo)特征圖上生成不同尺寸和比例的錨框，基于錨框預(yù)測目標(biāo)邊界，提升了算法精度。尚欣茹等[12]在SiamRPN 中引入導(dǎo)向錨框網(wǎng)絡(luò)(guided anchor RPN, GA-RPN)，提出了SiamGA-RPN算法，利用深度特征的語義信息指導(dǎo)錨框的生成。這樣生成的錨框?qū)δ繕?biāo)覆蓋更準(zhǔn)確，提高了算法的魯棒性。但該算法未能充分利用圖片語義信息進(jìn)行分類預(yù)測，在低分辨率、模糊等場景下無法生成高質(zhì)量錨框。

此外，上述算法都存在一個共同的問題，即以標(biāo)識目標(biāo)的標(biāo)注框作為學(xué)習(xí)目標(biāo)。標(biāo)注框通常是平行于坐標(biāo)軸的矩形框，為了完整包含目標(biāo)，標(biāo)注框往往比目標(biāo)主體要大，因此會包含很多的背景信息，導(dǎo)致算法在訓(xùn)練過程中會受到干擾，降低學(xué)習(xí)效率。基于上述問題，本文設(shè)計了基于分類和回歸的一階段跟蹤算法。1）使用孿生全卷積神經(jīng)網(wǎng)絡(luò)作為基本框架，通過引入可變形卷積，提高骨干網(wǎng)絡(luò)卷積核的有效感受野，進(jìn)而提升骨干網(wǎng)絡(luò)的特征提取能力。2）在分類訓(xùn)練中引入定位質(zhì)量信息對訓(xùn)練目標(biāo)進(jìn)行加權(quán)，提高真實目標(biāo)對網(wǎng)絡(luò)的貢獻(xiàn)，增強模型識別目標(biāo)的能力。3）在目標(biāo)預(yù)測階段引入輕量級的卷積神經(jīng)網(wǎng)絡(luò)，充分利用圖片語義信息，并且采用雙分支共同預(yù)測的網(wǎng)絡(luò)架構(gòu)，將定位和邊界回歸任務(wù)分配到獨立的兩分支，使網(wǎng)絡(luò)具有較高的泛化性。本文算法在OTB2015、VOT2018 和LaSOT 等跟蹤數(shù)據(jù)集上都表現(xiàn)出了優(yōu)秀的跟蹤性能。

1 優(yōu)化分類預(yù)測的孿生網(wǎng)絡(luò)

1.1 整體框架

本文算法整體框架如圖1 所示，包含特征提取子網(wǎng)絡(luò)和目標(biāo)預(yù)測子網(wǎng)絡(luò)，其中，模板幀和搜索幀通過互相關(guān)操作進(jìn)行融合。在目標(biāo)預(yù)測子網(wǎng)絡(luò)中，使用分類分支和回歸分支分別進(jìn)行位置預(yù)測和邊界預(yù)測，最終產(chǎn)生目標(biāo)預(yù)測框。

圖1 本文算法框架Fig.1 Frame of our algorithm

1.2 可變形卷積

SiamFC 和SiamRPN 使用AlexNet 作為骨干網(wǎng)絡(luò)，其較淺的層數(shù)限制了網(wǎng)絡(luò)的特征提取能力，然而使用深層的骨干網(wǎng)絡(luò)會導(dǎo)致算法的復(fù)雜度提高，影響算法的實時性。本文通過引入可變形卷積模塊對AlexNet 進(jìn)行改進(jìn)，提升骨干網(wǎng)絡(luò)的特征提取能力的同時，保證算法的實時性。

卷積運算包含兩個步驟：1）基于規(guī)則網(wǎng)格R 在搜索幀x上進(jìn)行采樣；2）將采樣值求和并與模板幀w進(jìn)行卷積。在AlexNet 中， R定義了一個膨脹為1，填充為0 的m×m內(nèi)核：

輸出響應(yīng)圖的每個位置p0計算方式為

式中pn是 R上所有位置的枚舉。在可變形卷積中，通過添加自適應(yīng)偏移量卷積層，生成卷積核在不同方向上的偏移 Δpn， 并利用偏移集{Δpn|n=1,2,···,N},N=|R|對 R進(jìn)行擴充，此時，輸出響應(yīng)圖上的每個位置p0的計算方式為

式中：偏移 Δpn通常為小數(shù)，因此式（3）可通過雙線性插值實現(xiàn)：

式中：p表示式（3）中任意位置p0+pn+Δpn；q是搜索幀x上所有整數(shù)空間位置的枚舉；G(·,·)是二維的雙線性插值核，可以被分解為兩個一維核：

其中g(shù)(a,b)=max(0,1-|a-b|)。

本文可變形卷積使用 3×3卷積核，輸出偏移圖尺寸分別為(1 8×34×34 )、(1 8×32×32 ) 和(18×30×30)像素。考慮到目標(biāo)跟蹤任務(wù)中，骨干網(wǎng)絡(luò)的感受野對跟蹤效果有重要的影響，感受野過小則無法有效建立語義特征，而過大的感受野會使模型喪失對目標(biāo)旋轉(zhuǎn)等姿態(tài)變化的敏感性。經(jīng)過仔細(xì)分析，確定骨干網(wǎng)絡(luò)后三層的卷積核尺寸均為( 3×3) 像素，模板幀輸出特征圖尺寸分別為(384×10×10) 像素、(3 84×8×8) 像素和(2 56×6×6)像素，搜索幀輸出特征圖尺寸分別為(384×32×32 )、(3 84×30×30 ) 和(2 56×28×28) 像素。如圖2所示，可變形卷積模塊通過引入自適應(yīng)偏移量，使卷積核能夠適應(yīng)目標(biāo)的外觀變化，有效擴展了卷積核的有效感受野，提高了骨干網(wǎng)絡(luò)的特征提取能力。

圖2 可變形卷積模塊Fig.2 Deformable convolution module

1.3 分類預(yù)測

由于真實目標(biāo)種類和姿態(tài)變化，其形狀不規(guī)則，導(dǎo)致標(biāo)注框中包含有大量背景信息。在預(yù)測過程中，這些遠(yuǎn)離目標(biāo)中心的區(qū)塊會產(chǎn)生許多低質(zhì)量的預(yù)測框，導(dǎo)致模型描述目標(biāo)的能力下降，最終降低跟蹤精度和魯棒性[13]。為了減少背景信息的干擾，提高分類質(zhì)量，本文在分類訓(xùn)練階段使用先驗空間分?jǐn)?shù)(prior spatial score, PSS)作為標(biāo)注框不同區(qū)塊的定位質(zhì)量評分，強化模型的分類能力，其計算方式為

式中：l*、t*、r*、b*分別表示正樣本區(qū)塊中心點到標(biāo)注框左、上、右、下4 條邊的偏移。

如圖3 所示，最終區(qū)塊的定位質(zhì)量評分依賴于該區(qū)塊距離標(biāo)注框中心的距離，越靠近中心的區(qū)塊包含目標(biāo)信息的幾率越高，其產(chǎn)生的定位預(yù)測分?jǐn)?shù)可信度越高，定位質(zhì)量評分也越高，而遠(yuǎn)離中心的區(qū)塊包含背景信息的幾率變高，其對應(yīng)的定位預(yù)測分?jǐn)?shù)可信度越低，相應(yīng)的定位質(zhì)量評分會變低，強化了高質(zhì)量預(yù)測區(qū)塊的貢獻(xiàn)。盡管在某些情況下，PSS 分?jǐn)?shù)會導(dǎo)致邊緣部分目標(biāo)區(qū)域被降權(quán)，但此情況多出現(xiàn)于目標(biāo)姿態(tài)極端不規(guī)則的場景，如圖3 中的鳥類頭部。在此場景下，標(biāo)注框邊緣的空白區(qū)塊往往會同步明顯增加，稀釋該部分目標(biāo)在訓(xùn)練過程中的作用，因此PSS 分?jǐn)?shù)在該場景下仍具有較強的指導(dǎo)意義。

圖3 先驗空間分?jǐn)?shù)Fig.3 Prior space score

如圖4 所示，現(xiàn)有跟蹤算法在訓(xùn)練過程中，直接使用分類標(biāo)簽，邊緣的背景區(qū)塊與中心的目標(biāo)區(qū)塊具有相同的貢獻(xiàn)，會產(chǎn)生許多不可信的高置信度分?jǐn)?shù)，降低模型性能。本文通過引入PSS 分?jǐn)?shù)對訓(xùn)練目標(biāo)進(jìn)行定位強化，降低邊緣低質(zhì)量區(qū)塊對模型的影響，使模型能夠聚焦于目標(biāo)本身，強化模型的分類能力。

圖4 定位質(zhì)量優(yōu)化標(biāo)簽Fig.4 Localization quality optimized classification label

在定位強化標(biāo)簽中，類別標(biāo)簽從離散的y∈{0,1}變成了連續(xù)的y∈[0,1]，因此不能再使用FocalLoss[14]作為損失函數(shù)。為了支持連續(xù)類別標(biāo)簽，本文使用QFocalLoss[15]作為損失函數(shù)，其計算方式為

式中：y∈[0,1]表 示樣本類別，其中y=0表示負(fù)樣本，y∈(0,1]表 示正樣本。pr∈[0,1]表 示預(yù)測值，|y-pr|γ是動態(tài)調(diào)節(jié)因子， γ的作用是使動態(tài)調(diào)節(jié)過程更加穩(wěn)定。 αt是正負(fù)樣本平衡因子，其計算方式為

QFocal Loss 通過對Focal Loss 進(jìn)行擴展，實現(xiàn)了對連續(xù)分類標(biāo)簽的支持，并加入正負(fù)樣本平衡因子和動態(tài)調(diào)節(jié)因子，在訓(xùn)練過程中能夠使正負(fù)訓(xùn)練樣本對網(wǎng)絡(luò)的貢獻(xiàn)更加均衡，同時提高難分類樣本對網(wǎng)絡(luò)的貢獻(xiàn)，增強跟蹤器的判別能力。本文 α 和γ 分別設(shè)置為0.25 和2。

1.4 目標(biāo)預(yù)測子網(wǎng)絡(luò)

在目標(biāo)預(yù)測子網(wǎng)絡(luò)中，目標(biāo)預(yù)測分為分類定位和邊界預(yù)測兩個過程，分別設(shè)計了分類分支和回歸分支。前者通過分類任務(wù)得到高魯棒性的相似性評分，對目標(biāo)進(jìn)行定位，增強跟蹤器的判別能力，后者在前者的基礎(chǔ)上，通過邊界框的回歸任務(wù)對目標(biāo)的邊界進(jìn)行精確預(yù)測，增強跟蹤的精確性。

為了提高骨干網(wǎng)絡(luò)輸出的特征圖中語義信息的利用率，在兩個分支中添加了深度為4 層的卷積神經(jīng)網(wǎng)絡(luò)作為頭部，頭部網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示。最終產(chǎn)生尺度為(1 7×17)像素的特征圖。

圖5 頭部卷積網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Structure of head convolutional network

其中分類分支將特征圖上的每一個點在原圖上對應(yīng)的圖像塊分類為一個正樣本塊或負(fù)樣本塊。具體地，特征圖上的每個點 都可以映射回原圖，對應(yīng)著以點為中心的圖像塊，其中s表示骨干網(wǎng)絡(luò)的總步幅，本文中s=8。在訓(xùn)練過程中，如果 (x,y)對應(yīng)圖像塊的中心點在標(biāo)注框內(nèi)，就視作正樣本，否則為負(fù)樣本。

回歸分支與分類分支平行，基于每個分類結(jié)果的正樣本點，預(yù)測正樣本區(qū)塊中心相對于標(biāo)注框的偏移。將正樣本點記作，標(biāo)注框使用左上和右下兩點坐標(biāo)表示，分別記作 (x0,y0)和(x1,y1)，則回歸分支的訓(xùn)練標(biāo)簽可以用一個四維向量v=(l*,t*,r*,b*)表示:

回歸分支使用GIoU Loss[16]作為損失函數(shù)，其計算方式為

式中：B和B*分 別表示預(yù)測框和標(biāo)注框；C表示預(yù)測框和標(biāo)注框最小外接矩形的面積；Union(·)表示兩個矩形框的并集；表示預(yù)測框和標(biāo)注框的交并比。GIoU Loss 在IoU Loss[17]的基礎(chǔ)上對與標(biāo)注框沒有交集的預(yù)測框進(jìn)行懲罰，使預(yù)測框與標(biāo)注框不重合時，回歸分支也能繼續(xù)收斂，提高了訓(xùn)練速度。

2 實驗結(jié)果分析

2.1 實驗環(huán)境及參數(shù)配置

本文算法基于開源深度學(xué)習(xí)框架Pytorch 實現(xiàn)，使用Python3.8 作為開發(fā)語言，實驗環(huán)境為Manjaro 發(fā)行版操作系統(tǒng)。硬件設(shè)備環(huán)境為Intel Core i7-10 700@2.7 GHz 八核心處理器，32 GB 內(nèi)存，使用NVIDIA Tesla V100 16 GB 顯卡加速運算。

采用隨機梯度下降法優(yōu)化模型，使用ILSVRCVID/DET，GOT-10k 和YoutubeBB 數(shù)據(jù)集作為基礎(chǔ)訓(xùn)練數(shù)據(jù)集進(jìn)行離線訓(xùn)練。梯度下降動量設(shè)置為0.9，權(quán)重衰減為 5×10-4，小批次圖片數(shù)量設(shè)置為32 對，共訓(xùn)練20 輪，學(xué)習(xí)率在前5 輪訓(xùn)練中從10-7線性增長到 2 ×10-2作為預(yù)熱，并在余下15 輪中采用余弦退火的方法降低到1 0-7。

2.2 消融實驗

本文算法在SiamFC 的基礎(chǔ)上進(jìn)行了骨干網(wǎng)絡(luò)改進(jìn)、引入定位強化標(biāo)簽和算法結(jié)構(gòu)優(yōu)化3 個方面的改進(jìn)，為了確定改進(jìn)措施的有效性，以VOT2018 數(shù)據(jù)集為基準(zhǔn)進(jìn)行了消融實驗。結(jié)果如表1 所示，本文通過添加DC 模塊、添加卷積網(wǎng)絡(luò)頭部、使用定位質(zhì)量增強標(biāo)簽和添加回歸分支等方式，逐步進(jìn)行實驗，通過與上一行的結(jié)果比較，分別驗證不同改進(jìn)措施的貢獻(xiàn)。表1 中A表示精確度（Accuracy），R表示魯棒性（Robustness），分別是VOT2018 數(shù)據(jù)集用來評價算法在跟蹤過程中對目標(biāo)的覆蓋情況和跟蹤穩(wěn)定性的指標(biāo)。其中A越高越好，R越低越好。加粗字體表示各列最優(yōu)結(jié)果。

表1 消融實驗結(jié)果Table 1 Results of ablation study

編號2 的實驗中，通過添加DC 模塊對骨干網(wǎng)絡(luò)進(jìn)行改進(jìn)。對比編號1 和編號2 的實驗結(jié)果，可以發(fā)現(xiàn)引入DC 模塊后，算法精度和魯棒性分別提高了0.014 和0.072，均有較大提升。這是因為AlexNet 本身特征提取能力較弱，通過應(yīng)用DC 模塊，不僅增大了卷積核有效感受野，也在一定程度上規(guī)避了矩形卷積核無法適應(yīng)目標(biāo)形變的缺陷。

編號3 的實驗中，在分類分支中添加卷積網(wǎng)絡(luò)頭部，通過對比編號2 和編號3 的實驗結(jié)果，可以發(fā)現(xiàn)算法魯棒性得到較大提升，達(dá)到了0.073，而精度提升僅有0.006。這是因為使用卷積網(wǎng)絡(luò)頭部對特征圖中的語義信息具有更好的利用率，使算法抵抗噪聲干擾的能力更強，跟蹤更穩(wěn)定，但由于依然采用尺度金字塔進(jìn)行多尺度預(yù)測，因此精度提升較為有限。

編號4 的實驗中，引入定位強化標(biāo)簽，通過對比編號3 和編號4 的實驗，可以發(fā)現(xiàn)定位強化標(biāo)簽使算法魯棒性提升了0.175，這是由于通過引入定位強化標(biāo)簽，算法能夠聚焦于目標(biāo)本身，因此具有更強的識別能力，同時算法精度提升了0.019。

編號5 的實驗中，通過添加邊界回歸分支完善網(wǎng)絡(luò)結(jié)構(gòu)。新的回歸分支避免了多尺度預(yù)測，對目標(biāo)外形輪廓變化具有更好的適應(yīng)性，使精度提升了0.032，魯棒性提升了0.047。

消融實驗的結(jié)果證明本文所采取的結(jié)構(gòu)優(yōu)化、定位強化標(biāo)簽和引入卷積網(wǎng)絡(luò)頭部等措施均對算法性能具有較大提升。

2.3 對比實驗及結(jié)果分析

2.3.1 弱目標(biāo)場景實驗結(jié)果

為了驗證本文算法在弱目標(biāo)場景中的有效性和適應(yīng)性，從測試數(shù)據(jù)集中選取弱目標(biāo)場景的視頻序列進(jìn)行跟蹤實驗，并選擇同類型的SiamFC、SiamRPN 和基于目標(biāo)預(yù)測準(zhǔn)則的魯棒和精確跟蹤（towards robust and accurate visual tracking with target estimation guidelines, SiamFC++）算法[18]進(jìn)行定量對比。表2 統(tǒng)計了各個視頻序列對應(yīng)的場景和具有的挑戰(zhàn)屬性。

表2 各序列屬性Table 2 Attributes of video sequences

特殊序列跟蹤結(jié)果如表3 所示，在特殊場景序列中，本文算法成功率和精確率分別達(dá)到了0.655和0.845，相比于SiamFC 分別提高了31.9%和39.9%，綜合表現(xiàn)最優(yōu)。加粗字體表示各行最優(yōu)結(jié)果。

表3 弱目標(biāo)場景序列實驗結(jié)果Table 3 Experimental results of weak object secne sequences

圖6 給出了不同算法在光線環(huán)境復(fù)雜、雨天且背景雜亂以及水下場景的跟蹤表現(xiàn)。序列Ironman 中，由于爆炸等因素，光照條件變化較為劇烈，且目標(biāo)隨著姿態(tài)變化發(fā)生了較大幅度位移和運動模糊，具有較高的跟蹤難度。SiamFC 算法通過對響應(yīng)圖進(jìn)行插值和尺度金字塔預(yù)測目標(biāo)位置，在該場景中受背景信息干擾較大，全程數(shù)次丟失目標(biāo)。SiamRPN 得益于RPN 網(wǎng)絡(luò)對目標(biāo)的二次預(yù)測，在跟蹤成功時往往具有較高的覆蓋率，但由于其骨干網(wǎng)絡(luò)特征提取能力較弱，同樣易受背景干擾，在第100 幀以后無法正常跟蹤。SiamFC++由于不具備較強的目標(biāo)分類能力，因此也在目標(biāo)同時出現(xiàn)位移、模糊、旋轉(zhuǎn)和光照變化時丟失目標(biāo)，并且無法重新定位目標(biāo)。本文算法由于優(yōu)化了骨干網(wǎng)絡(luò)，并且采用定位強化標(biāo)簽優(yōu)化分類訓(xùn)練，具有較強的目標(biāo)識別能力，因此能夠在復(fù)雜背景下完成穩(wěn)定的跟蹤。

圖6 不同算法在弱目標(biāo)場景中的跟蹤結(jié)果Fig.6 Tracking results of various algorithms in weak object scenes

Matrix 序列中，由于暴雨天氣和目標(biāo)運動，形成了模糊、光照變化弱目標(biāo)場景。本文算法利用定位強化標(biāo)簽，提高了對目標(biāo)的識別能力，同時使用卷積網(wǎng)絡(luò)頭部增強了算法的分類能力，能夠抵抗各種復(fù)雜情況，較好地跟蹤目標(biāo)。SiamFC和SiamRPN 受限于特征提取能力，對目標(biāo)識別能力不足，在第42 幀、第62 幀以及第81～99 幀均發(fā)生跟蹤失敗的情況。SiamFC++同樣由于目標(biāo)識別能力較弱，雖然能夠成功跟蹤，但預(yù)測框?qū)δ繕?biāo)的覆蓋情況不如本文算法。

Fish2 序列是一段水下視頻，背景色調(diào)鮮艷且與目標(biāo)顏色相似，使目標(biāo)輪廓不明顯，同時該場景中目標(biāo)跟蹤不僅受到目標(biāo)本身變化的影響，還要克服折射、相似目標(biāo)遮擋等問題，是非常典型的弱目標(biāo)場景。可以看到在前66 幀目標(biāo)尚未較大變化，SiamFC 預(yù)測框就受背景干擾產(chǎn)生偏移，且在后續(xù)跟蹤中多次出現(xiàn)相同問題，這是因為SiamFC 依賴較淺的骨干網(wǎng)絡(luò)識別目標(biāo)，無法在相似背景下準(zhǔn)確分辨目標(biāo)。SiamFC++在相似目標(biāo)遮擋時，也出現(xiàn)了跟蹤漂移的問題。SiamRPN 傾向于選擇與目標(biāo)具有較高重疊率的錨框進(jìn)行擬合，因此在發(fā)生遮擋時容易受錨框誘導(dǎo)，發(fā)生跟蹤漂移。本文算法則因為具備較高的識別能力而可以實現(xiàn)較為穩(wěn)定的跟蹤，且采用了獨立的回歸分支，預(yù)測框能夠較好地適應(yīng)目標(biāo)外觀和輪廓變化。

2.3.2 OTB2015 數(shù)據(jù)集實驗結(jié)果

OTB2015 數(shù)據(jù)集是目標(biāo)跟蹤領(lǐng)域被廣泛采用的數(shù)據(jù)集，通過精心選擇不同類別和場景的視頻片段進(jìn)行標(biāo)注，提供了光照變化（illumination variation, IV）、尺度變化（scale variation, SV）、遮擋（occlusion, OCC）、形變（deformation, DEF）、運動模糊（motion Blur, MB）、快速運動（fast motion,FM）、平面內(nèi)旋轉(zhuǎn)（in-plane rotation, IPR）、平面外旋轉(zhuǎn)（out-of-plane rotation, OPR）、離開視野（outof-view, OV）、背景模糊（background-clutter, BC）、低分辨率(low-resolution, LR）等11 種對于目標(biāo)跟蹤具有挑戰(zhàn)性的屬性，能夠較為全面地評估跟蹤器性能。采用一次通過評價的方式計算精確率和成功率，可以作為跟蹤器性能對比的公平對比平臺。在OTB2015 數(shù)據(jù)集上與基于卷積特征的相關(guān)濾波跟蹤（convolutional features for correlation filter based visual tracking, DeepSRDCF）算法[19]、最大重疊區(qū)域的精確跟蹤（accurate tracking by overlap maximization, ATOM）算法[20]、SiamFC、Siam-RPN、干擾感知的孿生區(qū)域提議（distractor-aware siamese network, DaSiamRPN）算法[21]、SiamFC++和基于更深和更寬孿生網(wǎng)絡(luò)的實時目標(biāo)跟蹤（deeper and wider siamese networks for real-time visual tracking, SiamDWfc）算法[22]進(jìn)行對比。

對比結(jié)果如表4 所示，加粗和下劃線字體分別表示各列最優(yōu)和次優(yōu)結(jié)果。本文算法在OTB2015上的跟蹤成功率為0.690，精確率為0.884，對比SiamFC 的成功率（0.586）和精確率（0.772）均有較大提升。對比引入RPN 網(wǎng)絡(luò)的SiamRPN 和Da-SiamRPN 算法，成功率分別提升了5.8%和3.2%，精確率分別提升了3.4%和0.3%。對比迭代優(yōu)化邊界框的ATOM 算法分別提升了2.2%和1.0%。對比同樣使用AlexNet 作為骨干網(wǎng)絡(luò)的SiamFC++分別提升了1.5%和0.7%。對比DeepSRDCF 分別提升了5.5%和2.7%。實驗結(jié)果表明，本文算法相比于SiamRPN、SiamFC++、ATOM 等主流算法表現(xiàn)更優(yōu)。

表4 OTB2015 數(shù)據(jù)集對比實驗結(jié)果Table 4 Comparative experimental results on the OTB2015 dataset

圖7 給出了不同算法在OTB2015 數(shù)據(jù)集上部分具有較大挑戰(zhàn)性的序列的跟蹤表現(xiàn)。Biker序列中，目標(biāo)分辨率較低，且具有快速運動、尺度變化和運動模糊等弱目標(biāo)場景，從第67～70 幀，目標(biāo)跳躍過程中發(fā)生平面外旋轉(zhuǎn)，DaSiamRPN 受到錯誤錨框的誘導(dǎo)，丟失目標(biāo)。DeepSRDCF 無法準(zhǔn)確定位目標(biāo)，發(fā)生漂移。在第70～128 幀，目標(biāo)在空中旋轉(zhuǎn)并落地，期間快速運動，并伴隨著旋轉(zhuǎn)和運動模糊，ATOM、SiamRPN和SiamFC++均無法正常跟蹤目標(biāo)，DeepSRDCF 算法只能跟蹤到部分目標(biāo)，本文算法通過引入DC 模塊和定位強化標(biāo)簽優(yōu)化分類能力，對目標(biāo)識別能力更強，能夠在目標(biāo)快速運動和模糊時穩(wěn)定識別并定位目標(biāo)，因此能全程穩(wěn)定跟蹤。

圖7 不同算法在OTB2015 序列上的跟蹤結(jié)果Fig.7 Tracking results of various algorithms on OTB2015

在Diving 序列中，主要挑戰(zhàn)是目標(biāo)旋轉(zhuǎn)。在第34 幀，目標(biāo)在彈跳階段發(fā)生快速運動，SiamFC和SiamDWfc 發(fā)生跟蹤失敗，在第72 幀，目標(biāo)準(zhǔn)備起跳，身體姿態(tài)發(fā)生明顯變化，SiamRPN 和DaSiam-RPN 由于無法匹配到高質(zhì)量的錨框，預(yù)測框只能覆蓋部分目標(biāo)。在第72～212 幀中，目標(biāo)在跳水過程中發(fā)生連續(xù)旋轉(zhuǎn)和尺度變化，DeepSRDCF無法適應(yīng)目標(biāo)外觀變化，SiamRPN 和DaSiamRPN由于需要匹配錨框，其預(yù)測框變化往往滯后于目標(biāo)變化，跟蹤效果不佳。本文算法由于采用了獨立的回歸分支，不需要進(jìn)行多尺度預(yù)測，也不受錨框誘導(dǎo)，對目標(biāo)外觀和尺度變化具有較好的魯棒性，因此預(yù)測框能較為完整的覆蓋目標(biāo)，跟蹤效果較好。

在Dragonbaby 序列中，目標(biāo)在運動過程中發(fā)生旋轉(zhuǎn)、遮擋和離開視野等情況，在第17 幀時，目標(biāo)頸部的光照變化對跟蹤造成干擾，導(dǎo)致Siam-FC、DeepSRDCF 和SiamFC 發(fā)生漂移。在第44～46 幀，目標(biāo)快速運動，并伴隨平面外旋轉(zhuǎn)和輕微模糊，多種因素影響之下，除本文算法以外所有算法均不能成功跟蹤目標(biāo)，同樣的情況在第84 幀再次出現(xiàn)，本文算法得益于更強的目標(biāo)識別能力，可以穩(wěn)定識別目標(biāo)，實現(xiàn)全程跟蹤。

在Girl2 序列中，當(dāng)目標(biāo)在第106～128 幀期間被行人完全遮擋，目標(biāo)恢復(fù)后，本文算法最先重新識別到目標(biāo)，SiamRPN 和DaSiamRPN 則選擇了錯誤的錨框進(jìn)行擬合，跟蹤失敗，SiamFC 和Siam-DWfc 同樣跟蹤到了錯誤的目標(biāo)。在第666幀時，目標(biāo)與行人重合，并且背景雜亂，SiamFC++預(yù)測框偏移到了干擾目標(biāo)上，SiamFC 跟蹤失敗。在第1 406 幀時，目標(biāo)在運動中發(fā)生尺度變化，本文算法能夠穩(wěn)定識別目標(biāo)，且采用獨立回歸分支，能較好適應(yīng)外觀變化，因此跟蹤效果較好，其他算法均受到不同程度干擾，不能很好地跟蹤目標(biāo)。

2.3.3 VOT2018 數(shù)據(jù)集實驗結(jié)果

VOT2018 數(shù)據(jù)集包含60 個視頻序列，采用四點標(biāo)注法標(biāo)注目標(biāo)，更貼近直覺，同時難度也比OTB2015 更高，更能體現(xiàn)不同算法之間的性能差距。選擇DeepSRDCF、SiamFC、雙重孿生網(wǎng)絡(luò)實時目標(biāo)跟蹤（a twofold siamese network for real-time object tracking, SA_Siam）算法[23]、SiamRPN、DaSiamRPN、ATOM 和SiamFC++等主流算法進(jìn)行對比。

對比實驗結(jié)果如表5 所示，加粗和下劃線字體分別表示各列最優(yōu)和次優(yōu)結(jié)果。本文算法的平均期望重疊率（expected average overlap, EAO）達(dá)到了0.413，在近些年主流同類算法和非同類算法中綜合表現(xiàn)最優(yōu)。對比實驗數(shù)據(jù)可知，ATOM 算法準(zhǔn)確性較高，這是因為ATOM 算法在預(yù)測目標(biāo)邊界時，會生成多個預(yù)測框進(jìn)行迭代優(yōu)化，因此可以獲得準(zhǔn)確性較高的預(yù)測框，使跟蹤準(zhǔn)確性較高，但會導(dǎo)致算法實時性下降，跟蹤速度僅有25.83 幀/秒。本文采用獨立回歸分支和卷積網(wǎng)絡(luò)頭部預(yù)測目標(biāo)邊界，對目標(biāo)形變適應(yīng)性較強，因此跟蹤準(zhǔn)確性達(dá)到了0.586，與VOT2018 冠軍算法SiamRPN 持平，且魯棒性更好。

表5 VOT2018 數(shù)據(jù)集對比實驗結(jié)果Table 5 Comparative experimental results on the VOT2018

圖8 給出了不同算法在VOT2018 數(shù)據(jù)集上部分具有較高難度的視頻序列上的跟蹤結(jié)果。序列Dinosaur 中，跟蹤器需要克服目標(biāo)快速運動、旋轉(zhuǎn)和模糊等問題，在第38 幀，目標(biāo)輪廓受到背景干擾變得模糊，SiamFC 不能正確識別目標(biāo)。在第121 幀，目標(biāo)發(fā)生模糊且發(fā)生旋轉(zhuǎn)，本文算法依然能穩(wěn)定識別并跟蹤目標(biāo)，而ATOM 和SiamFC算法均跟蹤失敗。在第158 幀和281 幀，目標(biāo)出現(xiàn)較為劇烈的變化，且光照雜亂，背景干擾較強，SiamRPN 和DaSiamRPN 采取的擬合錨框策略不能再穩(wěn)定跟蹤目標(biāo)，而本文算法具有較強的目標(biāo)識別能力，可以正常跟蹤目標(biāo)。

圖8 不同算法在VOT2018 序列上的跟蹤結(jié)果Fig.8 Tracking results of various algorithm on VOT2018

在Fernando 序列中，目標(biāo)受到嚴(yán)重遮擋，且伴隨強烈的光照和外形變化。在第55～86 幀，目標(biāo)緩慢移動過程中，各個對比算法均不能較好地適應(yīng)目標(biāo)輪廓變化導(dǎo)致預(yù)測框只能覆蓋部分目標(biāo)，本文算法預(yù)測框?qū)δ繕?biāo)覆蓋良好。第151 幀出現(xiàn)了明顯的光照變化，SiamFC、ATOM 和SA_Siam將地面和部分背景當(dāng)作目標(biāo)，預(yù)測框出現(xiàn)偏移，SiamRPN、DaSiamRPN、DeepSRDCF 和SiamFC++都只能跟蹤到部分目標(biāo)，只有本文算法正確識別到貓尾，體現(xiàn)了本文算法較強的目標(biāo)識別能力。第283 幀目標(biāo)與干擾物分離，本文算法最先重新跟蹤到目標(biāo)，并且能夠完整覆蓋目標(biāo)，SiamFC 識別到錯誤目標(biāo)，其余算法均只能跟蹤到部分目標(biāo)。

在Gymnastics3 序列中，目標(biāo)全程快速運動，出現(xiàn)了模糊弱目標(biāo)，且背景較為雜亂。在前22 幀目標(biāo)在奔跑過程中，身體輪廓發(fā)生改變，只有本文算法和SiamFC++能夠正確識別目標(biāo)腿部，實現(xiàn)較為完整的覆蓋，其余算法均只能識別目標(biāo)上半身。在第34～91 幀目標(biāo)起跳和落地過程中發(fā)生旋轉(zhuǎn)和運動模糊，只有本文算法能夠較好地適應(yīng)目標(biāo)姿態(tài)變化，其余算法預(yù)測框變化均滯后于目標(biāo)姿態(tài)變化，導(dǎo)致對目標(biāo)覆蓋情況不佳。

在Motocross1 序列中，主要挑戰(zhàn)是目標(biāo)的快速運動、旋轉(zhuǎn)和背景雜亂。DeepSRDCF、SiamFC和ATOM 由于對目標(biāo)特征提取能力較弱，在第36 幀背景雜亂時不能正確識別目標(biāo)，跟蹤失敗。在第75～94 幀目標(biāo)持續(xù)旋轉(zhuǎn)，且背景不斷變化，本文算法依靠較強的目標(biāo)識別能力能夠持續(xù)穩(wěn)定跟蹤目標(biāo)，且預(yù)測框能較好覆蓋目標(biāo)，其余算法雖然能成功跟蹤，但預(yù)測框?qū)δ繕?biāo)覆蓋情況不夠理想。第147 幀目標(biāo)尺度發(fā)生較大變化，本文算法預(yù)測框能夠適應(yīng)目標(biāo)外觀變化，SiamFC++預(yù)測框過大，包含較多背景，SiamFC 和DeepSRDCF 則預(yù)測框過小，不能完整包含目標(biāo)。

2.3.4 LaSOT 數(shù)據(jù)集實驗結(jié)果

為了更好驗證本文算法的有效性以及在較長序列跟蹤時的穩(wěn)定性，引入了大規(guī)模單目標(biāo)跟蹤數(shù)據(jù)集LaSOT。LaSOT 數(shù)據(jù)集對1 400 個視頻序列進(jìn)行了密集標(biāo)注，并且平均視頻序列長度達(dá)到了2 512 幀，具有較高的難度，能夠更好地驗證跟蹤算法的穩(wěn)定性和泛化性，采用一次通過評價計算成功率和精確率。選擇SiamDWfc、SiamFC、ATOM、SiamFC++、DaSiamRPN、一種統(tǒng)一的快速目標(biāo)跟蹤和分割方法（fast online object tracking and segmentation: a unifying approach, SiamMask）[24]和多域卷積神經(jīng)網(wǎng)絡(luò)（multi-domain convolutional neural network, MDNet）算法[25]等在LaSOT 數(shù)據(jù)集上具有較好表現(xiàn)的算法進(jìn)行對比。

對比試驗結(jié)果如表6 所示，加粗和下劃線字體分別表示各列最優(yōu)和次優(yōu)結(jié)果。采后多種改進(jìn)措施后，本文算法在LaSOT 提供的長序列跟蹤場景中達(dá)到了0.550 的成功率和0.635 的精確率，相比于DaSiamRPN 分別提高了3.0%和3.5%，相比于基線算法SiamFC 分別提高了13.5%和21.4%，在近些年的同類型算法中成功率和精確率均表現(xiàn)最優(yōu)，同時算法實時性也表現(xiàn)較好。

表6 LaSOT 數(shù)據(jù)集對比實驗結(jié)果Table 6 Comparative experimental results on the LaSOT

3 結(jié)束語

針對孿生網(wǎng)絡(luò)跟蹤算法對模糊和低分辨率等情況下的弱目標(biāo)跟蹤效果不佳的問題，以優(yōu)化模型分類能力的思路，從特征提取和語義特征應(yīng)用等方面對孿生全卷積網(wǎng)絡(luò)進(jìn)行改進(jìn)。應(yīng)用可變形卷積模塊改進(jìn)骨干網(wǎng)絡(luò)，并對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化，引入卷積網(wǎng)絡(luò)頭部和獨立回歸分支，同時利用定位質(zhì)量評分對分類訓(xùn)練進(jìn)行優(yōu)化，提高算法對目標(biāo)的識別能力。在OTB2015、VOT2018 和LaSOT 公共數(shù)據(jù)集上的大量對比實驗證明所提算法在模糊、低分辨率等弱目標(biāo)場景中能夠?qū)崿F(xiàn)較為穩(wěn)定的跟蹤，綜合表現(xiàn)優(yōu)于當(dāng)前同類主流算法，且算法實時性較好。

所提算法依然存在改進(jìn)空間，由于采取不更新模板的策略，在目標(biāo)遮擋物消失時能夠迅速地重新發(fā)現(xiàn)和定位目標(biāo)，但在遮擋期間有可能受到相似干擾目標(biāo)的誘導(dǎo)，導(dǎo)致跟蹤失敗，因此進(jìn)一步的研究方向是引入合適的模板更新策略，提高算法的抗遮擋干擾能力。