基于孿生網絡的魯棒紅外目標跟蹤算法

陳 果 滕奇志

(四川大學電子信息學院 四川 成都 610065)

0 引 言

目標跟蹤是計算機視覺中的一個重要研究方向，在傳統計算機視覺領域有著廣泛的應用[1]。紅外目標跟蹤相比于可見光目標跟蹤具有許多優勢。例如，紅外跟蹤可以在完全黑暗的情況下實現目標跟蹤，其對光照變化和處理陰影效果具有很強的魯棒性，而可見光目標跟蹤則無法實現。此外，在一些對個人信息敏感的場景中，紅外跟蹤可以保護隱私。因此，紅外跟蹤技術適用于救援、視頻監控、夜間巡邏等多種應用場景。

盡管紅外目標跟蹤具有許多優點，但它也面臨著諸多挑戰。首先，紅外對象的不利特性，例如紋理缺失、信噪比低、視覺效果模糊和低分辨率等[2]，阻礙了特征的提取，從而嚴重影響了跟蹤模型的質量。其次，紅外跟蹤還面臨著跟蹤對象變形、被遮擋和尺度變化等挑戰。

在過去的幾年中，基于判別式相關濾波方法開發的跟蹤器取得了良好的精度和魯棒性，通過使用快速傅里葉變換，大多數基于判別式相關濾波的跟蹤器可以實時運行，典型的跟蹤器有KCF[3]、DSST[4]、ECO[5]。然而，這些方法并不能很好地解決紅外目標跟蹤的難題，因為使用這些手工特征很難獲得紅外對象的判別信息。隨著深度學習理論的發展，判別式相關濾波框架中開始引入卷積神經網絡。DSST-tir[6]表明，對于紅外目標跟蹤技術，深度特征比手工特征更有效。Bertinetto等[7]提出了一種全卷積孿生網絡目標跟蹤算法SiamFC，并在數據集上端到端訓練網絡，證明了全卷積孿生網絡的在目標跟蹤方面的有效性。Valmadre等[8]將相關濾波器與孿生網絡相結合，構造了一個深度學習相關濾波器CFNet，并采用固定的模板學習率。然而，這些基于深度學習的跟蹤器并沒有取得很大的進展。首先，這些跟蹤器使用單個CNN層的特征或使用有限的紅外圖像進行訓練都不足以獲得魯棒的特征。其次，目標在跟蹤過程中通常會不斷變化，沒有跟蹤器能夠在所有場景中穩定提取特征。大多數跟蹤器用固定的學習率更新目標模型，當目標在跟蹤過程中被錯誤地檢測或被遮擋時，導致新模型中包含錯誤信息，這將會進一步降低更新模型的可信度。

為了獲得魯棒性更高的紅外目標特征，增加模型在錯誤檢測、遮擋或對象變形等復雜情況下的可信度，基于對手工特征和深度特征目標跟蹤算法的研究，最終提出了一種基于孿生網絡的魯棒紅外目標跟蹤算法。首先，為了獲得紅外對象的空間和語義特征，利用預訓練孿生網絡提取紅外目標的多卷積層特征。其次，利用相關濾波器構造具有卷積層特征的多個弱跟蹤器，設計簡單而有效的相對熵相關濾波網絡來合并響應圖。最后，提出了一種基于響應圖的自適應模型更新策略來計算模型更新率。同時，實驗結果表明該方法有著穩定而突出的性能。

1 基于孿生網絡的魯棒紅外目標跟蹤算法

如圖1所示，本文算法是將多個卷積層和相對熵相關濾波網絡結合起來的分層孿生網絡。該網絡由兩個共享的多卷積層特征網絡和一個基于相對熵融合網絡組成，孿生網絡輸出響應圖，表示多個候選區域和目標模板之間的相似性，再選擇最大響應值對應的候選區域作為最終跟蹤目標，將坐標映射到原始幀中，以定位目標位置。在跟蹤階段，使用預先訓練好的孿生網絡來定位被跟蹤的紅外目標，根據響應圖自適應的計算模板更新率。

圖1 本文算法結構

1.1 網絡結構

孿生網絡由兩個對稱分支組成。在AlexNet[9]的啟發下，設計了一個由CNN中幾種常用層組成的深度網絡架構。

一方面，對象的位置信息對于跟蹤任務是必需的。本文提出的網絡在早期也類似AlexNet有兩個最大池化層來保留更多的位置信息。另一方面，被跟蹤對象會隨著時間的推移而改變其外觀，最大池化層引入了對局部變形的不變性處理，對局部噪聲具有較好的魯棒性。因此，最大池化層對位置信息的處理是重要的。同時，為加快孿生網絡訓練速度，每個卷積層之后均添加一個批量歸一化層[10]。分批標準化的有效性已經在許多深層網絡中得到了證明[11]。已發表的孿生網絡結構往往只使用最后一層的特性來表示對象，但最后一層特征缺乏空間信息，對紅外目標跟蹤不具有魯棒性。跟蹤任務不僅需要深層的、有區別的語義信息來區分不同的目標，還需要淺層的空間信息來精確定位目標的位置，故為了獲得更魯棒的紅外目標跟蹤特征，本文提出的孿生網絡結構提取多個卷積層特征，利用最大池化將淺卷積層降采樣到與深卷積層相同的分辨率，將不同空間分辨率的分層卷積層結合起來。

為了充分利用深層的語義信息和淺層的空間信息，濾波網絡由三個相關濾波層(Correlation Filtering，CF)、三個1×1卷積層和一個專門設計的相對熵層組成。CFNet中，將具有封閉解的CF作為孿生網絡中的一個可微層，因此，誤差可以通過CF層傳播，整個孿生網絡可以端到端訓練。相對熵層的目的是獲得一個與各卷積層相關濾波響應圖最小距離的綜合響應圖。給定n個響應圖M={M1,M2,…,Mn}，希望得到一個綜合響應圖Q。因為每個響應圖都可以看作是目標的概率分布，可以用相對熵來度量響應圖Mk(k=1,2,…,n)與綜合響應圖之間的距離，通過最小化距離來優化響應圖Q：

(1)

(2)

式中：mij與qij分別表示屬于M和Q第(i,j)坐標點響應值。本文使用拉格朗日乘子法求解式(1)，其解有一個簡單的公式：

(3)

因此，相對熵層可以表示為一個加權和運算。根據式(3)，最終的綜合響應圖可表示為：

(4)

式中：α、β、γ和b是可學習的，α、β、γ表示權重參數，b是偏差。

1.2 數據集和網絡訓練細節

為了訓練一個通用的相似度驗證函數來評估一對對象的相似度，需要一個大規模的標注視頻數據集。鑒于現有的紅外目標跟蹤和檢測數據集的規模有限，選擇使用ImageNet[12]預訓練網絡。ILSVRC2015有4 000多個視頻，其中包含200多萬個人工標注的邊界框。通過在孿生網絡的末端增加了一個損失層來訓練網絡。

用判別方法來對正、負樣本對進行訓練，其邏輯損失定義如下:

l(y,v)=log(1+exp(-yv))

(5)

式中：v表示模型返回的樣本-搜索圖像的實際響應值；y∈{+1,-1}表示真值。采用所有候選位置的平均損失來表示：

(6)

式中：D表示響應圖；u表示響應圖中的所有位置。孿生網絡參數θ通過隨機梯度下降最小化如下問題得到：

(7)

式中：z表示樣本圖像；x表示搜索圖像。訓練迭代40個周期且每次小批量訓練樣本數為8，網絡的參數使用Xavier[13]初始化，學習率每輪迭代以指數形式衰減從10-2下降至10-5。其他超參數與文獻[7]中的參數相同。

1.3 模板更新策略

大多數跟蹤器[14-15]用固定的學習率更新目標模型，此類跟蹤器根據當前幀中的跟蹤結果訓練新模板，再將原跟蹤模板與新模板線性相加，得到下一幀的跟蹤模型，如式(8)所示。

Mt=(1-α)Mt-1+αMnew

(8)

式中：Mt和Mt-1分別表示第t幀和t-1幀的模板；Mnew表示通過當前幀訓練的新的目標模板；α表示學習率。大多數跟蹤器在每一幀都通過這種方式更新跟蹤模型，而不考慮檢測是否準確。該策略簡單，易于在跟蹤器中集成，但一旦目標在當前幀中檢測不準確、嚴重遮擋或完全丟失，新模型中會包含錯誤信息，這會降低更新模型的可信度。因此，在正?；蚰繕丝焖僮兓母檲鼍皶r，應采用較高的更新率；在目標被遮擋等挑戰場景時，應采用較低的更新率。文獻[16]通過當前幀響應圖的平均峰值相關能量(Average Peak-to-Correlation Energy，APCE)與前幀的APCE之比作為更新跟蹤器的準則，以保持目標模型穩定性。文獻[17]分別采用基于響應圖的峰度(dpeak)模板更新策略。它們的公式分別如式(9)和式(10)所示。

(9)

(10)

圖2 遮擋和變形情況下的響應圖和響應值數值分布統計圖

為區分遮擋和目標快速變化，提出一種基于響應圖的自適應模板更新策略來計算模板更新率。梯度是一個表示圖像空間起伏強度的參數，響應值起伏較大的圖像，梯度之和往往較大，而響應值起伏較小的圖像梯度之和較小。因此，響應圖的梯度之和可以用來鑒別目標被遮擋和目標快速變化。然而，正常情況下的響應圖梯度和很高，很難與遮擋區分，原因是此場景中的響應峰值較高。因此，在計算梯度和時，將響應峰值歸一化為1，并按比例縮放響應圖。在數據集VOT-TIR2016上對正常、遮擋和目標快速變化情況下的響應圖峰值和響應圖梯度和進行了大量的實驗計算，包括25個視頻，超過1萬個視頻幀，結果如圖3所示。因為模板低更新率僅在目標被遮擋情況中選擇，需要找到一條分界線將目標被遮擋點分開。本文采用對數函數能較好擬合此分界線，分界線設置為：

圖3 響應圖峰值和響應圖梯度和分布圖

y=c·loge(x-m)

(11)

式中：y為峰值；x為梯度和。通過最小化誤差點的數目來求解最優解。實驗中將模板高更新率和模板低更新率分別設置為0.01和0.004 5。

2 實 驗

2.1 評價標準

準確率A和魯棒性R因其較高的可解釋性而被用作性能度量標準[19]，其中準確率計算公式如下：

(12)

式中：Bt表示第t幀預測的邊界框；Gt表示第t幀的標注邊界框；n是數據集的幀號。魯棒性計數跟蹤失敗的次數，當Bt∩Gt低于給定閾值時，跟蹤失敗。跟蹤結果通常由A-R圖表示[20]。

2.2 對比實驗

為證明本文方法的有效性，在紅外目標跟蹤公開數據集VOT-TIR2016上進行了對比實驗。首先，為證明本文多卷積層融合方法有效性，比較了僅使用最后一個卷積層的跟蹤器以及使用多卷積層融合方法的跟蹤器的效果。再對固定更新率的跟蹤器和自適應更新率的跟蹤器的有效性進行比較。如圖4所示,多卷積層融合方法的準確率比單卷積層方法高了3%，表明前者能獲得魯棒性更強的紅外對象特征。而采用自適應更新率的跟蹤器相比于固定更新率的跟蹤器，準確率和魯棒性分別提高了5%和5.5%，從而證明了自適應模板更新策略的有效性。

圖4 準確率與魯棒性排序圖(A-R圖)

此外，還將六個跟蹤算法與本文算法進行了比較，具體有:基于孿生網絡的DaSiamRPN[21]和SiamRPN++[22]跟蹤算法；基于相關濾波和手工特征的DSST和ECO跟蹤算法；基于融合方法的RCCT-TIR[23]跟蹤算法；基于高魯棒性的EBT[24]跟蹤算法。這些跟蹤算法在目標跟蹤數據集上取得了較好的效果。如圖4所示，本研究的孿生網絡跟蹤算法達到了第二好的跟蹤精度以及第二好的魯棒性。此外，基于相關濾波的跟蹤算法DSST和ECO等，通常在可見光目標跟蹤方面表現良好，而本文的跟蹤算法在紅外目標跟蹤方面性能更優。

為評估本文方法在應對目標被遮擋和目標快速變化時的性能，在VOT-TIR 2016的相應屬性子集上進行了比較。如圖5(a)所示，在目標外觀快速變化的情況下，本文方法可以獲得最好的精度。如圖5(b)所示，在目標被遮擋的情況下，本文的跟蹤器可以達到最好的魯棒性。總體來說，本文的跟蹤算法具有更好跟蹤性能。這也表明基于孿生網絡的多卷積層特征具有更高的魯棒性，同時自適應模板更新策略在不同的跟蹤場景中可以更智能地選擇合理的更新率，從而提高模型的可信度。

圖5 本文算法在目標外觀快速變化和目標被遮擋時的跟蹤結果

3 結 語

本文提出了一種基于孿生網絡的魯棒紅外目標跟蹤算法，將跟蹤問題轉化為相似性驗證任務。為了適應紅外目標跟蹤，提取多個卷積層特征，通過相對熵相關濾波網絡進行響應圖融合，充分利用了深層的語義信息和淺層的空間信息，并在跟蹤階段自適應計算模板更新率，在跟蹤正常場景或目標快速變化場景時，采用較高的模板更新率；在目標被遮擋等挑戰場景時，采用較低的模板更新率，有效避免了跟蹤漂移的情況。實驗結果表明，與現有方法相比，本文提出的方法具有良好的性能。