基于全卷積神經網絡和稀疏表示的跟蹤算法

習茜

(中國電子科技集團公司第二十研究所,陜西 西安710068)

目標跟蹤算法是設計出一個魯棒性高的跟蹤算法需要應對各種不確定的因素,精確地預估目標位置。本文深度模型提取的視覺特征利用熱力圖模型進行挑選,挑選出在目標區域響應值最大的特征圖。然后結合稀疏表示,對目標外觀進行稀疏重構,將初次篩選的候選粒子與目標模版進行相似度匹配,從而預測出被跟蹤目標的位置。

1 基于粒子濾波和稀疏表示的跟蹤框架介紹

我們的特征圖選擇方法基于目標的熱力圖回歸模型[1],利用VGG-16 網絡[2]結構上第四層和第五層的最后一層卷積特征,然后將粒子濾波[3]生成的候選粒子輸入第四層與第五層網絡分別選取每層響應值最高的前5 個候選粒子,認為是可靠的候選粒子。將兩層網絡中的10 個可靠候選粒子使用基于局部的稀疏表示方法中加入顏色信息魯棒的粒子驗證算法進行粒子驗證。

利用反向傳播模型收斂進行模型參數的學習,對模型參數進行修正。固定參數后,根據特征圖對損失函數的影響選擇特征圖,影響越大,說明特征越重要。首先將輸入特征矢量化為一個向量,fi代表特征圖第i 個部分向量。對熱力圖損失函數求二階泰勒展開,公式如下：

其中,gi和hij分別是δl 的一階和二階關于特征圖向量的偏導。在通過反向傳播求得gi和hij后,特征圖向量的重要性計算公式為：

其中,P 為位置(x,y)在特征圖上所有特征向量的重要性之和。對δl 影響最大特征向量就是與目標最為相關的。

通過目標的熱力圖回歸模型在Conv4_3 和Conv5_3 層特征上分別進行特征圖挑選,在特征圖挑選后,通過第一幀最小化平方損失函數：

基于最高層與較低層的特征屬性的不同,各自具有優勢,在每個卷積層根據熱度值分別挑選前k 個最大的候選粒子,我們認為這些候選粒子是與目標最為相關的區域。

2 稀疏表示的視覺跟蹤目標驗證

Tian 等[4]人提出一種局部的稀疏表示[5]模型,將顏色表示機制融入局部的稀疏模型中,用候選粒子與目標模板之間的顏色相似性調節局部稀疏表示模型的候選粒子與目標模板的相似性度量,我們將此方法用于篩選候選粒子的驗證。

2.1 稀疏生成模型

在初始幀,目標跟蹤框分成K 個相互重疊的圖像目標塊,將圖像塊灰度值轉化成矢向量y,圖像目標塊的矢向量通過字典D與稀疏表示系數β 線性表示:

其中,||·||1代表了L1范數,||·||2表示L2范數,λ 為平衡參數。

在求得稀疏系數β 后,我們將圖像目標塊對應位置將相應的稀疏系數排列成矩陣α,就可以表示完整的目標。

我們在跟蹤階段有個誤差項ε,衡量外觀上表達的退化,誤差ε 若大于閾值,將該圖像目標塊通過一個指導項τ 置為0；其它情況下表示為1。

2.2 融合顏色信息的局部稀疏表示

顏色信息在目標的外觀表達上有很重要的作用,在局部的稀疏表示模型中將CN 顏色信息加入目標外觀的表達機制中。在融入顏色信息時,是將候選樣本與目標模版對應局部塊間通過哈希編碼矢量距離進行顏色的相似度度量。

距離表示是基于Hamming 距離,Hamming 距離值為0 時,候選樣本與目標模版對應局部塊顏色相似度為1,其余情況下顏色相似度均為0.5。在目標跟蹤中,相鄰視頻幀中目標不會有很大的變化,目標顏色幾乎不變,將上一幀定位的目標顏色和初始幀的目標顏色共同加入到局部的稀疏表示模版中,進行候選樣本與目標模版的對應局部塊間顏色的相似度度量。

將顏色的相似度度量機制融入候選粒子與目標模版相似度計算中,公式如下：

T 表示通過深度特征挑選的候選粒子,St表示目標模版與第t 個候選粒子的相似度,在跟蹤過程中將St最大的候選粒子作為跟蹤目標。

3 跟蹤模型的更新機制

為了避免更新過程中引入背景噪聲,我們在第一幀初始化之后只更新第四層網絡參數,固定第五層網絡。為了提高區分目標與背景的能力,我們將中間幀中可靠的跟蹤結果每20 幀對第四層網絡進行微調,公式如下：

4 實驗結果與分析

本章的數據庫為OTB-100[6]中去除灰度視頻序列的75 個彩色序列,我們稱之為OTB-75。實驗中我們選擇FCNT、MEEM[7]、STRUCK[8]、TLD、SMS 五個經典的目標跟蹤算法與我們算法Our(s)進行對比實驗。

為了更加全面的對比分析算法性能,我們分別在OPE,TRE,SRE 標準下對重合精度和距離精度進行測評。我們用曲線下面積(AUC)表示跟蹤算法效果,曲線下面積越大說明跟蹤結果越好。實驗結果圖1 顯示,Ours 算法在OPE 標準下的距離精度和重合精度明顯優于其他算法。

5 結論

圖1 多個方法在三種評價標準下的平均距離精度和重合精度

本文是基于全卷積深度特征對候選粒子進行篩選,選出與目標最為相關的可靠度最高的粒子與加入顏色信息的局部稀疏表示模版進行最小重構誤差分析進行跟蹤。實驗結果表明OPE標準下的距離精度和重合精度明顯優于其它算法。