孿生壓縮激勵(lì)全卷積網(wǎng)絡(luò)的目標(biāo)跟蹤方法

劉慶強(qiáng),張福祿,張瑤瑤,張晨雨

(1. 東北石油大學(xué) 電氣信息工程學(xué)院,黑龍江 大慶 163318； 2. 東北石油大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院,黑龍江 大慶 163318； 3. 安徽農(nóng)業(yè)大學(xué) 經(jīng)濟(jì)管理學(xué)院,合肥 230061)

目標(biāo)跟蹤的主要任務(wù)是在有序的視頻數(shù)據(jù)中,對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)、識(shí)別和跟蹤,是計(jì)算機(jī)視覺(jué)領(lǐng)域一個(gè)重要的發(fā)展方向. 在目標(biāo)跟蹤過(guò)程中,急需解決的難點(diǎn)為：1) 精確定位有遮擋、形變及光線(xiàn)變化的目標(biāo)物體較困難[1]; 2) 自動(dòng)駕駛、視頻監(jiān)控等應(yīng)用要求目標(biāo)跟蹤算法具有實(shí)時(shí)性[2]. 因此,確保跟蹤算法在具有良好準(zhǔn)確性的同時(shí)具有實(shí)時(shí)性已成為視頻目標(biāo)跟蹤領(lǐng)域的關(guān)鍵問(wèn)題.

傳統(tǒng)目標(biāo)跟蹤算法的設(shè)計(jì)是基于相關(guān)濾波器的方法[3],如利用改進(jìn)粒子濾波的機(jī)動(dòng)目標(biāo)跟蹤方法[4],基于色彩相關(guān)直方圖和粒子濾波的目標(biāo)跟蹤方法[5],與Kalman濾波相結(jié)合的自適應(yīng)窗口的抗遮擋運(yùn)動(dòng)目標(biāo)跟蹤算法[6],以及利用背景感知相關(guān)濾波[7-8]和三維Gabor濾波[9]等方法進(jìn)行跟蹤器設(shè)計(jì). 這類(lèi)方法通過(guò)訓(xùn)練學(xué)習(xí)的濾波器將被跟蹤目標(biāo)從背景中分離出來(lái)實(shí)現(xiàn)視頻跟蹤,但這些方法只對(duì)背景較簡(jiǎn)單、物體形變較小的情形有良好的跟蹤效果,且需要優(yōu)質(zhì)的在線(xiàn)更新策略. 深度學(xué)習(xí)的廣泛應(yīng)用使目標(biāo)跟蹤的發(fā)展找到了新方向,主要體現(xiàn)在以下兩方面：一方面,在相關(guān)濾波器中使用深度特征能提升算法的準(zhǔn)確性,文獻(xiàn)[10]通過(guò)提取深度特征,利用集成思想獲取了更強(qiáng)的跟蹤模型; 文獻(xiàn)[11]引入連續(xù)卷積算子,解決了連續(xù)空間的學(xué)習(xí)問(wèn)題；另一方面,直接使用深度學(xué)習(xí)算法進(jìn)行目標(biāo)跟蹤,如將多領(lǐng)域的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)結(jié)構(gòu)體系網(wǎng)絡(luò)應(yīng)用于目標(biāo)跟蹤[12],文獻(xiàn)[13]提出了一種基于樹(shù)狀結(jié)構(gòu)管理多個(gè)目標(biāo)外觀(guān)模型的在線(xiàn)視覺(jué)跟蹤算法,效果較好.

研究表明,直接使用深度學(xué)習(xí)算法進(jìn)行端到端的目標(biāo)跟蹤更適合發(fā)展需求. SO-DLT[14]沿用將深度模型用在單目標(biāo)跟蹤任務(wù)上的跟蹤算法DLT[15],在跟蹤數(shù)據(jù)預(yù)訓(xùn)練中添加在線(xiàn)微調(diào)的策略,同時(shí)設(shè)計(jì)有針對(duì)性的網(wǎng)絡(luò)結(jié)構(gòu),并解決更新的敏感問(wèn)題,對(duì)特定參數(shù)取多值做平滑,但難滿(mǎn)足實(shí)時(shí)性要求; GOTURN(generic object tracking using regression networks)算法[16]將目標(biāo)跟蹤視為回歸問(wèn)題,利用CNN直接回歸出跟蹤對(duì)象的位置；孿生候選區(qū)域生成網(wǎng)絡(luò)(siamese region proposal network,Siamese-RPN)[17]是將目標(biāo)跟蹤問(wèn)題視為目標(biāo)檢測(cè)問(wèn)題,利用快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(faster region-convolutional neural network,FR-CNN)[18]中區(qū)域回歸的思想定位被追蹤物體的位置；全卷積孿生神經(jīng)網(wǎng)絡(luò)(fully convolutional siamese network,Siamese-FC)[19]將追蹤視為相似性學(xué)習(xí),通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)一個(gè)判別模型定位物體中心點(diǎn)的位置. Siamese-RPN和GOTURN算法雖然有很高的追蹤能力,但前者需要設(shè)置更多的參數(shù),因此會(huì)增加大量訓(xùn)練數(shù)據(jù),后者無(wú)法滿(mǎn)足實(shí)時(shí)性的要求. Siamese-FC算法雖然具有較好的實(shí)時(shí)性和跟蹤能力,但由于未使用更新機(jī)制,在存在較多相似目標(biāo)的場(chǎng)景中,特征匹配可能很難準(zhǔn)確地辨別出真正的目標(biāo).

為解決上述問(wèn)題,本文提出一種基于孿生網(wǎng)絡(luò)的實(shí)時(shí)性視頻跟蹤算法——孿生壓縮激勵(lì)全卷積網(wǎng)絡(luò)(siamese squeeze and excitation full convolutional network,Siam-SEFC). Siam-SEFC算法與Siamese-FC算法相似,通過(guò)CNN進(jìn)行特征提取,用相似函數(shù)判斷物體的相關(guān)性,并定位被追蹤物體的中心點(diǎn)位置,在每次特征提取后進(jìn)行壓縮、激勵(lì)、重定權(quán)重操作融合空間通道信息,估計(jì)運(yùn)動(dòng)模型. Siam-SEFC算法的壓縮、激勵(lì)以及重定權(quán)重的操作,通過(guò)融合SENet模塊實(shí)現(xiàn). 保留了Siamese-FC算法良好的判別能力,可有效定位被追蹤對(duì)象的中心點(diǎn),并融合通道間的空間信息,學(xué)習(xí)目標(biāo)的大小變化信息,引入少量參數(shù)使用有限的數(shù)據(jù),仍具有良好的準(zhǔn)確性.

1 預(yù)備知識(shí)

1.1 壓縮激勵(lì)網(wǎng)絡(luò)

壓縮激勵(lì)網(wǎng)絡(luò)(squeeze and excitation networks,SENet)[20]首先進(jìn)行Squeeze操作,操作對(duì)象是傳統(tǒng)卷積操作后得到的中間結(jié)果,其目的是進(jìn)行空間維度壓縮,將每個(gè)維度的通道信息變?yōu)橐粋€(gè)具有全局感受野的實(shí)數(shù),得到的輸出維度與輸入特征通道數(shù)相同; 其次,進(jìn)行與循環(huán)網(wǎng)絡(luò)[21]中門(mén)機(jī)制類(lèi)似的Excitation操作,根據(jù)通道參數(shù)w顯式地對(duì)特征通道間的相關(guān)性進(jìn)行建模；最后,將Excitation輸出的權(quán)重作為在特征選擇后每個(gè)通道重要性的代表,Reweight在原來(lái)的特征上進(jìn)行逐項(xiàng)乘法加權(quán),完成在通道維度上對(duì)原始特征的重標(biāo)定. SENet結(jié)構(gòu)簡(jiǎn)單,可作為獨(dú)立模塊嵌入不同的網(wǎng)絡(luò)結(jié)構(gòu)中,其結(jié)構(gòu)如圖1所示.

圖1 SENet的結(jié)構(gòu)Fig.1 Structure of SENet

1.2 孿生全卷積神經(jīng)網(wǎng)絡(luò)

文獻(xiàn)[22]提出了將孿生神經(jīng)網(wǎng)絡(luò)用于相似度量以解決人臉識(shí)別問(wèn)題. 孿生網(wǎng)絡(luò)的兩個(gè)子網(wǎng)絡(luò)通過(guò)權(quán)值共享獲得兩個(gè)相同的子體網(wǎng)絡(luò),進(jìn)而判別兩個(gè)輸入的相似性. 孿生網(wǎng)絡(luò)具有可自然增加訓(xùn)練數(shù)據(jù)的特性,為訓(xùn)練數(shù)據(jù)較少的跟蹤領(lǐng)域提供了解決問(wèn)題的方法. 文獻(xiàn)[15]首次提出了基于孿生網(wǎng)絡(luò)的目標(biāo)跟蹤算法,該算法通過(guò)神經(jīng)網(wǎng)絡(luò)將目標(biāo)跟蹤視為匹配問(wèn)題,但每次都需要處理大量的候選框,因此花費(fèi)時(shí)間較長(zhǎng). 文獻(xiàn)[19]提出了具有實(shí)時(shí)性的Siamese-FC算法,也是基于孿生網(wǎng)絡(luò)的目標(biāo)跟蹤算法,可在更大搜索圖中選擇、定位候選圖,網(wǎng)絡(luò)訓(xùn)練采用全卷積方式進(jìn)行,最后計(jì)算兩個(gè)輸入的關(guān)系：返回值表示得分情況; 高分表示兩個(gè)輸入對(duì)象相同; 低分表示兩個(gè)輸入對(duì)象不同.

Siamese-FC的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示,其中輸入x常表示含給定第一幀邊框的目標(biāo),該子網(wǎng)絡(luò)定義為模板分支；另一個(gè)子網(wǎng)絡(luò)定義為檢測(cè)分支,接收當(dāng)前幀的輸入,用z表示. Siamese-FC兩個(gè)分支均使用深度卷積進(jìn)行特征提取的變換,用φ表示,然后由f(x,z)=g(φ(x),φ(z))計(jì)算得到兩個(gè)輸入的相關(guān)性,其中g(shù)表示卷積操作,φ(x),φ(z)表示卷積核.

圖2 Siamese-FC的結(jié)構(gòu)Fig.2 Structure of Siamese-FC

2 基于SENet改進(jìn)的孿生全卷積跟蹤網(wǎng)絡(luò)

由于Siamese-FC缺少對(duì)跟蹤對(duì)象大小變化信息進(jìn)行學(xué)習(xí)的策略,因此,本文在Siamese-FC網(wǎng)絡(luò)基礎(chǔ)上添加SENet模塊,學(xué)習(xí)物體的空間信息,構(gòu)建新的跟蹤網(wǎng)絡(luò)----孿生壓縮激勵(lì)全卷積網(wǎng)絡(luò)(siamese squeeze and excitation fully convolutional networks,Siam-SEFC). 與Siamese-FC類(lèi)似,Siam-SEFC也是一種相似學(xué)習(xí). 但Siam-SEFC在模板分支和檢測(cè)分支的每一步特征提取φ操作后都先添加空間信息融合操作,即添加SENet模塊,然后將提取的特征進(jìn)行相似度計(jì)算. 相似度函數(shù)可表示為f(x,z)=g(φ(x),φ(z)),Siam-SEFC的相似度函數(shù)表示為

f(x,z)=φ(x)*φ(z)+l,

(1)

其中l(wèi)表示取自于b∈的值,*表示卷積運(yùn)算,即將φ(x)作為卷積核,再對(duì)φ(z)進(jìn)行卷積. 響應(yīng)值最大處作為目標(biāo)z在x中的位置. 該網(wǎng)絡(luò)輸出的不是單個(gè)分?jǐn)?shù)值,而是如同D?2的分?jǐn)?shù)圖.

2.1 Siam-SEFC結(jié)構(gòu)

為得到最佳的Siam-SEFC模型,在其分支網(wǎng)絡(luò)設(shè)置表1中的6個(gè)網(wǎng)絡(luò)結(jié)構(gòu),由于Siam-SEFC的兩個(gè)分支網(wǎng)絡(luò)共享權(quán)重,為簡(jiǎn)潔,在網(wǎng)絡(luò)A～F每一列均列出一個(gè)分支的網(wǎng)絡(luò)結(jié)構(gòu). 完整的Siam-SEFC結(jié)構(gòu)需要將每個(gè)分支所得特征圖用式(1)進(jìn)行相似性計(jì)算. 卷積層的參數(shù)用“conv〈卷積核大小〉-〈通道數(shù)〉”表示. 池化層的通道數(shù)用“pooling〈通道數(shù)〉”表示. 為簡(jiǎn)潔,沒(méi)有顯示激活層. 從網(wǎng)絡(luò)A到網(wǎng)絡(luò)E,依次在Siamese-FC結(jié)構(gòu)的每一層增加SENet模塊. 對(duì)于網(wǎng)絡(luò)F,借鑒VGG[23]的設(shè)計(jì)思想,將第一層11×11的卷積用1個(gè)7×7和1個(gè)5×5的卷積進(jìn)行替換,兩個(gè)小卷積核與11×11的卷積核有相同的感受野,但網(wǎng)絡(luò)訓(xùn)練所需參數(shù)比11×11的卷積核少,從而減輕了網(wǎng)絡(luò)的計(jì)算負(fù)擔(dān),證明過(guò)程可參見(jiàn)文獻(xiàn)[23]. 在替換后的每個(gè)卷積層添加SENet模塊,每個(gè)網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)個(gè)數(shù)總和列于表2.

表1 分支網(wǎng)絡(luò)設(shè)置

表2 參數(shù)數(shù)量

SENet模塊以瓶頸形式對(duì)通道間的相關(guān)性進(jìn)行建模,得到與輸入特征相同數(shù)目的權(quán)重輸出,在增添通道信息的同時(shí)只增添了少量計(jì)算,沒(méi)有增加網(wǎng)絡(luò)負(fù)載.

2.2 判別方法

用Siam-SEFC損失函數(shù)對(duì)網(wǎng)絡(luò)訓(xùn)練中的正負(fù)樣本進(jìn)行判別,損失函數(shù)表示為

L(y,v)=log(1+exp{y,v}),

(2)

其中v表示單個(gè)樣本圖像候選的真實(shí)值,y∈{1,-1}表示標(biāo)簽. 本文用示例圖片和搜索圖片(比示例圖片大)進(jìn)行網(wǎng)絡(luò)訓(xùn)練,先產(chǎn)生一個(gè)得分圖v:D→R,然后再將得分圖的損失定義為單個(gè)損失的平均值：

(3)

對(duì)于得分圖的每個(gè)位置u∈D,y(u)都是真實(shí)值,其計(jì)算方法如下：

(4)

其中R是算法定義的半徑,c是目標(biāo)中心,k是網(wǎng)絡(luò)最終總步長(zhǎng).

2.3 算法流程

Siam-SEFC跟蹤框架的完整流程如圖3所示,先通過(guò)模板分支和檢測(cè)分支對(duì)示例圖像和搜索圖像進(jìn)行特征提取和壓縮激勵(lì),然后輸入到相似度函數(shù)中計(jì)算相似度.

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)及預(yù)處理

ILSVRC2015是ImageNet視覺(jué)識(shí)別挑戰(zhàn)(ILSVRC)引入ImageNet的視頻數(shù)據(jù)集,作為視頻挑戰(zhàn)中新對(duì)象檢測(cè)的一部分,提供了約4 500個(gè)(分為訓(xùn)練集和驗(yàn)證集)包含30種不同動(dòng)物和車(chē)輛的圖片及視頻信息,100多萬(wàn)帶注釋的幀. ILSVRC2015數(shù)據(jù)集在視頻跟蹤上的優(yōu)勢(shì)表現(xiàn)在：不僅含有更多的數(shù)據(jù),而且其描繪的場(chǎng)景和對(duì)象區(qū)別于經(jīng)典跟蹤基準(zhǔn)中的場(chǎng)景和對(duì)象. 因此,本文選用ILSVRC2015數(shù)據(jù)集用于訓(xùn)練深度跟蹤模型更具泛化能力.

在訓(xùn)練過(guò)程中,用于訓(xùn)練的數(shù)據(jù)幀從ImageNet的4 417幀視頻中提取,共超過(guò)200萬(wàn)幀標(biāo)記的邊界框. 數(shù)據(jù)集被隨機(jī)分為三部分：訓(xùn)練集70%,驗(yàn)證集10%,測(cè)試集20%. 用兩種性能指標(biāo)對(duì)跟蹤效果進(jìn)行評(píng)估：準(zhǔn)確性(accuracy)和幀率(FPS). 前者以平均IoU的形式計(jì)算,后者即每秒內(nèi)可處理的圖片數(shù)量.

3.2 訓(xùn)練環(huán)境

實(shí)驗(yàn)用Pytorch框架搭建網(wǎng)絡(luò),進(jìn)行跟蹤器設(shè)計(jì). 實(shí)驗(yàn)的輸入圖片為3通道的彩色圖片,在Linux操作系統(tǒng)下應(yīng)用Nvidia RTX 2070 GPU進(jìn)行訓(xùn)練及測(cè)試,單個(gè)網(wǎng)絡(luò)的訓(xùn)練時(shí)間為3～5周.

3.3 網(wǎng)絡(luò)訓(xùn)練

Siam-SEFC網(wǎng)絡(luò)的訓(xùn)練過(guò)程用反向傳播批量梯度下降對(duì)模型進(jìn)行訓(xùn)練. 批次大小為256,動(dòng)量為0.9,通過(guò)權(quán)值衰減實(shí)現(xiàn)正則化. 初始學(xué)習(xí)率為0.01,當(dāng)驗(yàn)證集準(zhǔn)確率不再提升時(shí),為加快收斂速度,學(xué)習(xí)率以10倍速率衰減. 選擇表1所列的網(wǎng)絡(luò)A～E進(jìn)行訓(xùn)練.

網(wǎng)絡(luò)A的訓(xùn)練采用隨機(jī)初始化權(quán)重的方式. 當(dāng)訓(xùn)練網(wǎng)絡(luò)B時(shí),利用網(wǎng)絡(luò)A的權(quán)重初始化網(wǎng)絡(luò)B,新增的SENet層參數(shù)隨機(jī)初始化. 其他網(wǎng)絡(luò)的初始權(quán)重同網(wǎng)絡(luò)B,除新添加SENet層采用隨機(jī)初始化,其他層結(jié)構(gòu)使用前一個(gè)網(wǎng)絡(luò)預(yù)訓(xùn)練的權(quán)重. 對(duì)于網(wǎng)絡(luò)F,第一層、第二層的權(quán)重則隨機(jī)初始化,其余網(wǎng)絡(luò)層的權(quán)重則使用網(wǎng)絡(luò)E預(yù)訓(xùn)練的權(quán)重. 對(duì)于隨機(jī)初始化,服從均值為0、方差為0.01的正態(tài)分布. 偏差初始化為0.

在訓(xùn)練過(guò)程中,離線(xiàn)提取每幀的示例圖像和搜索圖像,以避免在訓(xùn)練過(guò)程中調(diào)整圖像大小. 本文考慮使用兩種方法設(shè)置示例圖像和檢測(cè)圖像的訓(xùn)練尺寸S1,S2. 第一種方法是固定尺寸S1,S2,針對(duì)單尺寸進(jìn)行訓(xùn)練. 在實(shí)驗(yàn)中,評(píng)估兩種固定尺寸的訓(xùn)練模型：S1=127,S2=255;S1=255,S2=383. 給定一個(gè)網(wǎng)絡(luò),首先用S1=127,S2=255訓(xùn)練. 為加速S1=255,S2=383的訓(xùn)練,用在S1=127,S2=255上的預(yù)訓(xùn)練權(quán)重初始化權(quán)重,并且用較小的初始學(xué)習(xí)率0.001. 第二種方法是使用多尺寸圖像訓(xùn)練設(shè)置S1,S2,即每個(gè)訓(xùn)練圖片的尺寸為{(S1min,S1max),(S2min,S2max)}每個(gè)元素之間的隨機(jī)數(shù)(這里S1min=127,S1max=255,S2min=255,S2max=383). 這是數(shù)據(jù)增強(qiáng)的一種方式,針對(duì)尺寸不定的訓(xùn)練集數(shù)據(jù),提高模型對(duì)尺寸的泛化. 使用與微調(diào)后的S1max=255,S2max=383的單一尺寸預(yù)訓(xùn)練模型相同設(shè)置的模型,訓(xùn)練多尺寸模型.

3.4 單一尺寸測(cè)試數(shù)據(jù)評(píng)估

離線(xiàn)提取每幀的模板圖像和檢測(cè)圖像大小設(shè)置如下：對(duì)于固定的S1∈[S1min,S1max],S2∈[S2min,S2max],Q1∈[0.5S1min,0.5S1max],Q2∈[0.5S2min,0.5S2max],對(duì)表1中所得到的獨(dú)立網(wǎng)絡(luò)模型跟蹤性能進(jìn)行評(píng)估,結(jié)果列于表3.

由表3可見(jiàn),網(wǎng)絡(luò)A～E隨著SENet模塊的添加,跟蹤的準(zhǔn)確性從0.529逐漸增加至0.540,其圖片處理速度FPS在56～58幀/s內(nèi)波動(dòng),能滿(mǎn)足實(shí)時(shí)性要求. 其次,網(wǎng)絡(luò)F與E相比,準(zhǔn)確性提升至0.546,圖片處理速度FPS為57幀/s. 訓(xùn)練數(shù)據(jù)尺寸變化的對(duì)比實(shí)驗(yàn)結(jié)果表明,尺寸變化的跟蹤性能優(yōu)于固定最小邊的性能. 因此,添加SENet模塊進(jìn)行多尺度訓(xùn)練,使用小卷積核的Siam-SEFC在單一尺寸訓(xùn)練集上具有優(yōu)越性.

3.5 多尺度測(cè)試數(shù)據(jù)評(píng)估

表3雖然對(duì)模型進(jìn)行了多尺度訓(xùn)練,但在測(cè)試時(shí)仍使用單一尺度,受VGG[23]實(shí)驗(yàn)設(shè)計(jì)的啟發(fā)：在測(cè)試階段用尺寸抖動(dòng)會(huì)取得更好的效果. 采用多個(gè)尺寸的測(cè)試數(shù)據(jù)運(yùn)行模型,計(jì)算模型的準(zhǔn)確性和FPS. 用表3所得的模型,通過(guò)3個(gè)接近訓(xùn)練集的測(cè)試集尺寸

Q={(S1-16,S2-16),(S1,S2),(S1+16,S2+16)}

進(jìn)行評(píng)估.

網(wǎng)絡(luò)A與網(wǎng)絡(luò)B并未進(jìn)行多尺度訓(xùn)練,故在多尺度測(cè)試時(shí)只對(duì)網(wǎng)絡(luò)B進(jìn)行實(shí)驗(yàn). 實(shí)驗(yàn)結(jié)果列于表4. 由表4可見(jiàn),多尺度訓(xùn)練的網(wǎng)絡(luò)在進(jìn)行尺寸波動(dòng)測(cè)試時(shí)性能更好(對(duì)比表3中單一尺寸的結(jié)果). 網(wǎng)絡(luò)E性能最好,并且訓(xùn)練時(shí)尺度波動(dòng)比固定最小邊性能更好. 本文在驗(yàn)證集上最好的單一網(wǎng)絡(luò)模型準(zhǔn)確率為0.546,在測(cè)試集上,網(wǎng)絡(luò)F的準(zhǔn)確率達(dá)0.549.

表5為不同跟蹤算法測(cè)試結(jié)果對(duì)比. 由表5可見(jiàn),MDNet算法跟蹤的準(zhǔn)確性雖然在對(duì)比算法中達(dá)到最高0.563,但其處理圖片速度FPS為1幀/s,達(dá)不到實(shí)時(shí)性的要求；SENet和DAT算法無(wú)論是在準(zhǔn)確性,還是處理圖片的速度上都不如Siam-SEFC算法；在與Siamese-FC算法對(duì)比中,Siam-SEFC算法具有更高的準(zhǔn)確性,其準(zhǔn)確性可達(dá)0.549,且未損失實(shí)時(shí)性,圖片處理速度FPS仍可達(dá)57幀/s. 因此Siam-SEFC跟蹤模型具有良好的跟蹤性能.

表4 多尺度的網(wǎng)絡(luò)性能

表5 不同跟蹤算法測(cè)試結(jié)果對(duì)比

綜上所述,本文針對(duì)Siamese-FC算法沒(méi)有對(duì)物體大小信息變化學(xué)習(xí)的策略,通過(guò)在Siamese-FC主干網(wǎng)絡(luò)中引入SENet模塊,提出了一種改進(jìn)的Siamese-FC新方法----Siam-SEFC. Siam-SEFC算法利用SENet模塊的特性,在對(duì)物體中心信息特征學(xué)習(xí)的同時(shí)增添了空間信息特征的學(xué)習(xí),并采用多尺度數(shù)據(jù)進(jìn)行訓(xùn)練及測(cè)試,在物體尺度上進(jìn)一步增添了物體大小變化的信息. 通過(guò)單一尺寸、多尺寸測(cè)試實(shí)驗(yàn)以及與其他跟蹤方法的對(duì)比實(shí)驗(yàn),評(píng)估Siam-SEFC在視頻跟蹤的效果,結(jié)果表明,Siam-SEFC 模型在ILSVRC15數(shù)據(jù)集上不但具有良好的準(zhǔn)確性,且滿(mǎn)足實(shí)時(shí)性要求.