目標(biāo)分割多域卷積神經(jīng)網(wǎng)絡(luò)跟蹤算法

毛 琳，鞏欣飛，楊大偉，張汝波

(大連民族大學(xué) 機(jī)電工程學(xué)院，遼寧 大連 116600)

1 引 言

隨著信息技術(shù)的飛速發(fā)展以及計(jì)算機(jī)硬件的不斷更新?lián)Q代，以計(jì)算機(jī)視覺(jué)技術(shù)為代表的人工智能掀起了一場(chǎng)新的信息產(chǎn)業(yè)革命.運(yùn)動(dòng)目標(biāo)視覺(jué)跟蹤作為計(jì)算機(jī)視覺(jué)領(lǐng)域的重要技術(shù)之一[1]，在智能機(jī)器人、無(wú)人車導(dǎo)航、智能制造和安全監(jiān)控等產(chǎn)業(yè)有著廣泛的應(yīng)用需求[2]，是人工智能產(chǎn)業(yè)發(fā)展中的關(guān)鍵一環(huán).

目標(biāo)跟蹤是指在圖像序列中獲得目標(biāo)的首幀位置后，由跟蹤算法估計(jì)出目標(biāo)在后續(xù)幀的連續(xù)位置和尺寸.由于在圖像序列中存在目標(biāo)旋轉(zhuǎn)變形、運(yùn)動(dòng)模糊和背景混雜等情況，使得跟蹤面臨很多技術(shù)難點(diǎn)，針對(duì)如何解決這些難點(diǎn)問(wèn)題，眾多優(yōu)秀學(xué)者提出了多種出色的算法.早期跟蹤算法主要采用生成式方法，通過(guò)提取目標(biāo)的表觀特征生成能在圖像中匹配相似特征區(qū)域能力的模型，利用該模型在圖像序列的后續(xù)幀中搜尋，得出與目標(biāo)特征最相似的位置.該類方法由于生成模型時(shí)沒(méi)有利用圖像中的背景信息，對(duì)圖像中背景與目標(biāo)特征相近的區(qū)域難以分辨，跟蹤效果較差.生成類跟蹤算法研究包含光流法、卡爾曼濾波、粒子濾波、Meanshift算法等，其中文獻(xiàn)[3]提出一種基于Meanshift框架的ASMS算法，該算法使用顏色直方圖特征作為目標(biāo)的外觀特征來(lái)生成模型，同時(shí)使用了尺寸估計(jì)來(lái)保證目標(biāo)尺度自適應(yīng)性.ASMS算法具備良好的實(shí)時(shí)性，但對(duì)目標(biāo)遮擋和背景混雜等問(wèn)題難以解決.

判別式跟蹤算法區(qū)別于生成式算法，同時(shí)利用了圖像中目標(biāo)和背景的信息來(lái)建立模型，通過(guò)比較目標(biāo)與背景的差異性來(lái)對(duì)預(yù)測(cè)區(qū)域進(jìn)行判別，由于兼顧前景與背景的關(guān)系，該類算法更具魯棒性.早期的判別類算法如文獻(xiàn)[4]提出的Struck算法，通過(guò)結(jié)構(gòu)化輸出SVM方法直接跟蹤目標(biāo)以保證算法的自適應(yīng)性，避免在分類環(huán)節(jié)引入錯(cuò)誤樣本導(dǎo)致跟蹤失效.判別類算法最經(jīng)典的突破是引入信號(hào)處理領(lǐng)域中相關(guān)濾波的方法，相關(guān)濾波算法是利用目標(biāo)與背景的各種特征訓(xùn)練一個(gè)濾波器，利用濾波處理得到目標(biāo)在圖像中最大響應(yīng)值，求取目標(biāo)位置.文獻(xiàn)[5]提出基于相關(guān)濾波的KCF算法，使用多通道HOG特征來(lái)訓(xùn)練相關(guān)濾波器，由于采用循環(huán)矩陣以及嶺回歸等手段，算法具有較高的實(shí)時(shí)性，但由于手工特征的不穩(wěn)定性導(dǎo)致算法跟蹤精度不足.隨著各種深度神經(jīng)網(wǎng)絡(luò)的出現(xiàn)，深度特征可以有效地避免手工特征描述的不確定性，具備良好的魯棒性，被廣泛引入各類跟蹤算法.文獻(xiàn)[6]提出的ECO算法通過(guò)采用包含CNN、CN和HOG特征在內(nèi)多種聯(lián)合特征訓(xùn)練濾波器，采用高斯混合模型來(lái)定時(shí)更新模型，減少樣本中的冗余樣本，有效抑制了模型的過(guò)擬合，是目前最出色跟蹤算法之一.

除了將深度特征作為目標(biāo)的表觀特征外，深度學(xué)習(xí)網(wǎng)絡(luò)由于其強(qiáng)大分類能力也引入了跟蹤算法.文獻(xiàn)[7]提出了一種基于CNN網(wǎng)絡(luò)分類預(yù)測(cè)的CNN-SVM算法，該算法是在離線階段利用大量樣本訓(xùn)練一個(gè)CNN+SVM的分類器，在線跟蹤階段分類器把圖像中的區(qū)域分為目標(biāo)或背景，由于SVM對(duì)CNN特征分類能力不強(qiáng)導(dǎo)致跟蹤成功率不高.文獻(xiàn)[8]在CNN-SVM基礎(chǔ)上提出了MDNet算法，該算法在VGG網(wǎng)絡(luò)基礎(chǔ)上，采用了卷積網(wǎng)絡(luò)加全連接網(wǎng)絡(luò)的結(jié)構(gòu)，跟蹤效果改善明顯.判別類算法的另一個(gè)潮流是引入孿生網(wǎng)絡(luò)的方法，文獻(xiàn)[9]提出基于孿生網(wǎng)絡(luò)結(jié)構(gòu)的SiamFC算法，該算法在離線訓(xùn)練階段中訓(xùn)練一個(gè)搜索區(qū)域的全卷積網(wǎng)絡(luò)來(lái)衡量相似性，在線跟蹤階段將目標(biāo)和待搜索圖像卷積計(jì)算，輸出相似性最大的區(qū)域即為跟蹤結(jié)果.

判別類跟蹤算法由于考慮到目標(biāo)和背景的關(guān)系而具備良好的魯棒性，但當(dāng)跟蹤精度不足時(shí)，跟蹤檢測(cè)框會(huì)引入更多的冗余信息，進(jìn)一步惡化跟蹤效果，使得對(duì)光照劇烈變化、目標(biāo)變形和背景混雜的情況解決較差.針對(duì)MDNet算法跟蹤過(guò)程中網(wǎng)絡(luò)更新存在的一些問(wèn)題，本文提出一種基于目標(biāo)分割的多域卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)跟蹤算法(MDmask)，在OTB[10]和VOT[11]測(cè)試集上進(jìn)行仿真驗(yàn)證，與其他優(yōu)秀算法相比，具備更加良好的跟蹤性能.

2 MDmask算法

MDNet跟蹤目標(biāo)時(shí)，將跟蹤結(jié)果與設(shè)定閾值比較，若大于閾值，則判定為成功.在線更新時(shí)，跟蹤成功的目標(biāo)框可以作為更新樣本庫(kù)中的正樣本，負(fù)樣本由正樣本周圍一定范圍內(nèi)隨機(jī)采樣獲得.正負(fù)樣本負(fù)責(zé)對(duì)網(wǎng)絡(luò)的權(quán)重更新來(lái)提高算法的魯棒性，但MDNet算法在面臨一些突變情況下，諸如目標(biāo)旋轉(zhuǎn)變形、運(yùn)動(dòng)模糊和背景混雜等，仍會(huì)出現(xiàn)大量跟蹤目標(biāo)丟失的情況.導(dǎo)致算法失效的原因是更新過(guò)程中引入了存在干擾因素的正樣本或者錯(cuò)誤的正樣本.本文通過(guò)對(duì)MDNet實(shí)際運(yùn)行時(shí)更新庫(kù)中正樣本的統(tǒng)計(jì)分析，發(fā)現(xiàn)導(dǎo)致跟蹤失效的主要原因有：1)更新樣本庫(kù)的豐富度不足，在一些目標(biāo)劇變情況下的視頻幀，由于包含很高的目標(biāo)信息度，本是網(wǎng)絡(luò)更新的關(guān)鍵樣本.但算法在跟蹤這些幀時(shí)目標(biāo)丟失，使得跟蹤結(jié)果得分小于閾值，不能作為更新樣本使用，使得算法的魯棒性不足;2)更新樣本庫(kù)中正樣本的背景信息混雜過(guò)多，正樣本主要包含目標(biāo)信息，負(fù)樣本以背景信息為主.但由于算法在某些幀跟蹤精度不夠好，跟蹤的目標(biāo)框中有大量與目標(biāo)無(wú)關(guān)的背景信息，在更新階段正樣本中這部分背景信息被當(dāng)作是目標(biāo)信息進(jìn)行更新，使得網(wǎng)絡(luò)分類能力趨于惡化，限制了算法跟蹤性能的提升.

2.1 MDmask算法結(jié)構(gòu)

MDmask算法結(jié)構(gòu)主要由MDNet跟蹤網(wǎng)絡(luò)和mask目標(biāo)分割網(wǎng)絡(luò)組成，MDNet跟蹤網(wǎng)絡(luò)負(fù)責(zé)對(duì)目標(biāo)的位置和尺寸作出大致的預(yù)測(cè)，mask分割網(wǎng)絡(luò)則對(duì)預(yù)測(cè)區(qū)域進(jìn)行圖像的二元分割，得到目標(biāo)更精確的尺寸和位置，再利用正確的跟蹤結(jié)果作為樣本庫(kù)更新網(wǎng)絡(luò)，提高網(wǎng)絡(luò)的分類預(yù)測(cè)能力.如圖1所示，MDmask算法先將待檢測(cè)圖片輸入MDNet跟蹤網(wǎng)絡(luò)，輸出目標(biāo)的預(yù)測(cè)區(qū)域，為保證分割網(wǎng)絡(luò)獲得完整的目標(biāo)，以預(yù)測(cè)區(qū)域?yàn)橹行臄U(kuò)張一定比例作為候選分割區(qū)域，再經(jīng)過(guò)仿射變換調(diào)整后輸入mask分割網(wǎng)絡(luò)，輸出目標(biāo)的分割掩碼.聯(lián)合分割掩碼與輸入圖片，由邊框回歸輸出校正后的跟蹤結(jié)果，再將獲得的精確目標(biāo)框作為樣本庫(kù)中的正樣本，由正樣本隨機(jī)采樣獲得負(fù)樣本，通過(guò)正負(fù)樣本更新網(wǎng)絡(luò)權(quán)重，以適應(yīng)目標(biāo)或背景的變化.

圖1 MDmask算法邏輯圖

2.2 MDNet快速預(yù)測(cè)網(wǎng)絡(luò)

由于算法最終將由分割網(wǎng)絡(luò)來(lái)獲得目標(biāo)精確結(jié)果，使得MDNet網(wǎng)絡(luò)只負(fù)責(zé)輸出目標(biāo)大致預(yù)測(cè)區(qū)域.為了提升算法的跟蹤速度，本文提出一種快速預(yù)測(cè)目標(biāo)區(qū)域的MDNet網(wǎng)絡(luò)，通過(guò)減少輸入圖片的循環(huán)采樣數(shù)，減少對(duì)應(yīng)的分類域，使得網(wǎng)絡(luò)通過(guò)較小的樣本計(jì)算量即可推測(cè)出目標(biāo)所在區(qū)域.網(wǎng)絡(luò)由共享層和非共享層組成，共享層是指網(wǎng)絡(luò)在訓(xùn)練和跟蹤時(shí)權(quán)重共享的網(wǎng)絡(luò)層，非共享層是指在訓(xùn)練中獲得權(quán)重后，跟蹤時(shí)需要樣本庫(kù)來(lái)更新的網(wǎng)絡(luò)層.如圖2所示，共享層由conv1、conv2和conv3卷積層和fc4全連接層組成，非共享層包含fc5和fc6，其中fc5是全連接層，fc6為softmax分類層.網(wǎng)絡(luò)在離線訓(xùn)練時(shí)，以訓(xùn)練圖片的目標(biāo)為中心，在目標(biāo)周圍采樣獲得尺寸與目標(biāo)相同但位置不同的塊，按與目標(biāo)真值重疊度分為正樣本和負(fù)樣本.其中正樣本的標(biāo)簽為目標(biāo)，負(fù)樣本標(biāo)簽為背景，通過(guò)對(duì)網(wǎng)絡(luò)中各層的權(quán)重參數(shù)不斷更新，在多批次訓(xùn)練后達(dá)到設(shè)定精度，使網(wǎng)絡(luò)具備能判定輸入圖像是否是目標(biāo)的能力.

圖2 MDNet網(wǎng)絡(luò)結(jié)構(gòu)

2.3 圖像變換

擴(kuò)張變換和仿射變換過(guò)程是連接MDNet跟蹤網(wǎng)絡(luò)和mask分割網(wǎng)絡(luò)的關(guān)鍵，保證MDNet輸出的結(jié)果經(jīng)過(guò)變換可以作為分割網(wǎng)絡(luò)的輸入.設(shè)跟蹤網(wǎng)絡(luò)輸出目標(biāo)框的中心坐標(biāo)為(x，y)，高和寬分別是h和w.在擴(kuò)張變換中，設(shè)擴(kuò)張系數(shù)為k，則擴(kuò)張變換后候選分割區(qū)域高和寬見(jiàn)公式(1)：

h′=w′=k·max(h，w)

(1)

由此以(x，y)為中心從輸入圖像中剪裁獲得一個(gè)高和寬分別為h′和w′的候選分割圖片f，該區(qū)域的中心坐標(biāo)見(jiàn)公式(2)：

(x′，y′)=[x-k·max(x，y)，y-k·max(x，y)]

(2)

在仿射變換中，以f作為輸入，設(shè)分割網(wǎng)絡(luò)的規(guī)定輸入尺寸為s，則該變換的變換矩陣見(jiàn)公式(3)：

(3)

設(shè)候選分割區(qū)域圖像的像素坐標(biāo)為(X，Y)，同時(shí)使用Lanczos插值法作為圖像變換方法，設(shè)L為該方法的函數(shù)模型，則仿射變換后圖像f′的像素見(jiàn)公式(4)：

f′=L(f(M·[X，Y，1]T))

(4)

2.4 mask分割網(wǎng)絡(luò)

一般圖像分割算法，既需要對(duì)分割目標(biāo)類別進(jìn)行判定，還要輸出多個(gè)目標(biāo)的分割掩碼.但本文所需的分割網(wǎng)絡(luò)只對(duì)圖片中的單個(gè)目標(biāo)輸出分割掩碼，則該分割任務(wù)可以簡(jiǎn)化為目標(biāo)和背景的二元分割.因此本文訓(xùn)練了一個(gè)只對(duì)輸入圖片的中心目標(biāo)感興趣的mask網(wǎng)絡(luò)，來(lái)輸出目標(biāo)的分割掩碼.同時(shí)由于MDNet網(wǎng)絡(luò)已經(jīng)確定目標(biāo)的大致位置，使得分割網(wǎng)絡(luò)只需對(duì)圖像的局部區(qū)域進(jìn)行分割操作，大大減少了計(jì)算量，滿足跟蹤算法實(shí)時(shí)性的要求.mask分割網(wǎng)絡(luò)的框架是由共享權(quán)重的全卷積神經(jīng)網(wǎng)絡(luò)和兩個(gè)分支卷積網(wǎng)絡(luò)組成，同時(shí)完成分割和目標(biāo)得分兩個(gè)任務(wù).其中分割支路輸出目標(biāo)在圖像在擴(kuò)張預(yù)測(cè)區(qū)域的二值化分割掩碼，得分支路輸出分割目標(biāo)的預(yù)測(cè)分?jǐn)?shù)，預(yù)測(cè)分?jǐn)?shù)可以判定分割結(jié)果是否可靠.若得分低于設(shè)定閾值，則放棄本次分割結(jié)果.通過(guò)兩個(gè)任務(wù)的綜合推理，可以得出目標(biāo)在圖像的精確分割結(jié)果.

mask網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，網(wǎng)絡(luò)共享層由Resnet50(去掉后3層)構(gòu)成.分割支路通過(guò)反卷積上采樣等操作輸出規(guī)定尺寸大小的分割掩碼.得分支路則通過(guò)全卷積支路輸出分割效果判定得分.為了實(shí)現(xiàn)圖像分割與得分判定雙任務(wù)同時(shí)進(jìn)行，在離線訓(xùn)練階段使用聯(lián)合學(xué)習(xí)的方法對(duì)網(wǎng)絡(luò)預(yù)訓(xùn)練.

圖3 mask網(wǎng)絡(luò)結(jié)構(gòu)

設(shè)第k次輸入的圖片為xk，分割支路的標(biāo)簽為mk，得分支路的標(biāo)簽為yk，則分割支路的損失函數(shù)見(jiàn)公式(5)：

(5)

Ls=λlog(1+e-ykfs(xk))

(6)

其中，λ為分割支路正則化系數(shù)，fs(xk)為得分支路輸出的得分.

mask分割網(wǎng)絡(luò)的損失函數(shù)為兩支路之和，總的損失函數(shù)見(jiàn)公式(7)：

(7)

2.5 邊框回歸校準(zhǔn)

由mask分割網(wǎng)絡(luò)輸出目標(biāo)的二值化掩碼，即獲得一個(gè)與算法輸入圖片像素值矩陣等大的二維掩碼矩陣，矩陣中目標(biāo)區(qū)域的掩碼為1，背景的掩碼為0.將掩碼矩陣通過(guò)邊框回歸方法來(lái)得到精準(zhǔn)的目標(biāo)框.

首先利用掩碼求取分割區(qū)域的外輪廓，設(shè)圖片的掩碼矩陣為m，i和j是代表圖片坐標(biāo)系的橫縱坐標(biāo)值，則輪廓為滿足公式(8)的解：

(8)

然后由輪廓可以求得最小外接矩形，該求取過(guò)程借鑒了使用文獻(xiàn)[12]提出的計(jì)算方法，設(shè)求得輪廓為m(ir，jr)，具體實(shí)施如圖4所示.

首先對(duì)分割輪廓檢測(cè)曲率，求得輪廓所有凸殼的包裹切線，如圖4(a)所示.再過(guò)凸殼上任意一點(diǎn)做該點(diǎn)的切線lα，以其中一條包裹切線的切點(diǎn)為起始點(diǎn)，作凸殼的另外3條切線lα′、lβ及l(fā)β′，并且lα平行l(wèi)α′，lβ平行l(wèi)β′，lα垂直lβ.接著求得lα正方向在輪廓m(ir，jr)的最遠(yuǎn)交點(diǎn)，以及l(fā)α′在負(fù)方向的最遠(yuǎn)交點(diǎn)，向量lβ和lβ′同理，即可求得外接矩形與輪廓的4個(gè)相交點(diǎn)，以相交點(diǎn)分別作輪廓4條切線，切線的交點(diǎn)為外接矩形的頂點(diǎn)，如圖4(b)所示.

圖4 邊框回歸計(jì)算過(guò)程

將切線lα沿順時(shí)針或逆時(shí)針旋轉(zhuǎn)固定角度，重復(fù)上述過(guò)程，即可求得輪廓的n個(gè)外接矩形，如圖4(c)所示.設(shè)矩形的面積為S，外接的最小矩形即為邊框回歸后獲得目標(biāo)位置見(jiàn)公式(9)：

Smin=min{S1，S2，…，Sn}

(9)

2.6 MDmask網(wǎng)絡(luò)更新

樣本庫(kù)的作用是保存跟蹤獲得的正確結(jié)果，作為網(wǎng)絡(luò)更新的訓(xùn)練數(shù)據(jù).采用分割網(wǎng)絡(luò)校準(zhǔn)后的結(jié)果：1)提高樣本庫(kù)的豐富度，針對(duì)一些的跟蹤出錯(cuò)的結(jié)果，通過(guò)分割重新獲得目標(biāo)的正確位置，有效提高樣本庫(kù)中的樣本數(shù)；2)減少正樣本中的背景信息，針對(duì)一些跟蹤精度不足的結(jié)果，目標(biāo)分割可以提高目標(biāo)信息在正樣本中的比率，減少網(wǎng)絡(luò)更新中正樣本的信息冗余.表1為統(tǒng)計(jì)實(shí)際運(yùn)行時(shí)MDNet算法和MDmask算法在各種情況下樣本庫(kù)信息，其中豐富度是指樣本庫(kù)可用的平均樣本數(shù)，精細(xì)度為正樣本中目標(biāo)信息比率占到80%以上的平均樣本數(shù).

表1 樣本庫(kù)信息

由表1可以看出采用目標(biāo)分割后，網(wǎng)絡(luò)更新過(guò)程中，樣本庫(kù)的豐富度和精細(xì)度都有所提升，能為網(wǎng)絡(luò)權(quán)重更新提供更多有效的數(shù)據(jù)，提高算法的泛化能力.

由目標(biāo)分割獲得樣本庫(kù)后，對(duì)樣本所在幀采樣，以目標(biāo)框?yàn)橹行脑谝欢ǚ秶鷥?nèi)隨機(jī)采樣，確定更新網(wǎng)絡(luò)的正負(fù)樣本.為了提升算法的效率，網(wǎng)絡(luò)更新沒(méi)有采用逐幀更新的方式，而是采用長(zhǎng)短時(shí)更新的方法，長(zhǎng)時(shí)更新是指每隔固定幀通過(guò)已有樣本庫(kù)對(duì)網(wǎng)絡(luò)的非共享層fc5和fc6權(quán)重更新，以適應(yīng)目標(biāo)在長(zhǎng)時(shí)段內(nèi)的細(xì)微變化，短時(shí)更新是指在判定跟蹤失效后，即跟蹤低分小于閾值時(shí)，啟動(dòng)最近幾幀的樣本庫(kù)對(duì)網(wǎng)絡(luò)更新，是為了適應(yīng)目標(biāo)在短時(shí)內(nèi)的劇烈變化.網(wǎng)絡(luò)在線更新后使用最新的權(quán)重參數(shù)繼續(xù)跟蹤目標(biāo)，增強(qiáng)在各類難點(diǎn)情況下的算法跟蹤性能.

3 MDmask網(wǎng)絡(luò)訓(xùn)練細(xì)則

MDmask跟蹤算法實(shí)施過(guò)程中最關(guān)鍵的是如何訓(xùn)練一個(gè)具備對(duì)目標(biāo)精確分割的網(wǎng)絡(luò)模型.為了實(shí)現(xiàn)這一目的，本文在預(yù)訓(xùn)練過(guò)程中使用COCO2017數(shù)據(jù)集.該數(shù)據(jù)集分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，是目前圖像分割領(lǐng)域運(yùn)用最廣泛的數(shù)據(jù)集之一.

步驟1.構(gòu)建分割網(wǎng)絡(luò)框架.其中網(wǎng)絡(luò)共享層由去掉后3層的Resnet50網(wǎng)絡(luò)和一個(gè)卷積核為 的卷積層組成，目標(biāo)分割支路由一個(gè)卷積層和反卷積網(wǎng)絡(luò)組成，得分判定支路由3層卷積層構(gòu)成.

步驟2.把訓(xùn)練集中的圖片分為若干個(gè)訓(xùn)練批次.

步驟3.隨機(jī)初始化各層的權(quán)重參數(shù)，同時(shí)設(shè)定網(wǎng)絡(luò)的學(xué)習(xí)率.

步驟6.重復(fù)步驟4和步驟5，直到權(quán)重?fù)p失降到指定范圍內(nèi)停止權(quán)重更新.

步驟7.把驗(yàn)證集的圖片分組，挑選表現(xiàn)最佳的權(quán)重最為網(wǎng)絡(luò)的參數(shù).

步驟8.通過(guò)測(cè)試集驗(yàn)證網(wǎng)絡(luò)模型是否滿足分割所需的精度，保存網(wǎng)絡(luò)模型和參數(shù).

4 仿真分析

為驗(yàn)證MDmask算法的跟蹤性能，本文采用在目標(biāo)跟蹤領(lǐng)域廣泛使用的OTB50和VOT2015數(shù)據(jù)集，將跟蹤結(jié)果與眾多優(yōu)秀算法共同比較，檢驗(yàn)算法的有效性.仿真實(shí)驗(yàn)與算法預(yù)訓(xùn)練過(guò)程的參數(shù)配置一致.實(shí)驗(yàn)平臺(tái)為系統(tǒng)ubuntu14.04，GPU為GeForce GTX1080Ti，仿真配置環(huán)境為python3.6、CUDA-8.0、pytorch0.4.1.

4.1 OTB50結(jié)果分析

OTB50數(shù)據(jù)集將圖像序列，分為光照變化、背景混雜和目標(biāo)遮擋等11類.在考慮各種跟蹤難點(diǎn)因素影響的條件下，進(jìn)行仿真測(cè)試.對(duì)比算法包括，判別類算法TLD[13]，相關(guān)濾波類算法：KCF[5]、ECO[6]、ECO-HC[6]、CSK[14]、C-COT[15]，基于深度學(xué)習(xí)分類預(yù)測(cè)的算法：CNN-SVM[7]、MDNet[8]、TCNN[16].

(10)

(11)

MDmask算法與各算法在OTB50總體表現(xiàn)如圖5所示，其中在跟蹤精度方面，MDmask(0.946)較MDNet(0.918)提升3.05%，提升顯著，明顯好于ECO算法.在跟蹤成功率方面，MDmask(0.707)較MDNet(0.688)提升2.76%.

圖5 OTB50實(shí)驗(yàn)結(jié)果

OTB50屬性測(cè)試是由跟蹤難點(diǎn)數(shù)據(jù)集的跟蹤結(jié)果得分統(tǒng)計(jì)計(jì)算得出，表2給出了各種算法在難點(diǎn)情況下的屬性測(cè)試.與MDNet算法相比，MDmask在光照變化劇烈情況下，跟蹤精度提升3.62%，成功率提升4.44%；在目標(biāo)尺度變化較大情況下，跟蹤精度提升4.15%，跟蹤成功率提升6.63%；在目標(biāo)形變情況下，跟蹤精度提升3.39%，跟蹤成功率提升3.31%；在目標(biāo)背景混雜情況下，跟蹤精度提升2.61%，跟蹤成功率提升2.70%.

表2 OTB50屬性測(cè)試

4.2 VOT2015測(cè)試結(jié)果

本文使用了VOT2015數(shù)據(jù)集對(duì)MDNet和MDmask算法進(jìn)行了測(cè)試，以驗(yàn)證對(duì)MDNet算法改進(jìn)的有效性.總體來(lái)看，MDmask算法總體表現(xiàn)優(yōu)于MDNet算法，較MDNet有較大提升.圖6是兩種算法在部分測(cè)試集上的實(shí)際表現(xiàn)效果，相比MDNet的跟蹤結(jié)果，MDmask算法能夠獲得目標(biāo)精度更高的目標(biāo)框，盡可能地減少背景信息對(duì)正樣本的干擾.尤其在一些MDNet存在跟蹤失效的測(cè)試集，MDmask利用目標(biāo)分割的重定位能力，也能跟蹤成功.

圖6 VOT2016實(shí)驗(yàn)結(jié)果

除了跟蹤精度和成功率，實(shí)時(shí)性也是跟蹤算法關(guān)注的一個(gè)焦點(diǎn).為了測(cè)試MDmask算法的平均運(yùn)行速度，本文使用了基于深度學(xué)習(xí)預(yù)測(cè)分類預(yù)測(cè)算法MDNet、TCNN和相關(guān)濾波類算法ECO、KCF進(jìn)行比較，表3是在本文的實(shí)驗(yàn)平臺(tái)下的測(cè)試結(jié)果.與相關(guān)濾波類算法相比，深度學(xué)習(xí)預(yù)測(cè)類算法跟蹤效率仍有較大差距.與MDNet算法相比，由于使用了MDNet網(wǎng)絡(luò)的快速預(yù)測(cè)方法，計(jì)算量大大減少，MDmask跟蹤速度更快.

表3 算法跟蹤效率

5 結(jié) 論

本文提出一種利用圖像分割增強(qiáng)MDNet跟蹤網(wǎng)絡(luò)性能的MDmask算法，該算法將分割網(wǎng)絡(luò)融入到原有跟蹤系統(tǒng)中，可以獲取目標(biāo)更精確的跟蹤區(qū)域，減少目標(biāo)框中冗余的背景信息，提高算法的跟蹤性能.在OTB50和VOT2016仿真實(shí)驗(yàn)中，本文算法無(wú)論從跟蹤精度和成功率都表現(xiàn)優(yōu)異，對(duì)一些跟蹤過(guò)程中常見(jiàn)的難點(diǎn)，如目標(biāo)背景混雜和目標(biāo)形變等情況，能夠提供較好的解決能力.但由于圖像分割網(wǎng)絡(luò)對(duì)目標(biāo)遮擋情況下常存在分割不完整的現(xiàn)象，使得算法在目標(biāo)遮擋情況下表現(xiàn)不佳，是下一步研究改進(jìn)的關(guān)鍵問(wèn)題.