基于多策略融合的快速核相關(guān)濾波目標(biāo)跟蹤算法*

張 晗 康國(guó)華 張 琪 邱鈺桓 張 雷

1.南京航空航天大學(xué)航天學(xué)院，南京 210016 2.西安衛(wèi)星測(cè)控中心，西安 710043

0 引言

在實(shí)際應(yīng)用場(chǎng)景[1-5]的目標(biāo)跟蹤任務(wù)[6-7]中，復(fù)雜的應(yīng)用環(huán)境、背景相似干擾、遮擋[8]等外界因素以及目標(biāo)姿態(tài)變化和運(yùn)動(dòng)模糊等都對(duì)目標(biāo)的精準(zhǔn)與實(shí)時(shí)跟蹤造成不同程度的影響。在很長(zhǎng)一段時(shí)間內(nèi)，相關(guān)濾波(Correlation Filters，CF)被用來檢測(cè)場(chǎng)景中特定的模式，它具有對(duì)于圖像中感興趣的特定模式響應(yīng)很大，而對(duì)其他背景模式響應(yīng)很小的特性[9]。使用該特性進(jìn)行目標(biāo)定位時(shí)需要大量的訓(xùn)練樣本，很難應(yīng)用到在線目標(biāo)跟蹤。對(duì)此，Bolme等[10]于2010年提出最小輸出均方誤差(Minimum Output Sum of Squared Error, MOSSE)濾波算法，使跟蹤器對(duì)目標(biāo)外觀有較強(qiáng)的適應(yīng)性。MOSSE算法使用了一種自適應(yīng)的訓(xùn)練策略，滿足在線目標(biāo)跟蹤的實(shí)時(shí)性要求。此后，基于MOSSE基本框架的許多改進(jìn)算法相繼提出。文獻(xiàn)[11]提出一種核化循環(huán)結(jié)構(gòu)(CSK)跟蹤算法，該算法引入核函數(shù)并使用灰度特征，使得目標(biāo)跟蹤速度有很大的提升。在CSK的基礎(chǔ)上，文獻(xiàn)[12]首次提出核相關(guān)濾波器(Kernelized Correlation Filter，KCF) 跟蹤算法，此算法在MOSSE中將單通道灰度特征擴(kuò)展到具有31維方向梯度的HOG特征，具有較強(qiáng)的魯棒性，但此算法需要事先對(duì)初始跟蹤窗口進(jìn)行人為標(biāo)定，同時(shí)當(dāng)目標(biāo)發(fā)生形變旋轉(zhuǎn)時(shí)跟蹤效果會(huì)有所下降。

近年來，國(guó)內(nèi)外學(xué)者針對(duì)運(yùn)動(dòng)目標(biāo)如何精確、有效并且快速響應(yīng)的跟蹤，對(duì)KCF算法進(jìn)行了不同的改進(jìn)。文獻(xiàn)[13]通過卷積神經(jīng)網(wǎng)絡(luò)提取待跟蹤目標(biāo)的各卷積層深度特征替代傳統(tǒng)HOG特征，獲得特征圖，確定目標(biāo)在視頻中的位置，提高了算法在復(fù)雜干擾背景下的魯棒性；王媛媛等[14]提出對(duì)KCF響應(yīng)峰值進(jìn)行判斷，結(jié)合均值偏移算法對(duì)目標(biāo)的尺度與位置進(jìn)行修正，增強(qiáng)了目標(biāo)尺度自適應(yīng)能力，提升了跟蹤的精度；文獻(xiàn)[15]通過結(jié)合PCA主成分分析算法與KCF算法，由PCA完成特征匹配，KCF執(zhí)行跟蹤，實(shí)驗(yàn)表明其在室外無人機(jī)跟蹤系統(tǒng)下穩(wěn)定可靠，滿足跟蹤要求。劉芳等[16]提出對(duì)自適應(yīng)深度網(wǎng)絡(luò)提取的特征分為HSI三通道進(jìn)行主成分分析學(xué)習(xí)，將學(xué)習(xí)后的深度特征輸入KCF算法進(jìn)行目標(biāo)跟蹤，有效解決了目標(biāo)遮擋問題。

綜上所述，傳統(tǒng)跟蹤算法存在需人工標(biāo)定初始化參數(shù)、跟蹤窗口尺寸恒定造成的跟蹤精度下降和分類器訓(xùn)練量過大等問題，無法滿足空間任務(wù)對(duì)自主實(shí)時(shí)跟蹤的性能要求。在此基礎(chǔ)上，本文對(duì)傳統(tǒng)KCF算法提出基于多策略融合的改進(jìn)算法，利用Faster Rcnn卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)目標(biāo)航天器的自主檢測(cè)識(shí)別，完成初始窗口參數(shù)的自適應(yīng)標(biāo)定；針對(duì)初始化窗口存在的過大、過小以及偏移的問題，利用數(shù)字圖像處理的方法對(duì)其進(jìn)行校正優(yōu)化；最后在KCF算法基礎(chǔ)上完成了單一尺度向多尺度濾波轉(zhuǎn)變，實(shí)現(xiàn)了對(duì)目標(biāo)的自主、自適應(yīng)快速跟蹤。

1 KCF算法原理

KCF是一種以嶺回歸為核心，在線進(jìn)行機(jī)器學(xué)習(xí)訓(xùn)練的典型判別類算法[17]。算法原理如圖1所示，通過在第t幀(通常選第1幀)中框選出待跟蹤目標(biāo)，并初始化目標(biāo)區(qū)域?yàn)檎龢颖荆鶕?jù)左乘、右乘置換矩陣得到負(fù)樣本區(qū)域集合；利用高斯二維函數(shù)生成和樣本大小一致的訓(xùn)練標(biāo)簽矩陣，通過機(jī)器學(xué)習(xí)訓(xùn)練嶺回歸分類器；輸入待檢測(cè)樣本圖像，分類器快速檢測(cè)輸出響應(yīng)，下一幀中的目標(biāo)即為分類器輸出的最大響應(yīng)對(duì)應(yīng)位置的區(qū)域[18]。

圖1 常規(guī)核相關(guān)濾波算法流程圖

將目標(biāo)區(qū)域循環(huán)移位采集訓(xùn)練圖像，針對(duì)回歸判別函數(shù)f(z)=wTz，通過訓(xùn)練樣本xi找到與其對(duì)應(yīng)的回歸目標(biāo)yi最小的平方誤差的權(quán)值ωi，最小代價(jià)函數(shù)如式(1)：

(1)

F(α)=(F[κ(x,x′)]+λ)-1F(y)

(2)

(3)

因此，根據(jù)分類器訓(xùn)練結(jié)果，對(duì)下一幀新輸入圖像塊z求分類器響應(yīng)為：

(4)

最大響應(yīng)對(duì)應(yīng)位置即為下一幀目標(biāo)的位置中心。

2 改進(jìn)的MSKCF算法

常規(guī)KCF由于算法局限性，存在需人工標(biāo)定初始化參數(shù)、跟蹤窗口尺寸恒定造成跟蹤精度下降和分類器訓(xùn)練量過大等問題，本文對(duì)傳統(tǒng)算法提出改進(jìn)，如圖2所示，圖中背景深色的即為改進(jìn)部分，用字母區(qū)分不同的改進(jìn)路徑。

圖2 多策略融合核相關(guān)濾波算法

具體策略如圖3所示。其中(a)為2.1節(jié)自主跟蹤窗口標(biāo)定，對(duì)應(yīng)圖2中的 (a1)～(a2)；(b)為2.2初始跟蹤窗口優(yōu)化部分，對(duì)應(yīng)圖2中的(b)；(c)為融合自適應(yīng)尺度策略部分，即圖2中的(c1)～(c6)。

2.1 初始跟蹤窗口自適應(yīng)標(biāo)定

通過大量攜帶航天器的圖片數(shù)據(jù)集在Faster Rcnn網(wǎng)絡(luò)結(jié)構(gòu)中進(jìn)行訓(xùn)練。根據(jù)航天器結(jié)構(gòu)的特殊性，設(shè)置學(xué)習(xí)類別為4類：(a)航天器；(b)太陽能帆板；(c)天線；(d)本體。

Faster Rcnn對(duì)目標(biāo)的檢測(cè)存在誤檢測(cè)，應(yīng)當(dāng)對(duì)輸出的檢測(cè)結(jié)果進(jìn)行綜合判定，減少誤檢測(cè)，提高檢測(cè)精度，如圖4所示。

根據(jù)圖4所示步驟，對(duì)總體類別與細(xì)節(jié)綜合判定進(jìn)行說明：

1)總體類別判定

設(shè)置航天器標(biāo)簽閾值εs，當(dāng)該圖像中的航天器標(biāo)簽分?jǐn)?shù)大于該閾值時(shí)，進(jìn)入下一步；

2)細(xì)節(jié)綜合判定

2.2 初始跟蹤窗口優(yōu)化

對(duì)目標(biāo)航天器采用目標(biāo)檢測(cè)實(shí)現(xiàn)初始窗口自適應(yīng)提取，其窗口時(shí)常存在過大、過小與偏移的情況，且目標(biāo)跟蹤算法較依賴第一幀學(xué)習(xí)的樣本質(zhì)量。所以本算法添加了初始窗口校正器，對(duì)初始的跟蹤框尺寸進(jìn)行優(yōu)化，如圖5所示。

圖3 多策略融合的MSKCF流程

圖4 初始跟蹤窗口提取判定

圖5 初始窗口校正與優(yōu)化

(5)

2.3 濾波尺度因子

傳統(tǒng)的KCF算法中，僅對(duì)待跟蹤目標(biāo)的中心位置進(jìn)行更新，未考慮目標(biāo)相對(duì)視覺傳感器相對(duì)距離變化導(dǎo)致的目標(biāo)放大或縮小。所以本算法引入尺度池技術(shù)，對(duì)目標(biāo)模板的窗口大小進(jìn)行更新，過程如圖6所示。

圖6 快速尺度窗口檢測(cè)原理

針對(duì)含有N個(gè)尺度因子的尺度池，提出以下定義進(jìn)行描述：

定義1 尺度池窗口集合為JN={Jn,Jn*,1}，包含縮小窗口Jn={J1,J2,…,Jn}與放大窗口Jn*={J1*,J2*,…,Jn*}，其中J1J1*=1，互為倒數(shù)，共計(jì)窗口數(shù)量為N=2n+1。

由圖3可知，進(jìn)入濾波尺度池前，已獲得當(dāng)前幀響應(yīng)最大中心位置Pt(xt,yt)與上一幀目標(biāo)的窗口大小Ct-1(Mt-1,Nt-1)，以Pt為中心，Ct-1為樣本窗口，設(shè)置測(cè)試窗口集合為JN={Jn,Jn*,1}(本文取n=10，step=0.02)，通過高斯核變換提取最大響應(yīng)窗口，此時(shí)的尺度即為最佳目標(biāo)尺度ai。

3 標(biāo)準(zhǔn)庫測(cè)試與實(shí)圖測(cè)試

3.1 仿真實(shí)驗(yàn)環(huán)境

為了對(duì)所提出方法進(jìn)行實(shí)驗(yàn)分析驗(yàn)證，利用python的Tensorflow框架構(gòu)建基于Faster Rcnn的目標(biāo)檢測(cè)模型；利用MATLAB構(gòu)建MSFCK核相關(guān)濾波跟蹤器算法，整個(gè)仿真運(yùn)行環(huán)境如表1，實(shí)驗(yàn)數(shù)據(jù)如表2所示。

表1 實(shí)驗(yàn)軟硬件環(huán)境參數(shù)

表2 仿真與實(shí)驗(yàn)數(shù)據(jù)

其中，表2中的Spacecraft的S/M/B指導(dǎo)軌參考線相對(duì)于相機(jī)參考線的夾角在0°、45°和90°左右。夾角定義如圖7(a)所示，圖7(b)為實(shí)驗(yàn)所用北斗衛(wèi)星模型。

圖7 實(shí)圖數(shù)據(jù)采集

3.2 標(biāo)準(zhǔn)庫測(cè)試結(jié)果與分析

為了驗(yàn)證MSKCF算法的有效性和優(yōu)化結(jié)果，采用表2中的仿真驗(yàn)證部分的數(shù)據(jù)對(duì)改進(jìn)前后的KCF算法進(jìn)行中心位置誤差(CLE)、距離精度(DP)與重疊精度(OP)的驗(yàn)證[19-20]，DP閾值為20pixel，OP閾值為50%)，如表3所示。

表3 改進(jìn)前后的KCF算法CLE、DP、OP驗(yàn)證

根據(jù)表3，其中加黑的數(shù)據(jù)為更優(yōu)的結(jié)果，經(jīng)過改進(jìn)的MSKCF算法在CLE、DP與OP的精度上均有所提高，其中，CLE精度提高了14%，DP精度提高了19%，OP精度提高了48.3%。該數(shù)據(jù)驗(yàn)證了MSKCF算法的有效性，改進(jìn)后的MSKCF算法對(duì)OP精度影響最大。

3.3 實(shí)圖測(cè)試結(jié)果與分析

3.3.1 跟蹤窗口提取驗(yàn)證

為了驗(yàn)證初始跟蹤窗口提取算法的有效性，本文使用表2中包含與不包含航天器共100張圖片進(jìn)行驗(yàn)證，圖8為增加初始窗口輸出判定器的Faster Rcnn輸出結(jié)果(本文通過實(shí)驗(yàn)設(shè)置航天器標(biāo)簽打分閾值為εs=0.6，εp=0.8，εσ=0.7)。

由圖8分析可知，F(xiàn)aster Rcnn模型的學(xué)習(xí)，通過初始窗口輸出判定器，對(duì)不包含航天器的圖片能夠進(jìn)行有效分辨；對(duì)包含航天器的圖片，準(zhǔn)確輸出的精度達(dá)到平均95.28%，精度的差異性與測(cè)試圖像的數(shù)量存在一定對(duì)應(yīng)關(guān)系，驗(yàn)證了該判定器的有效性。

圖8 初始跟蹤窗口提取驗(yàn)證

同時(shí)，為了驗(yàn)證MSKCF算法的有效性，本文基于表2中的Spacecraft-S、M、B實(shí)驗(yàn)數(shù)據(jù)進(jìn)行了驗(yàn)證，如表4，其中X和Y表示初始框左上角點(diǎn)的像素坐標(biāo)，W表示框的寬度，H表示框的高度，S表示實(shí)際窗口的面積，SS為實(shí)際標(biāo)準(zhǔn)面積。

表4 初始跟蹤框參數(shù)

根據(jù)表4的數(shù)據(jù)進(jìn)行分析我們可以得到：

1)經(jīng)優(yōu)化后的跟蹤框，尺寸誤差從10-1到10-2量級(jí)，貼合待跟蹤目標(biāo)邊緣；

同時(shí)，為了驗(yàn)證尺度變化因子與跟蹤框優(yōu)化算法的添加對(duì)KCF算法的影響，在相對(duì)角度為0°時(shí)，驗(yàn)證了4種算法的跟蹤效果，如圖9所示，(取ε=5，下邊界未調(diào)整)。

圖9 不同算法跟蹤窗口效果對(duì)比

根據(jù)圖9，可以看出，

1)圖9(a)，傳統(tǒng)KCF算法下跟蹤框與目標(biāo)重疊；

2)圖9(b)，傳統(tǒng)KCF+跟蹤窗口優(yōu)化算法，仍存在重疊的情況；

3)圖9(c)，傳統(tǒng)KCF+濾波尺度因子優(yōu)化算法，雖然消除了跟蹤框與目標(biāo)重疊的情況，但跟蹤框仍大于待跟蹤目標(biāo)；

4)圖9(d)，本文的MSKCF算法，跟蹤框貼近待跟蹤目標(biāo)本身，效果最優(yōu)。

3.3.2 跟蹤窗口尺度和速度驗(yàn)證

使用傳統(tǒng)KCF算法、傳統(tǒng)KCF+跟蹤窗口優(yōu)化、傳統(tǒng)KCF+濾波尺度因子以及MSKCF算法分別對(duì)3種相對(duì)角度下的連續(xù)幀圖像進(jìn)行測(cè)試，驗(yàn)證不同算法下跟蹤尺度和速度，跟蹤尺度變化如圖10所示，跟蹤速度結(jié)果如表5所示。

圖10 尺度因子變化對(duì)比圖(虛線為Spacecraft-S尺度變化；粗實(shí)線為Spacecraft-M尺度變化；細(xì)實(shí)線為Spacecraft-B尺度變化)

根據(jù)圖10的曲線分析可知：

1)傳統(tǒng)的KCF算法和傳統(tǒng)KCF+跟蹤框優(yōu)化算法中不包含尺度因子，尺度變化輸出始終為1，如圖10(a)所示；

2)傳統(tǒng)KCF+濾波尺度因子算法的跟蹤尺度變化如圖10(b)所示，跟蹤尺度隨待跟蹤目標(biāo)在圖像中的變小而變小；

3)本文的MSKCF算法跟蹤尺度變化如圖10(c)所示，其跟蹤尺度變化趨勢(shì)與圖13(b)一致，但其效果相比(b)起伏變化較緩，穩(wěn)定性高。

表5 跟蹤速度對(duì)比

根據(jù)表5，可以得到如下結(jié)論：在跟蹤速度方面，本文MSKCF算法，彌補(bǔ)了單一添加濾波尺度因子優(yōu)化算法導(dǎo)致的跟蹤速度減慢的問題。

經(jīng)過對(duì)上述圖表的分析得出，通過對(duì)KCF算法同時(shí)進(jìn)行尺度變化因子和跟蹤框優(yōu)化的MSKCF算法，具有良好的有效性、實(shí)時(shí)性。

4 結(jié)論

通過對(duì)基于Faster Rcnn初始目標(biāo)跟蹤窗口的自動(dòng)提取，能夠較為準(zhǔn)確地檢測(cè)目標(biāo)并標(biāo)定目標(biāo)窗口。考慮到傳統(tǒng)KCF跟蹤算法的性能與首幀學(xué)習(xí)樣本質(zhì)量相關(guān)，本文通過對(duì)檢測(cè)目標(biāo)進(jìn)行二值化處理提取邊界坐標(biāo)，利用特征極差對(duì)初始窗口進(jìn)行優(yōu)化，通過實(shí)驗(yàn)驗(yàn)證，跟蹤窗口有效地縮小。使用本文MSKCF的跟蹤結(jié)果與傳統(tǒng)KCF、單一跟蹤窗口優(yōu)化的KCF、單一濾波尺度因子的KCF算法對(duì)比分析，添加尺度變換導(dǎo)致跟蹤速度的減慢能夠被改進(jìn)的MSKCF算法所彌補(bǔ)，驗(yàn)證了算法在跟蹤精度、速度和尺度的變化小，穩(wěn)定性高。MSKCF能為在軌航天器識(shí)別跟蹤領(lǐng)域提供支撐。