基于多算法融合的抗遮擋目標(biāo)跟蹤算法

林穎，湯文兵

（安徽理工大學(xué)計算機(jī)科學(xué)與工程學(xué)院，安徽 232001）

0 引言

隨著計算機(jī)科技的進(jìn)步，生活中不斷產(chǎn)生著大量的視頻圖像數(shù)據(jù)，如何對這些視頻圖像信息進(jìn)行處理，使得計算機(jī)能夠?qū)⒁曨l圖像轉(zhuǎn)化成數(shù)字信息并進(jìn)行邏輯計算分析，受到了研究人員的廣泛關(guān)注，這就是計算機(jī)視覺。對運動中的目標(biāo)進(jìn)行定位和追蹤［1］是計算機(jī)視覺領(lǐng)域的一個重要組成部分。目標(biāo)跟蹤在軍事、醫(yī)療、體育、交通和工業(yè)中都有著廣泛應(yīng)用，但是由于跟蹤過程中，目標(biāo)形變、光照變化、目標(biāo)遮擋、相似背景等多種復(fù)雜的跟蹤情況使得目標(biāo)跟蹤成為一個富有挑戰(zhàn)性的課題。

單目標(biāo)跟蹤是從二維的視頻序列中對物體進(jìn)行分析和追蹤，由于深度信息的缺乏，容易產(chǎn)生目標(biāo)自身遮擋或障礙物遮擋。當(dāng)觀測物體被嚴(yán)重遮擋時，跟蹤器的置信度大幅度降低，目標(biāo)的大部分特征的缺失容易導(dǎo)致跟蹤漂移或者失敗。遮擋問題嚴(yán)重影響了跟蹤的精度和效率，為了提高跟蹤算法的魯棒性，亟需提出一個抗遮擋的目標(biāo)跟蹤算法來滿足實時性的跟蹤需求。

受現(xiàn)有的抗遮擋跟蹤算法的啟發(fā)，本文提出了一個基于多算法融合思想的抗遮擋目標(biāo)跟蹤算法。在基于卡爾曼濾波的Mean Shift算法基礎(chǔ)上增加了一個SVM檢測器。當(dāng)判斷目標(biāo)被長時間嚴(yán)重遮擋或者目標(biāo)丟失時，激活SVM輔助其他跟蹤器進(jìn)行目標(biāo)的檢測重定位。

1 基于卡爾曼濾波的Mean Shift算法

Mean Shift算法［4］采用的是顏色直方圖作為目標(biāo)模型的特征，通過不斷迭代向量直到收斂于目標(biāo)的實時位置。因為實時性好，抗形變、抗旋轉(zhuǎn)、抗遮擋等優(yōu)勢而被廣泛應(yīng)用在實時目標(biāo)跟蹤中。但是在跟蹤時，如果目標(biāo)運動速度過快，視頻序列相鄰的兩幀目標(biāo)并不重疊，那么Mean Shift算法很難追蹤到目標(biāo)，而且如果密度梯度不是目標(biāo)形成的，那么收斂到的位置也不是目標(biāo)所在的位置，此時跟蹤就會失敗。因為算法采用了加權(quán)核函數(shù)直方圖模型，增加目標(biāo)中心像素權(quán)值并且減小邊緣像素權(quán)值，所以當(dāng)局部被遮擋時，對算法的精確度干擾不大，但是當(dāng)物體被嚴(yán)重遮擋時，目標(biāo)信息嚴(yán)重缺失，此時通過單一的搜索密度極值區(qū)域不一定能準(zhǔn)確判斷目標(biāo)位置。

針對這些問題，有的學(xué)者將Mean Shift算法與卡爾曼濾波器相結(jié)合，用卡爾曼濾波器根據(jù)目標(biāo)前一幀的信息預(yù)測目標(biāo)當(dāng)前狀態(tài)，得到目標(biāo)可能存在的位置點，作為均值漂移算法的初始迭代位置。

卡爾曼濾波器有著計算簡單和魯棒性的優(yōu)點，由于卡爾曼預(yù)測過程只需要由前一幀的目標(biāo)運動信息等估計出下一幀目標(biāo)的狀態(tài)信息，因此算法只需要保存目標(biāo)的上一幀狀態(tài)信息，即只需要很小的存儲空間來存儲歷史信息，這使得卡爾曼濾波器具有存儲空間需求小、計算復(fù)雜度低且速度快的優(yōu)勢。

采用卡爾曼濾波器預(yù)測到的目標(biāo)位置比直接用前一幀計算得到的目標(biāo)位置作為初始迭代點更加準(zhǔn)確。這樣不僅能夠減少迭代次數(shù)，從而減少計算量，而且可以解決算法在目標(biāo)高速運動時容易導(dǎo)致跟蹤丟失或者失敗的問題。此外，當(dāng)目標(biāo)被嚴(yán)重遮擋時，能夠用卡爾曼濾波器結(jié)合之前幀中的目標(biāo)信息，對目標(biāo)位置進(jìn)行預(yù)測，可以有效地解決障礙物遮擋問題。

圖1 基于卡爾曼濾波器的Mean Shift算法流程

2 本文算法

2.1 SVM算法

SVM［5］（support vector machine，支持向量機(jī)）是一種二分類的模型。支持向量機(jī)主要有線性和非線性兩大類，其中線性問題又可以分為線性可分和線性不可分。與貝葉斯分類器、決策樹分類器等常見分類器相比，具有更高的泛化性能，能夠更好地應(yīng)對非線性的二分類問題，能夠很好地處理高位特征。其主要思想是找到空間中一個超平面，滿足將所有正負(fù)數(shù)據(jù)樣本劃分開，且所有樣本到這個超平面的總距離最短。

等妮兒她娘緩過來，瞿醫(yī)生劈頭蓋臉就罵了我一通，你不知道這個時候不能同房啊？你是想要她的命啊！我沒敢爭辯，怕當(dāng)著外人說漏餡了，家丑啊。

也就是說支持向量機(jī)算法的最終目的就是尋找到一個超平面，將所有的正負(fù)樣本數(shù)據(jù)區(qū)分開，面對線性可分問題可以直接尋找超平面。在實際任務(wù)中，由于干擾因素或者樣本數(shù)據(jù)本身是線性不可分的可能會導(dǎo)致線性不可分問題，線性不可分的情況通常是絕大多數(shù)正負(fù)樣本是線性可分的，但是由于少數(shù)噪聲干擾等因素導(dǎo)致線性不可分的問題。針對這個問題，SVM模型放寬了自身標(biāo)準(zhǔn)，允許某些數(shù)據(jù)分類“出錯”，具體方法是將松弛變量引入分類約束條件公式中，并且找到盡可能小的松弛變量，同時引入放寬力度的常數(shù)作為“懲罰力度”。也就是說線性可分和線性不可分問題都可以變成線性問題。

但是在現(xiàn)實任務(wù)中，不是所有的問題都是線性問題，即不一定存在一個超平面能夠?qū)⑺械恼?fù)樣本數(shù)據(jù)。針對這個問題，SVM算法引入了核函數(shù)的概念，將原本線性不可分的樣本映射到更高一層的多維空間，使得在原來多維空間找不到的超平面可以被找到，也就是使得樣本數(shù)據(jù)線性可分。SVM常用的核函數(shù)有線性核函、徑向基核、Sigmoid核函數(shù)等。可以很好地處理非線性問題，是SVM的最大優(yōu)勢。

2.2 SVM檢測重定位

目標(biāo)檢測算法的目的是在圖像上預(yù)先找出目標(biāo)可能出現(xiàn)的位置，通過各種特征進(jìn)行模板匹配，從而檢測到目標(biāo)所在位置。由于在遮擋過程中，目標(biāo)的運動信息可能發(fā)生改變，導(dǎo)致目標(biāo)可能出現(xiàn)的位置不確定，從而有大量的窗口需要匹配，再加上目標(biāo)自身的形變，計算量更大。因此可以將檢測算法與目標(biāo)跟蹤算法相結(jié)合，在有限的區(qū)域內(nèi)預(yù)測目標(biāo)的位置和尺度變化。

在SVM檢測算法中，首先對檢測器進(jìn)行參數(shù)更新，在目標(biāo)跟蹤過程中，首幀需要手動選擇跟蹤目標(biāo)，此時首幀的訓(xùn)練樣本不足，所以需要在跟蹤目標(biāo)附近隨機(jī)選取大量樣本，根據(jù)目標(biāo)占據(jù)采樣面積的比例來劃分正負(fù)樣本。

其中，I表示采樣框中目標(biāo)區(qū)域的比例，S o表示目標(biāo)區(qū)域的大小，S r表示采樣區(qū)域的大小。在本文算法中，為了防止SVM檢測器過擬合，把I值劃分為三個區(qū)間：當(dāng)I值大于0.8，該采樣區(qū)域視為正樣本，當(dāng)I值小于0.3，視為負(fù)樣本，當(dāng)I值大于0.3小于0.8，該區(qū)域不采用。即分類標(biāo)簽如下：

本文SVM檢測器首幀的訓(xùn)練流程如下：

（1）根據(jù)首幀手動選擇目標(biāo)的結(jié)果，在圖像上進(jìn)行隨機(jī)采樣，根據(jù)目標(biāo)面積占據(jù)采樣面積的比例來劃分正負(fù)樣本。

（2）對所有正負(fù)樣本進(jìn)行歸一化操作，使得目標(biāo)尺度歸一化為指定大小。

（3）提取所有正負(fù)樣本特征，根據(jù)提取樣本特征和該樣本的標(biāo)簽進(jìn)行SVM檢測器訓(xùn)練，得到相應(yīng)的參數(shù)。

SVM檢測器從初始幀開始訓(xùn)練，進(jìn)行正負(fù)樣本的采樣。為了保證檢測器模板的準(zhǔn)確性，在后續(xù)的跟蹤過程中，每經(jīng)過5幀高置信度跟蹤，更新一次SVM檢測器參數(shù)。當(dāng)檢測到目標(biāo)被長時間嚴(yán)重遮擋或者丟失時，激活SVM檢測器。

2.3 檢測遮擋機(jī)制

Mean Shift算法的基本流程是分別計算目標(biāo)和候選目標(biāo)模型的概率密度，并計算它們的相似度，找到使得相似度取最大值的位置，為目標(biāo)在這一幀的位置。因此本文選擇基于顏色特征直方圖的遮擋因子來判斷被局部遮擋和完全遮擋。

目標(biāo)模型的顏色特征直方圖概率密度表示為q={q u}u=1,…,m，公式計算如下：

候選目標(biāo)模型概率密度表示為：p={pu}u=1,…,m，公式計算如下：

其中y表示當(dāng)前幀候選目標(biāo)區(qū)域像素位置的中心點，h為核剖面半徑，在Mean Shift算法中，核函數(shù)的帶寬通常是固定的，取窗寬的一半，C h為歸一化常數(shù)。

若y0為目標(biāo)當(dāng)前位置，令：

當(dāng)t u>1時，判斷目標(biāo)被部分遮擋，當(dāng)t u=-1時，目標(biāo)被全部遮擋。

其中，λ∈[ 1,∞)，為遮擋程度參量，設(shè)遮擋因子occ為當(dāng)occ>ζ(ζ∈(0,1))，則認(rèn)為目標(biāo)被遮擋。

3 實驗結(jié)果及分析

為了驗證本文算法對目標(biāo)遮擋問題有更好的跟蹤效果，選取了OTB數(shù)據(jù)集中有代表性的幾組發(fā)生遮擋的視頻序列進(jìn)行實驗分析，并與傳統(tǒng)的Mean Shift算法和基于卡爾曼濾波的Mean Shift算法進(jìn)行對比，從實時性和魯棒性上對三種算法的性能進(jìn)行對比分析。

3.1 部分遮擋狀態(tài)下的目標(biāo)跟蹤結(jié)果對比

為了驗證本文算法的抗遮擋性能，選取OTB數(shù)據(jù)集中的Woman視頻序列進(jìn)行仿真實驗。為了避免光照變化問題對算法的影響，選取了同一光線強(qiáng)度下視頻序列跟蹤效果的對比，是一個行人被汽車局部遮擋的到脫離遮擋的過程，分別取其中四幀做效果展示。如圖2所示，在目標(biāo)被局部遮擋時，四種算法的跟蹤誤差明顯變大，但是由于Mean Shift算法有一定的抗遮擋性，所以在目標(biāo)被遮擋時，仍然能夠成功跟蹤到目標(biāo)，但是跟蹤效果較差。而卡爾曼濾波和本文的算法由于有位置預(yù)測的能力，在整個遮擋過程中表現(xiàn)良好。當(dāng)目標(biāo)脫離遮擋時，三種算法都找回了目標(biāo)并繼續(xù)跟蹤，誤差逐漸減小。實驗表明三種算法對局部遮擋都具有一定的魯棒性。

圖2 Woman視頻序列跟蹤結(jié)果對比

為了進(jìn)一步驗證本算法改進(jìn)后的效果，對10次跟蹤平均誤差進(jìn)行統(tǒng)計，具體方式是對視頻序列每幀手工選定目標(biāo)實際位置中心點與算法跟蹤位置中心點計算歐式距離。圖3給出了傳統(tǒng)Mean Shift算法和本文算法在10次跟蹤后更細(xì)致的平均誤差對比，由此可以看出本文算法在復(fù)雜情況下具有更高的穩(wěn)定性。

圖3 平均跟蹤誤差比較

3.2 嚴(yán)重遮擋狀態(tài)下目標(biāo)跟蹤結(jié)果對比

為了進(jìn)一步驗證本算法在遮擋情況下的跟蹤效果，選取OTB數(shù)據(jù)集［6］中一組嚴(yán)重遮擋情況下的視頻序列Coke，是一瓶可樂被葉子嚴(yán)重遮擋到完全遮擋最后脫離遮擋的過程，選取250，255，270，280幀展示效果。如圖4所示，Mean Shift算法由于目標(biāo)模型被污染，跟蹤窗口漂移到了障礙物上，導(dǎo)致跟蹤失敗。而基于卡爾曼濾波的Mean Shift目標(biāo)跟蹤算法和本文算法在目標(biāo)被完全遮擋時可以預(yù)測目標(biāo)位置進(jìn)行追蹤，在結(jié)束遮擋后，仍然能夠繼續(xù)進(jìn)行追蹤。但是通過兩個算法在270幀的對比可以發(fā)現(xiàn)，本文算法的誤差率減少6.2%。當(dāng)目標(biāo)脫離完全遮擋時，本文的算法能更加準(zhǔn)確快速地捕捉目標(biāo)，要優(yōu)于基于卡爾曼濾波的Mean Shift目標(biāo)跟蹤算法。

圖4 Coke視頻序列跟蹤結(jié)果對比

4 結(jié)語

本文針對跟蹤過程中的遮擋問題，基于多算法融合的遮擋算法思想，提出了一種將Mean Shift、卡爾曼濾波和SVM相結(jié)合的抗遮擋算法。通過實驗表明，本文提出的多算法融合的改進(jìn)算法能夠在滿足實時性的情況下對局部遮擋和嚴(yán)重遮擋的目標(biāo)進(jìn)行跟蹤，很好地解決了目標(biāo)跟蹤過程中的遮擋問題。

本文提出的算法在一定程度上相較于其他遮擋算法具有更好的跟蹤效果，較原算法提升了在遮擋情況下算法的精確度。但是依然存在一些不足和提升空間，有待于進(jìn)一步的學(xué)習(xí)、研究和改進(jìn)。

首先本文的研究方向是單目跟蹤問題，并沒有考慮到多目標(biāo)跟蹤中更復(fù)雜的遮擋情況，還需要進(jìn)一步提升；其次是并沒有對目標(biāo)檢測方向進(jìn)行深入研究，選擇了SVM檢測算法來作為檢測器，所以后續(xù)需要對主流的目標(biāo)檢測算法進(jìn)行深入研究，對目標(biāo)檢測問題進(jìn)一步完善；最后是本文更側(cè)重于在滿足實時性和實用性的情況下改進(jìn)算法，所以沒有過度研究基于深度學(xué)習(xí)模型的跟蹤算法，因此，在后續(xù)的研究中可以更多的關(guān)注基于神經(jīng)網(wǎng)絡(luò)方向的跟蹤模型。