聯合Kalman和自適應Mean-Shift穩健相關視頻跟蹤方法

李靜，劉麗萍，車進（寧夏大學物理電氣信息學院，寧夏銀川750021）

聯合Kalman和自適應Mean-Shift穩健相關視頻跟蹤方法

李靜，劉麗萍，車進
（寧夏大學物理電氣信息學院，寧夏銀川750021）

相關視頻跟蹤器存在計算量大、模板漂移、對機動目標，雜波影響大以及遮擋情況無法跟蹤的問題，而Kalman濾波能通過利用相關跟蹤器的輸出結果來預測目標在下一幀里在圖像中的坐標，可以在高概率的小范圍內對目標進行搜索，以大幅減小計算量和雜波的影響。然后，當跟蹤器由于受到雜波或遮擋的影響而提供了錯誤的測量信息時，跟蹤的性能將大幅下降。大量研究表明，Mean-Shift跟蹤器具有運算速度快和跟蹤性能好的特點，而當目標柱狀圖和待選圖像區域相近時，其跟蹤性能也將大幅下降，甚至無法進行跟蹤。為了解決該問題，結合上述3種思想提出了一種改進的、穩健的視頻目標跟蹤方法，并通過理論分析和仿真結果表明了算法的有效性和優越性。

目標跟蹤；模板漂移；遮擋；Mean-Shift；Kalman濾波

【本文獻信息】李靜，劉麗萍，車進.聯合Kalman和自適應Mean-Shift穩健相關視頻跟蹤方法［J］.電視技術，2015，39（10）.

視頻目標跟蹤的目的是為了持續得到目標在視頻圖像幀中的位置［1］，在商業和軍事方面均具有重要意義［2-3］，盡管國內外已經有很多相關研究［4-5］，雜波、遮擋、目標復雜運動、旋轉以及外形的快速變化等原因導致了這依然是一個研究難點。針對于此，本文結合相關跟蹤，Kalman濾波和自適應Mean-Shift等方法，提出了啟發性方法來實現對目標的穩健跟蹤。并在以下幾個方面均提出了創新性思想：1）依據Mean-Shift結果，實現了在相關跟蹤結果和Kalman預測結果之間的自適應選擇；2）自適應更新跟蹤模板以適應目標變化；3）依據當前幀圖像的相關峰值來自適應的選擇門限；4）自適應更新Mean-Shift搜索窗口大小以適應目標大小變化等方面。并通過理論分析和仿真結果驗證了算法的有效性。

1　Kalman相關跟蹤器

Kalman相關跟蹤器中，跟蹤模板可采用目標子圖像，同時目標外觀模型可由邊緣增強的模板來表示，相應的搜索窗口也是采用邊緣增強之后的，以獲得更加相似的測量結果。邊緣增強包含如下步驟：高斯平滑以消除圖像噪聲影響、圖像梯度處理、歸一化和門限化處理［6］。算法中的搜索窗口大小不是保持不變的，而是在Kalman濾波的輔助下進行動態更新。基于此，跟蹤器計算量得到較大改善，且能將大部分雜波拒絕到跟蹤窗口之外，以得到更好的跟蹤性能［7］。同時確認目標大小也是進行目標有效和穩健跟蹤的重要方面，可通過如下兩個步驟完成：1）在搜索空間中將比目標小10%到大10%的模板與目標進行關聯，從而關聯度最大的模板大小即為新的模板大?。?-9］；2）利用最匹配矩形調整算法來調整模板以使得目標一直處于模板中央并解決模板漂移問題［10］。進而，利用歸一化相關在下一幀圖像的搜索窗口內進行模板匹配，相應峰值的位置即為目標在搜索窗口中的位置，且當相關值峰值大于門限值時相應的匹配認為是成功有效的。則進行下一步目標模板更新。

1.1模板更新方法

好的模板更新方法需要解決目標漂移和更新停滯問題，即需要滿足：1）最大程度地包含目標的改變；2）包含盡可能小的背景；3）當模板由于背景和噪聲像素的影響而更新緩慢現象時，更新方法具有恢復模板以得到更好目標表示的能力。在本文方法中，由用戶選擇的第一個目標被認為是最真實的，因此在整個跟蹤過程中被保留在緩存中，表示為T1。Tn表示第n-1幀圖像中得到的最新模板，其包含目標最大的改變。可知Tn包含噪聲、背景、突然光照變化或者目標模糊強度的變化。因此上一步模板Tn-1也需要保存在緩存中，以便判斷Tn的更新是正確的或者當更新判定為錯誤時，將Tn恢復為Tn-1。在第n幀圖像中，通過如下步驟來得到更好的模板表示：

將Tn和Tn-1均在搜索窗口中進行相關搜索，得到相應的峰值C（n）peak和C（n-1）peak，當C（n）peak≥C（n-1）peak時，認為最后一次更新是正確有效的，且Cpeak=C（n）peak；否則，用Tn-1替代Tn，且Cpeak=C（n-1）peak。且對于第2次更新的情況，T1在搜索窗口中進行相關，相應的峰值表示為C（1）peak。相應的更新過程可表示為

式中：0＜ω≤1，本文選取ω=0.25。相應的模板更新可表示為

式中：oldCpeak為上一幀圖像相關峰值，0≤γ≤1，0≤σ≤1，0≤δ≤1，λ＞0；t為自適應門限。本文中各個參數取值為：σ=0.035，δ=0.3，λ=3。

1.2門限自適應選取方法

固定門限方法被用在大量文獻中［6-8］，該方法對于所有的視頻幀圖像均采用固定的門限而不考慮每幀圖像里的相關信息，因此這種方法對于目標機動出現的子圖像快速變化的情況會失效。相關峰值間接提供了目標變化的啟發式信息，以便提出自適應的門限值。例如，當前的歸一化相關峰值為0.85，表明了其值很有可能在下一幀圖像中變小，因此對于即將到來的一幀圖像，門限應該設置比當前小?；诖耍赃m應方法利用當前的目標匹配信息來設置門限，而不是采用統一固定的門限值。為了避免自適應門限值太小的情況，本文對門限設置了下限，則門限選擇可表示為

式中：0.1≤τ≤0.17，0＜tl＜1，該范圍表示目標在下一幀圖像中可能產生最大17%的變化，該取值由經驗獲得，且通過試驗發現可很好地適用于慢速或快速機動的目標。本文取值為τ=0.12，tl=0.65。

2　基于Kalman濾波的遮擋處理

當在跟蹤場景中，目標隱藏在其他物體之后時，稱遮擋發生，這對于所有的視頻跟蹤都是一個至關重要的問題。相關峰值可作為遮擋發生的指示器，因為在遮擋突然發生時，其值也會突然變小。當峰值小于門限時，則停止模板更新，且認為相關跟蹤器輸出的目標位置已經沒有信任價值。而在此之前，Kalman濾波預測的目標位置則可當成目標當前位置，且濾波器狀態依據自己的預測進行更新，同時門限值逐步減小。這是因為在遮擋期間目標的變化并沒有合并到模板中，因此相關峰值可能變得小于門限。進一步，考慮到遮擋期間目標速度和運動方向存在變化的可能性，動態生成的搜索窗口也應逐漸變大。過程中，模板直接與各幀圖像相關而不是Kalman相關濾波得到的結果，直到匹配峰值超過門限。

3　自適應快速Mean-Shift方法

Mean-Shift依靠其聚合與模式尋找能力被廣泛應用于圖像分割和跟蹤領域，它是一種迭代方法，通過隨機產生中心點位置，查找鄰居點的均值，進而將中心點移動到找到的均值點的位置，方法終止于位置變化很小或者達到一定的迭代次數［11］。為了找到鄰居點的加權均值，需要有一個核函數來對鄰居的各個點進行加權。對于歸一化核函數，圖像積分技術可用于快速計算均值漂移［11］。連續兩幅圖像的變化往往表征了目標的移動區域，且在跟蹤場景中，該區域可認為是目標的可能候選，其Mean-Shift方法可用來找到兩幅圖像中的差別區域?；诖耍珺eleznai等人提出了基于歸一化框架的快速Mean-Shift方法來進行人物檢測和跟蹤［11-12］。本文采用該方法，并進行了框架大小自適應的改進。此外，本文僅計算搜索窗口的變化而不是整個搜索窗口，通過這種方式，保持了搜索窗口的大小不變，而其差異通過對現在的搜索窗口和前一幀搜索窗口做差得到，可避免不同圖像里的異常點和過大的運動區域。從而，計算過程變得更加有效和快速，因為這個方法中均值漂移僅在搜索窗口中計算。跟蹤模板大小通過如下兩種方法保持自適應：1）將從比當前模板小10%到大10%的模板與搜索空間進行相關，得到最大相關峰值對應的模板即為新的模板［5，11-12］。2）利用最佳匹配矩形調整（BMRA）對模板進行重采樣以保持模板大小不變，并讓目標處于模板的中央。該方法將模板分割成9個互不重疊的區域，計算每個區域內的能量大小，并通過投票方法得到最優匹配矩形［12］。

4　聯合相關和Kalman濾波的自適應框架快速Mean-Shift方法

Kalman濾波是一個測量跟蹤器，基于當前和之前圖像里目標的位置，可用來預測目標在下一幀圖像中的位置，并進一步根據目標實際位置來進行更新，它采用迭代的工作方式，在很少的步驟內收斂于穩定狀態。當濾波器的預測值與實際測量之間的差距大于某一個門限時，表明跟蹤結果為不可信。這可能是以下兩種情況導致：1）相關跟蹤器由于雜波、圖像模糊或遮擋等原因提供了錯誤的目標測量信息；2）目標突然改變了運動方向（如目標迅速反向或者突然加速的情況），這時候由相關跟蹤器提供的目標測量并沒有問題，并由于其得到的相關峰值大小沒有明顯的減小，而沒能及時發現情況發生。為了解決這個問題，決定采用Kalman的預測值還是相關跟蹤器得到的測量，本文加強了相關跟蹤，Kalman濾波和自適應快速Mean-Shift算法的結合力度：計算每幀圖像中，相關跟蹤得到的測量值與Kalman的預測值之間的差值，當差值大于某一門限值時，則計算當前與前一個搜索窗口的差異，并根據這個差值采用快速Mean-Shift算法來得到一個目標的位置，并選擇相關的測量和Kalman的預測位置中離該位置更接近的一個作為目標的新位置。進而，在這種情況下，目標模板并沒有得到更新，且搜索窗口大小會不斷增加，因此可有效避免目標超出搜索窗口的幾率。綜上可得本文提出算法的流程如圖1所示。

圖1　本文算法流程圖

5　實驗結果與分析

為了驗證算法的有效性，本文對兩段視頻，分別采用本文算法，以及經典的Mean-Shift算法進行了跟蹤對比。

5.1實驗一目標無遮擋視頻

由圖2和圖3的仿真結果可以看出，當目標在跟蹤過程中距離越來越近使得目標越來越大時，采用傳統的Mean-Shift無法正確地調整搜索窗口大小，選取正確的模板，存在誤跟蹤情況。而本文算法能很好地適應目標大小的變化，保持對目標的正確跟蹤。表1從數據上反應了兩種算法的差別，即經典Mean-Shift算法和本文算法。表中數據表明了兩種算法對應幀序列的實際目標中心位置與跟蹤算法所得到的目標中心位置之間的距離（Δ）。從表1可以發現，本文算法的距離差（Δ）明顯小于經典算法，跟蹤效果更好。

5.2實驗二目標存在遮擋視頻

由圖4和圖5的仿真結果可以看出，當視頻存在目標遮擋情況時，傳統的Mean-Shift算法會造成目標跟蹤的丟失，而本文算法則能在目標被遮擋時通過擴展搜索窗口大小，保證目標留在搜索窗口內，從而在遮擋之后依然保持模板正確，實現對目標的正確跟蹤。表2從數據上顯示了本算法的優越性。

圖2　本文算法跟蹤結果（實驗1）

圖3　經典Mean-Shift算法跟蹤結果（實驗1）

表1　兩種算法實際目標中心與跟蹤目標中心距離對比（實驗1）

表2　兩種算法實際目標中心與跟蹤目標中心距離對比（實驗2）

6　小結

本文結合相關跟蹤器、Kalman濾波和快速Mean-Shift等技術提出了一種自適應視頻跟蹤算法，該算法有效地實現了在遮擋和目標大小變化等復雜情況下的視頻跟蹤。理論分析和仿真結果表明算法的有效性和優越性，算法具有較高實際應用價值。

圖4　本文算法跟蹤結果（實驗2）

圖5　經典Mean-Shift算法跟蹤結果（實驗2）

［1］丁磊，宮寧生，俞克強.改進的Mean-Shift跟蹤算法在車輛跟蹤上的應用［J］.電視技術，2013，37（5）：183-186.

［2］YILMAZ A，JAVED O，SHAH M.Object tracking：a survey［J］.［3］蔣巍，張健，曾浩.基于智能視頻監控系統的運動目標檢測和跟蹤［J］.電視技術，2012，36（5）：110-114.

ACM Computing Surveys（CSUR），2006，38（4）：13-20.

［4］劉晴，唐林波，趙保軍，等.改進的Mean-Shift目標跟蹤算法［J］.系統工程與電子技術，2013，35（6）：1318-1323.

［5］LUCAS B D，KANADE T.An iterative image registration technique with an application to stereo vision［C］//Proc.7th International Joint Conference on Artificial Intelligence.San Francisco：IEEE Press，1981：674-679.

［6］AHMED J，JAFRI M N，SHAH M，et al.Real-time edge-enhanced dynamic correlation and predictive open-loop car-following control for robust tracking［J］.Machine Vision and Applications，2008，19（1）：1-25.

［7］吳佳家，高鈺，李敏，等.基于均值漂移和卡爾曼濾波的跟蹤算法研究［J］.計算機技術與發展，2014，24（1）：5-9.

［8］COMANICIU D，RAMESH V，MEER P.Kernel-based object tracking［J］.IEEE Trans.Pattern Analysis and Machine Intelligence，2003，25（5）：564-577.

［9］COLLINS R T.Mean-Shift blob tracking through scale space［C］// Proc.IEEE Computer Society Conference on Computer Vision andPatternRecognition.LosAlamitos：IEEEPress，2003：234-240.

［10］AHMED J，JAFRI M N.Best-match rectangle adjustment algorithm for persistent and precise correlation tracking［C］//Proc.International Conference on Machine Vision.Islamabad：IEEE Press，2007：91-96.

［11］李武，侯志強，魏國劍，等.跟蹤框自適應的尺度變化目標跟蹤算法［J］.山東大學學報：工學版，2014，44（2）：28-34.

［12］BELEZNAI C，FRUHSTUCK B，BISCHOF H.Human detection in groups using a fastMean-Shift procedure［C］//Proc.International Conference on Image Processing.Singapore：IEEE Press，2004：349-352.

Joint Kalman and Adaptive Mean-Shift Based Robust Correlative Visual Tracking Algorithm

LI Jing，LIU Liping，CHE Jin
（School of Physics and Electronic Information Engineering，Ningxia University，Yinchuan 750021，China）

Correlation tracker has the problem of computation intensive（if the search space or the template is large），template drift and may fail in case of fast maneuvering target，occlusion suffered by it and clutter in the scene.By using the output results of correlation tracker，Kalman filter can predict the target coordinates in the next frame. Thus，the target may be searched within a small range with a high probability.In this way，the amount of calculation and the influence of clutter can be sharply reduced.However，if wrong measurement vector is provided to the tracker due to the clutter or the occlusion inside the search region，the performance of tracking will fell sharply. Fast operation speed and good tracking results has shown to Mean-shift tracker in the literature，but it may fail when the histograms of the target and the candidate region in the scene are similar.In order to deal with the mentioned problems，an improved robust visual target tracking method based on the three above ideas is proposed，andthe algorithm is showed effectively and superiorly through the theoretical analysis and simulation results.

object tracking；template drift；occlusion；Mean-Shift；Kalman filter

TN941.1

A

10.16280/j.videoe.2015.10.005

時雯

2014-07-22

國家自然科學基金項目（61162020）