空中目標的多模跟蹤算法研究＊

陳金令 馮 勝 李 娜 崔寶明 羅 文 卜曉東

（四川九洲電器集團有限責任公司 綿陽 621000）

1 引言

運動目標檢測與跟蹤是機器視覺研究的主要內容，它利用圖像處理、目標檢測、模式識別等技術對圖像進行處理和分析，廣泛應用于工業制造、智能監控、航空航天、智能交通等領域。國內外專家在這個領域進行了大量研究，目前有基于特征點的跟蹤、基于模板匹配的跟蹤、基于運動估計的跟蹤、基于主動輪廓的跟蹤等多種算法[1]，但是這些算法各有其優缺點，有其適用的場景，并不能適用于所有的應用場合。

在這些方法中，基于模板匹配的跟蹤算法利用目標的灰度信息進行相似度比對，找出最合適的位置進行跟蹤，可適應較復雜場景下的目標跟蹤，具有較強的抗干擾能力[2]；基于特征點匹配的跟蹤算法對目標的角點進行檢測，對圖像的旋轉和噪聲干擾具有較好的抗干擾能力[3]；基于運動估計的跟蹤算法利用目標運動狀態的連續性和目標過去的運動狀態來預測目標的運動狀態和位置信息，具有一定的抗遮擋能力[4]。對目標的遮擋問題進行分析可以得出：當遮擋出現時，模板匹配算法的相關系數開始降低，遮擋部分越多相關系數就越小，當目標離開遮擋后，相關系數又逐漸增大最終達到穩定狀態。由此可見，在遮擋過程中，相關系數先逐漸縮小，達到一個極值后逐漸增大[5～7]。因此本文提出了一種多模式融合的跟蹤算法，綜合運用模板匹配、特征點匹配、Kalman濾波等跟蹤算法，以達到較好的跟蹤效果。其中，模板匹配跟蹤算法應用于背景復雜、目標未發生遮擋的情況，特征點匹配則在目標發生部分遮擋進行跟蹤，而Kalman濾波則用于預測目標位置，減少運算量，并在目標丟失時繼續預測目標位置[8～10]。實驗證明該算法可以有效地提高目標跟蹤的穩定性和魯棒性。

2 模板匹配

模板匹配算法是以圖像灰度信息直接進行匹配，利用相關函數來判定匹配程度，因此可以適應復雜的圖像背景。本文采用經典互相關相似性測度，以歸一化的相關函數來進行相似度計算，其表達式為

其中：模板為T（m，n），搜索區域為S，Sij（m，n）表示模板覆蓋下的子圖，i、j表示位置，m、n表示模板的寬和高。R（i，j）在0～1之間取值，當且僅當模板和子圖完全一致時，R（i，j）取得最大值1。所以，最佳的匹配位置就是圖像上能夠使R（i，j）取得最大值的位置。但是，這種算法需要對整幅圖像進行遍歷，計算量很大，而Kalman濾波可以預測目標的大致位置，在目標大致位置處進行小范圍遍歷可以減少計算量，因此本文采用Kalman跟蹤算法對目標的位置進行預測，只在預測位置附近的較小范圍進行模板匹配，可以大大減少運算量，滿足實時性要求。但是，該算法在目標發生遮擋、變形時，跟蹤效果不好，因此需結合其它算法來提高跟蹤的可靠性。

3 SUSAN角點匹配

SUSAN算法是基于灰度信息的特征點獲取方法，抗噪聲能力強，運算速度快，適用于實時圖像處理。算法使用一個圓形模板在圖像上移動，模板核（模板中心像素）與模板內某點進行灰度值比較，其差值小于給定的閾值，則模板核與該點的灰度值相近，滿足這樣條件的像素組成的區域稱為USAN（Univalue Segment Assimilating Nucleus）區域，如圖1所示，當模板圓在圖像上移動時，USAN區域的面積大小會發生變化。當模板核與角點A一致時，USAN區域面積達到最小，根據這個特性可以確定圖像中的角點。

圖1 模板在不同位置時的USAN區域

SUSAN算法可快速檢測出目標的角點和邊緣，因此當目標被部分遮擋時，可以根據目標的角點及邊緣特征，采用SUSAN算法繼續跟蹤目標。

4 Kalman濾波

為了滿足目標跟蹤實時性的要求，應盡量縮小模板匹配算法的搜索范圍。本文采用Kalman濾波算法預測下一幀圖像中目標的位置，從而縮小目標搜索范圍。并且當目標被遮擋時，目標將從圖像中暫時消失，此時可利用目標的預測位置來代替目標的實際位置，直到目標重新出現并與保存的模板能夠匹配，則重新采用模板匹配算法進行跟蹤，或者目標丟失的幀數超過設定值，則判斷為目標丟失，此時結束目標的跟蹤。

Kalman濾波是基于系統先前的狀態對下一個狀態做最優估計，通過狀態方程和觀測方程來描述系統。

狀態方程：

觀測方程：

式中，x（k）、x（k－1）分別為k、k－1時刻系統的狀態向量；A為k－1至k時刻的狀態轉移矩陣；B是系統控制作用矩陣；u（k）是系統的確定性輸入，Δt為連續兩個狀態之間的時間差；H為狀態向量與觀測向量之間的聯系矩陣；z（k）是k時刻的狀態觀測向量；w（k）是過程噪聲；v（k）是測量噪聲；w（k）和v（k）相互獨立。Kalman濾波算法包括初始化、運動軌跡預測和觀測值修正等三部分。首先，確定狀態方程的初始值，將檢測到的目標位置、速度、加速度等值設置狀態方程，如果目標的位置、速度和加速度等狀態參數未知，則賦值為零；然后通過目標的當前狀態來預測運動目標在下一幀的狀態，進行狀態估計；最后修正狀態估計，作為下一時刻預測狀態估計的輸入值。循環上述步驟，就可以實現對運動目標的跟蹤。

5 多模跟蹤算法

本算法根據相關系數在遮擋情況下的變化規律，采用相關系數作為相似度度量準則來判定目標的遮擋程度，進而選擇合適的算法來進行跟蹤。設置閾值λ1和閾值λ2（λ1＞λ2），將目標的跟蹤狀態分為目標未遮擋、部分遮擋和全遮擋三個狀態[11～13]，具體算法步驟如下：

1）當相關系數大于閾值λ1，即R（i，j）＞λ1成立，說明此時目標未發生遮擋現象，此時應采用模板匹配算法，則將匹配跟蹤的結果作為Kalman跟蹤算法的觀測值，進行下一時刻目標運動的估計，并計算相關系數，在此階段，相關系數高于閾值λ1，因此每幀都進行模板更新，同時將目標匹配模板存為備用模板并替換原備用模板；在檢測出目標后，先使用Kalman濾波估計出目標下一時刻可能出現的位置，再利用模板匹配算法在以該位置為中心的小區域內進行搜索，確定目標的最終位置。

2）當相關系數小于閾值λ1而高于閾值λ2時，即λ1≥R（i，j）≥λ2成立，此時應為目標被部分遮擋、形變、光照變化等因素影響了跟蹤效果，導致當前模板和目標的匹配度較低，模板匹配算法已不適合，而SUSAN算法可檢測出角點和邊緣，抗局部噪聲能力強，因此算法采用SUSAN角點算法來繼續跟蹤。

3）當物體發生全部遮擋，本算法將相關系數小于閾值λ2（即R（i，j）＜λ2）定義為目標發生全部遮擋，SUSAN角點算法也已無法準確跟蹤，應采用Kalman濾波算法對目標的位置進行預測，在短時間內對目標進行跟蹤，同時將備用模板繼續在跟蹤位置附近進行比對，當目標重新出現時，備用模板就可以與目標匹配，直到相關系數高于閾值λ1，則繼續采用模板匹配算法；如果超出設定的幀數相關系數依然無法高于閾值λ1，則結束跟蹤流程。

6 實驗結果與分析

實驗對模板匹配算法和本文算法進行了比較，如圖2所示。目標為空中的飛機，對目標飛過遮擋物的過程進行跟蹤，白色矩形框為多模跟蹤算法的目標跟蹤位置，黑色矩形框為模板匹配算法的跟蹤位置。整個過程分為目標為被遮擋、部分遮擋和完全遮擋幾個狀態，圖2（a）和圖2（i）為目標未被遮擋時的圖像，由模板匹配算法來確定跟蹤位置，此時R（i，j）＞λ1，每幀都需要模板更新；圖2（b）是目標被部分遮擋的情況，即λ1≥R（i，j）≥λ2，此時應采用SUSAN角點匹配算法進行跟蹤；圖2（c）、（d）、（e）、（f）、（g）、（h）則是目標大部分或完全被鐵塔遮擋，模板匹配計算得出的相關系數低于閾值λ2，即R（i，j）＜λ2，此時采用 Kalman跟蹤算法預測目標的位置，目標仍然可以穩定跟蹤。而模板匹配方法的目標模型受背景影響，模板已不能反映飛機原來的特征，因此發生匹配錯誤，黑色跟蹤區域停留在錯誤位置。實驗證明，盡管目標發生了遮擋和旋轉等情況，但是多模融合的跟蹤方法依然可以對目標進行穩定跟蹤。

圖2 實驗結果

7 結語

為了提高目標跟蹤的穩定性和實時性，本文提出了一種多模式融合的目標跟蹤方法，該算法融合了模板匹配、SUSAN角點匹配以及Kalman濾波等算法的優點：在背景復雜的環境下采用模板匹配算法，部分發生遮擋時則采用SUSAN角點匹配，在全遮擋的情況下采用Kalman濾波對目標運動狀態進行預測。實驗結果表明，該算法有效減少了計算量，提高了目標跟蹤的實時性，并且在目標形變、光照變化、遮擋等情況下仍能保持對目標的穩定跟蹤。

[1]林明秀，劉偉佳，徐心和.基于模板匹配的多模式車輛跟蹤算法[J].系統仿真學報，2007，19（7）：1519－1522.

[2]朱永松，國澄明.基于相關系數的相關匹配算法的研究[J].信號處理，2003，19（6）：531－534.

[3]劉彬，李學斌.角點匹配與均值漂移相結合實現目標跟蹤[J].計算機應用與軟件，2013，30（4）：239－243.

[4]陳少華，閆鈞華，朱智超，等.基于Kalman預測和自適應模板的目標相關跟蹤研究[J].電子設計工程，2011，19（11）：189－192.

[5]郝志成，高文.多模跟蹤技術在輪式偵察車圖像處理器的應用[J].中國光學，2011，4（5）：480－487.

[6]陳愛華，孟勃，朱明.多模式融合的目標跟蹤算法[J].光學精密工程，2009，17（1）：185－190.

[7]Pan Zhou－jin，Wang Xiu－juan.Correlation Tracking Algorithm Based on Adaptive Template Update[J].Proc.IEEE Conf.on Image and Signal Processing，2010：98－101.

[8]陳小林，趙建，王延杰.多模實時跟蹤算法研究[J].儀器儀表學報，2009，30（6）：204－208.

[9]柴宏亮，許鵬程，楊莉，等.一種多模式融合的紅外成像跟蹤算法[J].制導與引信，2006，27（2）：31－35.

[10]Dorin Comaniciu，Peter Meer.Mean Shift：A Robust Approach Toward Feature Space Analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence（S0162－8828），2002，24（5）：600－619.

[11]劉揚，張云峰，董月芳.復雜背景下抗遮擋的運動目標跟蹤算法[J].液晶與顯示，2010，25（6）：890－895.

[12]鄭林，韓崇昭，左東廣，等.一種基于集中式融合的多模型圖像跟蹤系統[J].信息與控制，2003，32（4）：380－384.

[13]Khan Z H，Gu I Y H.Joint Feature Correspondences and Appearance Similarity for Robust Visual Object Tracking[J].IEEE Transactions on Information Forensics and Security，2010，5（3）：591－606.