一種基于多特征融合的自適應目標跟蹤策略

劉 杰（廣西經濟管理干部學院，廣西 南寧 530007）

一種基于多特征融合的自適應目標跟蹤策略

劉 杰
（廣西經濟管理干部學院，廣西 南寧 530007）

為了提升目標物體的跟蹤性能，分析了跟蹤系統的不足之處，針對多變場景中跟蹤目標特征弱化問題，采用了多特征融合的跟蹤模式，并設計了場景識別、多特征融合策略和特征學習模塊以改善目標跟蹤系統的跟蹤性能，實驗表明該方法對多變場景的跟蹤性能具有一定的改善作用。

目標跟蹤；特征融合

隨著視覺監控場景的日趨多樣化，智能視覺檢測系統需要應對越來越復雜和實時變化的跟蹤場景，這對目標跟蹤系統的實時性需求、跟蹤效果的設計和實現提出了巨大的挑戰。目標跟蹤系統是智能視覺處理系統中至關重要的一環，其效果的好壞直接影響到最后的目標物體位置的判定結果。隨著軟硬件水平和嵌入式芯片的處理能力的不斷攀升，目標跟蹤系統的研究和設計也從單目標的跟蹤過渡到多目標的跟蹤，從穩定單一場景的研究轉向多變復雜場景的研究。

但在多變的復雜場景下，要獲得較好的跟蹤效果存在一定的困難。其中的困難有：a.場景變化條件下，目標特征呈現出不穩定性，這將極大的影響了跟蹤的效果；b.場景變化條件下，多個目標有可能會形成相互干擾，比如目標重疊遮擋等。對于A類問題，多數研究人員采用多特征的融合策略來解決，而對于B類問題，研究人員普遍采用具有預估性能的跟蹤框架。但這些方法都只針對特定的場景和特定的跟蹤目標，解決的問題域相對較狹小。因此，如何針對多變場景的目標跟蹤問題，在視覺跟蹤系統的設計上加入自適應修正補償與場景適應能力，對目標跟蹤領域的相關問題的解決具有重要意義。

1 場景識別

足夠穩定的跟蹤系統在設計上一定不會避開場景的識別問題，在常規的標準場景下的某些跟蹤算法設計能夠取得非常好的效果，但到了非常規的多變場景有時候會糟糕的一塌糊涂。根據產生跟蹤差錯的原因，可將的變化場景歸結為由于外部原因所造成的（非跟蹤物體和干擾物）變化場景和跟蹤物體或干擾物造成的變化場景兩類。跟蹤系統應能根據場景的變化適時的調節自身的跟蹤策略來跟蹤物體，因此穩定的跟蹤系統應具有場景識別能力。

1.1 非跟蹤物體或干擾物造成的變化場景

一般這樣的場景屬于外部的因素干擾居多，比如天氣變化造成的光照變化，如白天進入黑夜，雨雪天氣等干擾。圖1描述了全天候車輛跟蹤系統從白天到黑夜一段時間的灰度變化曲線。

圖1 車輛跟蹤系統白天到傍晚的灰度變化圖

對于此類具有較為平穩性質的光照變化，可采用投票策略來識別場景的光照變化情況。以平均一定數量的幀數統計其平均灰度值，如果達到某個限定值，就在系統中切換到對應的場景，以此來實現場景的識別問題。

圖2 投票策略實現場景識別

對于雨雪天氣，要考慮如何識別形成干擾特征，比如通過檢測一定數量的問題幀數畫面，投票統計前景運動小斑塊的數量值，如高于一定的閾值則可以場景轉換為問題場景，在問題場景的跟蹤策略要對圖像進行若干預處理來進行降噪處理。

圖3 全天候跟蹤系統白天到傍晚的前景斑塊數量變化圖

1.2 遮擋場景

遮擋場景的識別是目前較難解決的問題之一，由于遮擋事件具有一定的偶然性，且會貫穿入整個全天候跟蹤時段，因此投票策略難以對偶爾出現的單個物體被遮擋的事件進行識別。但對于特定的遮擋場景，比如高峰車流量的擁堵，投票策略依然可以對這樣的場景進行針對性的甄別。首先要對產生的遮擋事件進行標記，在對目標物體跟蹤過程，如果產生特征跟蹤丟失的事件，在進行跟蹤補償和跟蹤特征框架內切換后，顯示出目標物體難以繼續跟蹤或弱化的現象，投票系統將對這樣的特殊事件進行標記，此時可認為跟蹤物體的跟蹤顯著度下降，當大量的類似事件在同一時段發生且排除其他的光照場景，那么投票系統可將其甄別為擁堵事件造成了大規模的遮擋，進入遮擋場景的跟蹤模式。

2 多變場景下的跟蹤特征融合策略

2.1 全天候多變環境下的多特征提取

全天候場景下的跟蹤系統應能在系統實時時間的允許下盡可能的提取被跟蹤物體的特征來跟蹤物體。常見的特征有：點特征、顏色、輪廓、小波、邊緣、不變矩等。點特征跟蹤是從目標區域中提取出一些個特征點，這些特征點在目標的運動過程中具有不變性。對這些點集進行跟蹤從而達到能對整個目標進行跟蹤。特征點的提取方法有:susan算子、harris算子等。跟蹤的方法主要是對相鄰的兩幀的特征點做相似度匹配，比較常用的是KLT算法，利用多尺度圖像進行光流運算達到快速匹配的目的。顏色特征的提取要采用塊劃分的思想，通常配合直方圖工具來描述顏色特征，在光照多變場合，顏色特征的會隨光照的變化而具有不穩定性。邊緣與輪廓特征跟蹤主要是通過檢測物體的外部邊緣輪廓與背景的差異來定位物體的有效位置，例如水平集法和snake模型等。目標物體的小波特征對于幾何變形、亮度變化以及噪聲不敏感。這種特征屬于目標的高層特征，具有很強的語義性質，并符合人眼的特性。文獻[5]使用sobel邊緣檢測算子和Gabor小波特征檢測算子對運動目標進行跟蹤，讓跟蹤器能夠適應尺度和角度上的變化。文獻[11]使用一種小波目標網絡(GWN)來描述運動物體的小波特征，配合使用粒子濾波跟蹤器來對運動物體進行跟蹤。

多變場景下，跟蹤特征的提取應根據場景的特定性，去盡量提取抗干擾能力強，易于提取的跟蹤特征。表1列舉了各個常用特征的算法特性以及抗干擾特性的比較。

表1 不同特征的跟蹤特性比較

2.2 跟蹤框架算法選擇

在確定跟蹤特征后，還需要確定采用哪一種跟蹤框架對提取的特征進行跟蹤。目前常用的跟蹤框架方法有模板匹配法、MeanShift/CamShift、卡爾曼濾波、粒子濾波等。模板匹配法具有運算簡單直觀的優點，但固定的模板使得抗干擾能力較差，對于剛體的旋轉、光照變化、物體尺寸變化適應力較差，目標自身的特征發生變化后使得該法不穩定，不具備抗遮擋能力。適應于目標運動形式比較簡單、攝像機運動范圍不大、目標特征不存在較大變化的情況。MeanShift/CamShift算法主要依賴目標本身成像外觀特征統計，比如(顏色直方圖等)，不需要前景檢測器的支持，算法具有一定的魯棒性，一定程度上能適應目標形變和部分遮擋問題。Kalman Filter(卡爾曼濾波)算法作為運動預估器一般要配合某種跟蹤算法(比如均值漂移)來做運動估計，能夠減少特征匹配的搜索空間，能夠對線性系統作出正確估測，其缺點是對于非線性估計或非高斯估計會失效。Partical Filter(粒子濾波)算法的跟蹤性能依賴目標的特征統計，具有較好的跟蹤魯棒性，能夠適用于非線性系統的估計問題，在抗遮擋性能上具有良好的表現。但粒子貧化的問題必須使用重采樣方法來解決。

表2 不同跟蹤框架特性比較

2.3 特征融合策略

由于某些特殊的場景處在不斷變化中，要獲得更好的跟蹤性能，只采用單一的跟蹤特征難以對目標形成穩定的跟蹤。因此采取的做法是將跟蹤特征有機結合起來。

假設在 t時刻，特征檢測模塊檢測到目標物體特征向量V=[v1v2v3L]，在跟蹤初始化時給定各個特征值賦予一定的權重Q=[q1q2q3L]，其中Q已經歸一化，跟蹤過程通過特征顯著度的檢測來控制跟蹤特征的比重融合權值，對于在目前場景跟蹤性能好的特征，給其賦予較高的權重，對于在當前場景跟蹤性能差的特征，則給其賦予較低的權重。跟蹤框架將在未來數幀通過特征權重來確定最終目標物體的估計位置，并采取一定的補償策略來修正目標物體的跟蹤位置實現穩健的跟蹤。

圖4 特征權重分配

因此，多特征融合自適應目標跟蹤策略可描述為以下幾個步驟：（1）前景檢測系統在圖像初始幀檢測到目標物體，然后跟蹤系統調用各個特征檢測子對目標物體進行特征提取，獲得目標物體的特征向量V；（2）對下一幀圖像進行特征跟蹤匹配，同時獲得新的特征向量描述 V'，計算特征顯著度T= φ(V, V ')=[φ(v, v' )φ(v, v ') L ]=[t tt L]，根據11 22 123特征顯著度向量來確定新的融合權值向量Q；（3）在第2步進行的同時，投票系統也在運作，對若干幀數的情況進行投票，通過投票結果獲取當前的場景，如果場景發生變化，那么將更新融合權值向量 Q = Q'；（4）目標軌跡分析模塊將重新對目標物體的融合跟蹤結果進行分析，并進行反饋修正。具體步驟流程如圖5。

圖5 特征跟蹤融合修正策略

2.4 特征跟蹤學習策略

一個足夠穩健的跟蹤系統，應該具有一個能夠自學習的模塊以增強對環境的適應能力。

目前大部分跟蹤系統采用監督學習的方式對目標物體進行跟蹤，監督學習主要通過對大量的離線樣本集進行反復訓練，來獲得較好的經驗模型，具有速度快，收斂性好的特點。

由于在多變場景的跟蹤過程中，對目標特征的提取和甄別會存在分類難度大的問題，因此，應在跟蹤系統中加入對特征的學習模塊，以增強目標特征的分類、甄別能力。跟蹤的同時，可對目標物體獲取大量的樣本，使用神經網絡或adaboost方法通過對特征樣本反復的離線訓練，建立樣本模型，該模型可為跟蹤系統的場景特征分類、目標特征分類和特征顯著度量化描述提供更為精確的知識描述。具體框架如圖6所示：

圖6 離線學習為特征分類提供依據

3 實驗分析

為分析出跟蹤融合策略的實施效果，從車輛全天候場景中挑選出過渡場景（白天-夜晚過渡），采用多特征融合策略對車輛進行跟蹤。視頻幀尺寸為300×200。在各個時段的對車輛特征進行提取，白天在正常光照的能見度下，可提取車身輪廓和點特征，在傍晚時段，能見度開始下降，難以提取到較好的跟蹤點，而以此同時有部分車輛開始打開車燈，因此系統自動將特征權重及時調整轉而對車燈進行跟蹤，到夜晚時段能見度達到最低值，此時車身輪廓與背景混淆不清，系統通過特征顯著度判斷將輪廓特征權重設置到最低值。

表3 過渡時段車輛樣本的特征提取選取

表 4是采用多特征融合模式和單特征模式對過渡時段的跟蹤比較結果。從實驗結果可明顯看出，由于采用的單特征跟蹤在過渡場景，特征顯著度下降后，會產生明顯的跟丟和多檢現象，而采用多特征融合策略，并加入場景識別后，跟蹤的特征值發生轉移，從而持續的獲得穩定的跟蹤，中間跟丟的幾輛車是由于投票系統需要幀數支持和場景切換的滯后性造成，在整個車輛總數中僅占很小的一部分，幾乎可以忽略不計。

表4 過渡時段跟蹤效果比較

4 結論與展望

本課題在原有跟蹤算法的基礎上，探索了多特征融合自適應的跟蹤策略，并加入場景識別策略和特征顯著度對多特征融合權值進行修正，并在后續加入了學習策略來提高特征分類的魯棒性能，實驗結果表明該策略對多變場景的跟蹤性能具有一定的改善作用，對多目標跟蹤系統的設計具有一定的現實意義。由于離線學習策略需要一定的時間進行人工干預，今后研究工作要考慮如何采用在線學習方式增強學習的智能性。

[1] Burt E J.,Yen C.,Xy X.Local Correlation Measures for Motion Analysis:a Comparmive.Study,Proceedings of IEEE Conference on Pattern Recognition and Image Processing Las Vegas:IEEE,1982:269-274.

[2] Object tracking in image sequences using point features. Pattern Recognition,2005,38(1):105-113.

[3] Lucas B.,Kanade T.An iterative image registration technique with an application to stereo vision, Proceedings of the International Joint Conference on Artificial Intelligence, 1981:674-679.

[4] Geodesic Active Contours and Level Sets for the Detection and Tracking of Moving Objects. IEEE Transactions on Pattern Analysis & Machine Intelligence,2000,22(3):266-280.

[5] Gabor小波目標特征提取和跟蹤方法的研究[J].光電工程,2004,31(s1):26-29.

[6] 基于擴展目標的不變矩跟蹤算法[J].強激光與粒子束,2002, 14(1):6-10.

[7] Robert T. Collins. Mean-shift Blob Tracking through Scale Space[C].IEEE Computer Society Conference on Computer Vision & Pattern Recognition IEEE Computer Society Conference on Cvpr,2003:234-234.

[8] EA Wan,dMR Van,The Unscented Kalman Filter for Nonlinear Estimation[C].Signal Processing,Communications,and Control Symposium,2000.

[9] MZ Islam,CM Oh,CW Lee.Video Based Moving Object Tracking by Particle Filter[J].International Journal of Signal Processing Image Processing & Pattern Recognition,2009,2(1).

[10] Active models for tracking moving objects. Pattern Recognition, 2000,33(7):1135-1146.

[11] 姚劍敏.粒子濾波跟蹤方法研究[D].長春:中國科學院長春光學精密機械與物理研究所,2004.

[12] 高丙坤,李文超,王帥.一種改進的粒子濾波跟蹤算法[A]//第二十九屆中國控制會議論文集[C].北京:中國自動化學會控制理論專業委員會,2010.

A kind of adaptive object tracking strategy base on multi-feature integration

In order to promote performance of object tracking system, we analyzed the deficiencies of the tracking system, according to the phenomenon of tracking object feature reduction in the complex scene. By the way of multi-feature integration method , we have design the module of scene recognition, multi-feature integration and feature learning strategy to improve the tracking system, the result proved the validity of this strategy and the improvement to the object tracking performance in complex scene.

object tracking; feature integration

TP391.4

A

1008-1151(2016)11-0009-04

2016-10-11

廣西高校科學技術研究項目“多變場景下的特征融合目標跟蹤算法的研究”（KY2015LX566）；廣西高等學校高水平創新團隊“中國－東盟物流物聯網關鍵技術研究”（桂教人[2014]65號）。

劉杰（1982－）, 男, 廣西經濟管理干部學院計算機系工程師, 碩士，研究方向為信息系統。