多特征聯合匹配的目標圖像穩定跟蹤算法

李玉玨，顏景龍

(1.北京理工大學 機電學院，北京100081;2.中國兵器工業系統總體部，北京100089)

0 引言

目標圖像跟蹤性能決定了成像制導打擊彈藥的精確性。對于復雜背景條件下，攻擊移動目標，或者采用全程圖像制導的微小型彈藥來說，目標機動、環境光照、成像噪聲，以及彈目距離由遠及近而產生的成像視角變化等均會造成目標圖像的劇烈變化［1-2］。此外，為了增加跟蹤的可靠性和穩定性，跟蹤特征必須具備空間和時間不變性，跟蹤信息應具有一定的冗余性。因此，為了滿足復雜應用要求，研究多特征聯合跟蹤算法具有重要意義。

1 灰度特征匹配跟蹤算法及存在問題

基于灰度模板匹配準則的目標跟蹤方法被廣泛應用于目前各類成像制導系統［3］，一方面，該準則原理簡單，便于實時實現;另一方面，對于大多數末制導應用場合，其精度基本能夠滿足要求。其基本方法為:在視頻序列基準圖中，鎖定目標跟蹤點，并以該點為中心選取模板，然后在后續視頻窗口中，以一定的區域為搜索窗口，依據一定的匹配準則在其中搜索最佳匹配點，并建立跟蹤窗口。常用匹配準則有MAD、MSE，以及NCC 等。依據處理流程，算法由搜索和匹配兩部分組成;依據處理域，算法又可分為時域和頻域兩類。序貫相似性檢測算法(SSDA)［4］和相位相關跟蹤算法［5-6］，是目前較為成熟的兩類灰度模板匹配方法。

基于灰度模板匹配的目標跟蹤算法需要克服目標機動而造成的成像視角變化，誘餌干擾，環境光照變化，目標圖像膨脹，以及成像噪聲等問題。圖1為某型導彈距離目標由遠及近，目標在成像平面上所占像素數變化情況?？梢钥闯觯S著飛行時間積累，尤其在飛行末端，目標圖像膨脹非常嚴重，影響了系統的最小跟蹤距離。

2 點特征匹配跟蹤算法及存在問題

相比于灰度特征而言，目標的點特征以目標的基本物理結構作為特征提取依據，無論目標如何運動，光照條件、成像角度如何變化，目標的結構形式都將保持不變，因此點特征具有一定的空間不變性［7］。通常使用的特征點提取方法包括Moravec、Harris、KLT、SIFT 等。

圖1 目標像素數隨飛行時間變化情況Fig.1 Target pixel numbers vs missile flying time

點特征匹配跟蹤的基本方法為:首先對模板圖像和視頻圖像計算特征點，以模板圖像中的所有特征點為參考，在視頻圖像中尋找匹配點，匹配準則和搜索策略與灰度模板匹配類似;然后以視頻圖像中已經找到的特征點為參考，在模板圖像中尋找匹配點，取二次匹配一致的點作為最佳匹配特征點;最后，對匹配點群進行聚類分析，并進行模板更新。

通過特征點匹配，可以獲得多個匹配點對，如何確定唯一的最佳跟蹤點，需要對多個點對進行聚類處理。此外，在序列圖像中，不同幀的匹配點對可能存在數量上的變化，造成聚合跟蹤點在一個范圍內漂移，降低了目標軌跡的平滑性。

3 多特征聯合匹配的目標跟蹤算法

多特征聯合匹配基于數據融合理論，充分利用了匹配信息的冗余性，避免單一特征在跟蹤過程中失效而造成的跟蹤失敗。以下就多特征聯合匹配目標跟蹤算法中的3 個關鍵問題進行討論。

3.1 多特征選擇

特征選擇與場景類型、背景復雜程度、目標數量、目標運動方式等有關?？衫玫哪繕颂卣靼伾卣鳌缀翁卣鳌⒆儞Q域特征和統計特征等，目前較常見的目標跟蹤算法與特征類型對應關系如表1所示。

目標的顏色特征是其在圖像中的最直接表示，包含了90%的目標信息量，以灰度值、光流或者直方圖等形式表示，在對空、對海，以及較為簡單的對地應用背景中，如果場景光照變化不大，可以使用顏色特征進行目標跟蹤。幾何特征代表了目標的本質結構，點、線、面間的相互約束關系不受光照、視角、彈目距離等客觀因素影響，是最為穩健的跟蹤特征，對于復雜背景條件下的應用，幾何特征能夠取得較好的效果。統計特征能夠提高復雜環境下的目標跟蹤穩定性。變換域特征是顏色特征在頻域的體現，雖然其克服了光照變化對目標跟蹤的影響，但其處理過程和實時實現都較為復雜，阻礙了其在工程上的應用。綜合上述對各種目標跟蹤算法和目標特征的分析，形成以下幾種特征選擇方案:1)顏色特征加幾何特征;2)顏色特征加統計特征;3)幾何特征加統計特征;4)顏色特征加幾何特征加統計特征。

表1 目前較常見的目標跟蹤算法與特征類型對應關系Tab.1 Corresponding relationship between target tracking algorithms and features

當然，上述幾種特征組合方式是在對各種跟蹤算法理論分析和仿真實驗中獲得的經驗性結論，對于各種特征的具體算法選用還應由特定應用環境確定。

3.2 多特征融合跟蹤策略

多特征融合跟蹤充分利用了冗余匹配信息，避免單一方法失效而造成的跟蹤失敗。設n 種跟蹤方法獲得的目標跟蹤點坐標分別為P1(x，y)，P2(x，y)，…，Pn(x，y)，目標的特征向量為V，各跟蹤點處的特征向量為Vi(i=1，2，…，n)，通過計算兩特征向量之間的相似度，確定目標跟蹤精度。常用的相似性度量方法有均方誤差評價法、相關系數評價法、擬合優度評價法、歸一化內積法、Camberra 距離法、頻譜分析法等。為簡單起見，本文應用向量差絕對和作為相似性度量準則，用公式表示為

其值越大，表明兩向量相似度越好，則跟蹤點越精確。并對各相似度進行歸一化處理，得各特征對應權值:

以多特征融合方式獲得的目標跟蹤點坐標表示為

在上述多特征融合跟蹤策略中，特征向量V 的選擇可以有多種方式，研究中以跟蹤點為中心，選取20 ×20 鄰域(盡可能包含目標)，統計其灰度直方圖，構建N×1 維特征向量。

3.3 算法流程

多特征融合目標跟蹤算法流程如下:

1)初始跟蹤點確定。初始跟蹤點人為指定產生，并生成初始目標特征向量V0.

2)權重w 的確定。應用多特征算法分別進行目標跟蹤處理，計算特征向量的相似度，并確定各跟蹤點對聯合跟蹤坐標的權重。

3)跟蹤點修正。在進行目標跟蹤中，通常假設目標是剛性的，且其運動軌跡比較平滑，尤其在圖像制導應用中，一旦完成目標鎖定，目標角位移在圖像中變化很小(小于幾個像素)。若某種跟蹤算法的相似度權重過小，并且相鄰兩幀跟蹤點偏移范圍大于給定鄰域大小，則可認為該跟蹤算法失效，不參與該幀聯合跟蹤計算。這里以5 ×5 鄰域作為跟蹤點偏移范圍。

4)目標特征向量更新。獲取多特征聯合跟蹤點之后，計算該跟蹤點鄰域特征向量與前幀特征向量的相似度，若其小于給定閾值，則更新目標特征向量;否則，繼續以前一特征向量參與計算。

算法流程圖如圖2所示。圖中THw為權重閾值，Ω 為跟蹤點鄰域，THV為相鄰兩幀跟蹤點特征向量差閾值。

4 仿真

圖3所示為某導彈導引頭飛行視頻中的若干幀，可以看出，地面背景比較復雜，目標模板變化較大。仿真中綜合利用灰度模板匹配和Harris 角點匹配算法進行跟蹤點聯合定位。

為了減少數據量，等間隔抽取跟蹤視頻中的100 幀數據進行算法有效性驗證。

圖2 多特征聯合匹配目標跟蹤算法流程圖Fig.2 Flow chart of multi-feature joint match target tracking algorithm

圖4為應用模板匹配法和Harris 角點法對上述視頻進行目標跟蹤的跟蹤點坐標分布圖。

其中灰度模板選取20 ×20 像素，由模板匹配法獲得的跟蹤點坐標漂移范圍在3 個像素以內，但模板匹配法容易造成跟蹤點的誤差積累，產生跟蹤漂移，不利于目標跟蹤。由圖中模板匹配跟蹤坐標點分布曲線的變化趨勢也可看出這一點，而且當灰度變化較大時，有可能出現完全丟失目標的情況。Harris 角點法能夠較好地跟蹤目標運動趨勢，盡管造成了較大的跟蹤點幀間漂移，但對整個跟蹤過程來說，由于匹配點對基本上處于目標區域，這種誤差不會造成目標的徹底丟失，因此其在全程均具有一定可信性。圖中Harris 角點法跟蹤坐標最大散布范圍為8 個像素，離散性較大，同樣不利于穩定跟蹤。

下面應用多特征聯合匹配目標跟蹤算法進行跟蹤點聯合定位。

4.1 相似度度量

以各跟蹤點的20 ×20 像素鄰域為區域，進行灰度直方圖統計，并依據相似度度量準則計算特征向量的相似性。圖5為相似性度量及歸一化權重數據分布曲線。

圖3 跟蹤視頻中的若干幀Fig.3 Video frames of tracking course

初始跟蹤點人為指定，在初始幀具有數值為1的相同相似度，以及0.5 的相同權重。圖5(a)顯示兩種方法在各幀跟蹤點鄰域同目標的特征向量間相似程度。該準則定義數值越大，相似度越高，在跟蹤初期，目標跟蹤比較穩定，對應相似度較高;而隨著跟蹤的進行，由于跟蹤點的漂移，造成了相似度降低，曲線趨勢驗證了這一過程。圖5(b)為各自跟蹤點對聯合跟蹤點定位的歸一化權重曲線。由于只有兩種方法參與跟蹤運算，其權重關系為w2=1-w1，因此兩者歸一化權重曲線基本上對稱于w=0.5 的直線。從兩圖可以看出，由Harris 角點匹配算法確定的跟蹤點與目標的相似度高于灰度模板匹配方法，相應的權重也越高，這同理論上分析一致。

圖4 模板匹配法和Harris 角點法實現目標跟蹤Fig.4 Target tracking performed by template match and Harris corners

4.2 跟蹤點聯合定位

獲得各算法對跟蹤點的歸一化權重后，即可應用多特征跟蹤策略實現跟蹤點聯合定位。圖6為多特征跟蹤點聯合定位的x，y 坐標分布圖。

由上述計算可見，兩種算法的跟蹤點歸一化權值均大于0.4，且跟蹤點偏移范圍在3 ×3 像素以內，所以各特征均參與了跟蹤點的聯合定位，并且依據算法對模板更新要求進行了操作。由曲線可以看出，應用權重進行跟蹤點重定位之后，目標跟蹤軌跡綜合了兩種方法的定位信息，保持跟蹤點漂移不大于3 個像素，同時能夠利用兩種方法的優點，實現穩定跟蹤目的。

基于灰度特征和基于點特征的跟蹤算法均是以二維運動估計中的塊匹配理論為依據，因此，兩者可以應用相同的模板，以及相同的模板更新策略，以應對模板變化對跟蹤的影響。多次仿真發現，兩者在某些方面存在著差異，進行聯合跟蹤，需要考慮各自的特點。這些差異表現在兩個方面:一方面，兩者對模板大小有一定的要求，對于點特征匹配方法，模板尺寸太小，不利于特征點選取，模板越大匹配越精確;對于灰度特征匹配方法，模板太小，目標丟失可能性增加，目標太大則增加了計算量。經過仿真驗證，點特征匹配方法選取模板大小為50 ×50 像素，灰度特征匹配方法選取模板大小為20 ×20 像素，可以達到較好的聯合跟蹤效果;另一方面，模板更新方式對于灰度匹配方法有較大的影響，變模板極易造成跟蹤點漂移，并最終丟失目標。固定模板則易受彈目角度、距離變化的影響，實用性不強。相比之下，特征點匹配方法對定模板和變模板均有良好的適應性。

圖5 相似性度量及歸一化權重Fig.5 Comparability measure and generalized weight

4.3 對算法的進一步探討

由圖6可見，聯合跟蹤點雖然基本上綜合了兩種策略的匹配點分布，但分布曲線平滑性仍然不夠，這可能與3 個方面的因素有關:一方面，用于測試的視頻序列目標運動軌跡比較復雜，存在旋轉運動;另一方面，權重需要進一步優化，以提高聯合跟蹤點分布合理性;第三，聯合定位獲得的跟蹤點軌跡仍是目標實際軌跡的近似，進一步借助濾波，能夠有效消除噪聲影響，得到關于目標位置的最優估計，有利于實現平滑跟蹤。

基于模板匹配的SSDA 算法已經被廣泛應用于簡單背景下的目標跟蹤系統，并滿足實時實現要求。Harris 點特征匹配算法通過采用開窗、提高閾值等手段，亦能夠大大降低特征點選擇和相關操作的計算量，滿足實時處理要求。因此，本文驗證的多特征聯合匹配目標跟蹤算法可由多DSP 協同實現，滿足實時性應用要求。

圖6 多特征跟蹤點聯合定位Fig.6 Joint confirmation of multi-feature tracking point

5 結論

采用導彈實際飛行數據，應用灰度模板匹配和Harris 角點匹配方法進行了算法驗證，對比單一特征跟蹤方法，證明了多特征聯合匹配算法進行目標跟蹤的有效性和合理性，并對算法的進一步優化和實時性實現進行了探討。理論分析和仿真結果表明:多特征聯合匹配的目標跟蹤算法能夠提高目標跟蹤信息的冗余性，通過分配權重，確定各種方法對聯合確定目標跟蹤點的貢獻，避免單一特征失效對跟蹤進程的影響，實現穩定跟蹤的目的。

References)

［1］ William Roberts，Leslie Watkins，Dapeng Wu，et al.Vehicle tracking for urban surveillance［J］.Proc of SPIE，2008，6970:69700U-1-69700U-2.

［2］ Alper Yilmaz，Omar Javed，Mubarak Shah.Object tracking:a survey［J］.ACM Computing Surveys，2006，38(4):4-7.

［3］ Moira I Smith，Jamie P Heather，Jason F Ralph，et al.Target tracking for missile warning application［J］.Proc of SPIE，2004，5428:282-293.

［4］ 沈慧玲，戴本祁.一種基于序貫相似性檢測算法(SSDA)的加速算法［J］.光電技術應用，2006，21(4):60-64.SHEN Hui-ling，DAI Ben-qi.A speed-up algorithm based on SSDA［J］.Electro-optic Technology Application，2006，21(4):60-64.(in Chinese)

［5］ 靳鵬飛.基于自適應模板相關跟蹤算法的研究［J］.西安郵電學院學報，2007，12(1):44-47.JIN Peng-fei.Study on correlation tracking algorithm based on adaptive reference template［J］.Journal of Xi’an University of Post and Telecommunications，2007，12(1):44-47.(in Chinese)

［6］ 吳四夫，付宇卓，鄧紅梅.基于相位相關算法的實時圖像匹配系統［J］.計算機仿真，2005，22(11):84-87.WU Si-fu，FU Yu-zhuo，DENG Hong-mei.Real time imaging matching system based on phase only correlation［J］.Computer Simulation，2005，22(11):84-87.(in Chinese)

［7］ 王向軍，王研，李智.基于特征角點的目標跟蹤和快速識別算法研究［J］.光學學報，2007，27(2):360-364.WANG Xiang-jun，WANG Yan，LI Zhi.Fast target recognition and tracking method based on characteristic corner［J］.Acta Optical Sinica，2007，27(2):360-364.(in Chinese)