一種自適應多模式交互圖像跟蹤算法研究*1

?

一種自適應多模式交互圖像跟蹤算法研究*1

黃金濤，楊紹清，劉松濤

(海軍大連艦艇學院，遼寧 大連116018)

摘要：圖像目標的高精度穩定跟蹤一直是艦載光電跟蹤中的一個技術難點，由于傳統目標跟蹤算法結構單一、背景要求簡單、穩定性差，因而無法更好地在復雜背景下對目標進行穩定、實時的跟蹤?；谝环N圖像背景復雜程度的自適應判斷方法,提出一種形心跟蹤和相關跟蹤自適應多模式交互的圖像跟蹤算法，利用形心跟蹤與相關跟蹤算法的互補性，通過模式轉換來提高目標跟蹤穩定性和精度。仿真結果表明，該算法計算量小，抗干擾性強，跟蹤精度高。

關鍵詞：艦載光電；跟蹤算法；模式轉換；背景復雜度；自適應判斷；圖像目標

0引言

圖像目標復雜背景下的高精度穩定跟蹤，通常情況下其跟蹤技術是在時域上進行跟蹤，在連續幀中將相同的目標對應起來。而跟蹤的難點在于環境和目標的復雜性，因此算法直接影響著跟蹤的準確性和穩定性。隨著人們對跟蹤系統的穩定性、魯棒性要求的提高，研究一種精確、高性能、抗干擾的運動目標跟蹤方法仍然是艦艇目標跟蹤領域所面臨的一個巨大挑戰[1]。本文研究形心跟蹤和相關跟蹤相結合的自適應模式轉換的圖像跟蹤算法，將這2種跟蹤算法相結合，揚長避短，以優化復雜情況下目標的穩定、實時的跟蹤。

1自適應多模式跟蹤算法模型

1.1形心跟蹤和相關跟蹤算法原理

常用的跟蹤算法有對比度跟蹤算法和圖像相關跟蹤算法。其中對比度跟蹤是利用目標與背景之間的對比度來識取和提取目標信號，實現自動跟蹤目標運動的一種方法，依跟蹤參考點的不同，對比度跟蹤的常用跟蹤算法有：最大對比度跟蹤、邊緣跟蹤、質心跟蹤、形心跟蹤等[2]。這些跟蹤方法在解決各自特定的問題上具有很好的效果，但是它們在處理其他問題時會出現穩定性差，跟蹤精度低等問題。為了進一步優化跟蹤方法，可以將2種或多種方法結合起來，通過跟蹤模式的智能轉換來提高目標跟蹤的穩定性和精度[3]。

(1) 形心跟蹤

從傳感器獲取的數字圖像經邊緣檢測得到二值圖像后，經過計算得到目標的形心，當目標姿態變化時, 形心的位置變動較小，即對目標形態的變化具有很好的適應能力[4]。所以采用形心跟蹤模式時跟蹤比較平穩, 而且抗雜波干擾的能力較強，算法簡便，實時性好，是成像跟蹤系統中常用的一種跟蹤模式。但當目標所處的背景較復雜，目標的邊緣變得很不明顯時，基于邊緣檢測的形心跟蹤法就不能穩定地跟蹤目標。

某任意圖像的邊界所圍成的封閉區域如圖1所示。設y=f(x)所圍成的封閉區域內各點的x坐標為x∈[xmin,xmax],xi為封閉區域任意點處的x坐標。fmin(x)和fmax(x) 為直線x=xi與圖像邊界交點處的縱坐標[5]。

圖1　任意圖像邊界圍成的區域Fig.1　Region of random image boundary

當x=xi與圖像邊界有2n個交點時，圖像中心M(x0,y0)為

(1)

(2) 相關跟蹤

相關跟蹤是一種利用相關測度與匹配來確定瞄準點的一種跟蹤方式[6]。其基本原理就是將跟蹤窗口中的圖像特征，以數字的形式貯存下來，以后按一定間隔用目標模板與實時電視圖像的各個子區域圖像進行比較并算出相關函數值，找出相關性最強的圖像所在位置，就認為是當前目標的位置,這就是相關跟蹤的基本思想,這種方法也叫做“圖像匹配”[7]。由于目標的運動，跟蹤窗口內的圖像也在變化，因而所記憶的圖像模板也是不斷刷新的。

相關跟蹤算法有多種，這里采用均值歸一化相關測度[8]。若((i,j)為M×N的目標參考圖像，逐點計算參考圖像((i,j)與當前搜索圖像g(i,j)的互相關函數，在(x,y)處，均值歸一化互相觀測度為

(2)

圖像相關跟蹤具有很好的識別能力,可以跟蹤復雜背景中的目標，能在低信噪比條件下提供最好的跟蹤性能,跟蹤距離遠,可靠性高,是目前使用較為廣泛的跟蹤器[9]。但它對于目標姿態變化的適應能力較差,解算器的結構復雜運算量較大,一般用于跟蹤低速運動的目標。

1.2跟蹤算法流程[10]

通過分析各種跟蹤算法的可知，最大對比度跟蹤、質心跟蹤、邊緣跟蹤的算法具有各自的缺點。而形心跟蹤與相關跟蹤雖有各自的缺點，卻有先天的互補性：形心跟蹤計算量小，對目標姿態的變化不敏感，但不適于跟蹤復雜背景下的目標；相關跟蹤計算量大，實時性不好，對目標姿態變化的適應能力較差，但卻在背景復雜的情況下具有很好的穩定性。

當傳感器獲得目標圖像并邊緣檢測后，利用判別算法對獲得的圖像進行目標跟蹤模式的判斷，若是復雜背景下的低對比度的目標，則選用相關跟蹤；反之，則使用形心跟蹤。仿真流程圖如圖2所示。

圖2　綜合跟蹤算法流程圖Fig.2　Flow chart of comprehensive tracking algorithm

其中，第1個“Sobel 邊緣檢測”的閾值是根據圖像的對比度獲得的，對于某次跟蹤過程，一旦確定就不再改變；“Sobel 邊緣檢測的閾值(T)”的閾值是實時的，是由上一步“閾值自動設定”算法所確定。另外，“相關跟蹤”算法中所用的模板是上一幀圖像的跟蹤結果。

1.3閾值T的自適應過程

在分析的大量不同灰度，背景各異以及不同姿態的海空目標圖像中，亮度最低及亮度最高的圖像所需的極限閾值分別為0.05和0.40。也就是說若將閾值T設在區間[0.05，0.40]之間，就能滿足將絕大多數的目標圖像與背景分離出來的要求。通過對邊緣檢測后的二值圖像進行分析，將閾值可分為初步定為0.05，0.10，0.15，0.20，0.30和0.40。

為了實現閾值T的自動設定，手動設定閾值對圖像進行邊緣檢測。得到邊緣檢測的二值圖像后，計算其形心，將所得的結果放入原圖像中進行比較。并且每幅圖像使用不同的閾值處理后所得的二值圖像都會對應不同的F值(如表1)，F是經過邊緣檢測后的二值圖像中濾除小于閾值的邊緣后，所剩下的目標邊緣的相對數量[11]。F值的計算過程如下：

設二值圖像的規格為X×Y，其中的某個像素為g(i,j)。在二值圖像中，亮點處g(i,j)=1，反之，g(i,j)=0。

(3)

通過分析大量實際的圖像，比較計算所得的形心和原圖的形心后，將跟蹤效果好的閾值對應的F值標記下來。典型圖像的試驗分析結果列出如下表1所示。

表1　典型圖像F值

其中，圖像4和13均可設定2個閾值以實現良好的跟蹤效果。

通過對上述13組典型?？毡尘跋履繕藞D像的F值數據分析，若F值過大，則說明經過邊緣檢測(濾波)后，圖像中的剩余的邊緣較多。除了目標的邊緣外，還殘存大量的背景邊緣。在形心計算過程中，形心計算是不能區分某個邊緣是目標邊緣還是背景邊緣的[12]。所以，多余的背景邊緣就會被誤認為是目標邊緣，從而導致形心計算結果偏離了真正的目標。而F值過小則有可能除了濾除背景中的邊緣外，目標上的強度較小的邊緣也被過分地濾除，極限情況是將圖像中的所有邊緣全部濾去。同樣，過度濾除邊緣也會導致形心跟蹤的精度變差。

根據F值所具有的實際意義，若能找到F值的變化范圍，再以該變化范圍為限制條件。將邊緣檢測后的二值圖像計算F值，并判斷該F值是否落入該預設的范圍，將該值與預設的范圍相比較。若大于上限，則增大閾值，以濾除更多的邊緣；小于上限，則說明邊緣被過度濾除，應減小閾值。這樣，便實現了閾值的自動設定[13]。

表1中的跟蹤統計結果顯示，跟蹤效果較好的閾值所對應的F值的范圍為[10，80]。只要以該F值的范圍為限制條件，使邊緣檢測后的二值圖像的F值落入該范圍，則相應的閾值T就可確定。

1.4跟蹤模式的自動選擇

通常情況下，背景比較復雜的圖像邊緣特性也比較豐富。為此，可以以邊緣的豐富程度作為判定依據來判別背景是復雜還是簡單，進而進行跟蹤模式的智能選擇[14]。

在上述的形心跟蹤算法中，選用了sobel邊緣檢測算子來進行目標和背景的邊緣檢測，通過該算子對圖像的處理就可以得到目標邊緣的二值圖像。對該圖像計算F值便可以判斷圖像邊緣的復雜程度。但為了適應不同條件下的背景，形心跟蹤算法中邊緣檢測算子的閾值是自適應的。由于這里要進行跟蹤模式的判斷，為使判斷的條件是相同的，閾值必須為一恒定值[15]。

假定從傳感器中得到目標的連續的5幀圖像fk+1,fk+2,fk+3,fk+4,fk+5。這5幅圖像在較短的時間間隔內取得，相鄰2幅圖像間的變化是漸變的，故沒有必要在相鄰幾幅間判斷是否改變跟蹤模式。另外，在5幅圖像的范圍內，目標姿態發生的變化較小，可以消除因目標姿態變化而引起的邊緣變化。當逐漸的差別累積到5幅(根據傳感器采樣頻率)時，就有必要對跟蹤的模式進行一次判斷：

(4)

式中：Fk+5和Fk+1是在將閾值固定情況下計算出的F值。這里FL的定義是第k+5幅圖像中的邊緣豐富程度與第k+1幅的差相對于k+1的值。與絕對閾值相比，該算法通過Fk+5-Fk+1可以消除目標邊緣對背景判斷的影響。在模式判斷的過程中，無需對目標是大目標(面目標)還是小目標(點目標)進行判斷。

假定第k+1，k+2，k+3，k+4，幅圖像的跟蹤模式已選定。對第k+5幅而言，若第k+1幅采用形心跟蹤模式，當FL≥T，則表明第5幅與第1幅的邊緣豐富程度差距相當大， 已經到了形心跟蹤無

法滿足的程度了，此時就需要改變跟蹤模式了。當FL

這樣第k+6幅的跟蹤模式可以結合第k+2幅按上述算法進行計算得到，依此類推，只要事先指定前4幅的跟蹤模式(采樣率大時，相鄰4幅圖像的差別很小，跟蹤模式往往與第1幅設為同一種)，就可以實現跟蹤模式的智能選擇。

2仿真結果及分析

本文算法的核心是跟蹤模式的自動選擇，判定背景復雜時跟蹤模式轉換為相關跟蹤以獲取目標信息。而相關跟蹤所需的目標的初始參考模塊是由形心跟蹤的結果得到(適用于目標從簡單背景進入到復雜背景的情況)，也可由人為提取。

由于目標在運動過程中，姿態在不斷地發生變化，因此，使用固定模板不能實現穩定的跟蹤。接下來的相關跟蹤的目標參考模板就可以以上一幀中的匹配/結果區域作為更新模板代替當前模板，以實現對下一幀的跟蹤，即下一幀圖像的目標參考模板是從上一幀圖像的跟蹤窗中獲得的。依此類推，在有了初始目標參考模板后，就可以自動實現目標穩定有效的跟蹤了。

圖3中的a)，b)，c)為實拍的運動目標的圖像及相對應的單純使用目標形心跟蹤的跟蹤結果。

由圖3可以看出目標逐漸駛入復雜的背景下(c)左圖)。由于a)和b)的背景較簡單，邊緣和對比度都不明顯，可以很好地實現跟蹤。但當背景中出現非常清晰的邊緣(清晰的山體)時，邊緣檢測后的山體的邊緣甚至強于目標邊緣，故跟蹤的十字線定位到山體上，偏離了目標。

對圖3c)中的圖像使用本文的跟蹤算法的跟蹤結果如圖4所示。

圖3　復雜背景下對目標使用形心跟蹤仿真結果Fig.3　Simulation results of centroid tracking to　　　target under complex environment

圖4　復雜背景下輔以相關跟蹤后的仿真結果Fig.4　Simulation results of tracking mode conversion　　　to target under complex environment

仿真結果表明,本文算法通過檢測目標圖像邊緣復雜程度來完成跟蹤模式的轉換，優化了形心跟蹤和相關跟蹤的不足，提高了圖像目標的穩定性、跟蹤精度和適應復雜背景的能力。

3結束語

本文圖像跟蹤算法通過模式轉換將形心跟蹤和相關跟蹤相結合，提高了跟蹤的實時性，又保證了跟蹤效果的穩定性。閾值的設定是很關鍵的，仿真中自動設定閾值在整個跟蹤過程中能較穩定地跟蹤著目標。從目前實驗結果來看，本文算法更能適應復雜環境，可以為優化艦艇目標跟蹤提供參考。

參考文獻：

[1]齊立峰，惠小平. 基于ML-PDA算法的低可見目標跟蹤研究[J].弾箭與制導學報，2014，34(1)；27-32.

QI Li-feng, HUI Xiao-ping. Research on Tracking Low Observable Targets Based on ML-PDA Algorithm[J]. Journal of Projectiles，Rockets，Missiles and Guidance，2014，34(1)；27-32.

[2]席志紅，邢代玉，徐錫超. 復雜運動情況下的多目標檢測與追蹤[J].計算機測量與控制，2014，22(1)：51-53.

XI Zhi-hong,XING Dai-yu,XU Xi-chao.Multi-Targets Detection and Tracking Algorithm Complicated Movements[J]. Computer Measurement & Control，2014，22(1)：51-53.

[3]BLACKMAN S S.Multiple Hypothesis Tracking for Multiple Target Tracking [J]. IEEE Aerospace and Electronic Systems Magazine,2004，19(1):5-18.

[4]LU Zi-yun, LIU Wei.The Compensated HS Optical Flow Estimation Based on Matching Harris Corner Points[C]∥Proceedings of International Conference on Electrical and Control Engineering，Wuhan，China，2010；2279-2280.

[5]LIU Jing, WANG Ling.Improved Algorithm of Gaussian Mixture Model for Background Subtraction [J]. Computer Engineering and Application，2010，46(13)：168-170.

[6]JIN Hua. Application of Fuzzy Neural Network in Multi-maneuvering Target Tracking[C]∥ 2nd International Asia Conference on Informatics in Control， Automation and Robotics(CAR)，2010，1；92-95.

[7]Grzegorz M Wojcik, Wieslaw A Kaminski.Liquid State Machine Built of Hodgkin-Huxley Neurons and Pattern Recognition[J]. Neurocomputing，2004(7):58-60；245-251.

[8]YILMAZ A, JAVED O, SHAH M.Object Tracking: A Survey [J].ACM Computing Surveys，2006，38(4)：1-45.

[9]STAUFFER C, GRIMSON W.Learning Patterns of Activity Using Real-Time Tracking [J]. IEEE Trans on Patterns Analysis and Machine Intelligence，2000，22(8)：747-757.

[10]BAR-SHALOM Y.Multitarget-Multisensor Tracking: Advanced applications Vol.I [M].Artech House Publisher，1992.

[11]張明杰，康寶玉.改進的目標檢測與自動跟蹤方法研究[J].計算機工程與設計，2014，35(4):1308-1311.

ZHANG Ming-jie,KANG Bao-yu.Modified Object Detection and Automatic Tracking Method[J]. Computer Engineering and Design,2014，35(4)：1308-1311.

[12]李濤，陳磊，周勝增，等.一種多目標自動跟蹤的邏輯關聯方法[J].聲學技術，2013，32(6)；469-472.

LI Tao,CHEN Lei,ZHOU Sheng-zeng，et al.A Logical Association Method in Multi-Target Automatic Tracking[J]. Technical Acoustics，2013，32(6):469-472.

[13]高飛，蔣建國，安紅新，等.一種快速運動目標檢測方法[J].合肥土業大學學報，2012，35(2)；180-183.

GAO Fei,JIANG Jian-guo，AN Hong-xin,et al.A Fast Detection Algorithm for Moving Object[J].Journal of Hefei University of Technology,2012, 35 (2)：180-183.

[14]萬纓，韓毅，盧漢清. 運動目標檢測算法的探討[J].計算機仿真，2006，23(10)：221-226.

WAN Ying ,HAN Yi,LU Han-qing.The Methods for Moving Object Detection[J].Computer Simulation，2006，23 (10)；221-226.

[15]陸文廣. 快速目標識別與跟蹤方法及實現研究[D].南京：南京理工大學，2005.

LU Wen-guang.Study on Methods and Implementation of Fast Object Automatic Detection and Tracking[D]. Nanjing: Nanjing University of Science and Technology，2005.

An Adaptive Tracking Algorithm of Multimodal Interaction Image

HUANG Jin-tao， YANG Shao-qing， LIU Song-tao

(Dalian Naval Academy,Liaoning Dalian 116018,China)

Abstract:The high precision stability of image target tracking has been a technical difficulty for ship-borne photoelectric tracking. Due to the single target tracking algorithm, simple background requirements, poor stability of the traditional structure, the target tracking cannot be better stabilized during real-time tracking under complex background. Based on an adaptive judgment method of image background complexity, a kind of image tracking algorithm of centroid tracking and correlation tracking adaptive multimodal interaction is presented by using complementary between centroid tracking and correlation tracking algorithm, to improve stability and accuracy of target tracking through model transformation. The simulation results show that the algorithm take a small amount of calculation and strong anti-jamming, high tracking precision.

Key words:shipboard photoelectric;tracing algorithm;mode converter; background complexity;adaptive judgment;image target

中圖分類號：TN911.73；TP391.9

文獻標志碼：A

文章編號：1009-086X(2015)-05-0094-05

doi:10.3969/j.issn.1009-086x.2015.05.016

通信地址：116018大連市中山區解放路667號研究生1隊E-mail：1049314987@qq.com

作者簡介：黃金濤(1990-)，男，陜西銅川人。碩士生，研究方向為軍事圖像圖形處理與虛擬現實。

*收稿日期：2014-09-29；修回日期：2014-12-29