Mean-shift跟蹤算法及其在光電跟蹤系統中的應用

王銘明，陳 濤，王建立，陰玉梅

(1.中國科學院長春光學精密機械與物理研究所，吉林長春130033;2.中國科學院大學，北京100049)

1 引言

光電跟蹤系統是典型的光、機、電、控制和信號處理一體化的集成裝置，廣泛應用于實時監控、導彈導引、激光通信、武器火控系統等領域［1-2］。

光電跟蹤系統的光學傳感器捕捉到運動目標后，將圖像信號傳送至圖像處理系統，圖像處理系統利用圖像跟蹤算法跟蹤運動目標，得到運動目標相對視場中心的脫靶量，并將脫靶量發送至伺服控制系統，伺服控制系統控制電機驅動負載，使光學傳感器光軸始終對準目標，對運動目標完成自動跟蹤。由此可見，圖像處理系統對于脫靶量的準確提取是光電跟蹤系統能否穩定跟蹤運動目標的關鍵。

為提取運動目標脫靶量，需要利用圖像跟蹤算法實時穩定地跟蹤運動目標。光電跟蹤系統中圖像跟蹤算法有質心迭代法、相關跟蹤法、波門跟蹤算法、光流法和Mean-Shift跟蹤算法等。

質心迭代法通過計算初始候選區域的質心并反復迭代，最終獲得被跟蹤目標的位置信息。質心迭代法的計算復雜度低，實時性好，但跟蹤穩定度較低，要求被跟蹤目標的像素權值較大，背景像素對目標跟蹤的影響也相對較大［3］;相關跟蹤算法主要是基準圖像的匹配過程，是應用較廣的一種跟蹤算法，可用來跟蹤較小、對比度較差或背景較復雜的運動目標，但是相關跟蹤算法的運算量較大，而且目標運動、圖像噪聲干擾等因素會影響跟蹤算法的可靠性;波門跟蹤算法可分為矩心跟蹤算法、邊緣跟蹤算法、雙邊緣跟蹤算法和區域平衡跟蹤算法，其中矩心跟蹤算法是以閾值分割圖像預處理為基礎確定目標中心位置的算法，矩心跟蹤算法計算簡便、精度較高，適合背景單一的目標穩定跟蹤，另外幾種波門跟蹤算法穩定度較差，在光電跟蹤系統中應用較少;光流法給圖像的每一個像素點賦予一個速度矢量，根據各個像素點的速度矢量特征，可以對圖像進行動態分析。但光流法計算量非常大、實時性很差，對于光電跟蹤系統的硬件處理能力具有很高的要求［4］。

本文采用基于灰度直方圖的Mean-shift圖像跟蹤算法。Mean-shift算法是一種基于密度梯度的無參數估計方法［5-6］，在目標跟蹤方面，Meanshift算法具有很高的穩定性，其迭代次數少、計算量小，能夠保證目標跟蹤系統的實時性和穩定性，已經廣泛應用在目標實時跟蹤系統中［7-16］。本文針對光電跟蹤系統跟蹤運動目標的實際效果，對Mean-shift算法的目標模型與候選模型的建立進行改進，引入了背景加權系數，抑制了目標模型與候選模型中背景像素對目標跟蹤產生的影響，實驗結果證明了本文介紹的圖像跟蹤算法在光電跟蹤系統中具有較高的工程應用價值。

2 Mean-shift算法原理

Mean-shift跟蹤算法是一個迭代過程，即先算出當前點的偏移值，移動該點到偏移值，計算目標模型與候選模型的相似性函數系數，相似性函數系數越大，表示目標模型與候選模型越匹配，然后以此點為新起點，繼續移動，直到尋找到相似性函數系數取得最大值的點，這個點就是Mean-shift跟蹤算法得到的被跟蹤目標的中心位置。由于被跟蹤目標的灰度特征便于描述，且穩定性較好，所以本算法選擇灰度空間作為特征統計空間。

Mean-shift跟蹤算法主要包括3個步驟:目標模型和候選模型的建立，相似性度量，目標定位。

2.1 目標模型和候選模型的建立

為了完成對運動目標地穩定跟蹤，首先需要對目標模型進行描述，確定被跟蹤目標模型的特征空間并計算該區域的加權灰度直方圖，通過n級核加權直方圖來表示目標模型的灰度分布，如式(1)所示。

目標模型建立后，運動目標在第二幀和以后每幀中可能包含目標的區域稱為候選目標區域。令yi(i=1，…，n)表示像素在候選目標區域中的位置，其中心位置設為y0，與式(1)相似，以y0為中心的候選模型可表示成pu(y)，如式(3)所示。

2.2 相似性度量

在利用Mean-shift跟蹤算法跟蹤運動目標時，需要相似性函數度量目標模型與候選模型的匹配程度，即pu(y)與qu的相似程度。

本文使用Bhattacharyya系數作為相似性函數，如式(4)所示。

Bhattacharyya系數的值在0～1之間。ρ^(y)越大，表示候選目標與模板目標越匹配，那么對應的中心y越有可能是被跟蹤目標在當前幀圖像中的位置。

目標跟蹤的過程即是尋找最優的y，使得Bhattacharyya系數最大。

2.3 目標定位

Mean-shift圖像跟蹤算法目標定位的過程是利用計算得到的均值向量反復迭代，更新核函數窗口的中心位置，直到滿足判斷條件，算法主要分為以下幾個步驟:

(3)判斷是否需要繼續計算

首先判斷是否‖y1-y0‖＜ε，如不等式成立，則停止計算，得到被跟蹤目標的位置信息，否則將y1替y0返回到目標定位過程的第一步，繼續尋找滿足判斷條件的候選目標位置。由于光電跟蹤系統對實時性具有較高的要求，所以實際應用中設定迭代次數最多是30次。

3 Mean-shift跟蹤算法的改進

利用傳統的Mean-shift圖像跟蹤算法，在建立目標模型區域的加權灰度直方圖時，被跟蹤目標圖像像素與背景圖像像素都會對目標灰度直方圖的分布產生影響。當目標模型區域中包含的背景區域像素較少時，傳統的Mean-shift跟蹤算法可以得到較好的跟蹤效果，但在目標模型區域中包含背景圖像像素較多或者背景不斷變化的情況下，容易造成候選區域直方圖與目標模型區域直方圖的最佳匹配位置有所偏差，尤其對于快速運動目標的跟蹤，容易導致目標丟失［17-19］。

為減少背景像素對目標跟蹤產生的影響，本文對目標模型和候選模型均采用背景加權的方法。如果某灰度特征值在背景灰度直方圖中所占權值較大，在建立目標模型和候選模型時對此灰度特征值賦予較小權重;相反如果某灰度特征值在背景灰度直方圖中所占權值較小，則在建立目標模型和候選模型時對此灰度特征值賦予較大權重。利用此方法可以有效抑制背景像素對目標跟蹤產生的影響，實現了對Mean-shift算法跟蹤準確性的有效改進。具體實現方法如下:

3.1 計算背景區域灰度直方圖

首先計算目標模板以外一定區域的背景灰度直方圖，如式(7)所示。

3.2 計算背景加權系數

通過Ou可以計算得到背景加權系數λu(u=1，…，m)，如式(9)所示。

式中:Omin是Ou中最小的非零值。

3.3 計算背景加權后的目標模型和候選模型

在得到背景加權系數λu后，即可計算背景加權后重新定義的目標模型和候選模型，如式(10)和式(11)所示。

式中:x'i(i=1，…，n)表示像素在背景區域中的位置，其中心位置為x0，令b(x'i)表示位置x'i處的像素灰度，k2(x)是核函數，此時的核函數如式(8)所示。

4 實驗結果與分析

為驗證改進后的Mean-shift圖像跟蹤算法在光電跟蹤系統中的應用效果，利用光電跟蹤系統跟蹤民航飛機。光電跟蹤平臺實物圖如圖1所示。

圖1 光電跟蹤平臺實物圖Fig.1 Optoelectronic tracking platform picture

當飛機飛進光電跟蹤系統附近空域時，開啟大視場捕獲相機，轉動單桿控制光電跟蹤平臺，使飛機進入大視場捕獲相機的視場中心，這時目標飛機也將出現在小視場跟蹤相機的視場中，手動選取初始跟蹤框在跟蹤相機視場中鎖定跟蹤目標，進入自動跟蹤模式，錄像并記錄數據。

圖2 跟蹤圖像Fig.2 Tracking image

進入自動跟蹤模式后，每隔25 frame記錄存儲一張跟蹤圖像，由于跟蹤相機的幀頻是25 frame/s，所以每兩張存儲圖像的間隔約為1 s。進入自動跟蹤模式后的跟蹤存儲圖像如圖2所示，被跟蹤的飛機一直比較穩定地處于跟蹤相機視場中心附近，由此可知，基于目標灰度直方圖的改進Mean-shift圖像跟蹤算法可以準確地跟蹤飛機目標，并將飛機距離相機視場中心的脫靶量實時發送至光電跟蹤系統的伺服控制系統，使飛機始終位于圖像的中心區域附近，完成對運動目標的實時穩定跟蹤。通過脫靶量換算得到的俯仰軸角偏差量如圖3所示，方位軸角偏差量如圖4所示。

圖3 俯仰軸角偏差量Fig.3 Angle deviation of pitch axis

圖4 方位軸角偏差量Fig.4 Angle deviation of azimuth axis

通過圖3和圖4記錄的角偏差量波形可以發現，由于飛機基本做水平飛行，因而在跟蹤過程中光電跟蹤平臺的俯仰軸轉動范圍很小，導致俯仰軸方向脫靶量在較小的范圍內浮動，進入穩態后，俯仰軸角偏差量能控制在15″之內，光電跟蹤平臺的方位軸要跟隨飛機水平飛行而不斷轉動，加上脫靶量延遲等因素，導致方位軸方向的脫靶量相對俯仰軸較大，在進入穩定后，方位軸的角偏差量可控制在30″之內。

改進的Mean-shift圖像跟蹤算法是在上位機Microsoft Windows XP的Visual C++6.0軟件平臺下實現的。上位機的配置是Intel Celeron G550雙處理器，2.6 GHz主頻，4 G內存和500 G硬盤。圖像大小為720 pixel×576 pixel，每幀圖像的跟蹤處理時間在25 ms以內，跟蹤相機的幀頻是25 frame/s，可以保證光電跟蹤系統對于圖像處理的實時性要求。

實驗證明了改進的Mean-shift圖像跟蹤算法的有效性，滿足了光電跟蹤系統中實時提取運動目標脫靶量的實際需求，實驗結果達到了預期效果。

5 結論

本文針對光電跟蹤系統中實時提取運動目標脫靶量的應用需求，設計了一種基于灰度直方圖的Mean-shift跟蹤算法，并在傳統算法的基礎上，改進了目標特征選取機制，重新定義了背景加權后的目標模型和候選模型。實驗證明:所設計的圖像跟蹤算法可以實時有效地跟蹤運動目標，使穩定后運動目標脫靶量換算得到的角偏差量控制在30″之內，保證了光電跟蹤系統對運動目標的實時準確跟蹤。

［1］ 侯志強，韓崇昭.視覺跟蹤技術綜述［J］.自動化學報，2006，32(4):603-617.

HOU ZH Q，HANG CH ZH.A survey of visual tracking［J］.Acta Automatica Sin.，2006，32(4):603-617.(in Chinese)

［2］ 張秉華，張守輝.光電成像跟蹤系統［M］.成都:電子科技大學出版社，2003.

ZHANG B H，ZHANG SH H.Optical Imaging Tracking System［M］.Chengdu:University of Electronic Science and Technology of China Press，2003.(in Chinese)

［3］ 呂娜，馮祖仁.質心迭代圖像跟蹤算法［J］.西安交通大學學報，2007，41(12):1387-1391.

Lü N，FENG Z R.Centroid iteration image tracking algorithm［J］.J.Xi'an Jiaotong University，2007，41(12):1387-1391.(in Chinese)

［4］ 孫承志，熊天忠，吉順平，等.基于差分的光流法在目標檢測跟蹤中的應用［J］.機床與液壓，2010，38(14):59-62.

SUN CH ZH，XIONG T ZH，JI SH P，et al..Application of optical flow algorithms based on difference in target detection and tracking［J］.Machine Tool Hydraulics，2010，38(14):59-62.(in Chinese)

［5］ CHEN Y Z.Mean shift，mode seeking，and clustering［J］.IEEE Transactions on Pattern Analysis Machine Intelligence，1995，17(8):790-799.

［6］ 馮偉興，唐墨，賀波，等.Visual C++數字圖像模式識別技術詳解［M］.北京:機械工業出版社，2010.

FENG W X，TANG M，HE B，et al..Digital Image Pattern Recognition Programming Using Visual C++［M］.Beijing:China Machine Press，2010.(in Chinese)

［7］ 毛建國，柏方超，沈峘，等.復雜場景下動態目標視覺跟蹤方法［J］.傳感器與微系統，2010，29(3):23-28.

MAO J G，BAI F CH，SHEN H，et al..Vision based dynamic target tracking under complicated scenes［J］.Transducer and Microsystem Technologies，2010，29(3):23-28.(in Chinese)

［8］ 顏佳，吳敏淵，陳淑珍，等.應用Mean Shift和分塊的抗遮擋跟蹤［J］.光學 精密工程，2010，25(6):890-895.

YAN J，WU M Y，CHEN SH ZH，et al..Anti-occlusion tracking algorithm based on Mean Shift and fragments［J］.Opt.Precision Eng.，2010，25(6):890-895.(in Chinese)

［9］ 胡明昊，任明武，楊靖宇.一種基于直方圖模式的運動目標實時跟蹤算法［J］.計算機工程與應用，2004(3):71-74.

HU M H，REN M W，YANG J Y.A real-time moving object tracking algorithm based on histogram model［J］.Computer Eng.Appl.，2004(3):71-74.(in Chinese)

［10］ 黃永梅，馬佳光，付承毓.目標速度預測在光電跟蹤控制系統中的應用［J］.紅外與激光工程，2004，33(5):477-481.

HUANG Y M，MA J G，FU CH Y.Application of forecast of moving target velocity in electro-optical tracking control system［J］.Infrared and Laser Eng.，2004，33(5):477-481.(in Chinese)

［11］ 薛陳，朱明，劉春香.遮擋情況下目標跟蹤算法綜述［J］.中國光學，2009，2(5):388-394.

XUE CH，ZHU M，LIU CH X.Review of tracking algorithms under occlusions［J］.Chinese Optics，2009，2(5):388-394.(in Chinese)

［12］ 張玲，蔣大永，何偉，等.基于Mean-shift的改進目標跟蹤算法［J］.計算機應用，2008，28(12):3120-3122.

ZHANG L，JIANG D Y，HE W，et al..Improved target tracking algorithm based on Mean-shift［J］.Computer Appl.，2008，28(12):3120-3122.(in Chinese)

［13］ 彭寧嵩，楊杰.Mean-Shift跟蹤算法中核函數窗寬的自動選?。跩］.軟件學報，2005，16(9):1542-1550.

PENG N S，YANG J.Automatic selection of kernel-bandwidth for Mean-Shift object tracking［J］.J.Software，2005，16(9):1542-1550.(in Chinese)

［14］ 彭寧嵩，楊杰.Mean-Shift跟蹤算法中目標模型的自適應更新［J］.數據采集與處理，2005，20(2):125-129.

PENG N S，YANG J.Mean-shift tracking with adaptive model update mechanism［J］.J.Data Acquisition Processing，2005，20(2):125-129.(in Chinese)

［15］ 顏佳，吳敏淵，陳淑珍，等.跟蹤窗口自適應的Mean Shift跟蹤［J］.光學 精密工程，2009，17(10):2606-2611.

YAN J，WU M Y，CHEN SH ZH，et al..Mean Shift tracking with adaptive tracking window［J］.Opt.Precision Eng.，2009，17(10):2606-2611.(in Chinese)

［16］ COMANICIU D，RAMESH V，MEER P.Real-time tracking of non-rigid objects using mean shift［J］.IEEE，2000，2:142-149.

［17］ 王田，劉偉寧，韓廣良，等.基于改進Mean-Shift的目標跟蹤算法［J］.液晶與顯示，2012，27(3):396-400.

WANG T，LIU W N，HANG G L，et al..Target tracking algorithm based on improved Mean-Shift［J］.Chinese J.Liquid Crystals and Displays，2012，27(3):396-400.(in Chinese)

［18］ 杜超，劉偉寧，劉戀.一種基于卡爾曼濾波及粒子濾波的目標跟蹤算法［J］.液晶與顯示，2011，26(3):384-389.

DU CH，LIU W N，LIU L.Target tracking algorithm based on kalman filter and particle filter［J］.Chinese J.Liquid Crystals and Displays，2011，26(3):384-389.(in Chinese)

［19］ 劉揚，張云峰，董月芳.復雜背景下抗遮擋的運動目標跟蹤算法［J］.液晶與顯示，2010，25(6):890-895.

LIU Y，ZHANG Y F，DONG Y F.Anti-occlusion algorithm of tracking moving object in clutter background［J］.Chinese J.Liquid Crystals and Displays，2010，25(6):890-895.(in Chinese)