基于特征融合的Mean shift感興趣區跟蹤算法

羅 航，尹遜青，劉 晨，許 彩

(1．海軍裝備部駐武漢地區軍事代表局，湖北 武漢 430000；2．海裝武漢局駐武漢第五軍事代表室，湖北 武漢 430000；3．海裝武漢局駐武漢第三軍事代表室，湖北 武漢 430205)

0 引言

隨著紅外成像技術的不斷進步，紅外序列圖像中目標感興趣區的跟蹤具有重大的實際意義，已成為國內外研究的熱點，得到了廣泛的關注[1]。目前典型的跟蹤方法主要分兩類：確定性方法和統計性方法。其代表算法分別是Mean Shift算法和粒子濾波算法。由于具有較高的實時性和準確度，Mean Shift算法被廣泛運用。然而，紅外圖像序列成像對比度低，背景與目標之間灰度差別不大，此時僅使用灰度特征的核密度估計很難實現對目標的準確跟蹤。另外，圖像中可能包含了目標、背景以及載體平臺之間的復雜的運動關系，目標在幀間相對位移較大，所需的搜索非常耗時，在復雜條件下，其跟蹤結果往往出現偏差，甚至跟蹤失敗。

為了解決上述問題，本文在分析Mean shift 理論的基礎上，研究Mean shift算法的跟蹤原理及不足，重點探討將邊緣特征與灰度特征進行融合跟蹤的問題，提出了基于特征融合的Mean shift跟蹤算法。經試驗驗證，該算法提升了Mean shift算法在運動平臺下紅外目標跟蹤應用領域的有效性、準確性。

1 Mean shift的算法實質

Mean shift算法是一種基于密度梯度的無參估計算法。該算法無需對整個區域的概率密度進行估計，只需利用核函數對當前點的梯度進行估計即可進一步導出均值平移的步長。無參密度估計一般也稱非參數估計技術.常見的非參數估計技術有以下幾種：直方圖法、最近鄰域法及核密度估計法。而核密度估計方法是目前最通用的無參密度估計方法。相對于直方圖法，它多了一個用于平滑數據的核函數。下面從核函數的定義著手，研究核密度估計方法、均值平移向量器求取等關鍵問題，來說明Mean shift算法實質上就是利用核密度估計迭代求取均值平移向量的過程。

根據核函數定義及性質，得知核密度估計，對于一組n個一維空間的數據點的集合S={xi}i=1,2,…,n，其未知概率密度函數為f(x)。取核函數Kh(x) ，那么在x點處的密度可按下式進行計算：

(1)

對應于(1)式，其密度梯度估計為：

令g(x)=-k′(x)，則上式可化為：

將g(x)作為輪廓函數；核函數G(x)按上面定義為：G(x)=g(‖x‖2)，則核函數G(x)稱為核函數K(x)的影子核。上式分成兩部分，第二部分可寫成：

(2)

式(2)稱為Mean shift向量。為了更好地理解Mean shift向量的含義，不妨設g(x)=1，權重wi設為1/n，則上式可寫為：

(3)

給定一個初始點x、核函數G(x)及允許誤差ε，Mean shift算法循環地執行下面三步，直到條件滿足：

1)計算Mean shift向量mh,G(x)；

2)把mh,G(x)賦給x；

3)如果|mh,G(x)-x|<ε，結束循環，否則，繼續執行1)。

2 基于特征融合的Mean shift自適應跟蹤算法

針對標準Mean Shift算法的不足，國內外研究人員進行了大量的研究工作并提出了一些解決辦法，取得了一定的進展，但運用上仍有很大不足。由于紅外圖像特征空間是灰度空間，比可見光圖像顏色空間的信息量更少，若只用灰度直方圖來描述目標模型，很容易丟失目標。因此，有必要探討基于特征融合的Mean shift跟蹤問題。本節將從提升目標描述模型的魯棒性出發，探討基于邊緣特征與灰度特征融合的目標建模問題，并通過引入kalman濾波來解決目標運動估計、抗遮擋設計等問題。重點研究互信息量與目標尺寸之間的關系，并完成基于kalman-Mean shift特征融合的自適應跟蹤算法的設計。

2.1 基于灰度-邊緣特征提取及其量化

邊緣特征，是目標的重要特性之一，在目標識別、提取、分割等領域均應用廣泛。邊緣特征的提取，通常依賴于邊緣檢測局部算子(如Roberts算子、Sobel算子、LoG算子和Canny算子)，主要考察圖像每個像素在某個鄰域內灰度的變化。設一幅(幀)紅外目標模板圖像I為f(x,y)，分別使用水平、垂直的Sobel算子對圖像I進行邊緣提取，生成邊緣圖像I1和I2。由邊緣圖像I1和I2，原圖像I中每個像素Pij對應的梯度幅值、梯度方向分別為：

(4)

(5)

為了對目標邊緣特征進行量化，將θ(i,j)的取值范圍分成n等份。n的值可以根據需要選取，當然n越大，計算精度越高，計算量也增大[3]。若取n=16，那么方向角各量化區間為：[-π/2+kπ/16，-7π/16+kπ/16]，其中k=0,…,15。若 [-π/2+kπ/16，-7π/16+kπ/16]，那么θ(i,j)對應的量化值θij=k。

根據上述圖像邊緣特征的提取及量化過程，紅外目標模板圖像I邊緣梯度方向量化為n級。同樣，該圖像各像素的灰度Iij則可量化為m級。由此，可根據圖像的邊緣方向信息與灰度信息構建邊緣-灰度聯合直方圖p(u,v)來描述紅外圖像目標模型。灰度-邊緣聯合直方圖就是統計各個灰度-邊緣梯度方向在圖像中出現的概率。紅外目標模板圖像I中第u=0,1,…,m-1；v=0,1,…,n-1；各灰度-邊緣梯度方向出現的頻率為：

(6)

定義函數b1:R2→{0,1,…，m-1}是位于xi處；函數b2:R2→{0,1,…，n-1}是位于xi的像素向灰度量化索引的映射。由此可將單一灰度特征的目標及候選目標模型修正為式(7)、式(8)：

quv=

(7)

puv=

(8)

2.2 kalman運動估計和遮擋處理

2.2.1 kalman運動估計

標準的Mean shift跟蹤算法是以上一幀的目標位置作為當前幀迭代的初始位置，并在其鄰域內尋找使相似度函數極大值的位置。如果運動目標尺度變化較快且附近有其他相似物體靠近，則很容易丟失目標或誤定位。事實上，空間目標的運動是連續的、有規律的，無論是機動還是非機動，都可以在一定范圍內用某種數學模型來近似描述。因此，可以采用一定的方法進行目標運動辨識與估計，從而提高算法的實時性。卡爾曼濾波是一種最小均方誤差估計方法。采用kalman進行運動目標位置預測可將搜索窗口限制在一個很小的范圍，從而減小運算量，提高速度；可利用運動趨勢估計將目標和其他相似物體或噪聲分開，也可獨立用于多目標跟蹤。

設一個離散時間線性系統的狀態方程和kalman目標運動估計觀測模型分別為：

X(k)=A(k-1)X(k-1)+B(k)W(k)

Y(k)=C(k)X(k)+V(k)

2.2.2 遮擋問題分析及處理

遮擋問題的處理是目標跟蹤中很重要的部分，它直接影響到算法的性能，因為在跟蹤過程中，各種程度的遮攔是不可避免的。本節將在kalman濾波器的基礎上，根據Bhattacharyya系數的變化和一種簡單高效的遮擋檢測算法來解決跟蹤過程中的遮擋問題。由于Bhattacharyya系數表征了當前核窗口區域核直方圖與目標核直方圖的相似度，當目標被其他物體遮擋時，當前核窗口區域的Bhattacharyya系數將減小。

給定一閾值Th，對于第k幀圖像中的目標區域是否出現遮擋可以通過以下準則進行判斷：

(9)

由于Mean shift算法本身具有一定程度的抗遮擋能力,因此若出現遮擋情況，必須根據實際情況來判斷遮擋的程度，采用不同的策略進行遮擋處理。將遮擋情況分為部分遮擋和完全遮擋兩種情況。如圖1所示，首先把目標感興趣區模板分成四個子塊Al，A2，A3，A4，然后將其相鄰的兩塊合并成為四個新的子塊S1，S2，S3，S4。

圖1 目標感興趣區模板分塊示意圖

對i=1,2,3,4，統計出滿足ρi(yk)

圖2 目標搜索示意圖

其中，半徑r滿足下面的關系式，式中h為核函數的帶寬。

(10)

在搜索區域內等間距地設置5個搜索塊，這些塊的中心點連同B點一同構建目標搜索區域關鍵點{yi}i=1,2,…，6。對應區域直方圖特征分布為pi(yi)。

目標出現的條件設定為：

ρ(pi(yi),q)>Tapper,i=1,2,…,6

(11)

其中Tappear為閾值，通常設定為局部遮擋時的相似度。對滿足式(11)的候選塊i執行Mean shift跟蹤算法。

(12)

2.3 互信息量與目標尺寸變化的關系

文獻[10]基于信息量與目標尺寸的關系，在Mean-shift算法中加入了一個尺度更新項，取得了較好的效果。然而從信息論角度出發，互信息量作為兩個變量(兩幅圖像)之間相關性的量度，更具有代表性。因此，依據互信息量與目標尺寸之間的關系，對文獻[10]的尺度更新項進行了修正。在研究互信息量與目標尺寸之間的關系時，需引入預測擴展窗口的概念。該窗口以kalman濾波預測的目標位置估計值為中心進行矩形擴展，具體大小可設定，本文將設為圖像的1/7。顯然，預測擴展窗口可看目標位置估計值為中心的一個鄰域，是Mean shift算法的迭代搜索范圍。引入該窗口，可減小匹配搜索區域，同時減少Mean shift迭代次數。

設需跟蹤的目標模板(即時更新的)為圖像A(其信息量為I0)，下一幀圖像中的預測擴展窗口圖像設為B，計算兩幅圖像的互信息量I(A,B)。當目標尺寸增大時，其互信息量呈增加趨勢。本文選取40幀坦克序列圖像進行尺度效應試驗(試驗效果如圖3所示)。取各幀圖像，人為測量目標尺寸數據，并分別計算互信息量與模板圖像信息量的比值、目標矩形區域尺寸變化的比值S，并求得誤差e=1+log2[I(A,B)/I0]-S，研究互信息量與目標尺寸變化的關系。

圖3 坦克序列圖像及誤差曲線圖

分析第2幀圖像對應的直方圖(圖3a)，發現直方圖表現為“寬谷”的形式，坦克目標與背景灰度區分不明顯，屬于典型的復雜背景。40幀坦克序列圖像度效應試驗誤差曲線如圖3f所示。由誤差曲線圖可知，誤差相對很小。因此，互信息量與模板信息量的比值和物體尺寸存在如下的關系：H≈H0(1+log2[I(A,B)/I0],其中H0指前一幀的物體尺寸，H指當前幀的物體尺寸。

3 基于kalman-Mean shift的特征融合自適應跟蹤算法

3.1 模型建立

標準的Mean shift算法，主要是選取合適的相似度函數度量目標模型和候選目標模型的相似性，通過求相似性函數的最大值迭代計算Mean shift向量，從而完成跟蹤的目的。在實際應用過程中，通常選擇Bhattacharyya系數作為Mean shift跟蹤算法的相似性函數，選擇具有對稱特性的Epanechnikov核函數(其核函數模型描述如圖4所示)進行核密度估計，從而進行目標定位。

圖4 Epanechnikov 核函數

在圖4中，左邊描述的是Epanechnikov 核函數K(x)的仿真模型，核函數的輪廓函數定義為：

(13)

右邊描述的是核函數K(x)經過歸一化后的結果，對應的輪廓函數g(x)定義為：

(14)

那么,可得當前幀目標的中心位置：

(15)

從式(15)可以看出，Mean shift迭代式依賴于帶寬h，卻沒有能力自適應調整窗寬。自動更新跟蹤窗口尺度是改進Mean shift跟蹤算法的關鍵。為了提高Mean shift跟蹤算法在灰度序列圖像中應用的適應性，提出了基于特征融合的自適應跟蹤算法：引入基于灰度-邊緣特征融合的目標模型替換基于灰度直方圖的目標模型；根據上述的互信息量與跟蹤目標尺寸的關系，在Mean shift算法中加入了一個尺度更新項，按照s=1+log2[I(A,B)/I0]比例進行跟蹤窗口尺度更新。在未出現遮擋時，利用更新的目標模版(第一幀可人工指定，也可利用感興趣區自動提取的目標感興趣模板，后續幀目標模板采用跟蹤后的目標區域進行更新)，通過kalman濾波估計下一幀目標位置估計值，獲取預測擴展窗口，計算預測擴展窗口圖像與目標模版圖像的互信息量與目標模版圖像的信息量的比值，然后按照關系進行尺度更新。參照標準的Mean shift跟蹤算法的流程，引入基于特征融合的目標模型、kalman目標運動估計和互信息量更新尺度后，相應的自適應跟蹤算法核心的流程如下：

1) 初始化幀計數器n=0，設定初始跟蹤窗口參數，尺度變化比例S=0；目標位置，根據式(7)計算目標模型quv(y0),u=1…m；

2) 讀取下一幀圖像，即n=n+1，并利用卡爾曼濾波器預測運動目標位置的估計值；

3) 計算預測擴展窗口圖像與模板圖像的互信息量與模板圖像的信息量比值，并由關系式s=1+log2[I(A,B)/I0]得到跟蹤窗口變化比例，更新當前跟蹤窗口尺度；

4)計算權值wi,i=1…n；并根據式(13)迭代計算候選目標的新位置；

5)根據式(8)計算候選模型puv(y1),u=1…m，并計算它與目標模板的相似度；

6)如果ρ(y1)>ρ(y0)，那么y1←(y0+y1)/2；

7)如果‖y1-y0‖<ε(ε的選擇，應保證匹配搜索窗口目標之間距離小于一個像素)則停止計算，并將以ε為中心，跟蹤窗口尺度內的目標圖像更新為模板圖像；否則y0←y1，轉到步驟4)。

3.2 試驗結果

為了驗證上述特征融合自適應跟蹤算法的有效性，分別選擇存在尺度變化的紅外坦克序列圖像(共截取40幀，大小為640×480，目標尺寸逐漸增大)，紅外飛機序列圖像(共截取110幀，大小為256×200，目標尺寸逐漸增大)進行跟蹤試驗。對于天空背景下的飛機紅外序列，由于目標與背景灰度區分明顯，分別采用基于灰度直方圖的窗寬固定Mean shift算法和kalman-Mean shift尺度自適應跟蹤算法進行對比跟蹤試驗。對紅外坦克序列圖像，由于背景復雜，目標與背景灰度區分不明顯，但其邊緣特征比較明顯，因此采用基于灰度直方圖的窗寬固定Mean shift算法和特征融合的自適應跟蹤算法對其進行對比跟蹤試驗。跟蹤窗口選矩形窗，初始跟蹤窗在第1幀人工輔助選擇;邊緣方向編碼量化級別為16個，灰度等級為16個。

針對兩次試驗，分別選取5幀序列圖像的跟蹤情況以示說明。其中，圖 5a是選用標準的Mean shift算法的跟蹤效果；圖5 b是基于灰度特征目標模型的kalman-Mean shift自適應算法的跟蹤效果。很顯然，在對目標長時間跟蹤時，特別是目標尺寸發生變化時，若不及時更新目標模板，會產生目標丟失的現象，如飛機序列圖像的第72幀、110幀。而基于灰度特征目標模型的kalman-Mean shift自適應算法能較準確估計目標位置，并根據預測擴展窗口與目標模板的互信息量進行尺度更新，能適應目標的尺寸變化，同時保持Mean shift算法的實時性，跟蹤效果良好。

圖5 跟蹤效果比較

圖6a是標準Mean shift算法的跟蹤效果，在包含與目標灰度特征近似背景的圖像中出現了誤跟蹤，如第7幀、16幀；選取20幀作為模板后重新進行跟蹤，22幀目標基本定位正確，35幀出現目標定位偏差，并且跟蹤窗口尺度不能滿足目標尺寸的變化。圖6b是基于特征融合的kalman-Mean shift自適應算法的跟蹤效果，很明顯該算法利用邊緣信息消除了與目標灰度特征近似背景的影響，定位準確，且跟蹤窗口尺度與目標尺寸自適應變化。

圖6 跟蹤效果比較

4 結束語

本文在分析Mean shift理論的基礎上，從標準的Mean shift算法的跟蹤原理及特點分析出發，針對灰度直方圖目標模型描述能力較弱的問題，研究了可基于灰度-邊緣特征融合的目標描述模型，并引入了kalman濾波器用于目標運動估計及目標模板更新。通過研究互信息量與目標尺寸變化的關系，進行跟蹤窗口自適應變化，最后實現了基于kalman-Mean shift的特征融合自適應跟蹤算法。經過試驗證明該算法有利于增強直方圖目標描述能力，能夠適應目標尺寸的變化，提高Mean shift算法的魯棒性。此算法具有一定的應用潛力和實際價值。