視覺跟蹤中模板匹配相似度指標研究

（1.江南大學 信息工程學院，江蘇 無錫 214122； 2.江蘇廣播電視大學 常熟學院，江蘇 常熟 215500； 3.南京理工大學 計算機科學與技術學院，南京 210094）

摘 要：由于模板匹配中像素點r、g、b顏色值計算存在多對一缺陷，加之背景特征的影響，視覺跟蹤中模板匹配往往得不到全局最優解。為此提出模糊隸屬度概念和新的相似度指標公式，修正顏色值計算缺陷，相近似顏色值聚類，從而提高視覺跟蹤中目標識別能力。這種新指標有效抑制背景成分的影響，同時突出目標特征的權重，改善匹配函數峰值特性，使得搜索目標得到全局最優解，最終實現魯棒跟蹤。實驗結果表明，模板匹配具有良好的峰值特性，算法在跟蹤目標存在變形、噪聲、遮擋時也可以達到比較理想的跟蹤效果。

關鍵詞：模板匹配; 模糊隸屬度; 相似度度量; 視覺跟蹤; Bhattacharyya系數

中圖分類號：TP391.41文獻標志碼：A

文章編號：1001-3695(2009)05-1941-03

Research on template matching similarity criterion in visual tracking

XIA Yu1，2 WU Xiao-jun1WANG Shi-tong1 YANG Jing-yu3

(1. School of Information Engineering Jiangnan University Wuxi Jiangsu 214122，China; 2. Changshu College，Jiangsu Radio TV University Changshu Jiangsu 215500 China; 3. School of Computer Science Technology Nanjing University of Science Technology Nanjing 210094 China)

Abstract:Template matching in visual tracking often can’t obtain the global optimal solution because of the defect of pixels r，g，b color’s many to one in computation and the influence of background feature. This paper presented a concept of fuzzy membership and a novel similarity measure formula. The proposed method could overcome the defect of color computation and make similar color pixels clustered consequently it could improve the ability of target recognition. The new criterion could effectively reduce the influence of background feature and emphasized the importance of target feature. It could improve the peak modality of matching function so the global optimal solution and robust tracking could be easily obtained. Experimental results show that template matching has an excellent peak-like distribution and tracking algorithm has precision and robustness in the presence of noise deformation and occlude.

Key words：template matching; fuzzy membership; similarity measure; visual tracking; Bhattacharyya coefficient

0 引言

視覺跟蹤是當前計算機視覺領域的重點研究內容，在智能監控、視頻壓縮、人機交互、虛擬現實等許多領域中有廣泛的應用前景^[1~3]。

圖像匹配相似度指標是視覺跟蹤中最重要的技術指標，直接決定目標跟蹤的準確性和魯棒性。

目前存在的模板匹配方法主要分為基于目標邊界特征^[4]和基于目標區域特征^[5，6]兩類。其中：基于目標邊界特征方法主要利用圖像中的邊緣信息進行圖像匹配，但邊緣信息獲取方法復雜，且抗噪性差，匹配效果不太理想；基于目標區域特征方法通過對目標整個區域顏色、紋理等特征信息的分析來實現圖像匹配。由于顏色、紋理具有旋轉不變性、縮放不變性等性質且所得到的信息比邊緣更加充分，基于目標區域特征方法匹配效果要優于基于目標邊界特征的匹配方法。

當進行目標識別時，像素點r、g、b顏色值轉換成灰度值或形成r、g、b三元多項式計算顏色值時，存在多對一現象，這一現象導致視覺上完全不同的像素最終所得的計算值相同，從而引起目標識別不強。并且從視頻序列中取得的匹配圖像往往是背景與目標特征相互交織，這樣的目標特征會很大地受到背景成分的影響，嚴重地削弱了目標本身特征，使得跟蹤精度下降，甚至會產生錯誤匹配而導致跟蹤失敗。

針對上述問題，本文算法通過引進模糊隸屬度概念，修正r、g、b色彩值的多對一缺陷，使視覺上存在差異的顏色計算值不同，相近似色彩值聚類，從而改善目標的識別力度。在此基礎上，提出新的模板匹配相似度指標公式，通過增加一個搜索區域的特征統計環節來有效抑制背景成分的影響，突出目標本身固有特征，改善模板匹配的峰值特性。

利用本文算法實現運動目標跟蹤，具有很高的跟蹤準確性和魯棒性，且對復雜環境也有很強的目標識別能力，適用的場合更普遍。

1 圖像匹配問題分析

1.1 r、g、b計算多對一缺陷描述

在進行顏色特征統計時，像素點顏色值常用的處理方法是轉換成灰度值或形成r、g、b三元多項式來處理，這樣處理存在一個明顯的缺陷，即r、g、b三元之間的變化是相互關聯的。這樣必然會引起此消彼漲之間的相互抵消，其中一元增長，另二元相應減少，會抵消這一變化。如表1中列舉了采用MATLAB的rgb2gray()函數進行灰度圖像轉換后的相同灰度值r、g、b情況。其中此函數的灰度值在MATLAB軟件系統中，r、g、b轉換計算式為：0.299×r+0.587×g+0.114×b。這是一個較接近人類視覺心理的轉換函數。

從表1中可以看出，采用接近人類視覺心理的rgb2gray()函數明顯存在這一現象。對于簡單地采用r、g、b取和除3的情況更嚴重了，而其他的r、g、b三元多項式計算后也存在著這一問題。這樣就造成視覺上本來完全不相同的兩個像素之間存在多對一現象，這一現象極大地削弱了目標識別的分辨率，導致由此所得的模板相似度指標也不能正確地評價模板圖像與候選圖像之間的逼近程度。

1.2 模板匹配缺陷描述

視覺跟蹤中的候選模板往往是從摻雜著復雜背景的視頻序列中取出來的，背景與目標常常交織在一起。圖1中可以看到，模板中的行人與地面草坪交織在一起，而且隨著行走，交織背景在變化，直接用模板進行相關性計算將嚴重影響匹配精度。

要在模板特征中刪除背景特征，做到搜索區域特征向量與模板特征向量正交化是不現實的。下面來分析搜索區域特征與模板特征的統計特點。往往搜索區域中大量出現的特征是背景特征的可能性較大，模板本身特征的統計量在搜索區域中占有少量或兩者數量相同。在圖２中，左面大框表示搜索區域，小框是目標模板；右面的統計直方圖上面是模板特征統計直方圖，下面是搜索區域特征統計直方圖，目標本身特征統計量和搜索區域中該特征統計量相等，模板中占有少量的背景成分在搜索區域中大量出現。目標模板特征統計量與搜索區域特征統計量之間的比值很明顯地反映了該特征對目標模板的支持度。此比值越大說明該特征是目標本身特征的可能性越大，對候選模板是目標的支持越大；比值越小說明該特征是背景成分特征的可能性越大。

2 基于模糊隸屬度的顏色值

為了解決r、g、b三元計算時形成的明顯視覺偏差，本文引入模糊隸屬度函數來消除這一偏差，使視覺上相近似的顏色值對應同一數值。假如像素點顏色值為r、g、b，分別把r、g、b轉換為十六進制數值，這三個十六進制數值按順序形成一個十六進制的顏色值編碼 形式如下：

A…Aα B…Bβ C…Cγ(1)

其中：A…A為r的十六進制編碼；B…B為g的十六進制編碼；C…C為b的十六進制編碼；α、β、γ分別為三個編碼的位數。這樣像素點的模糊隸屬度函數為

Φ(r，g，b)=(A…A)10×16(β+γ)+(B…B)10×16γ+(C…C)10(2)

其中：下標(X)10指把X轉換為十進制數值。

經過像素點顏色值的模糊隸屬度函數映射，很好地解決了顏色值多對一現象的缺陷，使得視覺上不相同的像素點獲得不同的計算值，相近似顏色值聚類，較大地改善了目標識別的分辨率。

3 模板匹配相似度指標

影響圖像匹配相似度指標的主要因素是背景成分的干擾，要完全刪除背景成分是不現實的，因此本文提出增加一個搜索區域特征統計環節，進行顏色特征統計；然后利用統計結果來降低背景成分對匹配指標的影響，突出目標本身特征。搜索區域是包含目標區域及其周圍背景的較大區域，在搜索區域中大量出現的是背景特征，其中在搜索區域中顏色特征統計向量記為su，候選模板中顏色特征統計向量記為qu，目標模板中顏色特征統計向量記為pu。于是模板匹配相似度指標函數可以為

ψ(p，q)=(∑muu=1puqu/su)/(∑muu=1p2u/su)(3)

其中：mu是顏色特征統計向量的維數。從式(3)中可以看出，當目標模板特征統計向量pu和候選模板特征統計向量qu相等時，相似度指標函數ψ(p，q)的值為1。當候選模板中某個特征在搜索區域中統計量很大，說明這個特征不是目標本身特征，且背景中也存在大量此特征，這時su數值會很大，抑制了特征相關積puqu，即削弱了背景特征的權重。反之當候選模板中某個特征是目標特有的，搜索區域中統計量su必然與候選目標特征統計量qu相接近，此時該特征的匹配貢獻度為該特征在目標特征中的占有量。該相似度指標具有良好的歸一性，因為式（3）中分母部分為目標本身特征總量，在搜索目標過程中，分子總是小于等于分母，當目標是最優解時，分子接近或等于分母。而且搜索區域及模板大小選擇也是很寬容的，使尺寸對相似度指標的影響極大降低，給匹配跟蹤帶來了方便。

4 仿真實驗分析

為了驗證本文算法的有效性，選用相關視頻序列計算相似度并實現目標視覺跟蹤，在Pentium Dual E2140 CPU，1 GB內存的PC機上，用MATLAB 7.0編程實現并進行相應的分析。

第一組實驗為模板匹配相似度指標計算，在圖3中給出了五組實驗仿真效果。其中：圖3（a）為本文算法的相似度指標分布圖；(b)為基于灰度的Bhattacharyya相似度指標分布圖；(c)為視頻序列局部圖像，圖中大框表示搜索區域，小框表示目標模板區域。對比（a）和（b）可以看出，本文算法相似度指標分布圖具有良好的峰值特性，比基于灰度的巴氏系數具有明顯的匹配優勢，可以很好地避免匹配偏差和錯誤目標定位。尤其當具有相近灰度值的不同視覺顏色的像素點時，本文的算法更具有清晰的識別能力，且對模板的獲取尺寸、形狀、背景含量要求也不是太高，模板大小及形狀的變化仍能表現出良好的峰值特性，指標函數參數有效地抑制了背景成分對匹配相似度的影響，保證了良好的匹配效果。

視頻序列３中運動人體衣服色彩與背景在視覺上是完全不同的色彩，但轉換成灰度圖像后，背景與目標顏色值較接近，且邊緣融合性更強，嚴重影響了識別效果，但采用本文算法能真正實現視覺上的清晰辨別。視頻序列4和5是兩幅背景比較噪雜的視頻序列，背景局部變化會對模板匹配產生重大影響，容易產生匹配誤差。可以看出，采用巴氏系數峰值不明顯，且產生了明顯的匹配偏差；但采用本文算法，相似度分布曲面峰特性明顯，匹配效果佳，并且本文算法對相似度指標值無須作任何處理，能夠自動歸一化，搜索區域及模板尺寸的變化也不會影響到相似度值的劇變，保持了匹配的穩定性。

第二組仿真實驗是采用本文算法，對視頻序列中的運動人體進行跟蹤。在整個視覺跟蹤過程中，從直行到蹲下再起立行走，人體姿態不斷地發生改變。隨著人體姿態的變化，候選模板背景容量在不斷發生變化。直立行走時人手與腳的擺動產生不同的形狀；當蹲下時目標緊縮，背景成分卻大大增加了。這些給模板的匹配帶來了相應的難度。如果采用本文算法的模板匹配相似度指標，能有效削弱背景成分的影響，突出目標本身特征，在搜索區域中找到全局最優解。圖4是采用本文算法對視頻序列中行人跟蹤的結果，是多個視頻序列視覺跟蹤結果的局部圖像拼接圖，方框是跟蹤算法對人體跟蹤位置的標出。從多幀拼接圖中可以看出，本文算法在目標姿態發生重大形變及背景量增減時仍能保持較高的跟蹤精度。

5 結束語

目標識別是視覺跟蹤的關鍵環節，要保證精確的目標識別能力，必須清晰地區分目標和背景成分。本文算法引入模糊隸屬度概念，從視覺角度修正r、g、b顏色值的計算缺陷，提高像素點的分辨率。針對模板中融入的背景成分及干擾噪聲，提出了新的相似度指標，通過搜索區域特征統計環節來有效地抑制背景成分的影響，得到模板匹配最優解，較好地提高了視覺跟蹤的可靠性和魯棒性。兩組仿真實驗說明了本文算法的目標識別能力和跟蹤的準確度。

參考文獻：

［1］王亮，胡衛明，譚鐵牛.人運動的視覺分析綜述[J].計算機學報，2002 25(3):225-237.

[2]CHANG Cheng ANSARI R. Kernel particle filter for visual tracking[J].IEEE Signal Processing Letters，2005，12(3)：242-245.

[3]KWOK C FOX D MEILA M.Adaptive real-time particle filter for robot localization[J]. Proceedings of Robotics and Automation 2003 9(2): 2836-2841.

[4]CHEUNG K M G BAKER S KANADE T. Shape-from-silhouette of arti-culated objects and its use for human body kinematics estimation and motion capture[C]//Proc of IEEE Conference on Computer Vision Pattern Recognition. 2003:77-84.

[5]NGUYEN H T SMEULDERS A W M. Robust tracking using foreground-background texture discrimination[J].Int J Comput Vision，2006 69(3):277-293.

[6]COMANICIUK D MEER P. Mean shift: a robust approach toward feature space analysis[J]. IEEE Trans on Pattern Anal Mach Intell，200224(5):603-619.

[7]FENG Zu-ren LU Na JIANG Ping.Posterior probability measure for image matching[J]. Pattern Recognition，2008 41(7):2422-2433.

[8]章毓晉．圖像工程[M]. 2版.北京：清華大學出版社，2007：168-171．