一種基于特征點匹配的目標跟蹤方法

管學(xué)偉

?

一種基于特征點匹配的目標跟蹤方法

管學(xué)偉

（四川九洲電器集團有限責(zé)任公司，四川 綿陽 621000）

針對精確制導(dǎo)系統(tǒng)圖像跟蹤的特點，在研究圖像特征點匹配的基礎(chǔ)上提出了一種應(yīng)用于地面固定目標跟蹤的新方法。首先在高斯差分尺度空間提取特征點；然后用鄰域梯度描述特征點，用最近鄰與次近鄰的比值作為特征點的匹配準則；接著建立仿射模型解算跟蹤點；最后設(shè)計了一種有效的參考圖更新方法。大量的仿真實驗表明該方法對地面固定目標具有較好的跟蹤性能，能有效抑制跟蹤漂移現(xiàn)象，展示了很好的魯棒性。

目標跟蹤；特征匹配；仿射模型；尺度空間

0 引言

目標跟蹤是計算機視覺研究領(lǐng)域中的經(jīng)典問題，其在民用和軍事上都有著重要的研究和應(yīng)用價值。目標跟蹤本質(zhì)上是將參考圖中選定的目標在接下來的實時幀圖像中尋找目標的最佳位置，其中參考圖中的目標選定可以采用通過目標自動檢測識別的方法來獲取，也可以采用人工參與的方法選定。目標跟蹤的方法很多，如形心跟蹤，邊緣跟蹤，灰度相關(guān)跟蹤，均值漂移（mean-shift）算法[1]，區(qū)域協(xié)方差矩陣的方法[2]等等，這些算法都在各自的應(yīng)用領(lǐng)域取得了很大的成功，也都有各自的缺點[3]。

在精確制導(dǎo)武器應(yīng)用中地面固定目標如機場、橋梁、雷達站等是一類具有較高價值的目標，研究針對此類目標的穩(wěn)定跟蹤方法具有重要的意義。針對地面固定目標的跟蹤，當前圖像跟蹤系統(tǒng)中應(yīng)用的跟蹤方法常出現(xiàn)跟蹤點漂移，尤其在制導(dǎo)末端出現(xiàn)當目標迅速膨脹時無法持續(xù)穩(wěn)定跟蹤等現(xiàn)象，本文在研究圖像特征點匹配方法的基礎(chǔ)上，實現(xiàn)了一種針對地面固定目標的跟蹤算法，同時進行了大量的仿真測試，取得了較好的效果。

1 特征點匹配算法原理

圖像的特征常可分為點、線、面3種[4]。點特征是最常采用的一種圖像特征，包括物體邊緣點、角點、線交叉點，尺度空間極大值點等。圖像的特征點匹配是指將兩幅圖像相同場景點對應(yīng)起來的過程。假設(shè)有兩幅圖像，一幅圖像稱為參考圖，又稱基準圖；另一幅圖像為待匹配圖像，本文將特征點匹配應(yīng)用于精確制導(dǎo)系統(tǒng)的目標跟蹤，待匹配圖像由傳感器實時獲得，故稱之為實時圖。圖1是圖像特征點匹配的基本流程。

圖1 特征點匹配流程圖

由圖1可知，圖像特征點匹配大致可分為4個部分[5]：

1）特征點提取。圖像特征點一般是灰度變化的局部極值點，其鄰域圖像含有顯著的結(jié)構(gòu)性信息，也可以沒有實際的直觀視覺意義，但卻在某種角度、某個尺度上其鄰域區(qū)域含有豐富的易于匹配的信息。重要的是特征點能在參考圖和實時圖中重復(fù)的提取到，這是保證特征點匹配算法有效的基礎(chǔ)。常用的特征點提取算子有Moravec算子[6]、Harris算子[7]、Harris-affine算子[8]以及SIFT（Scale Invariant Feature Transform、尺度不變量特征變換）算子[9]等。

2）特征描述子生成。這是各個匹配算法主要的不同所在。特征描述要求對特征點鄰域信息提取一些不受光照、旋轉(zhuǎn)、縮放、平移等因素影響的特征，特征空間的選擇決定了圖像的哪些特性參與匹配，哪些特性將被忽略。選擇合理的特征空間可以降低各類圖像變化因素對匹配算法穩(wěn)健性、速度的影響。特征可以是灰度值，也可以是邊界、輪廓、統(tǒng)計特征（如矩不變量）、高層結(jié)構(gòu)描述與句法描述等。

3）特征匹配。這一步是建立參考圖和實時圖特征點之間的對應(yīng)關(guān)系。這一步包含兩個重要的方面，特征相似性度量和匹配搜索策略。特征的相似性度量根據(jù)生成的特征描述子，一般采用各種距離函數(shù)作為特征的相似性度量，如歐氏距離、街區(qū)距離、馬氏距離等。選擇合適的匹配搜索策略能夠降低錯匹配的概率，提高匹配速度。

4）圖像變換參數(shù)解算。在這一步中建立圖像的變換模型和消除錯配尤為關(guān)鍵，因為無論采用何種特征描述子和相似性判定度量，錯配難以避免，必須利用某些約束信息去除候選匹配點中的錯配；建立合適的變換模型有利于提高變換參數(shù)求解精度，降低運算復(fù)雜度，常用的變化模型有剛體變換、仿射變換、投影變換和非線性變換等。

可以看出圖像特征點匹配是一種靈活性很大的技術(shù)方法，實際應(yīng)用中應(yīng)該根據(jù)具體的問題，有針對性的對上述幾個步驟進行設(shè)計。

2 基于特征點匹配的目標跟蹤技術(shù)

2.1 特征點提取

考慮下面的情況：當飛行器飛向目標的過程中，尤其是接近目標的最后階段，目標在像面上成像迅速膨脹，這是一個典型的尺度問題。而基于尺度空間理論發(fā)展來的SIFT算法對尺度變化情況下的圖像匹配問題尤其有效[9-10]，因此本文采用基于SIFT算法的特征點提取方法，具體方法如下：

1）尺度空間生成

在一系列合理的假設(shè)下，Koendetink證明高斯卷積核是實現(xiàn)尺度變換的唯一變換核[11]，Lindeberg等人進一步推導(dǎo)證明高斯核是唯一的線性核[12]。一幅二維圖像(,)，則它在尺度空間里的圖像(,,)可由圖像與高斯核卷積得到：

(,,)＝(,,)?(,) (1)

式中：(,,)是二維高斯函數(shù)：

為了有效地在尺度空間檢測到穩(wěn)定的特征點，Lowe提出了高斯差分尺度空間（DOG尺度空間，Difference-Of-Gaussian），利用不同尺度的高斯差分函數(shù)與圖像卷積生成：

D

(

x

,

y

,

s

)＝[

G

(

x

,

y

,

k

s

)－

G

(

x

,

y

,

s

)]

?

I

(

x

,

y

)＝

(,,)－(,,) (3)

2）空間極值點檢測

為了尋找尺度空間的極值點，每一個像素點要和它同尺度的8個相鄰點以及上下相鄰尺度對應(yīng)的9×2個點共26個點比較，如果為極值的話，即判斷為候選特征點。

在極值點檢測之后，SIFT算法建議了一種用三維二次函數(shù)擬合的方法來精確定位極值點，去除低對比度的極值點；同時通過Hessian矩陣去除不穩(wěn)定的邊緣響應(yīng)點（因為DOG算子會產(chǎn)生較強的邊緣響應(yīng)），以增強匹配穩(wěn)定性、提高抗噪聲能力。但針對本文的實時跟蹤系統(tǒng)應(yīng)用，這個方法對匹配性能的提高有限，對于增加的運算量來說，顯得得不償失，故而略去這一步，直接將檢測到的極值點作為特征點。

2.2 特征點描述

盡管SIFT算法中基于梯度方向直方圖的特征描述子是獨特的、魯棒的，但其生成方式比較復(fù)雜，對于目標跟蹤這樣實時性要求很高的應(yīng)用在當前的硬件平臺上實現(xiàn)較困難。本文引入比較成熟的灰度相關(guān)匹配思想，形成了一種多維梯度特征描述子。該描述子的基本步驟如下：

1）以特征點為中心選取9×9圖像鄰域小塊，計算每個像素的(,)方向上的梯(I,I)，I和I由Sobel算子生成，如圖2所示。

圖2 垂直、水平方向上的Sobel算子

3）令MG＝|I|＋|I|＋G，MG稱之為(,)處的梯度聯(lián)合響應(yīng)，(,,)稱之為梯度權(quán)值系數(shù)，經(jīng)驗選取(2, 2, 1)；

4）以特征點為中心9×9圖像鄰域每個像素點的梯度聯(lián)合響應(yīng)作為特征分量，這樣每個特征點形成81維的特征向量(1,2, …,81)。

2.3 特征點匹配

采用歐氏距離作為匹配相似性度量：

式中：(,)表示特征點,之間的歐氏距離。當參考圖和時實圖的特征向量生成后，對于參考圖中的每一個特征點，在實時圖中找出與其歐氏距離最近的前2個特征1，2（1＜2），利用最近鄰比值來判決是否接受匹配點對，為方便運算，避免開平方的計算，公式表示如下：

12－22＜0 (5)

這里通常取0.5～0.6，至此形成匹配對的特征點構(gòu)成匹配點對集。

2.4 跟蹤點解算

這里計算圖像的變換參數(shù)時采用六參數(shù)仿射模型。實際上仿射模型是一個非奇異（no-singular）的線性變換接上一個平移變換，是圖像之間非線性變換模型的一階線性近似，它引入了目標的變形參數(shù)，而傳統(tǒng)的相關(guān)法僅考慮目標在兩幅圖像中的平移量，沒有考慮變形量。這就使得本方法的運算模型較為精確，同時它又是一階線性近似，模型不至于太復(fù)雜[13]。可以說仿射模型既在一定程度上保證了模型的精確性，又簡化了計算。通過解匹配點的變換方程來計算圖像間的變換參數(shù)。對于圖像間對應(yīng)的兩點(,)，(,)的仿射變換可以用下面公式表示：

利用匹配點對集，用最小二乘法求出6個仿射參數(shù)，然后求出參考圖中的跟蹤點在實時圖中的對應(yīng)位置。

2.5 參考圖更新

要實現(xiàn)持續(xù)穩(wěn)定的目標跟蹤，更新參考圖（模板）是必要的，然而由于跟蹤過程中幀間變化一般較小，過快的模板刷新反而會加速跟蹤漂移現(xiàn)象的產(chǎn)生。尋找合適的模板刷新方法是一項很難的工作，最簡單的刷新方法是定時刷新，顯然這對復(fù)雜多變的跟蹤過程是不合適的。本文采取的參考圖刷新方法是根據(jù)特征點匹配的狀況來決定是否刷新模板，具體方法如下：假設(shè)實時圖中提取到的特征點數(shù)目為，匹配的點數(shù)目為，為確保跟蹤點計算的精度，必須保證有足夠多的正確匹配點，當下列任一條件滿足就認為參考圖與實時圖變形比較大，需要刷新模板。參考圖更新條件為：

條件(a)表示匹配點應(yīng)與提取到的特征點保持在一定比例以上；條件(b)表示最少有8個正確的匹配點來求解跟蹤點位置。滿足上述任一條件后則更新參考圖，將上一幀中的實時圖作為接下來的參考圖，繼續(xù)下面的跟蹤。

3 實驗結(jié)果與分析

通過在Matlab平臺下編程實現(xiàn)本文算法，并對大量圖像和視頻序列（包括可見光和紅外）進行了仿真實驗，結(jié)果證明算法的有效性和可行性。圖3是一段通過攝像機拍攝的可見光視頻，目標為衛(wèi)星電視接受天線，目標在圖像中的變化包括：攝像機焦距調(diào)整引起的目標尺度的變化，光照的變化，人手抖動造成的目標平移和旋轉(zhuǎn)，以及各種噪聲的影響等等。初始鎖定的跟蹤點為衛(wèi)星天線鍋底中部的黑點，黑色邊框的中心為跟蹤過程中鎖定的跟蹤點，可以看出整個跟蹤過程漂移不明顯，目標始終鎖定在一定范圍之內(nèi)。圖4是一段從飛機上采集到的紅外視頻序列，跟蹤目標為一建筑物，目標有由遠及近，發(fā)生較大的旋轉(zhuǎn)和尺度變化，可以看出算法能夠適應(yīng)這些變化，整個過程跟蹤穩(wěn)定，未出現(xiàn)明顯的跟蹤漂移現(xiàn)象。黑色邊框的中心為鎖定的目標跟蹤點。

顯然算法的運算復(fù)雜度和待處理的圖像區(qū)域大小緊密相關(guān)，對參考圖和實時圖進行全圖處理是不必要的，但選取的圖像區(qū)域也不能太小，過小的圖像區(qū)域不能保證提取到足夠多的穩(wěn)定的特征點，也就不能保證匹配的精度，最終導(dǎo)致解算的跟蹤點誤差較大。同時圖像區(qū)域選取過小，造成參考圖和實時圖重疊區(qū)域較小，甚至沒有重疊區(qū)域，這樣將導(dǎo)致跟蹤失敗。本文在參考圖和實時圖中選取以跟蹤點為中心128×128像素大小區(qū)域，這樣做一方面保證待匹配的兩幅圖像區(qū)域包含大量的特征信息，使提取的特征點數(shù)目保持在一定水平（30個以上）；另一方面，當飛行器極端情況下發(fā)生劇烈晃動，圖像發(fā)生了較大平移量，例如在某一方向上平移了64個像素，這樣參考圖和實時圖之間仍然有64×128的重疊區(qū)域，保證了圖像匹配以及最終跟蹤點求解的精度。將算法移植到基于TMS320C6678處理器的硬件平臺，經(jīng)過一系列軟件優(yōu)化后，將采集的圖像視頻數(shù)據(jù)導(dǎo)入到硬件平臺中進行處理，以此來驗證算法的實時性，通過實驗表明本文算法能夠滿足50Hz幀頻實時處理的性能要求。

4 結(jié)論

本文在基于圖像特征點匹配算法的基礎(chǔ)上，形成了一種針對地面固定目標穩(wěn)定跟蹤的方法。該方法針對圖像跟蹤系統(tǒng)的實際應(yīng)用要求，提出了一系列解決方法。大量實驗結(jié)果表明，本文的方法能一定程度上克服圖像跟蹤系統(tǒng)在目標迅速膨脹時無法持續(xù)穩(wěn)定跟蹤的現(xiàn)象，有效解決跟蹤點漂移問題，在光電精確制導(dǎo)武器末端制導(dǎo)系統(tǒng)中具有較強的應(yīng)用潛力。

圖3 可見光圖像跟蹤仿真結(jié)果

圖4 紅外圖像跟蹤仿真結(jié)果

Fig.4 Results of IR image tracking

[1] Comaniciu D, Ramesh V, Meer P. Real-time tracking of non-rigid objects using mean Shift[C]//, 2000: 142-149

[2] Porikli F, Tuzel O, Meer P. Covariance tracking using model update based on Lie Algebra[C]//(), 2006, 1: 728-735.

[3] Porikli F. Achieving real-time object detection and tracking under extreme conditions[J]., 2006, 1(1): 33-40.

[4] 戚世貴. 基于圖像特征點的提取匹配及應(yīng)用[D]. 長春: 吉林大學(xué), 2008.

QI Shigui.The Research of Features Extraction, Registration and Application[D]. Changchun: Jilin University, 2008.

[5] 胡志萍. 圖像特征提取、匹配和新視點圖像生成技術(shù)研究[D]. 大連: 大連理工大學(xué), 2005.

HU Zhiping. Extraction Corresponding Feature and Image Synthesis of New Viewpoint[D]. Dalian:Dalian University of Technology, 2005.

[6] Moravec H. Rover visual obstacle avoidance[C]//, Vancouver, 1981: 785-790.

[7] Harris C，Stephens M. A combined corner and edge detector[C]//, Manchester: University of Manchester, 1988: 147-151.

[8] Mikolajczyk K, Schmid C. Scale and affine invariant interest point detectors[J]., 2004, 60(1): 63-86.

[9] Lowe D G. Object recognition from local scale invariant features[C]//, Corfu, 1999: 1150-1157.

[10] Lowe D G. Distinctive image features from scale invariant key points[J]., 2004, 60: 91-110.

[11] Koenderink J J. The structure of images[J]., 1984, 50: 363-396.

[12] Lindeberg T. Scale-space theory, a basic tool for analysing structures at different scales[J]., 1994, 21(2): 224-270.

[13] 劉曉春, 朱憲偉, 于起峰. 基于生物視覺的目標匹配原理與實驗進展[C]//光電探測與制導(dǎo)技術(shù)的發(fā)展與應(yīng)用研討會論文集, 2007: 17-19.

LIU Xiaochun, ZHU Xianwei, YU Qifeng.Target matching based on biological vision and its developed experiment[C]//, 2007: 17-19.

A Method of Object Tracking Based on Feature Point Matching

GUAN Xuewei

(,621000,)

Aiming for the image tracking feature of precise guidance systems, a new object tracking algorithm based on image feature point matching is proposed to track ground immovable object. Firstly, feature points are extracted by using DOG(Difference-Of-Gaussian) scale space. Secondly, feature points are described by local gradient, the ratio of between the nearest neighbor point and the second nearest neighbor point is set as feature point matching criterion. Thirdly, tracking position is got by calculating affine model. Finally, an effective update strategy of reference image is proposed. Many experiments show that this method is robust to track ground immovable object and can effectively inhibit tracking-shift.

object tracking，feature matching，affine model，scale space

TP391

A

1001-8891(2016)07-0597-05

2015-10-20；

2016-03-09.

管學(xué)偉（1982-），男，工程師，研究方向為光電信號與信息處理。