一種基于記憶的目標跟蹤算法及實驗驗證

齊玉娟, 牛瀟然, 王延江

(中國石油大學(華東) 信息與控制工程學院， 山東 青島 266580)

0 引 言

目標跟蹤是計算機視覺研究中十分重要的領域，在智能監控和安防系統中有著十分廣闊的應用前景。在眾多的目標跟蹤算法中，粒子濾波以其對非線性/非高斯系統狀態估計的良好適應性而越來越受到關注。粒子濾波算法根據蒙特卡洛仿真原理遞推實現貝葉斯估計[1]，在目標跟蹤過程，用足夠數量的、帶有相關權值的粒子對應目標各種可能的狀態，并通過粒子間的線性加權逼近目標的真實狀態[2]。由粒子權值的遞推公式可知，觀測模板與目標模板之間的相似程度直接影響粒子權值的變化。

通常，以顏色直方圖為代表的全局特征被用來構建觀測模板和目標模板。全局特征對目標區域內所有點的特征進行統計，所以能夠一定程度上抑制隨機噪聲。然而，當目標的外觀與背景相似，或者由尺度變化、光照突變、旋轉等引起目標外觀發生變化時，單一的全局特征將無法可靠地作為區分目標與背景的依據，從而使粒子跟蹤器失效。與全局特征相對應的局部特征則可以一定程度上適應上述情況[3]；但是，由于局部特征僅統計目標區域內的一部分特性，也造成局部特征對噪聲比較敏感，特別是在復雜場景下，特征點發生誤匹配的概率較高。

為了應對跟蹤過程中出現的目標外觀變化和目標外觀與背景近似等情況，本文受人類記憶機制的啟發，引入三階段記憶模型用于建立模板空間。模板空間綜合使用目標的局部特征和全局特征，并能夠記憶目標外觀的時序變化。在目標跟蹤過程中，模板空間對粒子的傳播方向加以引導，降低粒子在傳播過程中偏移目標的程度，以避免粒子的退化。同時，粒子集合對特征點的匹配范圍進行約束，以減少偽匹配點的出現，從而增強目標模板的可靠性。實驗結果表明，當目標外觀與背景相似時，或由尺度變化、光照突變、旋轉等引起目標外觀發生變化時，本文提出的算法仍能魯棒地跟蹤目標。

1 三階段記憶理論

研究表明，記憶系統在人類的認知活動中發揮著至關重要的作用[4]。人類在視覺感知行為中，通過視覺系統、人腦記憶、學習、推理等功能的協同工作，能夠在復雜環境下魯棒地識別、跟蹤、理解、解釋感興趣目標及其所處的場景。通過視覺輸入與人腦記憶系統輸出的記憶模式進行匹配，完成感興趣目標的推測、提取與注意焦點的轉移等[5]。作為人類認知活動中的樞紐，記憶機制在自然科學、生物心理學、認知科學等領域均得到了深入的研究，研究者提出了多種記憶模型[6]。其中，記憶信息三級貯存模型被認為是認知心理學領域中經典的人類記憶機制模型。后經研究人員不斷地發展完善，逐步形成了三階段記憶理論，其模型框圖如圖1所示。

圖1 三階段記憶模型

從圖1可以看出，記憶系統被劃分為瞬時記憶空間、短時記憶空間和長時記憶空間，分別對應著信息處理流程的3個階段。瞬時記憶空間存儲著神經系統傳來的視覺、聽覺等感知信息，這些具有底層特征的信息被送入短時記憶空間并整合為高層特征信息；短時記憶空間是進行信息編碼、解碼、轉換等處理的主要工作場所，為認知活動中進行的模式匹配提供記憶模式；長時記憶空間容量最大，信息保存時間最長，存儲著經驗知識等具有概念性質的信息。“復述”行為將短時空間中重復出現的信息送入長時空間存儲，而“提取”將長時記憶中的激活信息傳送到短時空間。

近年來，人類記憶機制被成功應用于短時交通流量預測[7]和計算機視覺[8-12]等領域。特別是在計算機視覺領域的研究中，王延江等將三階段記憶模型引入到視覺信息處理過程，提出了基于記憶機制的視覺信息處理的認知計算模型[8-9]，通過模擬人腦的一些認知過程，提高了背景建模和運動目標跟蹤算法的魯棒性[10-14]，較好地解決了復雜場景下的背景突變、目標姿態改變以及目標被遮擋等問題。

2 基于記憶機制的模板空間

2.1 模板空間的結構

根據三階段記憶模型的信息處理流程，本文將模板空間劃分為三部分，如圖2所示。分別對應了瞬時、短時、長時記憶空間：瞬時空間中存儲了局部特征激活模板，該模板由目標區域的局部特征綜合而成；短時空間存儲全局特征激活模板，該模板由目標區域的全局特征構成；長時空間存儲全局特征記憶模板，這些模板記錄了目標曾經出現過的外觀。在跟蹤過程中，激活模板用于與觀測模板進行匹配，并根據匹配結果做出相應的決策。記憶模板用于短時空間中激活模板的更新，使跟蹤器能夠快速適應目標的變化。

圖2 模板空間結構圖

2.2 BRIEF描述符

BRIEF描述符[16]是一種用來對不同特征點進行比較的二值描述算子。由于對內存要求低且運行速度快，近年來受到廣泛的關注與研究。與SIFT、SURF等傳統的二值描述符相比，BRIEF在構造與匹配計算上都更加的簡潔高效，并能取得較高的識別準確率。

BRIEF描述符是一個n位的0/1碼串，對應的十進制數為：

其中：τ(s;u,v)是以點s為中心的圖像塊中兩點之間灰度值的比較函數，具體如下：

I(s,u)是點u=(xu,yu)Τ的灰度值。

2.3 模板相似性度量

在基于全局特征的粒子濾波算法中，觀測模板與目標模板之間的巴氏距離被作為兩者之間的相似性度量。由于本文模板空間引入了局部特征，因此模板的匹配策略需作如下調整：

(1)

式中：ρ1為觀測模板區域內局部特征點數量no與瞬時空間模板中局部特征點數量ns之比，代表了在局部特征層面上觀測模板與目標模板之間的相似性；ρ2是觀測模板直方圖ho與短時空間模板hts之間的巴氏系數。ρ1與ρ2的線性組合作為觀測模板與目標模板之間的相似性度量ρ，且權值α根據場景變化自適應調整。

3 基于記憶機制的粒子濾波

3.1 目標模板對粒子傳播的控制

粒子濾波利用蒙特卡洛仿真原理解決貝葉斯跟蹤框架下后驗概率密度函數難以求得解析解的問題，即以足夠多的、采樣于后驗概率分布的樣本來近似表示真實的數學期望。然而，由于目標狀態的后驗概率分布p(x0:kz1:k)是多變量、非標準的，難以從中采樣獲得應用樣本。根據貝葉斯重要性采樣定理，可以從一個已知的且容易采樣的參考分布中進行采樣，并通過加權近似后驗概率分布。

理想狀態下，參考分布q(x0:kz1:k)應盡可能地接近后驗概率分布p(x0:kz1:k)，從而使權值的方差最小。從實際情況出發，最常見的參考分布是目標的先驗概率密度函數p(xkxk-1)，即第k幀的粒子(參考分布的采樣序列)狀態取決于其狀態轉移方程。一階狀態轉移方程如下：

(2)

式中：uk、rk、hk、gk是零均值的高斯隨機過程。此時，粒子傳播的速度和方向完全隨機。

為了使粒子更加接近后驗概率分布中的采樣樣本，本文對狀態轉移方程進行如下調整：

(3)

式中：uk、rk是0,1之間的隨機數；(cx,k-1,cy,k-1)是瞬時空間中局部特征點的中心。粒子傳播的方向不再隨機，每1幀粒子都是向著上1幀中目標的方向進行傳播。

經過改進，粒子加權運算后更加近似于后驗概率分布，粒子權重的方差變小。直觀來看，遠離目標運行軌跡的粒子減少，避免了粒子權值的持續衰減，粒子間的權重分布更加均衡，粒子退化現象得到遏制。

3.2 粒子對局部特征匹配的約束

局部特征表征的是一部分獨立的圖像塊的特性。由于沒有與其他特征建立聯系，圖像的某個區域并不能由單獨的局部特征唯一標記。當場景較為復雜或場景與目標近似時，背景和目標可能會出現相同或相似的局部特征，從而造成特征點的偽匹配。

為解決特征點的偽匹配問題，本文定義粒子集合分布的空間區域為ROP(Region of Particles)。局部特征匹配時，僅取ROP內提取的FAST角點作為待匹配的特征點。由于縮小了匹配范圍，避免了背景中遠離目標的、但與目標局部特征相近的特征點被分類為目標，減少了偽匹配的發生。

3.3 算法描述

對于模板記憶空間：清空長時空間；將所選目標區域的顏色直方圖存入短時空間，作為全局特征激活模板；將目標區域內提取的FAST角點及相應的BRIEF描述符存入瞬時空間，作為局部特征模板。同時，計算目標特征點集的中心位置(cx,0,cy,0)。

Step2對于每1幀新進入的圖像，執行粒子的狀態轉移方程(3)，實現粒子的傳播。

Step3在ROP區域內提取與瞬時空間模板相匹配的局部特征。根據式(1)計算各粒子觀測模板與目標模板之間的相似度，并按照下式計算各粒子的權值，

(4)

Step4根據下式估計目標的位置：

(5)

同時，計算估計目標的顏色直方圖he。

4 實驗結果及分析

為驗證本文所提模型及算法的有效性和實用性，用兩段標準視頻在主頻為Core 2.3 GHz、內存為2 GB的計算機上進行測試。視頻Ι“david_indoor”中的跟蹤目標為人臉；視頻Ⅱ“cliffbar”中的跟蹤目標為手中的書簽。為了比對傳統算法與本文算法的效果，兩者的粒子數量均設為25。

4.1 傳統算法的跟蹤效果

圖3(a)展示了原始粒子濾波算法在“david_indoor”中的跟蹤結果，圖3(b)是原始粒子濾波在“cliffbar”中的跟蹤結果。由于目標與背景的顏色特征近似，加之目標出現了尺度變化與亮度變化，跟蹤器逐漸偏離目標，并分別在第193幀和第90幀時完全跟丟。

(a) David-indoor

(b) cliffbar

圖4分別展示了對兩個標準視頻進行目標局部特征點匹配的結果，特征點由綠色十字標注。由結果可看出，每一幀都有相當數量屬于背景的局部特征點被誤匹配為目標。

(a) david-indoor

(b) cliffbar

4.2 本文算法的跟蹤結果

圖5展示了本文算法在“david_indoor”測試視頻上的跟蹤結果。外層紅色矩形框為跟蹤結果，內層綠色矩形框包圍了匹配為目標的特征點(用綠色十字標記)。圖5第1行截取于第10～315幀，期間場景的亮度與目標的尺寸發生了變化；第2行截取于第444～491幀，期間目標發生了旋轉，并且尺度變小；第3行截取于第602～708幀，期間出現了光照突變，同時，目標的眼鏡也被反復地摘取。實驗結果表明，本文算法在目標尺寸變化、目標旋轉以及光照突變條件下都能較好的跟蹤目標。

圖5 本文算法在視頻Ι中的跟蹤結果

圖6是本文算法在“cliffbar” 測試視頻上的跟蹤結果。圖6第1行截取于第30～100幀，期間目標的尺度隨運動發生了變化；第2行截取于145～247幀期間，目標被“手”部分遮擋，并發生了180°的平面內旋轉；第3行截取于336～447幀期間，目標被“手”牽引做無規則運動，并且尺度發生連續變化。實驗結果表明本文算法在目標尺度變化、遮擋時都能較好地跟蹤目標。

圖6 本文算法在視頻Ⅱ中的跟蹤結果

4.3 粒子退化抑制效果分析

粒子退化嚴重影響了粒子濾波算法的效率和準確性。本文提出的算法通過對粒子傳播方程的改進，最大程度上抑制了粒子的退化現象。

通常，粒子集合的退化程度可以用下式近似表示[1]：

(6)

式中：ω為粒子權值；N代表粒子的數量。粒子退化越嚴重，量測值越接近1。

圖7給出本文算法在“david_indoor” 測試視頻中粒子退化量測值的變化情況。由圖7可以看出，本文算法的量測值始終大于24.995，這一數值遠遠大于1，證明了對粒子退化的有效抑制。

圖7 本文算法的粒子退化量測值變化

為了更直觀地展示本文算法中粒子權值的分布，圖8描繪了整個跟蹤過程中最大和最小粒子權值的變化情況。可以看出，最大權值和最小權值之差不超過0.003，說明粒子是極為均勻地分布在目標的周圍，參考分布十分接近后驗概率分布。

圖8 最大與最小粒子權值的變化

5 結 語

傳統粒子濾波器在跟蹤過程中難以應對目標外觀變化和目標外觀與背景近似等情況。為解決上述問題，本文受人類記憶機制的啟發，引入三階段記憶模型用于建立模板空間。模板空間綜合使用了目標的局部特征和全局特征，并能夠記憶目標外觀的時序變化。在跟蹤過程中，模板空間對粒子的傳播方向加以引導，避免了粒子的退化。同時，粒子對局部特征的匹配范圍進行約束，減少了偽匹配點的出現。實驗結果展示了本文算法在目標外觀與背景相似時和目標外觀發生變化時的魯棒性。