結合稀疏表示的跨攝像頭運動目標跟蹤算法

逯 彥，廖桂生，2，黃慶享

(1.西安科技大學 能源學院，陜西 西安 710054；2.西安電子科技大學 電子工程學院，陜西 西安 710071)

目標跟蹤作為智能視覺科學的一個重要研究課題，廣泛應用于視頻監控、交通識別、行為分析等領域。該課題相關算法日趨成熟[1-3]，其應用模式也從單攝像頭拓展到了多個攝像頭。但在該模式下，仍存在諸多難點。跨攝像頭下的運動目標跟蹤主要分為兩類：一類存在重疊區域，根據攝像頭間的空間幾何關系以及坐標位置完成信息銜接，但是對攝像頭安裝方位有一定要求；另一類基于非重疊區域，該類方法在結合目標空間關聯信息的基礎上，通過特征匹配實現目標跟蹤[4-5]。此類跟蹤的難點在于，當目標所處不同場景時，由于光照影響不同，導致亮度不均勻，從而降低了特征對目標的描述能力。如何構造穩定魯棒的特征模型是亟需解決的問題。文獻[6]通過提取目標的顏色特征使其在單攝像頭時獲得了較好的跟蹤效果，但應用于多攝像頭時，無法穩定跟蹤到目標。文獻[7]通過調整不同視角的顏色特征提高了跟蹤精度，但實用性較差。不同于跨攝像頭，單攝像頭下改善光照影響的目標跟蹤算法發展迅速。文獻[8]通過似然估計判別亮度值大小與方位，以應對光照變化的不同情況，提高了跟蹤準確率，但算法計算過于復雜。文獻[9]將背景區域局部化，并賦予不同權值，通過構造背景加權直方圖來描述目標，算法在保持運算速度的同時降低了光照變化對跟蹤的影響，但背景光照突變時，跟蹤效果不佳。

近年來，基于稀疏表示的相關算法在目標跟蹤方向[10-11]取得了顯著進步。而重構算法作為稀疏表示的重要組成部分，通過模板矩陣實現了高維與低維向量的空間映射。其中，貪婪算法因其復雜度低且具有一定重構精度而被廣泛使用。傳統的匹配追蹤算法[12]通過逐個原子匹配，完成對目標的重構，但計算量相對較大。文獻[13]提出的稀疏度自適應匹配追蹤(Sparsity Adaptive Matching Pursuit，SAMP)算法，在稀疏度未知的情況下，通過殘差更新步長以完成對信號的線性逼近，但運算速度相對較慢。文獻[14]提出的改進算法通過預估稀疏度的方式對支撐集更新，并引入模糊閾值完成對原子的二次篩選，通過基于殘差的相關系數，確定最優原子集完成高維信號重構。該算法顯著地提高了迭代速度，但重構精度一般。

基于以上分析，筆者以稀疏表示為框架，提出一種基于跨攝像頭的光照補償運動目標跟蹤模型。該模型通過不同場景下的背景亮度比值獲得補償系數，并對運用三幀差法[15]差分得到的待檢測目標進行光照補償，以降低不同場景下光照差異性對目標跟蹤的影響；在求解模型階段，筆者在分析了波達方向(Direction Of Arrival，DOA)估計領域中BLOOMP算法[16]的基礎上，利用算法中的帶寬排除方法和局部優化方法降低原子間干擾的同時，采用新的相干性判別機制，使其在迭代過程中獲得更為緊湊的相關帶來更新支撐集，以改善原子選擇精度；并在更新階段，結合相關帶中原子匹配時的權重系數對模板矩陣進行替換，提高了模板對外界實時變化的適應能力。仿真實驗表明，相較于主流算法，所提算法有較好的跟蹤精度與魯棒性。

1 模型建立

1.1 光照補償

不同攝像頭下采集的視頻圖像所受亮度不同，受文獻[11]啟發，同時考慮到目標所受光照影響與其附近背景所受光照影響近似，并且由于局部背景亮度值趨于平穩，基于此，所提算法以首個攝像頭中手動框選的感興趣的運動目標為中心，在其附近區域提取一組背景塊，并以塊為單位計算背景平均亮度作為參考指標，而后以相同的方式得到目標出現在第r個攝像頭時待測目標區域內的局部背景亮度均值，則第r個攝像頭與首個攝像頭中對應的第j個背景塊亮度均值之比ηrj為

(1)

其中，α1j與βij分別是首個以及第r個攝像頭中第j個背景塊的亮度均值。

1.2 稀疏檢測模型

筆者將目標出現的首個攝像頭與其余攝像頭做區分，分3步構造基于稀疏表示的跨攝像頭跟蹤模型：

(1) 構造過完備字典：稀疏表示模型[10]以粒子濾波為框架，通過提取感興趣目標特征，構造過完備特征字典A=[a1，a2，…，an]∈Rm×n作為變換域。每列原子由一幅模板生成，其中，aq∈Rm×1，q∈(1，2，…，n)。并且以上一幀確定的目標為中心，獲取d個粒子樣本作為候選目標，對其進行矢量化，得到yi∈Rm×1，i∈(1，2，…，d)。yi可通過變換域得到與其具有空間映射關系的稀疏系數向量。基于此，候選目標可通過字典中少量原子的線性組合進行重構，并表示為

(2)

其中，ξi=[ξi1，ξi2，...ξin]，為與候選目標yi對應的系數向量。由于構造的字典是過完備的(m<

(3)

文中以首個攝像頭初始幀目標為中心，通過高斯分布獲取n個模板，進行歸一化處理構造字典矩陣。

(2) 檢測模型：當目標出現在第r個攝像頭中時，由于傳統幀差法在時間間隔過短，目標移動過慢時，無法提取整個目標。基于此，采用三幀差法[15]差分出視頻中的運動目標并對其進行向量化，得到待測目標模板集Z=[z1，z2，…，zp]∈Rm×p，考慮到三幀差法檢測目標易受光照干擾，以及不同視角下光照條件的差異性，構造光照補償模型。其中，局部補償系數向量ηr=[ηr1，…，ηr1，…，ηrj，…，ηrj，…，ηrl，…，ηrl]∈Rm×1由式(1)獲取，ηrj為局部背景亮度比值，基于上述分析，在稀疏表示框架下，通過系數向量ηr與待測目標zi哈達瑪積[11]進行光照補償，考慮到在跟蹤過程中存在噪聲干擾，因此，模型描述與稀疏系數項條件分別為

(4)

(5)

其中，ε為誤差項，°表示哈達瑪積。由于式(5)是一個NP-hard問題，通過σ限定可轉換為

(6)

并通過式(7)計算在固定條件下最小誤差，其中k為稀疏度。

(7)

(8)

其中，Q為隨機降維矩陣。

2 模型求解

2.1 構造相關帶

通過式(9)和式(10)計算原子的歐氏距離和相干性[16]，分別為

(9)

ω(i，j)=‖di-dj‖2，

(10)

基于此，通過式(11)和式(12)構造以符合要求的列數j為參數的一階相關帶[16]，分別為

(11)

(12)

根據式(13)和式(14)構造以上式中一階相關帶為參數的二階相關帶[16]，分別為

(13)

(14)

2.2 目標重構

算法通過第n-1步所選原子構造相關帶。在第n步時，為了消除原子相干性的影響，利用帶排除技術[16]，避免所選原子來自第n-1步的相關帶中，且通過局部優化(LO)算法[16]減小殘差，獲得更好的重構效果，同時篩選出符合條件的原子。改進后的BLOOMP算法流程如下：

輸入：測試圖像zi，稀疏度k，觀測矩陣D′，迭代次數n=1，2，…，k。

迭代次數：n=1，2，…，k。

(2) 通過LO算法進行局部優化：

此時選取殘差值最小的作為匹配結果，并將該匹配結果作為當前攝像頭下后續視頻幀的初始目標。利用構造好的字典模板對視頻中剩余幀的候選目標進行稀疏表示，并采用上述重構方法判斷候選目標重構殘差大小來確定匹配結果，完成稀疏表示下的目標跟蹤。

2.3 字典更新

(15)

3 實驗結果與分析

實驗平臺：Matlab2012b；計算機環境：CPU為Intel Core i7，內存為8 GB。為了驗證文中算法的有效性，分別在室內和室外不同場景下對算法進行測試，提取100個目標模板，構造過完備字典，粒子濾波中的粒子數設置為500，BLOOMP算法為默認參數設置。

3.1 實驗定性分析

實驗1：實驗針對室外環境中存在非重疊區域的跨攝像頭進行算法性能測試，并且不同場景下具有不同的光照及陰影條件，該視頻分為3個部分，每部分都存在多個運動目標。圖1為在第1個攝像頭采集的視頻中，手動框選的運動目標及生成的目標模板。

圖1 獲取目標模板

在第2個攝像頭采集的測試視頻中，對視頻的前幾幀圖像采用三幀間差分法可縮小候選目標范圍，降低候選目標集的重構次數，改善檢測性能，之后通過殘差值對候選目標集進行判斷，以確定視頻中的運動目標。檢測的結果如圖2所示。該段視頻部分跟蹤結果如圖3所示。圖中圓點線框為文中算法跟蹤結果，虛線框為OMP算法[12]跟蹤結果，實線框為IVT算法[18]跟蹤結果。

圖2 第2個攝像頭運動目標檢測結果

圖3 第2個攝像頭部分跟蹤結果

在第3個攝像頭下采集的視頻中，采用相同方法，利用三幀差法得到運動目標。第3段視頻檢測的結果如圖4所示。該段視頻部分跟蹤結果如圖5所示。與上述結果一樣，黑色圓點線框為文中算法跟蹤結果，黑色虛線框為OMP算法跟蹤結果，黑色實線框為IVT算法跟蹤結果。

圖4 第3個攝像頭幀差法的檢測結果

圖3中第2個攝像頭采集的視頻中的跟蹤結果表明，當存在陰影區域時，文中算法克服了外部條件的干擾，并且在跟蹤過程中具有較好的跟蹤性能，而IVT算法產生了跟蹤漂移，OMP算法則直接丟失了跟蹤目標；圖5中，目標出現在第3個攝像頭下時，雖未發生遮擋的情況，但由于光照條件發生了變換，導致這兩種算法產生跟蹤漂移，而文中算法針對不同攝像頭下的背景環境差異性，加入背景亮度補償，有效增強了跟蹤模型對遮擋及光照變換的抗干擾能力，使跟蹤過程保持了較好的穩定性。

圖5 第3個攝像頭部分跟蹤結果

實驗2：該組實驗在室內場景的不同視角下進行，通過第1個攝像頭提取目標特征構造字典，在另一攝像頭采集的視頻中對目標進行跟蹤。如圖6(a)所示，是在第1個攝像頭采集的視頻中手動框選的運動目標，圖6(b)是通過該運動目標得到的一系列目標模板。參數設置與實驗1相同。

圖6 獲取目標模板

在本實驗的第2個攝像頭采集的視頻中，對視頻的前幾幀圖像進行三幀間差分法，從而檢測出視頻中的運動目標，對應的檢測結果如圖7所示。該段視頻部分跟蹤結果如圖8所示。圓點線框為文中算法跟蹤結果，虛線框為OMP算法跟蹤結果，實線框為IVT算法跟蹤結果。

圖7 第2個攝像頭幀差法檢測結果

圖8 實驗2部分跟蹤結果

在該實驗中，由于光照條件相對平穩，OMP及IVT算法在跟蹤過程未丟失運動目標，但是存在不同程度的跟蹤漂移，而文中算法以稀疏表示理論為基礎，利用字典內原子間的關聯性，通過少量稀疏向量構造空間映射關系以表征候選目標集，保證了每個攝像頭下檢測到的初始目標及后續跟蹤目標具有較高的可信度。實驗結果表明，所提算法的目標重構精度以及跟蹤準確度更高。

另外，需要指出的是，文中算法通過降維處理在一定程度上降低了運算復雜度，但在模型的求解階段，由于需進行多次優化迭代以保證重構精度，而導致計算量增大；此外，為了提高跟蹤的穩定性以及準確度，算法以優先保證候選目標集的完整性為前提，增加了采樣粒子數，而粒子數的增多也直接影響了跟蹤的實時性。

3.2 實驗定量分析

為定量評估算法性能，分別采用x，y坐標誤差以及覆蓋率的最大值、最小值和均值對跟蹤效果進行分析說明。每幀跟蹤結果為RT，每幀的真實值為RG。式(16)是PASCAL VOC標準下的覆蓋率：

(16)

表1為IVT算法、OMP算法和文中算法跟蹤結果的中心坐標與真實值中心坐標間的誤差最大值、最小值和平均值。實驗1-1與實驗1-2分別表示實驗1中第2和第3個攝像頭下采集的測試視頻跟蹤數據。

表1 各個算法X、Y坐標最小、最大和平均值

表2為IVT算法、OMP算法和文中算法的跟蹤結果與真實結果進行比較后的覆蓋率的最大值、最小值以及平均值。

表2 各個算法覆蓋率的最小值、最大值和平均值

從表2中可以看出，文中算法在目標跟蹤過程中具有較高的準確度，而IVT算法與OMP算法在部分幀中出現了覆蓋率為0或近乎為0的情況，并且平均覆蓋率也相對較低。在實驗1的第2段視頻中，文中算法在中心坐標的x和y方向上的平均誤差在4個像素左右，而IVT與OMP算法在該段視頻下的跟蹤結果不理想，平均誤差較大；在第3段視頻中，文中算法中心坐標在x和y方向上的平均誤差在個位數，相對于IVT與OMP算法，具有較高準確度。在實驗2中，文中算法雖然在個別幀上的跟蹤出現了一定的誤差，但總體而言跟蹤精度相對比較穩定，而IVT與OMP算法，在實驗2的視頻中跟蹤精度不高。因此，無論是在室內還是室外環境，文中算法均能穩定地跟蹤到運動目標，并且具有較高的準確性與魯棒性。

4 結束語

針對跨攝像頭下不同視頻中亮度存在差異性，從而影響特征匹配準確度，導致跟蹤誤差較大的問題，文中根據不同攝像頭下的背景亮度差異性對待測目標進行光照補償。并在目標重構階段，引入改進后的BLOOMP算法求解稀疏系數，通過構造更為緊湊的相關帶來減少重構誤差；并在相關帶基礎上，結合原子權重系數對模板矩陣及時更新，以提高跟蹤精度。實驗結果表明，與主流算法相比，所提算法具有更高的準確性和魯棒性。