多模態特征聯合稀疏表示的視頻目標跟蹤

段喜萍, 劉家鋒, 王建華, 唐降龍

(1.哈爾濱工業大學 計算機科學與技術學院，黑龍江 哈爾濱 150001； 2.哈爾濱師范大學 計算機科學與信息工程學院，黑龍江哈爾濱 150025； 3.黑龍江省智能教育與信息工程重點實驗室，黑龍江 哈爾濱 150025)

多模態特征聯合稀疏表示的視頻目標跟蹤

段喜萍1,2,3, 劉家鋒1, 王建華2,3, 唐降龍1

(1.哈爾濱工業大學 計算機科學與技術學院，黑龍江 哈爾濱 150001； 2.哈爾濱師范大學 計算機科學與信息工程學院，黑龍江哈爾濱 150025； 3.黑龍江省智能教育與信息工程重點實驗室，黑龍江 哈爾濱 150025)

摘要：針對復雜跟蹤環境下，單模態方法不能很好地跟蹤目標的問題，提出了一種基于多模態特征聯合稀疏表示的目標跟蹤方法。該方法對每個候選樣本的多模態特征進行聯合稀疏表示，將各模態重建誤差之和用于計算候選樣本的觀察概率，并將具有最大觀察概率的候選樣本確定為目標。通過與其他一些流行跟蹤算法進行對比實驗，結果表明本方法在遮擋、光照變化等場景下均能可靠跟蹤，具有更好的跟蹤效果，從而驗證了方法的可行性。

關鍵詞：計算機視覺；視頻目標跟蹤；多模態；LBP；APG；模板更新；聯合稀疏表示

網絡出版地址：http://www.cnki.net/kcms/detail/23.1390.U.20151104.1636.006.html

唐降龍(1960-)，男，教授，博士生導師.

視覺目標跟蹤是計算機視覺中的熱點問題，已被廣泛應用于自動監控、汽車導航、高級人機交互等諸多領域。然而由于受到姿勢、形狀變化，雜波背景，亮度、視角變化，噪聲及遮擋等因素的影響，實現健壯的視覺目標跟蹤仍極具挑戰。現有的視覺目標跟蹤方法可被分類為產生式方法和判別式方法。產生式方法在一組候選目標中選擇似然值最大的候選目標作為跟蹤目標。其中，Ross等提出的IVT方法[1]遞增學習一個低維子域以適應目標的外觀變化。VTD方法[2]使用多個運動模型和多個外觀模型來擴展傳統的粒子濾波方法。判別式方法將跟蹤問題看作一個兩類別分類問題。其中，Boosting方法[3]通過在線特征選擇跟蹤目標。為避免跟蹤偏差，在線半監督boosting方法[4]使用未標記樣本提高分類性能；Babenko等人[5]將多示例學習引入到視覺目標跟蹤中。Zhang等人提出的CT算法[6]，利用壓縮感知，在壓縮域進行目標表示，具有實時跟蹤性能。

在前述各類方法中，絕大多數為單模態方法，即使用一種特征來表示目標，忽視了目標包含的其他豐富特征。實際上，不同模態特征具有不同特點：基于區域的特征，如全局灰度或全局紋理，較為敏感，但不適于處理遮擋；基于形狀的特征對噪聲敏感，但不適于目標的快速運動；顯著點特征適合于遮擋，但對目標本身的變化較為敏感[12]。而現有的多模態方法中，往往不能同時考慮到各模態特征之間差異與關聯。為解決前述問題，本文提出一種基于多模態特征聯合稀疏表示的跟蹤方法。在表示每一候選目標時，同時考慮該候選目標各模態特征之間的差異與聯系，通過求解具有2,1范型正則項的最小化問題，激活屬于同一目標模板的不同模態特征，聯合表示該候選目標，提高候選樣本的表示精度及整個跟蹤系統的性能。

1基于多模態特征聯合稀疏表示的跟蹤方法

1.1　多模態特征聯合稀疏表示及觀察概率

在視覺目標跟蹤中，為定位目標，關鍵是估計每個候選目標的觀察概率。下面將介紹多模態特征聯合稀疏表示，及如何獲取每個候選目標的觀察概率。

(1)

式中：w=[w1w2…wK]∈RJ×K為對應的稀疏表示矩陣，λ為平衡重建誤差與稀疏性的參數。這種表示有2個優點：1)使不同特征具有不同的稀疏表示，以反映它們間的差別；2)引入2,1正則項，使某些目標模板能夠聯合表示候選目標的不同特征，使與同一目標模板對應的稀疏系數聯合稀疏，以反映不同模態特征間的關聯。

考慮到跟蹤過程中可能的噪聲和遮擋，分別向各模態特征對應的目標模板集Tk中引入遮擋模板集Ik=I∈Rd×d，其中I為d維單位矩陣，每列為對應目標各像素位置的遮擋模板。指定Dk=[TkIk]∈Rd×(J+d)表示擴展后的對應于第k種模態特征的目標模板集。當發生遮擋時，目標同一位置的不同特征均會受到影響，與之對應的所有遮擋模板應被激活。因而，應對與同一位置的不同特征對應的遮擋模板對應的系數強加聯合稀疏正則項。這樣，式(1)可被擴展為

(2)

其中

(3)

其中,C為歸一化因子。

假設給定一組候選目標{y(1),y(2),…,y(N)}，則具有最大觀察概率的候選目標被確定為目標。

(4)

1.2　模板更新

跟蹤過程中，受到姿勢變化、亮度變化、遮擋等因素的影響，目標外觀可能發生變化。因而有必要對目標模板集進行更新以適應目標外觀的變化。本文在設計更新策略時考慮了如下3個因素：

1)一般來說，由于跟蹤的連續性和一致性，連續幀的目標外觀變化不大。

2)受到姿勢變化、遮擋等因素影響，目標外觀可能變化很大。

3)能確保第1幀的目標狀態是正確的。

綜合以上3點，本文采用一種簡單的更新策略：

1)保持第1幀的目標作為目標模板集中第1個目標模板T1，不更新；

(5)

否則不更新。

1.3　跟蹤算法

步驟1：初始化。

步驟2：從第2幀開始，不斷執行下列各步，直至最后一幀。

4)根據式(3)，計算每個候選目標y(t,i),i=1,2,…,N，的觀察概率P(y(t,i)|o)。

5)根據式(4)，估計第t幀的目標位置。

6)根據1.2節，更新目標模板集。

2實驗及分析

為驗證本文方法的有效性，以2模態特征為例進行了2組實驗。具體來說，第1組實驗對比了本文方法與基于單模態特征的跟蹤方法。第2組實驗對比了本文方法與基于多模態特征單獨稀疏表示的方法。實驗中，設置參數λ和τ的值分別為0.02和0.4。

為對比本文方法與單模態跟蹤方法，本文在圖像序列PETS上對比了基于單模態灰度稀疏表示的方法、基于單模態LBP紋理稀疏表示的方法、MIL[6]、CT[7]及本文的基于多模態特征(灰度+LBP紋理)聯合稀疏表示的方法，其中LBP紋理圖像可從灰度圖像計算得到。

(6)

式中：xi,i=1,2,…,P-1，表示像素xc的從左上角第1個像素開始，順時針方向第i個8鄰域像素值。由式(6)獲得的LBP紋理圖像中像素的取值范圍為0~127。

圖1　不同方法在PETS序列的第7、8、70以及107幀上的跟蹤結果Fig.1　Different methods in frames 7, 8, 70 and 107 of the PETS sequence

PETS圖像序列呈現了行走在馬路上的行人，先后經過一根電線桿及相向駛來的汽車，發生遮擋。在第一次經過電線桿發生遮擋時，采用基于灰度稀疏表示的方法產生偏差，并最終導致跟蹤失敗；而此時采用基于LBP紋理特征稀疏表示的方法，及本文的基于多模態特征(灰度+LBP紋理)聯合稀疏表示的方法能夠繼續跟蹤。仔細觀察，可以發現電線桿灰度特征和周圍環境差別很小，并且行人的灰度特征不顯著，因而在電線桿遮擋行人的數幀中，灰度特征分辨力變弱，從而導致偏差，并最終失敗，如圖1第7、8幀所示。在第50幀附近，相向駛來的汽車遮擋行人，此時LBP紋理特征的分辨力變弱，造成跟蹤偏差，而本文方法能繼續跟蹤，如圖1第70、107幀所示。可以看出本文的基于多模態特征聯合稀疏表示的方法能夠根據跟蹤環境自適應地選擇最具分辨力的特征進行跟蹤，從而提高跟蹤精度和魯棒性。圖1也給出MIL和CT的跟蹤結果，可以看到，這2種方法在第7、8、70及107幀上產生了較大偏差。

為進一步衡量本文方法的有效性，圖3(a)給出了本文方法與前述單模態方法的位置誤差曲線。可以看到：基于單模態灰度與單模態紋理的方法先后產生偏差，并最終跟蹤丟失；MIL和CT在跟蹤開始就產生較大偏差；而本文方法偏差較小，效果較為理想。

為對比本文方法和基于多模態單獨稀疏表示的方法，本文對比了2種方法在singer1圖像序列上的跟蹤結果。

(a)本文方法與單模態跟蹤方法的誤差曲線圖

(b)本文方法與基于多模態單獨稀疏表示的跟蹤方法的誤差曲線圖圖2　位置誤差曲線圖Fig.2　The position error curves

在singer1圖像序列中，一位女歌手站在立式麥克風前全情投入地演唱歌曲，并伴隨著音樂旋律而自然舞動。女歌手位置沒有移動，但相對鏡頭有相對移動，這種情況下2種方法都具有較為理想的跟蹤結果，如從第2幀到第106幀。然而從第107幀開始，在大約連續25幀中，舞臺出現燈光的明暗變化。這種情況下，受到光照變化的影響，基于多模態特征單獨稀疏表示的方法，產生的稀疏模式(稀疏系數)不可靠。而本文方法能夠產生更為可靠的稀疏模式，從而得到更好的跟蹤精度和結果。圖3給出了有代表性的4幀結果。可以看到，以第2幀為代表的各幀，沒有受到燈光明暗變化的影響，2種方法均具有較好的跟蹤結果；以第109和131幀為代表的各幀，受光照變化的影響，本文方法能夠產生更為可靠的結果。之后各幀中，二者結果相當，本文方法略好。

圖3　2種方法在singer1序列的第2、109、131以及217幀上的跟蹤結果比較Fig.3　The tracking results comparison between two methods in frames 2, 109, 131 and 217 of singer1 sequence

本文方法與基于多模態單獨稀疏表示的跟蹤方法的位置誤差曲線如圖3(b)所示。可以看到：從107幀到131幀，受光照變化影響，基于多模態單獨稀疏表示方法產生的稀疏模式不穩定，偏差較大；本文方法能夠產生更為可靠的稀疏模態，從而具有更好的跟蹤性能。

相比于其他跟蹤算法，基于稀疏表示跟蹤算法的劣勢在于其跟蹤的時間開銷大[9]，而多模態稀疏表示涉及到多模態特征提取及多模態特征稀疏求解，其計算復雜度進一步提高，時間開銷進一步加大。

3結束語

本文提出了一種基于多模態特征聯合稀疏表示的目標跟蹤方法。該方法考慮了目標表示的多模態特征，及它們之間的差異與關聯，更為準確地表示了每個候選目標，從而準確地估計各候選目標的觀察概率。本文的貢獻有3個方面：

1)引入目標的多模態特征表示，實現了跟蹤過程中多模態特征的互為補充，適合于跟蹤環境的變化；

2)充分考慮了不同模態特征的差異與關聯，更準確地表示了候選目標；

3)采用一種較為簡單的策略實現目標模板的更新。通過2組實驗的比較，本文方法較單模態跟蹤方法及基于多模態特征單獨稀疏表示的方法具有更好的性能。

參考文獻：

[1]ROSS D A, LIM J, LIN R S, et al. Incremental learning for robust visual tracking[J]. International Journal of Computer Vision, 2008, 77(1-3): 125-141.

[2]KWON J, LEE K M. Visual tracking decomposition[C]//2010 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). San Francisco,USA, 2010: 1269-1276.

[3]GRABNER H, GRABNER M, BISCHOF H. Real-time tracking via on-line boosting[C]//Proceedings of BMVC. Edinburgh, 2006: 47-56.

[4]GRABNER H, LEISTNER C, BISCHOF H. Semi-supervised on-line boosting for robust tracking[M]//Computer Vision-ECCV 2008. Berlin: Springer, 2008: 234-247.

[5]BABENKO B, YANG M H, BELONGIE S. Robust object tracking with online multiple instance learning[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(8): 1619-1632.

[6]ZHANG K, ZHANG L, YANG M H. Real-time compressive tracking[C]//European Conference on Computer Vision. Florence, Italy, 2012: 864-877.

[7]MEI Xue, LING Haibin. Robust visual tracking and vehicle classification via sparse representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(11): 2259-2272.

[8]MEI Xue, LING Haibin, WU Yi, et al. Minimum error bounded efficient1tracker with occlusion detection[C]//2011 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Colorado Springs,USA, 2011: 1257-1264.

[9]LI H, SHEN C, SHI Q. Real-time visual tracking using compressive sensing[C]//2011 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Colorado Springs, USA, 2011: 1305-1312.

[10]WU Yi, BLASCH E, CHEN Genshe, et al. Multiple source data fusion via sparse representation for robust visual tracking[C]//2011 Proceedings of the 14th International Conference on Information Fusion (FUSION). Chicago,USA, 2011: 1-8.

[11]DUAN Xiping, LIU Jiafeng, TANG Xianglong. Multi-cue visual tracking based on sparse representation[M]//Intelligence Science and Big Data Engineering. Berlin: Springer, 2013: 427-434.

[12]WANG Yuru, TANG Xianglong, CUI Qing. Dynamic appearance model for particle filter based visual tracking[J]. Pattern Recognition, 2012, 45(12): 4510-4523.

[13]YUAN Xiaotong, LIU Xiaobai, YAN Shuicheng. Visual classification with multitask joint sparse representation[J]. IEEE Transactions on Image Processing, 2012, 21(10): 4349-4360.

Visual target tracking via multi-cue joint sparse representation

DUAN Xiping1,2,3，LIU Jiafeng1，WANG Jianhua2,3，TANG Xianglong1

(1. School of Computer Science and Technology, Harbin Institute of Technology, Harbin 150001, China; 2. College of Computer Science

and Information Engineering, Harbin Normal University, Harbin 150025, China; 3. Heilongjiang Provincial Key Laboratory of Intelligence Education and Information Engineering, Harbin 150025, China)

Abstract：The single feature usually cannot distinguish the target from background well in the complex environment, and thus a multi-cue joint sparse representation based tracking method was proposed. The multi-cue features of each candidate target were represented sparsely and jointly, and the sum of their reconstruction errors was used to compute the observation probability of each candidate. The candidate with maximum observation probability was determined to be the target. Comparative experiments with other state-of-the-art tracking algorithms show that the proposed method can reliably track in various scenarios such as occlusion and illumination variation. It has better tracking performance, which verifies the feasibility of the proposed method.

Keywords：computer vision; visual target tracking; multi-cue; local binary pattern; accelerated proximal gradient; template updating; joint sparse representation

通信作者：段喜萍，E-mail: xpduan1999@126.com.

作者簡介：段喜萍(1980-)，女，講師，博士研究生；

基金項目：國家自然科學基金資助項目(61173087)；黑龍江省教育廳科學基金資助項目(12541238).

收稿日期：2014-12-04.網絡出版日期：2015-11-04.

中圖分類號：TP391

文獻標志碼：A

文章編號：1006-7043(2015)12-1609-05

doi:10.11990/jheu.201412012