基于弱特征重識別的多目標長效摘要

石亞玲，劉正熙，熊運余，李 征

(四川大學 計算機學院，四川 成都 610000)

0 引 言

在當今的信息社會，監控攝像頭已經遍布大街小巷。但是如何在發生異常情況之后在海量的監控視頻中查找事件產生的原因，即在原始的視頻流中找到感興趣的視頻內容形成緊湊的摘要，這些摘要簡短便于組織、能夠快速瀏覽檢索對象。對此，國內外對視頻摘要技術進行了研究，提出了一些較為成熟的摘要系統，如哥倫比亞大學設計的VideoQ[1]系統、FX PaloAlto實驗室提出的VideoManga[2]系統、國防科技大學開發的Videowser[3]系統。視頻摘要[4-5]研究領域主要分為視頻概略以及視頻梗概(視頻概述、精彩片段)。阿姆斯特丹大學設計的Goalgle[6]足球視頻搜索引擎，通過Web端搜索視頻找到足球場上紅牌、黃牌、進球和換人等事件，也可以針對特定的足球運動員進行搜索操作，以獲得單個運動員的運動事件。在視頻概略中基于對象的視頻摘要技術[7],即通過目標跟蹤獲取目標的連續信息，將不同時刻出現的目標顯示在同一畫面中，如果目標檢測不準確、跟蹤的連續性較低，則會導致摘要斷裂、重復等。

而在跟蹤過程中，背景的復雜以及人本身的遮擋、變形使得目標的長效跟蹤變得很困難。文獻[8]融合目標的顏色、紋理、運動信息進行相似度比對；文獻[9]定義目標的遮擋類型，根據不同的類型采取不同的方法以提高魯棒性；文獻[10]聯合目標的顏色、紋理特征并使用卡爾曼濾波預測-跟蹤的方案減少遮擋的影響；而文獻[11-12]加入目標的顯性特征同時增加目標的搜索區域，從而解決目標的遮擋問題。

文中針對在視頻摘要中目標信息不連續的問題，提出在基于JPDA的跟蹤下加入顏色和紋理特征進行重識別，當目標被穩定跟蹤時提取目標的顏色和紋理特征，并且隨著時間變化進行更新，當發生遮擋時不進行更新。通過增加目標運動方向的搜索范圍使得目標再次出現時能被識別從而獲得目標的長效摘要，使得視頻概略中目標的連續性更高。

1 多目標關聯算法

進行多目標跟蹤最重要的算法就是數據關聯算法[13]，在真實的情況中存在許多影響關聯準確性的外部因素。而聯合概率數據關聯(joint probabilistic data association，JPDA)是目前公認的在雜波環境下對多目標進行跟蹤的最理想的方法之一。其主要思想是當某測量在多個目標的候選區域內，即測量可能源于多個目標。JPDA的目的就是計算每一個測量與其可能源于的所有目標的關聯概率，且認為所有的有效測量都可能源于某個特定目標，只是它們源于不同目標的概率不同，源于某目標概率最高的測量即成功匹配。聯合概率數據關聯算法具有良好的性能，但是該算法中，聯合事件數是所有候選測量的指數函數，并隨著量測密度的增大而迅速增大，致使出現組合爆炸現象。文中使用的JPDA算法[14]改進了計算復雜度，在聯合事件數進行爆炸式增長時，選擇最優的100種假設進行聯合概率的計算，大大減少了復雜場景下的計算率。

(1)

聯合數據關聯空間Θ的定義為滿足以下幾種條件的所有可能的測量與目標的組合：

(1)每個檢測(除了丟失的情況即i=0)至多分配一個目標；

(2)一個目標只能分配一個檢測。

這個空間集合通過一系列的二進制向量表示為：

(2)

其中，|Θ|=：nh為聯合分配的總數；θ∈Θ?BN×(M+1)為數據關聯問題的一種可能的解決方案的二進制向量。

(3)

其中

(4)

2 多目標跟蹤算法

由以上獲得目標聯合概率的方式可知，在計算目標的聯合概率時利用了卡爾曼濾波的預測位置以及當前的目標位置。而卡爾曼濾波僅針對線性運動，在真實的運動場景中目標可能會與原來的運動方向有所偏差，并不是線性運動。因此僅根據聯合概率進行目標關聯會使得跟蹤效果缺乏魯棒性，由此介紹基于位置預測結合弱特征的匹配關聯模型。

希望在改進目標的跟蹤魯棒性的同時能兼顧實時性能，故選取的特征都是具有代表性并且計算復雜度較低的。在圖像中，顏色特征能夠描述目標的全局特征，對目標形變，旋轉不敏感，但是當背景顏色相似、光照強度大以及存在遮擋時影響較大。紋理特征描述圖像區域的本質屬性，對光照變化、噪聲有較強的適應性，具有旋轉不變性。通過兩個特征的互補可以適應復雜情景，實現更為魯棒的跟蹤。其中對顏色特征，選取顏色直方圖，將RGB空間轉換為HSV空間，減少光照的影響。

2.1 LBP特征提取

紋理是圖像灰度和色彩在空間上的變化和重復，它體現了物體表面的具有緩慢變化或者周期性變化的表面結構組織排列屬性，通過像素及其周圍空間鄰域的灰度分布來表現，即局部紋理信息。LBP(local binary pattern,局部二值模式)是一種描述圖像局部紋理特征的算子。文中使用的紋理特征為具有旋轉不變性的LBP算子：在以R為半徑的圓形區域內選取P個采樣點，若周圍像素值大于中心像素值，則該像素點的位置標記為1，否則為0。這樣將得到一個LBP算子，而當圖像發生旋轉時，只要LBP算子的值不為全0或全1，LBP算子的值會發生改變。不斷地旋轉圓形鄰域將得到一系列的LBP值，然后取其最小值作為該鄰域的LBP值。

(5)

其中，gc表示中心的像素值；gi表示周圍的像素值。

(6)

其中，ROR表示通過向右移位取不同的LBP。

計算目標的紋理特征直方圖時，用矩形區域表示跟蹤目標。使用半徑為R的有P個采樣點的LBP算子，目標模型的像素點總數為n，將目標的紋理特征空間均勻分成2P個直方圖區間，目標模型的直方圖表示為ht，則目標模型的直方圖由下式計算：

(7)

其中，m()為求旋轉不變LBP值的函數；hist()表示將矩陣轉換為直方圖。

由于LBP特征以直方圖形式表征,因此可以使用卡方統計來度量兩個LBP特征之間的差異,即

(8)

其中，S和M分別為LBP直方圖特征向量。

在跟蹤過程中，若光照發生改變或目標發生旋轉，可以保持目標的特征函數不變，增加目標函數匹配度，提高跟蹤的準確性。

2.2 基于顏色和紋理的JPDA算法

由于卡爾曼濾波無法預測非線性運動，若目標被遮擋進行非線性運動，利用聯合概率進行關聯很可能會關聯不是由此目標產生的測量，錯誤的關聯將導致當前幀兩個目標都發生錯誤匹配，并且在后續的過程中無法糾正。而加入了弱特征的JPDA算法根據丟失幀數加大搜索范圍，即在目標的運動方向的半個圓內搜索量測進行特征匹配，極大地避免了目標遮擋所帶來的跟蹤錯誤。

圖1 在候選區域周圍增大搜索范圍示意

圖中A為丟失匹配前的最后位置，箭頭所指方向為目標出現第一幀位置與A位置的連線方向。由于真實情況中被遮擋目標折返的情況比較少，搜索方向為與目標運動方向垂直的半個圓的方向，距離為丟失時的運動速度乘以丟失的幀數。

為了避免JPDA因測量距離目標較近使得聯合概率變大導致跟蹤錯誤，對在閾值范圍內的檢測和目標的特征匹配，增加目標跟蹤的準確性，同時由于顏色直方圖和紋理特征計算簡單，仍能使得算法實時性保持良好。加入弱特征的JPDA算法流程如下所示：

(1)將第一幀的檢測作為初始跟蹤目標。

(4)若目標被連續跟蹤不小于3幀，則計算目標的顏色和紋理特征，保存為特征模板。目標被穩定跟蹤并且匹配的檢測并未與其他檢測有重疊部分，則認為該目標為單獨目標，并且特征模板與當前幀目標特征對比在閾值范圍內，則更新特征模板的值。

(5)將在丟失的目標的搜索范圍內并未匹配其他目標的量測與該目標的特征值進行比對，若顏色直方圖相關系數大于α且紋理直方圖差異小于β，則認為該檢測為此目標產生，更新目標的狀態；若兩個特征比對只滿足一個條件，則該檢測被認為是此目標的子目標，在后面的跟蹤過程中再進行特征比對，防止測量被物體遮擋只露出一部分的情況。當前幀所有目標狀態更新完成即進入步驟2，進行下幀跟蹤。

3 實驗結果及分析

使用Matlab2015b進行仿真，實驗圖片序列來自于TUD-campus與TUD-stadtmitte，是以較低的視角拍攝的大學以及街道的圖片。檢測結果均來自DPM(deformable parts model)[15]，然后使用該算法進行跟蹤。為了測試算法的優劣，對上述圖片進行測試，并對仿真的結果進行比較和分析。為了方便觀察，只給出了部分會發生遮擋的目標的跟蹤結果。

3.1 較長距離遮擋實驗

圖2中，實驗的測試序列為一組學校道路的圖像，TUD-campus總共由71張640×480的圖片組成。在這組圖像中拍攝的角度為人的側面，由于攝像機的角度問題會使得目標運動時發生遮擋。當目標在第5幀時，原算法及文中算法均能跟蹤目標，此時目標未發生遮擋，兩種算法均識別為目標2；第20幀時發生遮擋，但由于遮擋時間較短且為線性運動，根據卡爾曼濾波的預測，兩種算法也均能識別目標2；當目標隨后被完全遮擋40幀(即檢測不出此目標)之后再次出現時，原算法將原目標2識別為新目標19，原目標與預測位置的距離超過丟失閾值后則認為丟失，形成了兩條目標摘要。而文中算法增加了搜索區域，只要目標的丟失幀數小于消失閾值45都會進行重識別，將與丟失目標運動方向一致且在搜索范圍內測量的特征進行對比，從而實現目標的重識別。

3.2 相同顏色遮擋實驗

圖3中，實驗的測試序列TUD-stadtmitte由179張640×480的JPG圖片組成，為一組在商店門口拍攝的圖片序列，目標在運動過程中會出現被穿有相似顏色衣服的人遮擋的情況。由對比圖片可知，在第4幀時兩種算法均識別目標1；而當目標被穿有相似顏色衣服的人遮擋之后再次出現時即第49幀，由于原算法將未與其他檢測匹配的目標認為是新目標，故識別為新目標14，而文中算法將新出現的目標與丟失的目標進行特征匹配識別為目標1；在第68幀目標再次被遮擋之后，原算法根據距離最近的檢測匹配識別為目標13，而文中算法將量測與在距離閾值內所有的丟失目標進行特征對比并且選擇匹配度最高的目標匹配，故識別為目標1。

圖3 相同顏色遮擋實驗

3.3 實驗對比分析

對兩種算法下獲得的總摘要數和正確摘要數進行了分析和對比，如表1所示。

表1 算法的結果對比

表1中的實際摘要數是數據集中實際存在的軌跡數，而總摘要數是最后的跟蹤結果中記錄的目標位置大于兩幀的軌跡數，只記錄一幀位置軌跡被認為是誤檢且不認為是真實目標軌跡。正確摘要數指當目標離開畫面時的ID與進入畫面的ID是相同的，即認為目標被正確跟蹤。

通過比較得出，文中算法較原算法減少了總摘要數，增加了正確摘要數。在TUD-campus圖片序列中，有三個目標出現時一直重疊在一起，檢測時只能識別為一個目標，則獲得一個目標的摘要，無法判斷為三個目標。在TUD-stadtmitte中，存在一個目標提取特征時為目標側面而遮擋之后再出現時為目標正面，由于目標的自旋轉導致特征匹配度下降，匹配失敗，從而導致無法獲得連續的目標摘要。

4 結束語

在現實生活場景中，常常存在目標與背景顏色相似的情況或者目標被遮擋的情景。利用傳統的跟蹤算法無法對目標進行準確的跟蹤，而文中利用目標的顏色特征和紋理特征對目標進行描述，避免了背景與目標顏色相似時的跟蹤錯誤。并且當目標丟失時根據運動目標的速度增大搜索區域以解決目標遮擋問題。通過實驗證明，該算法有更好的魯棒性。未來將考慮利用目標更多有效的、互補性強的特征，使得在復雜場景的跟蹤更加準確。

參考文獻:

[1] CHANG S F，CHEN W，MENG H J，et al．VideoQ:an automatedcontent based video search system using visual cues[C]//Proceedings of the 5th ACM international conference on multimedia．Seattle,Washington,USA:ACM，1997:313-324.

[2] UCHIHASHI S，FOOTE J，GIRGENSOHN A，et al．Video manga:generating semantically meaningful video summaries[C]//Proceedings of the seventh ACM international conference on multimedia.Orlando,Florida,USA:ACM,1999:383-392.

[3] 吳玲琦，李國輝．視頻結構化瀏覽和查詢系統:Videowser[J]．小型微型計算機系統，2001，22(1):112-115.

[4] KIM E Y,PARK S H.Automatic video segmentation using genetic algorithms[J].Pattern Recognition Letters,2006,27(11):1252-1265.

[5] 王 娟,蔣興浩,孫錟鋒.視頻摘要技術綜述[J].中國圖象圖形學報,2014,19(12):1685-1695.

[6] SNOEK C G M，WORRING M．Time interval maximum entropy based event indexing in soccer[C]//Proceedings of IEEE international conference on multimedia and expo．[s.l.]:IEEE，2003:481-484.

[7] 劉松濤,殷福亮.基于圖割的圖像分割方法及其新進展[J].自動化學報,2012,38(6):911-922.

[8] TAKALA V,PIETIKAINEN M.Multi-object tracking using color,texture and motion[C]//IEEE conference on computer vision and pattern recognition.Minneapolis,Minnesota,USA:IEEE,2007:1-7.

[9] 張彥超,許宏麗.遮擋目標的分片跟蹤處理[J].中國圖象圖形學報,2014,19(1):92-100.

[10] 謝建超.基于多特征聯合的多目標跟蹤的研究[D].哈爾濱:哈爾濱工業大學,2015.

[11] 姚原青,李 峰,周書仁.基于顏色-紋理特征的目標跟蹤[J].計算機工程與科學,2014,36(8):1581-1587.

[12] 田 浩,巨永鋒,王 培.改進的抗遮擋MeanShift目標跟蹤算法[J].計算機工程與應用,2016,52(6):197-203.

[13] 魏 祥,李 穎,駱榮劍.數據關聯算法綜述[J].無線互聯科技,2016(11):101-102.

[14] REZATOFIGHI S H, MILAN A, ZHANG Z, et al.Joint probabilistic data association revisited[C]//IEEE international conference on computer vision.[s.l.]:IEEE,2016:3047-3055.

[15] FELZENSZWALB P F,GIRSHICK R B,MCALLESTER D,et al.Object detection with discriminatively trained part-based models[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2010,32(9):1627-1645.