空時一致的視頻顯著性檢測

柳 林，張兆豐，吳澤民，張 磊

(1. 中國船舶重工集團公司第七二二研究所，湖北 武漢 430205；2.中國人民解放軍理工大學 通信工程學院，江蘇 南京 210007)

?

空時一致的視頻顯著性檢測

柳 林1，張兆豐2，吳澤民2，張 磊2

(1. 中國船舶重工集團公司第七二二研究所，湖北 武漢 430205；2.中國人民解放軍理工大學 通信工程學院，江蘇 南京 210007)

針對現有視頻檢測算法在空間和時間顯著度上一致性不足，提出了空時一致性模型。首先構造梯度流場，整合空間上的顏色對比度與時間上的目標運動信息。而后基于空時梯度流場構造全局對比度，綜合局部對比度和全局對比度，得到初始檢測結果。最后通過馬爾可夫隨機場，對其進行空時一致性優化，得到最終顯著圖。在3個公開數據集上的大量實驗表明，所提算法檢測性能較好，并且具有較強的魯棒性。

視頻顯著性；空時梯度流場；馬爾可夫隨機場；空時一致性

0 引言

近年來，越來越多的學者對人類視覺注意機制進行了深入研究，在生物學、心理學和計算機視覺等眾多領域取得了突破性進展。

目前針對圖像顯著性檢測研究已經比較深入，相對于圖像，視頻的顯著性檢測難度大，性能上還有很大提高空間。造成這一現象的主要原因是視頻顯著性檢測不僅包含空間顯著性，還要對復雜的運動特征，也就是時間顯著性進行處理。現有的視頻顯著性檢測算法缺乏對視頻顯著目標空時一致性的估計。

針對這一問題，本文首先參考文獻[1]對不同的視覺特征進行預處理，并利用梯度流場整合目標空間信息和目標運動構造全局對比度，綜合局部對比度和全局對比度，得到初始顯著檢測結果。而后為了更好地解決視頻顯著性空時一致性的問題，本文利用馬爾可夫隨機場(Markov Random Field，MRF)[2]，將時間一致性、觀測一致性以及空間緊致性結合在一起，得到最后的優化視頻顯著性檢測結果。最后在3個公開測試數據集上的實驗結果表明，本文提出的空時一致的視頻顯著性檢測模型具有較好的性能，優于目前主流算法。

1 空時顯著性檢測

1.1 空時梯度

在圖像顯著性檢測中[3]，通常采用顏色對比度衡量局部區域性差異。類似的，對于一段給定的視頻序列I={I1,I2,…}，首先對每一幀進行超像素分割預處理。這里選取簡單線性迭代聚類進行超像素分割，分割后的視頻幀保留明顯的目標邊緣、輪廓等原有的結構化信息。本文將空間上的結構信息和時間上的運動信息整合到顯著性檢測框架中，利用顏色梯度和光流梯度進行視頻顯著區域檢測。

(1)

(2)

為了突出運動信息對視頻顯著性的作用，構造負指數函數表示光流梯度對空時梯度場Gk的影響：

(3)

(4)

因此坐標位于(x,y)的超像素p的梯度流Ff(x,y)可以表示為：

(5)

至此，可以通過超像素p的梯度與鄰接梯度流構造其梯度流場：

A(p)=G(p)+min(Ff(x,y))

(6)

1.2 局部顯著性與全局顯著性

對比度在顯著性檢測中是一種常用的要素，很多現有的模型都利用局部區域與周圍的對比度進行顯著性檢測。

(7)

其中，pi和pj代表劃分后的超像素；R為對pi產生影響的局部超像素集合；dc(pi,pj)代表超像素pi和pj在顏色空間上的距離；ω(pi,pj)=exp{-dc(pi,pj)/σ2}，表示超像素pi和pj的距離權重，其中σ為權重控制參數。

局部對比度通過計算某一區域與周圍背景區域的平均距離來衡量局部顯著性。為了更加全面、準確地計算顯著性，本文綜合考慮顏色空間距離與梯度距離，提出了全局對比度來衡量全局顯著性。超像素p的全局顯著性表示為：

s.t.p′∈B

(8)

其中，ri和ri+1為相鄰超像素，A(ri)和A(ri+1)分別是ri和ri+1的梯度流場。顯然，如果超像素p位于顯著目標以外，很可能存在于背景相對更短的路徑中，而在這條路徑上的超像素在顏色空間和梯度上與背景對比度相差很小。反之，如果超像素p在顯著目標內部，與背景有較大差別，Cg(p)也會隨之增大。

為了綜合局部顯著性和全局顯著性，把Cl和Cg歸一化到[0,1]內，則超像素p的顯著性可以表示為：

S(p)=min{Cl(p),Cg(p)}

(9)

2 空時一致性優化

(10)

(11)

其中，Ωk代表第k個視頻幀所有可能的標簽集合；E(ψ;L1…k-1,O1…k)、E(ψ;O1…k)以及E(ψ)均為能量函數，分別代表同一位置的超像素在相鄰幀之間標簽的時間一致性、標簽與觀測特征之間的一致性和空間緊致性；Tt、To以及Tc都是常數。

2.1 時間一致性

對于相鄰的視頻幀，同一區域的顯著性應該相對一致。對于第k個視頻幀的超像素p，Np表示其臨近幀的所有相鄰超像素q的集合。時間一致性可以進一步表示為：

(12)

其中，Ek(p)表示在Np范圍內，對時間不一致標簽(例如，Lk(p)≠Lk-1(q))的懲罰函數。

超像素q的顯著標簽L(q)觀測特征服從伯努利分布P(L(q))=O(q)L(q)(1-O(q))1-L(q)，因此超像素q受到超像素p約束的概率為：

b(p,q)=O(q)ψ(q)(1-O(q))1-ψ(q)

(13)

因此超像素p與q之間的一致性可以表示為：

(14)

其中，A(·)表示利用式(6)得到的超像素的梯度流場。至此，參照文獻[2]，給出時間一致性能量函數：

(15)

2.2 觀測一致性

與時間一致性類似，本文用能量函數E(ψ;O1…k)衡量標簽與觀測特征之間的一致性：

(16)

2.3 緊致性

一般來說，如果某一超像素的臨近超像素都是顯著的，那么該超像素的顯著性應該增加。這種與空間緊致性的能量函數定義為：

(17)

(18)

其中,Φ(p)表示與超像素p臨近的超像素的顯著性，p+和p×分別表示p的一階相鄰和二階相鄰。

3 實驗結果及其分析

3.1 實驗設置

測試數據集：本文在NTT 、SegTrack 和VideoSal 3個公開數據集對所提出的算法進行測試。

對比算法：本文選用近年來主流的視頻顯著性檢測算法，包括：GD[5]、GF[1]、SP[6]以及RW[7]，與本文所提算法進行橫向比較。

評價指標：為了更加全面地衡量本文提出算法的檢測性能，通過P-R(Precision-Recall，準確度-召回率)曲線、F-measure、ROC(Receiver Operating Characteristics，接收者操作特性)曲線、AUC(Area Under ROC Curve，ROC曲線下面積)和MAE(Mean Absolute Error，平均絕對誤差)對所有算法進行評價。

本文所有試驗都是在MATLAB平臺上實現的，所應用的計算機配置為Intel E5-2620，CPU 2 GHz，96 GB RAM。

3.2 與其他經典算法的比較

圖2 不同算法的P-R曲線

圖3 不同算法的F-measure值

如圖1所示，本文在NTT、SegTrack以及VideoSal 3個公開數據集上，對包括本文所提算法在內的5種視頻顯著性檢測算法進行對比，每個測試視頻選取兩個視頻幀，給出了部分示例圖。

圖1 3個數據集上不同算法顯著性檢測示例圖

對比之下，本文所提算法魯棒性較強，綜合考慮空時梯度流場與空時一致性優化，增強了檢測結果的空時一致性，對于復雜環境、目標與背景對比度較小、攝像頭運動等多種場景，都有較為理想的檢測結果。

為了更加客觀地展現算法的性能，本文首先利用P-R曲線對所有算法進行評價。如圖2所示，在3個數據集上測試的結果顯示，本文所提算法與其他算法相比，檢測結果表現較好。

通常準確度和召回率難以同時保證，為了綜合評價顯著圖的質量，采用F-measure曲線進一步對所有算法進行評價。其實質是準確度和召回率的調和平均。如圖3所示。

由圖3給出的本文算法與其他算法的F-measure值比較，可以看出本文算法整體上優于其他算法。

為了進一步對所有算法進行比較，本文還分別計算了不同算法的ROC曲線。如圖4所示，ROC曲線可以很好地反映不同算法的正確率和誤警率。

為了更加直觀地反映不同算法的性能，本文利用AUC在一維空間上量化ROC曲線，其值在[0,1]范圍以內，越大代表性能越好。如圖5所示，本文所提算法在3個數據集上檢測性能較好。

最后，用MAE來衡量顯著圖與真值之間的相似程度，其值在[0,1]區間內，越小代表性能越好。如圖6所示給出了所有算法的MAE值。反映出本文所提算法在不同數據集上都與真值更加接近。

圖4 不同算法的ROC曲線

圖5 不同算法的AUC值

圖6 不同算法的MAE值

從上述評價指標的結果來看，本文所提算法與近年來主流算法相比，性能有所提升，而且在不同數據集上均有相對較好的表現。

4 結論

本文綜合考慮視頻空間上的結構信息與時間上的目標運動信息，構造空時梯度流場，并利用馬爾可夫隨機場進行空時一致性優化，有效地解決了目前算法對于視頻顯著度的空時一致性估計不足的問題。大量實驗說明本文模型能夠取得更好的檢測結果，有較強的魯棒性。

[1] WANG W, SHEN J, SHAO L. Consistent video saliency using local gradient flow optimization and global refinement[J]. IEEE Transactions on Image Processing, 2015, 24(10): 1-12.

[2] KHATOONABADI S H, VASCONCELOS N, BAJIC I V, et al. How many bits does it take for a stimulus to be salient[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, USA, 2015: 5501-5510.

[3] 劉杰, 王生進. 融合聚類與排序的圖像顯著區域檢測[J]. 清華大學學報(自然科學版), 2016,56(9):913-919.

[4] BESAG J. Spatial interaction and the spatial analysis of lattice systems[J]. Journal of the Royal Statistical Society, 1974, 36:192-236.

[5] WANG W, SHEN J, PORIKLI F. Saliency-aware geodesic video object segmentation[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, USA, 2015: 3395-3402.

[6] LIU Z, ZHANG X, LUO S, et al. Superpixel-based spatiotemporal saliency detection[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2014, 24(9): 1522-1540.

[7] KIM H, KIM Y, SIM J, et al. Spatiotemporal saliency detection for video sequences based on random walk with restart[J]. IEEE Transactions on Image Processing, 2015, 24(8): 2552-2564.

Video saliency detection by spatiotemporal consistency

Liu Lin1, Zhang Zhaofeng2, Wu Zemin2, Zhang Lei2

(1. No.722 Research Institute, China Shipbuilding Industry Corporation, Wuhan 430205, China;2.College of Communications Engineering, PLA University of Science and Technology, Nanjing 210007, China)

To cope with the lack of consistency between spatial and temporal saliency in existing video saliency detection algorithms, we propose the spatiotemporal consistency method. First the gradient flow field is structured to integrate color contrast and motion information. Then we construct global contrast with spatiotemporal gradient flow field. Taking local and global contrast into account, we can get the initial detection results. The final saliency maps are obtained by the spatiotemporal consistency optimization based on Markov random field. Extensive experiments on three datasets show that the proposed model has better detection performance and has strong robustness.

video saliency; spatiotemporal gradient flow field; Markov random field; spatiotemporal consistency

TN919.85

A

10.19358/j.issn.1674- 7720.2017.13.013

柳林，張兆豐，吳澤民，等.空時一致的視頻顯著性檢測[J].微型機與應用，2017,36(13)：42-45.

2017-01-12)

柳林(1970-)，男，學士，高級工程師，主要研究方向：軍事通信、數據分析處理。

張兆豐(1991-)，通信作者，男，碩士，主要研究方向：顯著性檢測。E-mail：zhangzhaofeng5@163.com。

吳澤民(1973-)，男，博士，副教授，主要研究方向：信息融合。