結合加權Schatten-p范數與3D全變分的前景檢測

陳利霞 劉俊麗 王學文

摘 要：針對低秩與稀疏方法一般將前景看作背景中存在的異常像素點，從而使得在復雜場景中前景檢測精確度下降的問題，提出一種結合加權Schatten-p范數與3D全變分（3D-TV）的前景檢測模型。該模型首先將觀測數據三分為低秩背景、運動前景和動態干擾;然后利用3D全變分來約束運動前景，并加強對前景目標時空連續性的先驗考慮，有效抑制了不連續動態背景異常點的隨機擾動;最后利用加權Schatten-p范數約束視頻背景的低秩性能，去除噪聲干擾。實驗結果表明，與魯棒主成分分析（RPCA）、高階RPCA（HoRPCA）和張量RPCA（TRPCA）等模型相比，所提模型的綜合衡量指標F-measure值是最高的，查全率與查準率也處于最優或次優狀態。由此可知，所提模型在動態背景、惡劣天氣等復雜場景中能有效提高運動目標的提取精確度，且提取的前景目標視覺效果較好。

關鍵詞：?低秩稀疏分解;前景檢測;加權Schatten-p范數;3D全變分

中圖分類號：TP391.4

文獻標志碼：A

文章編號：1001-9081（2019）04-1170-06

Abstract： In view of the fact that the low rank and sparse methods generally regard the foreground as abnormal pixels in the background， which makes the foreground detection precision decrease in the complex scene， a new foreground detection method combining weighted Schatten-p norm with 3D Total Variation （3D-TV） was proposed. Firstly， the observed data were divided into low rank background， moving foreground and dynamic disturbance. Then 3D total variation was used to constrain the moving foreground and strengthen the prior consideration of the spatio-temporal continuity of the foreground objects， effectively suppressing the random disturbance of the anomalous pixels in the discontinuous dynamic background. Finally， the low rank performance of video background was constrained by weighted Schatten-p norm to remove noise interference. The experimental results show that， compared with Robust Principal Component Analysis （RPCA）， Higher-order RPCA （HoRPCA） and Tensor RPCA （TRPCA）， ?the proposed model has the highest F-measure value， and the optimal or sub-optimal values of recall and precision. It can be concluded that the proposed model can better overcome the interference in complex scenes， such as dynamic background and severe weather， and its extraction accuracy as well as visual effect of moving objects is improved.

Key words： low-rank and sparse decomposition; foreground detection; weighted Schatten-p norm; 3D total variation

0?引言

視頻中運動目標檢測在計算機視覺、目標跟蹤以及監控安防等領域有極其重要的作用。由于現實場景的復雜多變，使得前景目標檢測變得很有挑戰性。近期，低秩和稀疏表示方法在前景檢測領域應用很廣泛，魯棒主成分分析（Robust Principal Component Analysis， RPCA）[1-2]就是其中的一種。該模型將視頻數據分為低秩背景和稀疏前景兩部分，模型簡單且求解高效，因此被廣泛應用于運動目標檢測領域。但是RPCA模型的前提假設是背景靜止或幾乎靜止，而當背景中出現動態變化時，提取效果就會減弱。

近年來學者們對該模型進行了有效的改進：Rezaei等[3]提出一種快速穩定的矩陣填充模型（Fast Robust Matrix Completion， FRMC），極大地提高了對背景建模問題的求解速度;Xie等[4]提出了加權Schatten-p范數最小化（Weighted Schatten p-Norm Minimization， WSNM）模型，進一步提高了背景建模在復雜場景中的穩定性;Lu等[5]提出張量RPCA（Tensor RPCA， TRPCA）模型，利用一種新的張量核范數對背景建模，能精確恢復背景;Goldfarb等[6]提出高階魯棒主成分分析（Higher-order RPCA， HoRPCA）模型，考慮了不同張量模展開矩陣的內部相關性;Pang等[7]將顯著性圖與RPCA結合，提出一種基于增量低秩的方法;Ebadi等[8]提出用動態樹結構的稀疏矩陣去建模前景;Bhattacharya等[9-10]提出全變分正則化的RPCA方法，加強了對前景的約束。雖然這些基于矩陣和基于張量的方法均取得了一定的成果，但RPCA模型對含有動態背景的視頻處理仍有缺陷，許多方法還不夠成熟，穩定性不高。在復雜場景中構建有效的前背景模型仍具有一定的難度。

基于以上方法的討論，本文充分利用前景的時空連續性和背景的高度相關性，提出一種結合加權Schatten-p范數和3D全變分（3D Total Variation， 3D-TV）的視頻前景檢測模型。該模型利用3D全變分在時空中的光滑特性來建模前景目標，考慮了運動目標在時間和空間上的持續性，有效地抑制了離散動態背景對連續運動前景造成的干擾，提高了前背景在動態場景中的分離精確度;同時利用加權Schatten-p范數替代RPCA中的秩函數對背景進行低秩約束，從而有效地重構背景，使得其在動態復雜背景中具有較好的魯棒性。

1?RPCA模型

2?本文模型的建立

本文利用3D全變分正則化方法增強前景的時空連續性，提高了動態背景與運動前景的分離效果，同時利用比核范數具有更佳低秩逼近的加權Schatten-p范數來對背景作低秩約束，從而有效地檢測復雜背景下的運動目標。

2.1?前景建模

視頻前景可以看作為視頻中的顯著性運動目標，占據了視頻幀中小部分的空間連續區域。另外，前景目標的運動軌跡在時間上是光滑的，因此可以得知需要檢測的視頻前景目標在時空域上具有連續性和光滑性的特征。視頻中顯著但卻很小的物體運動，例如飄落的雪花、晃動的樹葉等，在時空域分布上呈現為類似噪聲特性，是不需要檢測的。在數學上，全變分具有平滑信號的功能，對信號中存在的不連續變化具有較強的抑制性能，全變分正則項在圖像和視頻去噪方面應用廣泛[11]。因此，通過3D全變分模型[12]可以有效地抑制由動態背景造成的隨機擾動。視頻序列可以通過3維張量來表示，即

全變分將視頻圖像中因動態背景產生的隨機變化判為噪聲去除，提高了模型在復雜場景中的穩定性，能更精確地提取前景。

2.2?背景建模

由于視頻背景具有很高的相關性，因此對背景部分X1可作低秩約束，傳統的RPCA模型利用核范數來凸松弛矩陣的低秩部分，但核范數定義為矩陣的所有奇異值之和，沒有考慮到每個奇異值對秩的不同影響。加權Schatten-p范數[4]是通過融合Schatten-p范數與加權核范數得到的更一般的秩近似函數，考慮了不同秩的實際物理意義，因此本文利用加權Schatten-p范數進行低秩矩陣估計，其表達形式為：

4?實驗與結果分析

4.1?仿真實驗

為驗證本文算法的性能，從CD.net測試數據集[16]中選取5組128×128×128的視頻序列Fall、Overpass、Fountain02、Blizzard、SnowFall進行測試，并在相同條件下與HoRPCA[6]、RPCA[2]、FRMC[3]和TRPCA算法[5]從主觀和客觀兩方面進行比較。所有實驗的運行環境為Matlab 2014a，Inter Core i5-6500處理器，8GB的內存，Windows 10 64位操作系統。得到的視覺實驗結果如圖1～2所示。

從圖1～2可看出，視頻Fall和Overpass為背景中有樹葉大幅度晃動的場景;Fountain02中有動態噴泉遮擋且檢測目標離監控攝像機較遠;Blizzard和SnowFall為雨雪天氣，覆蓋的白雪使得前背景分離變得困難，而飄落的雪花也易被檢測為運動目標。選取的5組實驗視頻均為生活中常見的復雜場景。

分析比較可知，在圖1中，HoRPCA提取的運動目標受動態背景干擾較大，提取的前景目標中含有的動態背景部分是最多的;RPCA和TRPCA提取前景精確度較差，運動目標中存在的空洞現象最為嚴重;FRMC與本文算法提取的運動目標都較為完整，但本文算法對動態背景的干擾去除更為明顯，同時提取的運動目標精確度較高，整體取得最佳的檢測效果。

圖2給出了3段不同幀的SnowFall視頻測試，從中可看出：HoRPCA、RPCA與TRPCA將飄落的雪花誤判為運動前景，使得背景中存在較多的噪點，同時由于白雪的覆蓋降低了前背景區分度，使得提取的目標也較為空洞;FRMC模型有效降低了飄落的雪花造成的誤判，但卻將鄰近背景錯分為運動區域而降低了前景目標的提取精度;本文算法在整個視頻處理中較好地分離出前景與背景，去除了動態背景產生的噪聲，提高了前景運動目標的提取精確度。

4.2?量化對比以及結果分析

在客觀上為了更準確地評估算法之間的性能，本文參考文獻[17-18]，用三種客觀指標：查全率、查準率，以及它們的綜合評價指標F-measure來評價視頻前景檢測的效果。查全率和查準率的定義分別為：

其中：tp表示檢測出的正確前景像素點; fn表示錯檢為背景的前景像素點; fp表示錯檢為前景的背景像素點。由于查全率只能反映丟失運動目標的內部信息的相關性， 查準率只能反映丟失目標外部信息的相關性，且兩者指標值有時會出現矛盾的情況，因此采用它們的調和平均值F-measure來綜合判斷提取效果：F-measure=2×查準率×查全率查準率+查全率（19）

所有的評價指標都在0～1，且指標值越高，得到的結果越精確。

本文算法和其他4種對比算法進行實驗，得出的相關指標如圖3～4和表1所示。圖3和圖4分別選取視頻Fall和視頻Blizzard中12個代表幀，每個相隔8幀，計算各個代表幀的查全率、查準率和綜合指標F-measure值。由圖3（a）可看出，本文算法的查全率與FRMC大致相同，但遠遠高于其他3種算法;圖3（b）中FRMC和HoRPCA的查準率低于本文算法，RPCA與TRPCA的查準率稍高于本文算法;由圖3（c）可看出本文算法的綜合指標F-measure值均高于其他算法。從圖4（b）可看出除HoRPCA的查準率較低以外，其他算法查準率相差不大，但從圖4（a）、（c）中看出本文算法的查全率和F-measure值均高于其他算法。因此本文算法的綜合檢測效果最好。

表1中給出5個視頻的查全率、查準率、F-measure和平均每幀的運行時間。可看出，本文算法的查全率均處于次優，查準率（除Blizzard處于次優外）和F-measure均處于最優。說明本文算法在抑制動態背景產生的噪聲以及目標提取的完整度和精確度方面的綜合效果較好;但是由于本文模型在計算中較為耗時，因此在耗時方面僅低于HoRPCA算法。

5?結語

本文提出一種結合加權Schatten-p范數與3D全變分的視頻前景檢測模型。該模型以RPCA理論為基礎，用加權Schatten-p范數替代秩函數對視頻背景作低秩約束，又利用全變分正則項約束運動目標在時間和空間上的連續性，有效地抑制由動態背景造成的隨機擾動，降低了背景誤判，提高了前景檢測的精確度。實驗結果表明，與經典算法以及目前最新算法相比，本文算法的性能從主觀和客觀兩方面都顯示出不同程度的優勢，可以達到預期的檢測效果;但在總耗時的問題上，本文算法需要進一步提升。

參考文獻（References）

[1] BOUWMANS T， ZAHZAH E H. Robust PCA via principal component pursuit： a review for a comparative evaluation in video surveillance[J]. Computer Vision and Image Understanding， 2014， 122： 22-34.

[2] ZHOU X， YANG C， ZHAO H， et al. Low-rank modeling and its applications in image analysis[J]. ACM Computing Surveys， 2014， 47（2）： 1-33.

[3] REZAEI B， OSTADABBAS S. Background subtraction via fast robust matrix completion[C]// Proceeding of the 2017 IEEE International Conference on Computer Vision Workshop. Piscataway， NJ： IEEE， 2017： 1871-1879.

[4] XIE Y， GU S， LIU Y， et al. Weighted Schatten p-Norm minimization for image denoising and background subtraction[J]. IEEE Transactions on Image Processing， 2016， 25（10）： 4842-4 857.

[5] LU C， FENG J， CHEN Y， et al. Tensor robust principal component analysis with a new tensor nuclear norm[EB/OL]. [2018-05-10]. http：//adsabs.harvard.edu/abs/2018arXiv180403728L.

[6] GOLDFARB D， QIN Z. Robust low-rank tensor recovery： models and algorithms[J]. SIAM Journal on Matrix Analysis & Applications， 2013， 35（1）： 225-253.

[7] PANG Y， YE L， LI X， et al. Incremental learning with saliency map for moving object detection[J]. IEEE Transactions on Circuits and Systems for Video Technology， 2018， 28（3）： 640-651.

[8] EBADI S E， IZQUIERDO E. Foreground segmentation with tree-structured sparse RPCA[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018， 40（9）： 2273-2280.

[9] BHATTACHARYA S， VENKATSH K S， GUPTA S. Background estimation and motion saliency detection using total variation-based video decomposition[J]. Signal， Image and Video Processing， 2017， 11（1）： 113-121.

[10] CAO X， YANG L， GUO X. Total variation regularized RPCA for irregularly moving object detection under dynamic background[J]. IEEE Transactions on Cybernetics， 2017， 46（4）： 1014-1027.

[11] CHAN S H， KHOSHABEH R， GIBSON K B， et al. An augmented lagrangian method for total variation video restoration[J]. IEEE Transactions on Image Processing， 2011， 20（11）： 3097-3111.

[12] CAO W， WANG Y， SUN J， et al. Total variation regularized tensor RPCA for background subtraction from compressive measurements[J]. IEEE Transactions on Image Processing， 2016， 25（9）： 4075-4090.

[13] BOYD S， PARIKH N， CHU E， et al. Distributed optimization and statistical learning via the alternating direction method of multipliers[J]. Foundations and Trends in Machine Learning， 2011， 3（1）： 1-122.

[14] DENG W， YIN W. On the global and linear convergence of the generalized alternating direction method of multipliers[J]. Journal of Scientific Computing， 2016， 66（3）： 889-916.

[15] ZUO W， MENG D， ZHANG L， et al. A generalized iterated shrinkage algorithm for non-convex sparse coding[C]// Proceedings of the IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE， 2013： 217-224.

[16] WANG Y， JODOIN P M， PORIKLI F， et al. CDnet 2014： an expanded change detection benchmark dataset[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. Washington， DC： IEEE Computer Society， 2014： 387-394.

[17] 常侃， 張智勇， 陳誠， 等. 采用低秩與加權稀疏分解的視頻前景檢測算法[J]. 電子學報， 2017， 45（9）： 2272-2280. （CHANG K， ZHANG Z Y， CHEN C， et al. Video foreground detection by low-rank and reweighted sparse decomposition[J]. Acta Electronica Sinica， 2017， 45（9）： 2272-2280.）

[18] 劉仲民， 何勝皎， 胡文瑾， 等. 基于背景減除法的視頻序列運動目標檢測[J]. 計算機應用， 2017， 37（6）： 1777-1781. （LIU Z M， HE S J， HU W J， et al. Moving object detection based on background subtraction for video sequence[J]. Journal of Computer Applications， 2017， 37（6）： 1777-1781.）