結合l1/2范數與顯著性約束的背景減除

張國庭，陳利霞，2，周澤鋒

（1.桂林電子科技大學數學與計算科學學院，廣西桂林 541004；2.桂林電子科技大學廣西高校數據分析與計算重點實驗室，廣西桂林 541004）

0 概述

近年來，視頻運動目標檢測作為計算機視覺和數字圖像處理領域的熱點研究方向［1-3］，廣泛應用于智能監控、交通管制、機器智能、醫療診斷等任務。背景減除［4］是將視頻中感興趣的目標提取出來并去除不感興趣的背景。常用的背景減除模型主要包括基于概率建模的高斯混合模型（Gaussian Mixture Model，GMM）和魯棒主成分分析（Robust Principal Component Analysis，RPCA）模型［5］。GMM 模型由STAUFFER 等［6］于1999 年提出，通過期望最大化（Expectation Maximization，EM）算法來確定像素顏色分布的時間以及每個分布的參數。雖然GMM 可以處理背景光線的細微變化，但如果用于參數學習的初始視頻幀有噪聲，訓練后的模型將會受噪聲影響。為了提高GMM 的性能，學者們試圖通過提出不同的學習方法或修改算法的適應性使該模型對噪聲更具魯棒性［7-9］。RPCA［5］模型利用矩陣的核范數約束低秩部分，通過l1范數約束稀疏部分。由于該模型簡單且求解高效，因此被廣泛應用于運動目標檢測任務，但是RPCA 模型的前提假設是背景靜止或幾乎靜止，而現實世界中的背景往往是變化的。針對此問題，CAO 等［10］提出全變分正則化的RPCA模型，利用運動目標的空間連續性和時間連續性，抑制了動態背景的干擾，但對緩慢運動的目標檢測效果較差。針對動態背景或噪聲干擾問題，EBADI等［11］提出利用動態樹結構的稀疏矩陣建模前景，從而加強前景的稀疏性。CHEN 等［12］在前景建模中引入l1/1/2范數，充分描述了視頻的時空相關性，增強了前景的稀疏性。雖然這些模型取得了一定的效果，但處理復雜場景視頻的效果仍有待提升，而且當目標移動緩慢時，檢測出來的前景出現較多空洞現象。本文提出一種結合l1/2范數和顯著性約束的前景檢測模型。利用l1/2范數產生更稀疏的解，減少動態背景對前景的干擾。通過顯著性約束對視頻序列的每一幀進行低秩稀疏分解，有效識別移動緩慢的物體，緩解前景的空洞現象。

1 RPCA 模型

假定給出的視頻圖像序列包含T幀，將所有幀向量化為列向量得到矩陣。檢測運動目標可以通過求解如式（1）所示的RPCA 模型來獲取低秩背景矩陣X1∈Rm×n×T（m、n分別表示圖像的高度和寬度）以及稀疏前景X2∈Rm×n×T：

其中：||X1||*表示矩陣X1的核范數；||X2||1表示矩陣X2的l1范數；λ是一個正的權衡參數。在強動態背景下，RPCA 檢測結果中前景出現大量誤判像素，檢測性能較差。由于現實世界中視頻的背景復雜多變，因此可將式（1）擴展如下：

其中：ψ（E）為干擾信號，通常可用‖E‖F/2 來表示，E為噪聲矩陣，用于表示動態背景產生的隨機變化。

2 模型建立

一方面，傳統的背景減除模型在檢測移動緩慢的物體時，容易出現空洞現象，導致檢測精度下降。由于前景具有顯著性，而顯著性約束［13-14］能將靜止圖像的前景檢測出來，因此引入顯著性有助于檢測移動緩慢的目標。另一方面，傳統模型多數利用l1范數約束稀疏部分的矩陣，而lq(q∈(0，1))正則化比l1正則化能生成更稀疏的解。通過對所有lq正則化的研究表明，對于q∈[1/2，1)，q越小，解越稀疏，但是對于q∈（0，1/2]，解的性能沒有明顯下降，但求解的復雜程度遠高于l1/2范數的求解［15］。基于以上兩方面，本文引入l1/2范數和顯著性約束，提出一種新的背景減除模型，具體如下：

3 模型求解

基于交替方向乘子法，式（3）的增廣拉格朗日函數表示如下：

其中：[·]：i是矩陣的第i列；mat(·)表示把向量轉化成矩陣，使得mat(vec(Li))≡L i；μ是懲罰參數；是拉格朗日乘子。為求解式（4），利用交替方向乘子法對其進行變量分離并轉換為6 個問題進行求解。在迭代初始化時，令，迭代次數k=0。

該問題有閉型解，可通過奇異值閾值化（Singular Value Thresholding，SVT）［16］求解：

其中：Y=USV*；Sτ=sign(S)×max(|S|-τ，0)，τ=。

該問題可通過半閾值化算子［15］求解：

該問題可由SVT 求解，方法與子問題1 類似。

該問題可通過半閾值化算子來求解，方法與子問題2 類似。

5）固定其他變量，利用式（11）更新Ek+1：

6）更新拉格朗日乘子和懲罰參數：

重復求解以上問題直至滿足以下迭代收斂條件：

4 實驗結果與分析

為驗證本文模型的性能，實驗從CD.net-2014［17］測試數據集中選取Boulevard 和Traffic（相機抖動）、CopyMachine 和Backdoor（移動緩慢）、Fountain021和Boats（動態背景）、Sating 和SnowFall（惡劣天氣）8 組128×128×128 的視頻集進行測試，并在相同條件下 與l1/1/2-RPCA［12］、KBR-RPCA［18］、HoRPCA［19］、FRMC［20］、TRPCA［21］、IALM-RPCA［22］模型從主觀和客觀兩方面進行比較。所有實驗的運行環境為Matlab 2019a，Intel Core i5-6500 處理器，8 GB 內存，Win10 64 位操作系統。實驗設置參數λ=0.8、α==0.01、ρ=1.1。實驗視頻集如圖1 所示。

圖1 實驗視頻集Fig.1 Experimental video sets

為準確地評估本文模型的性能，采用查全率（recall）、查準率（precision）和調和平均值（Fmeasure）來評估前景檢測的效果。recall 和precision的定義分別如下：

其中：ttp表示檢測出的正確的前景像素點；ffn表示錯檢為背景的前景像素點；ffp表示錯檢為前景的背景像素點。

采用F-measure 來綜合判斷提取效果。F-measure的定義如下：

4.1 主觀分析

圖2 給出了相機抖動視頻集、移動緩慢視頻集、動態背景視頻集和惡劣天氣視頻集的視覺效果。

圖2 不同模型下視頻集的視覺效果對比Fig.2 Comparison of visual effects of video sets under different algorithms

對于相機抖動視頻集：FRMC、KBR-RPCA、l1/1/2-RPCA、TRPCA 提取的前景精度較差，運動目標中存在較嚴重的空洞現象；HoRPCA、IALM-RPCA 提取的運動目標的精度較高，但這兩種模型把部分背景也檢測為運動目標；本文模型在去除背景干擾的同時，提取的運動目標精度也較高，整體取得最佳的檢測效果。

對于移動緩慢視頻集：FRMC、KBR-RPCA、TRPCA 提取的運動目標缺乏完整性；HoRPCA 和l1/1/2-RPCA 把部分背景誤判為前景目標；IALMRPCA 和本文模型提取的前景對象都較為完整，檢測精度明顯高于其他4 種模型，但本文模型具有最高的F-measure 值。

對于動態背景視頻集，FRMC、KBR-RPCA、TRPCA檢測前景的精度較差，運動目標較為模糊；HoRPCA、l1/1/2-RPCA、IALM-RPCA 提取的前景目標均比較清晰和完整，但與本文模型相比，這3 種模型受動態背景影響的干擾較大，把過多的背景誤判為運動目標；本文模型在去除動態背景干擾的同時，提取的運動目標精度也較高，整體上取得最佳的檢測效果。

對于惡劣天氣視頻集：FRMC、KBR-RPCA、TRPCA、HoRPCA、l1/1/2-RPCA 提取的前景對象中空洞過大，丟失大量的前景信息；IALM-RPCA 比其他5 種模型提取的運動目標完整，不存在嚴重的空洞問題，但也把部分背景誤判為前景；本文模型與其他模型相比，提取前景的精度較高，同時對背景的誤判較少，整體取得最佳的檢測效果。

4.2 客觀分析

將本文模型和其他6 種模型進行比較，評價指標值如表1 所示，其中，加粗數據代表最優值，加下劃線數據代表次優值。從表1 可以看出，雖然其他模型的recall 值和precision 值有比本文模型高的情況，但本文的recall 值和precision 值在此情況下基本也處于次優狀態，而且本文模型的F-measure 值均高于其他模型。以上說明了本文模型在抑制動態背景產生的噪聲以及目標提取的完整度和精確度方面的綜合效果較好。

表1 不同模型下的客觀評價指標數據對比Table 1 Data comparison of objective evaluation index under different models

將本文模型與其他6 種模型進行實驗對比，選取視頻集Skating 中12 個代表幀，每個相隔8 幀，計算各個代表幀的F-measure、precision 和recall 值，得出的相關指標曲線如圖3 所示。由圖3 可以看出，本文模型的F-measure、precision 和recall 值基本每幀都高于其他6 種模型，相比于l1/1/2-RPCA 背景減除模型的平均查全率、查準率和調和平均值分別提升了9、14 和10 個百分點。從圖3（a）、圖3（c）可以看出，本文模型的F-measure 和recall 值均高于其他模型，因此本文模型的綜合檢測效果最好。從圖3（b）可以看出，本文模型只有個別幀的precision 值低于其他模型，而多數幀的查準率都是處于最優的。

圖3 不同模型下的客觀評價指標曲線對比Fig.3 Curve comparison of objective evaluation index under different models

表2 給出了本文模型和其他6 種模型的視頻集平均每幀的運行時間對比結果。從表2 可以看出，本文模型在運行時間方面優于KBR-RPCA、IALMRPCA、FRMC、TPRCA 模型，但低于HoRPCA 和l1/1/2-RPCA 模型，說明本文模型在計算方面較為耗時，但與運行速度較快的對比模型差距不大，能滿足視頻監控的實時性要求。

表2 不同模型下的運行時間對比Table 2 Comparison of running time under different models s

采用視頻集Skating 作為實驗視頻集，研究參數變化對實驗結果的影響，如圖4 所示。從圖4（a）中可看出，參數λ在0.08 處F-measure 取得最大值，因此選取λ=0.08 作為最優參數值。從圖4（b）中可看出，參數β在0.02 處F-measure 值取得最大值，結合參數變化對其他視頻集的影響，因此選取β=0.01 作為最優參數值。從圖4（c）可以看出，當參數α在［0.01，0.1］時對實驗結果幾乎沒有影響，因此選取α=≈0.09 作為最優參數值。

圖4 F-measure 隨參數取值的變化Fig.4 F-measure changing with parameters value

5 結束語

本文提出一種結合l1/2范數和顯著性約束的背景減除模型。以RPCA 理論為基礎，使用l1/2范數替代l1范數對視頻前景作稀疏約束，減少由動態背景造成的干擾，提高前景檢測的精確度。利用顯著性約束對每一幀圖像進行低秩稀疏分解，識別移動緩慢的物體，緩解了前景的空洞現象。實驗結果表明，與主流模型相比，本文模型能有效去除動態背景對前景的干擾，且檢測移動緩慢目標的效果較好，顯著提高了移動目標檢測精度。但當背景顏色和前景顏色相近時，本文模型容易出現誤判的情況，因此后續將結合視頻序列的顏色信息，進一步提升背景減除模型的檢測精度和適用性。