視頻前景提取算法研究

李鍵+丁學明

摘 要：為了改善常用視頻前景提取算法提取到的前景目標存在噪點、空洞，以及邊緣不夠平滑等缺點，提出對提取到的前景目標圖片先進行中值濾波去除噪聲與背景波動的干擾，再對圖片進行開運算，以減少目標空洞并平滑目標邊緣的改進方法。在靜態(tài)背景下選用單高斯模型和RPCA方法、在動態(tài)背景下選用混合高斯模型方法，并加上提出的改進方法進行對比試驗。實驗結(jié)果表明，提出的方法能很好地解決常用算法存在的上述問題，充分證明了該方法的有效性。

關(guān)鍵詞：視頻前景提取；開運算；中值濾波

DOIDOI：10.11907/rjdk.172848

中圖分類號：TP312

文獻標識碼：A 文章編號：1672-7800（2018）002-0053-03

0 引言

近年來，隨著城市化的快速推進，城市人口急劇增加，各種治安突發(fā)事件層出不窮，交通事故也顯著增多，給城市治安帶來了很大壓力。監(jiān)控攝像頭能幫助記錄不法事件，從而有效減少違法事件的發(fā)生。因此，現(xiàn)在各大城市都在完善攝像頭監(jiān)控的部署，以加強對治安、交通的管控。而且隨著文明城市建設(shè)等政策的推進，人們的安防意識不斷加強，學校、辦公樓、工廠等場合的攝像頭也呈指數(shù)型增長。未來隨著城市化的進一步推進及各個行業(yè)規(guī)范管理的落實，監(jiān)控攝像頭的數(shù)量還將繼續(xù)增長。

面對大量監(jiān)控攝像頭，若每個攝像頭都指派專人監(jiān)守在視頻畫面前，會耗費大量人力物力，給各行業(yè)帶來了不小的成本開銷。并且當監(jiān)守人員疲勞過度或出現(xiàn)其他身體不適時，可能會造成漏報、誤報等情況，從而造成很大損失。警察在偵察破案時，需要查看監(jiān)控視頻獲取犯罪分子行蹤，若監(jiān)控視頻數(shù)據(jù)量很大，從視頻中獲取有用信息將耗時又費力，甚至會延誤破案時機。因此，采用智能的視頻處理技術(shù)協(xié)助人們處理這些海量的視頻數(shù)據(jù)是非常必要的。視頻前景提取技術(shù)是視頻處理中的一種常用技術(shù)，通過提取視頻中有效的目標前景，去除背景干擾，若視頻幀中無目標情景則可判定為無效幀，從而對視頻進行篩選，可達到減少工作量的目的。

1 視頻前景提取

視頻前景提取是計算機視覺領(lǐng)域中的一個重要研究方向，其目的是將視頻中運動的、人們關(guān)心的目標與背景分離，以提取視頻中的有用信息。目前關(guān)于提取前景目標的算法很多，最常用的就是幀差法[1]，可通過前后幀的差得到運動信息，如Ridder[2]提出一種基于卡爾曼濾波的目標前景提取模型，Elgammal[3]提出一種無參數(shù)的前景提取算法，KaewTrakulPong[4]提出關(guān)于背景建模的前景提取方法，Davis[5]提出一種關(guān)于歷史運動圖的方法。但這些算法在視頻前景提取上還有很多不足，存在提取的目標邊緣比較粗糙、噪點多、目標物存在空洞等問題。

本文選取了目前在視頻前景提取中效果較好的幾種方法，針對上述算法存在的不足作相應優(yōu)化，并分別在靜態(tài)和動態(tài)背景下進行了實驗，分析各算法的優(yōu)劣以及各算法適用的場景。

2 靜態(tài)背景

當相機視角固定，攝像機穩(wěn)定拍攝，此時獲得的視頻背景為靜態(tài)，此過程只有目標相對攝像機的運動，可采用背景建模法[10-12]。該方法的基本思路是先獲得背景模型，再利用當前幀與背景模型作差。若像素差值超過了設(shè)定閾值，則認為該像素屬于運動區(qū)域，相反則屬于背景區(qū)域。本文采用單高斯模型與RPCA兩種靜態(tài)背景下的常用方法進行試驗。

2.1 單高斯模型

假設(shè)圖像中的像素（a，b）處的灰度值Xa，b都是相互獨立且服從唯一正態(tài)分布，即：

μa，b表示點（a，b）處的像素均值，σ2a，b表示（a，b）處的像素方差。如果某個像素點的概率小于閾值，則判定該點為背景點，否則為前景點。當像素點被判定為前景點時，背景保持不變，當像素點被判定為背景點時，更新公式如下：

2.2 RPCA

在進行背景建模時，可以將每一個視頻幀的像素值變成一個列向量保存在數(shù)據(jù)矩陣D中。在靜態(tài)背景情形下，背景很穩(wěn)定，背景幀之間具有很大的相似性，因此由靜態(tài)背景像素組成的矩陣具有低秩特性[6]。同時由于目標前景是短時移動的物體，占據(jù)的像素比例較低，所以只有前景像素組成的矩陣具有稀疏特性。

RPCA是一種魯棒主成分分析（Robust PCA）[7]，是背景分離中的一個常用算法。其考慮的是這樣一個問題：數(shù)據(jù)矩陣包含結(jié)構(gòu)信息，也包含噪聲，可以將這個矩陣分解為兩個矩陣相加，一個是低秩的，因為內(nèi)部有一定的結(jié)構(gòu)信息，造成各行或列間線性相關(guān)。另一個是稀疏的，因為其中含有噪聲，而噪聲是稀疏的。

視頻的數(shù)據(jù)矩陣D可看作是這兩個矩陣的疊加，即D=A*+B*，其中A*是前景像素組成的稀疏矩陣，B*是靜態(tài)背景像素組成的低秩矩陣，所以在此問題中對靜態(tài)背景建模的過程就是低秩矩陣B*的恢復過程。因此，需要將視頻數(shù)據(jù)矩陣表示成一個稀疏矩陣和一個低秩矩陣的和，則魯棒主成分分析可以表示為以下的優(yōu)化問題：

由于rank和L0范數(shù)在優(yōu)化上存在非凸、非光滑特性，放松條件L0-范數(shù)至L1范數(shù)，用核范數(shù)代替秩，優(yōu)化問題近似為一個凸優(yōu)化問題：

通過求解該優(yōu)化問題，得到動態(tài)背景矩陣B*的解，進而得到背景模型。

2.3 實驗結(jié)果及分析

選取機場、大廳、辦公室、行人、煙5個場景的視頻進行試驗，其中機場環(huán)境下拍攝的監(jiān)控視頻中包含了動態(tài)電梯背景，前景目標提取效果如圖1所示。從實驗效果圖可以看出，RPCA模型對動態(tài)信息更加敏感，能提取到更多細節(jié)信息，整體表現(xiàn)優(yōu)于單高斯模型，而單是對于含有動態(tài)背景的機場視頻，其提取效果較差。由此可見，在靜態(tài)背景下，RPCA效果較好，但RPCA不適用于動態(tài)背景的情況。

前景目標分割評價方法IOU交并比可反應目標分割的準確率，將單高斯模型或RPCA方法分割出的前景目標與實況取交集比上它們的并集，即為目標分割的準確率。5個場景兩種模型前景目標提取準確率如表1所示。endprint

3 動態(tài)背景

相機視角固定，攝像機穩(wěn)定拍攝，背景動態(tài)呈現(xiàn)多模態(tài)，例如：水面波紋、樹枝搖擺、窗簾旗幟飄揚等這些情況下需要多分布模型來共同描述背景像素值的概率分布。混合高斯模型[8-9]利用多高斯成分描述像素在時間域上的分布，解決了單高斯模型僅適用于單一場景的問題，對復雜場景具有一定的魯棒性，能很好地運用在動態(tài)背景情形下。

在此基礎(chǔ)上，針對上述算法提取的前景存在噪點、空洞等不足進行了改進。首先對混合高斯模型處理后的視頻幀圖像，利用中值濾波再次去除背景波動帶來的干擾，再利用開運算平滑前景目標邊緣，并減少前景目標空洞。

3.1 混合高斯模型

假設(shè)背景圖像中的每一個像素在時間域上的分布由K個高斯分布構(gòu)成的混合模型表示。像素j的值為xj概率為：

根據(jù)高斯分布建立的背景圖模型，按照優(yōu)先級次序?qū)⑾袼刂祒j分別與高斯分布逐一匹配，若沒有高斯分布與之匹配，則判斷該點為前景點，反之則為背景點。

3.2 實驗結(jié)果與分析

本文選取了一個含有動態(tài)背景的視頻作為實驗數(shù)據(jù)，其中運動的人為有效前景目標，波動的水紋是動態(tài)背景。在此選取動態(tài)背景監(jiān)控視頻的第6、12、18、24、30、36、40、48幀展示前景目標提取效果，如圖2所示。其中，圖2（b）利用混合高斯模型提取的前景目標中仍含有少量背景干擾，在此基礎(chǔ)上先利用中值濾波技術(shù)減少背景干擾，效果如圖2（c）所示，再運用開運算平滑目標邊緣并減少空洞，效果如圖2（d）所示。從圖中可以看出，混合高斯模型能很好地提取動態(tài)背景視頻中的前景目標，改進方法能有效解決提取的前景目標含有噪點，以及目標邊緣不平滑、含有空洞等問題。

4 結(jié)語

從實驗中可以看出，RPCA在靜態(tài)背景下效果很好，能捕捉到很多細節(jié)，對動態(tài)信息很敏感，但這個優(yōu)點在動態(tài)背景下則成了缺點；單高斯模型速度快，但在處理靜態(tài)背景前景提取時效果不如RPCA；混合高斯模型在處理動態(tài)背景時效果穩(wěn)定。通過中值濾波可以消除圖像中的噪點，讓提取的前景圖片目標更清晰；開運算能夠補齊目標中的空洞，平滑目標邊緣，讓目標輪廓感更強。上述實驗結(jié)果驗證了改進方法的有效性。

參考文獻：

[1] MIGLIORE D A， MATTEUCCI M， NACCARI M. A revaluation of frame difference in fast and robust motion detection[C]. Proceedings of the 4th ACM international workshop on Video surveillance and sensor networks. Santa Barbara， California， USA： ACM，2006：215-218.

[2] RIDDER C， MUNKELT O， KIRCHNER H. Adaptive background estimation and foreground detection using kalman-filtering[C]. Multimedia Signal Processing （MMSP）， 2013 IEEE 15th International Workshop on，1995：390-395.

[3] ELGAMMAL A， HARWOOD D， DAVIS L. Non-parametric model for background subtraction[J]. Lecture Notes in Computer Science，2000，1843：751-767.

[4] KAEWTRAKULPONG P， BOWDEN R. An improved adaptive background mixture model for real-time tracking with shadow detection[J]. Video-based surveillance systems，2002，1：135-144.

[5] DAVIS J W， BOBICK A F. The representation and recognition of human movement using temporal templates[C].Computer Vision and Pattern Recognition， Proceedings，1997 IEEE Computer Society Conference on. IEEE，1997：928-934.

[6] E J CAND`ES， X LI， Y MA，et al.Robust principal component analysis？[J]. Journal of the ACM （JACM），2011，58（3）：11.

[7] Q ZHAO， D MENG， Z XU，et al.Robust principal component analysis with complex noise[C].Proceedings of the 31st International Conference on Machine Learning （ICML-14），2014：55-63.

[8] STAUFFER C， GRIMSON W E L. Adaptive background mixture models for real-time tracking[C].Computer Vision and Pattern Recognition， IEEE Computer Society Conference on. IEEE，1999：246-252.

[9] ZIVKOVIC Z. Improved adaptive Gaussian mixture model for background subtraction[C].Pattern Recognition， Proceedings of the 17th International Conference on. IEEE，2004：28-31.

[10] 代科學，李國輝，涂丹，等.監(jiān)控視頻運動目標檢測減背景技術(shù)的研究現(xiàn)狀和展望[J].中國圖象圖形學報，2006（7）：919-927.

[11] 王丹.基于背景建模的運動目標檢測與分割算法[D].西安：西安電子科技大學，2015.

[12] PICCARDI M. Background subtraction techniques： a review[C].IEEE International Conference on Systems， Man and Cybernetics. IEEE，2005：3099-3104.endprint