視頻監控中遺留物與遺失物辨別方法的研究

嚴余龍，孟朝暉

（河海大學計算機與信息學院，江蘇南京211100）

?

視頻監控中遺留物與遺失物辨別方法的研究

嚴余龍，孟朝暉

（河海大學計算機與信息學院，江蘇南京211100）

摘要：為解決視頻監控中遺留物與遺失物的辨別問題，提出一種基于靜止前景區域輪廓色彩對比度的辨別方法。該方法通過分析靜止前景區域中物體輪廓與當前幀、背景幀的兩種顏色對比，分別計算出靜止前景物體輪廓與當前幀、背景幀的顏色對比度，再結合兩者進行遺留物與遺失物的辨別，解決了現有方法易受復雜環境干擾與時間復雜度大的問題。實驗結果表明本方法相對于現有文獻提出的方法具有較高的魯棒性和較小的時間復雜度。

關鍵詞：視頻監控；遺留物；遺失物；輪廓辨別

當今社會人們利用各種終端設備對生活中的一些場所進行安全監測，視頻監控設備作為安保人員的“眼睛”在生活中使用廣泛。從CCTV（C1ose Cjrcujt Te1evjsjon）到DVR（Djgjta1 Vjdeo Recorder）發展至如今常見的NVR（Net Vjdeo Recorder），監控設備在不斷升級，安保人員需要處理的信息量也隨之劇增。視頻監控中的遺留物是指在初始場景中不存在而被人為帶入的物體；遺失物是指初始場景中存在但被帶出的物體。遺留物與遺失物檢測作為視頻監控中與人身和財產安全密切相關的問題備受人們關注。如何智能、自動的辨別視頻監控中的遺留與遺失物并發出警報受到研究人員的廣泛關注［1-8］。

1　相關工作

在視頻監控研究領域，研究人員做了大量的工作來研究如何自動、實時的檢測復雜場景中的遺留物與遺失物［1，4-8］。遺留物與遺失物檢測通常分為如下幾個步奏：背景建模，前景分割，靜止前景區域檢測，靜止前景塊分類，遺留物與遺失物辨別［1］，其中最后一步決定了遺留物與遺失物辨別的能力，通常做法是研究從視頻序列中提取出來的靜止物體與當前幀和背景幀的相似性。國內的一些研究［2-3］通常是提取出靜止前景物體，按照其與物主的位置關系和保持靜止的時間直接判定其為遺留物，而并不辨別其為遺留物或遺失物。對于辨別遺留物與遺失物的相關文獻，根據采用的特征可分為如下幾類：邊緣，顏色，動態輪廓，或者它們的混合。基于邊緣的方法［4］計算物體邊緣在像素級別上的累積梯度，如果得到的累積梯度值較小則判定為遺失物，相反則為遺留物；基于顏色的方法［5-6］認為靜止前景物體邊緣區域應該與背景非常相似，如果邊緣被覆蓋了則認為是遺留物體，否則認為是遺失物體，通常用區域的顏色直方圖進行相似性檢測；混合方法［7］則是通過顏色與邊緣相結合以提高辨別的準確度。基于邊緣與基于顏色方法的主要限制是它們需要背景在靠近靜止物體區域（對于顏色和邊緣而言）具有均勻的性質，并且在前景分割時需要得到較好的前景。因此，通過這幾種方法進行遺留物與遺失物辨別時由于限制條件較多，其準確性將會大大降低。最近，一些研究者提出基于物體輪廓（動態輪廓）的方法［8］，該方法通過調整物體輪廓來提高復雜環境下辨別時的魯棒性。然而，該方法的迭代性卻制約著視頻監控系統的實時運行。

文中提出了一種新的方法來辨別靜止前景物體為遺留物或遺失物，該方法利用物體輪廓在像素級別進行顏色對比。與現有方法不同的是，它不需要特殊的背景屬性來適應復雜的場景，也不需要精確的前景分割。實驗表明此算法能夠適應各種復雜場景，并且能夠達到實時操作。

2　算法描述

2.1算法整體框架

文中提出的辨別方法流程圖如圖1所示。從t時刻靜止物體初始輪廓開始，定義點集Ct=｛p1，…，pi，…，pN｝。其中pi代表靜止前景邊緣中第i個像素點的x與y坐標，N代表輪廓中像素點的總個數。輪廓提取包括在點掃描時應用Canny算子檢測當前的靜止前景塊的結果中。然后，計算出靜止前景物體邊緣的每個像素點與當前幀和背景幀中點的內部和外部區域的平均對比度。

圖1　遺留物與遺失物辨別整體框架圖

其中，邊緣色彩對比度的計算公式定義如下：

上兩式中，z（·）表示像素顏色的具體對比分析方法，具體計算過程將在2.2節中作詳細介紹；Ft與Bt分別表示當前幀與背景幀；表示前景輪廓與當前幀的顏色對比結果，表示前景輪廓與背景幀的色彩對比結果。為提高魯棒性，利用所有通道顏色信息的平均值進行計算。然后再計算兩者的差值得到一個判斷公式score，如下式：

最后將得到的score與一個閾值相比判斷此物體是遺留物還是遺失物。

2.2像素顏色對比

為了得到邊緣兩邊像素的顏色對比值，使用空間邊界的對比［6］。對每一個邊緣像素的輪廓，將其劃分成2L+1段，垂直于邊緣曲線，其中L代表邊緣曲線上像素點內側與外側各取等長的L個像素，1為邊緣曲線上的像素點。然后比較邊緣曲線段上像素點兩端的顏色對比度，即計算以邊緣曲線像素點的兩端像素點P1和P0為中心，大小為M×M（M個像素點，且M＜L）的小窗口中像素的顏色對比值，如圖2所示。

圖2　物體輪廓色彩對比

其中（a）表示靜止前景物體掩膜；（b）表示從靜止物體提取出的邊緣曲線，并在邊緣曲線上每個像素點兩端進行顏色對比；（c）表示邊緣曲線上一個像素點兩端進行色彩對比。

每個邊緣像素點的兩個端點之間的顏色距離對比，即邊界空間顏色對比（boundary spatja1 co1or contrast），其定義如式（4）：

其中，WO和WI是視頻中第F幀靜止前景邊緣的第i個像素（可以是當前幀或背景幀）的兩個端點PO和PI的M×M鄰域中計算出的平均顏色值（在RGB顏色空間）。本文中只考慮邊緣像素點p的兩個端點PO與PI存在，且該像素處于圖像邊界的內部（不考慮那些處于圖像邊界以外的無效像素）的情況。由此可以得到邊緣像素對比度的平均值如式（5）：

其中，Kt表示前景邊緣像素中具有符合條件值的總數目，BSCC表示第i個像素的空間色彩對比值。本方法同時計算靜止前景區域與當前幀和背景幀如式（1）與式（2）的對比度，并且組合起來得到一個值如式（3）所示。當的值接近0.0時表示該靜止前景物體為遺留物，相反如果得到一個較大的值，則表示該靜止物體為遺失物；同理，在相同情況下將會得到相反的結果。最后通過結合與得到一個綜合的評價值來判斷靜止前景物體為遺留物還是遺失物體。

3　實驗研究與分析

文中使用vjsua1 studjo配置OpenCV2.4.4進行實驗平臺的搭建，計算機物理內存為4 G，處理器型號為Inte1（R）Core （TM）j3 3.06 GHz。為了研究本文中提出算法的有效性，本文使用遺留物與遺失物辨別時常用的數據集ASODds作為實驗視頻。下面選取其中一個名為“sofa”的實驗視頻使用本文提出的算法，其結果如圖3所示。

其中（a）為視頻的第1幀；（b）為利用高斯背景模型實時建立的背景，該背景將會隨著光線等的微弱變化不斷的更新，但是行人、遺留物、遺失物較大的顏色變化將不會更新進背景；（c）為利用背景差得到的靜止前景目標，為方便起見，文中選取行人已經走出場景的第1 800幀的前景；（d）為視頻第1 800幀，該幀已經正確辨別出遺留物與遺失物。

為了讓實驗具有較高的對比性，文中使用包含有真實數據的前景掩膜代替場景中的靜止物體。此外，對基于邊緣（ED［2］），顏色（CH［3］）和動態輪廓（CO［5］）3個有代表性的方法作了比較。文中用辨別的正確率與時間復雜度作為度量標準。其中，正確率數據如表1中顯示，時間復雜性數據如表2所示。

表1與表2的結果表明本文提出的方法與基于邊緣和顏色的方法相比能夠得到更高的準確度；而與基于動態輪廓的方法相比，時間復雜度得到了顯著的改進，并且在準確度方面也有所提升。使用具有不同復雜性的實驗視頻表明本方法具有較好的魯棒性，與此同時，本方法也大大降低了執行時間。

圖3　對于實驗視頻“sofa”使用本文提出算法

表1　各種方法在同平臺下辨別遺留物與遺失物的正確率

表1　各種方法在同平臺下辨別遺留物與遺失物花費時間（ms）

4　結論

文中提出了一種新的辨別遺留物與遺失物的方法，該方法是基于靜止前景物體輪廓和視頻幀的顏色邊界，通過輪廓顏色對比來辨別靜止的前景物體是遺留物還是遺失物。實驗結果表明本文提出的方法對于復雜環境下視頻序列中遺留物與遺失物辨別的問題具有較高的魯棒性，并且減小了時間復雜度。因此，本文提出的方法適用于開發復雜的環境中的實時應用。另外本方法還可以用于檢測與過濾背景減除時產生的如鬼影或不正確地分割區域的像素的顏色的對比。

參考文獻：

［1］Tjan Y，Ferjs R S，Lju H，et a1. Robust Detectjon of Abandoned and Removed Objects jn Comp1ex Survej11ance Vjdeos［J］. IEEE Transactjons on Systems Man & Cybernetjcs Part C，2011，41（5）：565 - 576.

［2］程換麗.視頻監控中遺留物體的檢測研究［D］.石家莊：河北科技大學，2014.

［3］富吉勇.基于全方位視覺的遺留物及其放置者檢測的研究［D］.杭州：浙江工業大學，2011.

［4］Pao1o Spagno1o.An Abandoned/Removed Objects Detectjon A1gorjthm and Its Eva1uatjon on PETS Datasets.［J］. Vjdeo and Sjgna1 Based Survej11ance，2006. AVSS '06. IEEE Internatjona1 Conference on，2006：17.

［5］高軍.基于視頻分析的遺留及遺失物檢測［D］.大連：大連海事大學，2014.

［6］Ferrando S，Gera G，Regazzonj C. C1assjfjcatjon of Unattended and Sto1en Objects jn Vjdeo -Survej11ance System［J］. Vjdeo and Sjgna1 Based Survej11ance，2006. AVSS '06. IEEE Internatjona1 Conference on，2006：21.

［7］Wen J，Gong H，Zhang X，et a1. Generatjve mode1 for abandoned object detectjon［C］// Proceedjngs of the 16th IEEE jnternatjona1 conference on Image processjng. IEEE Press，2009：853-856.

［8］J，M，et a1. Djscrjmjnatjon of abandoned and sto1en object based on actjve contours［J］.2011 8th IEEE Internatjona1 Conference on Advanced Vjdeo and Sjgna1-Based Survej1-1ance（AVSS），2011（8）：101-106.

［9］Erdem C E，Sankur B，Teka1p A M. Performance measures for vjdeo object segmentatjon and trackjng.［J］. IEEE Trans Image Process，2004，13（7）：937 - 951.

Abandoned and removed object dlscrlmlnatlon ln vldeo survelllance

YAN Yu-1ong，MENG Zhao-huj
（School of Computer Science and Technology，Hohai University，Nanjing 211100，China）

Abstract:A nove1 approach js proposed for djscrjmjnatjng between abandoned or removed prevjous1y detected statjonary foreground regjons jn vjdeo survej11ance. It js based on measurjng the co1or contrast of the contour of the statjonary object under ana1ysjs at pjxe1 1eve1. Two contrasts are computed by ana1yzjng such a contour jn the current and background frames. Then，both are combjned for performjng the djscrjmjnatjon. Compared to the former 1jterature，jt so1ves the prob1ems of the comp1ex scene jnterference and hjgh tjme comp1exjty. The experjmenta1 resu1ts over a heterogeneous dataset contajnjng rea1 scenarjos demonstrate that thjs approach outperforms the re1ated 1jterature and great1y reduces the computatjona1 cost of the djscrjmjnatjon task，a11owjng rea1-tjme operatjon.

Key words:vjdeo survej11ance；abandoned object；removed object；djscrjmjnatjon

中圖分類號：TN02

文獻標識碼：A

文章編號：1674-6236（2016）07-0043-03

收稿日期：2015-05-20稿件編號：201505182

作者簡介：嚴余龍（1988—），男，江蘇鹽城人，碩士。研究方向：計算機視覺。