基于背景光流分析的視頻場景變動檢測方法

羅東華，區炳煜

（廣東方緯科技有限公司，廣州 510006）

基于背景光流分析的視頻場景變動檢測方法

羅東華，區炳煜

（廣東方緯科技有限公司，廣州 510006）

視頻場景變動檢測是監控視頻智能分析的基礎，光流法是常用方法之一，但現有方法容易由于前景目標的運動而誤檢。針對該問題，提出一種基于背景光流分析的視頻場景變動檢測方法。該方法首先將圖像劃分為背景和前景目標兩部分，然后通過計算背景部分光流的像素占比以及分析其分布的均勻性來判斷視頻場景是否發生變動。實驗結果表明，該方法簡單實用，在實現對視頻場景變動檢測的同時能夠避免前景運動目標導致的誤檢。

視頻場景變動；背景建模；光流法

0 引言

當今，城市不斷快速發展，交通道路基礎設施不斷發展和完善，我國安裝了大量監控攝像機，為治安和交通管理提供了大量的監控視頻資源，但是目前公安和交通管理部門通常采用的監控方式是人工巡檢和監視，需要耗費大量的人力，還會由于人會的視覺疲勞而降低工作效率，同時監控視頻資源也得不到有效的利用。隨著科技的發展，視頻智能分析技術廣泛應用于各個領域中，例如平安城市、智能交通、工業自動化等。然而，視頻智能分析技術的應用對象通常是專用視頻，即視頻的場景必須是固定的；監控視頻經常會由于人工操作而發生視頻場景變動，無法滿足要求。因此，如果要將智能視頻分析技術應用于監控視頻，提高監控視頻的資源利用率，必須首先解決視頻場景的變動檢測問題。

對視頻圖像光流場進行分析是檢測攝像機運動即視頻場景變動的常用方法，包括：①利用支持向量機對攝像機運動分類[1]；②基于運動矢量的攝像機運動定性分類[2]；③利用運動模型估計方法[3-4]；④迭代最小二乘法檢測攝像機運動[5]。⑤基于光流方向統計檢測攝像機運動[6]；但是以上方法都具有一個局限性：當視頻場景中存在前景運動物體時，對視頻場景變動的檢測容易產生誤檢。因此，本文對該問題進行了研究，提出了一種基于背景光流分析的視頻場景變動檢測方法。

1 算法分析

1.1 基本思想

當視頻場景發生變動時，圖像背景區域會產生一定數量的有效光流，而且這些有效光流在背景區域中是均勻分布的。因此，本算法的基本思想就是判斷當前視頻圖像是否滿足這兩個特征，如果同時滿足則認為視頻場景發生了變動，否則認為視頻場景沒有發生變動。算法的主要流程圖如圖1所示。

1.2 光流檢測

光流是指圖像亮度模式的表觀運動，是實際運動場的一種近似，通過光流計算，可以獲取對象的運動信息。目前圖像處理中常用的光流計算方法有Horn、Lucas和Nagel等。由于本文處理的是實時監控視頻，因此選擇實時性和精度均較高的Lucas-Kanade金字塔算法對圖像光流進行計算和檢測。該算法可以分為兩步：第一，將視頻序列中待插值的前后兩幀圖像I，J分別表示成具有LM層的金字塔結構{IL}L=0，1，…，LM及{JL}L=0，1，…，LM；第二，在I，J的金字塔各個對應層上依次進行LK光流迭代計算，最終在最底層I0，J0上得到運動矢量，即光流。

圖1 算法流程圖

1.3 背景標記

為了對背景區域的光流進行分析，首先必須標記背景：對連續的250幀視頻圖像進行光流檢測，把光流強度大于設定閾值的光流視為前景目標產生的光流，并對光流位置進行標記和累計，250幀之后對圖像進行取反操作，就可得到標記后的背景，如圖2a中的白色區域所示。圖2b為標記后的背景在原圖像中的位置。背景標記的流程如圖3所示。

圖3 背景標記流程圖

1.4 背景有效光流占比計算

當視頻場景不變的時候，圖像背景部分產生的光流很少，見圖4a；相反，當視頻場景發生變動時，圖像背景部分就會產生較多的光流，見圖4b。因此，可以統計圖像背景部分的有效光流數量，并計算其占背景部分總像素數量的比例p，根據該比例是否超過設定閾值T1來判斷當前視頻場景是否可能發生了變動。

圖4 視頻場景不變與變動時的光流場對比

1.5 背景有效光流分布均勻性判斷

圖5 場景不變與變動時的光流平均質心對比

圖6 部分實驗過程截圖

當視頻場景不變的時候，圖像背景部分產生的光流通常只集中在一兩個地方，分布很不均勻，見圖4a；相反，當視頻場景發生變動時，圖像背景部分產生的光流是比較均勻地分布在背景區域中的，見圖4b。因此，可以根據背景區域光流的分布是否均勻來判斷當前視頻場景是否可能發生了變動。具體做法如下：首先，計算得到背景區域所有像素的平均質心A（x0，y0）（如圖5a中的綠色點所示）；然后，計算得到背景區域所有具有有效光流像素的平均質心B（x1，y1）（如圖5b和圖5c中的藍色點所示）；最后，計算A和B兩點之間的距離d，若d小于閾值T2則認為光流是均勻分布的，視頻場景可能發生了變動，反之，則認為光流分布不均勻，視頻場景沒有發生變動。

2 實驗結果

為了證明該方法的有效性，選取了一段26分鐘的道路監控視頻進行實驗，部分實驗過程截圖如圖6所示。其中，圖6a、圖6a、圖6a為三次場景不變時的視頻截圖，圖6d、圖6e、圖6f為三次場景變動時的視頻截圖；截圖中的綠色點為背景平均質心點，藍色點為光流平均質心點。

圖6對應的實驗結果如表1所示。

表1中，p為背景中光流數量與背景部分總像素數量的比值，d為背景光流平均質心與背景平均質心之間的距離，T1和T2為設定的經驗閾值。

表1 圖6對應的實驗結果

從表中可以看出，圖片a、b、c的背景光流數量與背景總像素數量比值p均小于閾值T1（5%），而背景光流平均質心與背景平均質心之間的距離d均大于閾值T2（200），因而判別結果均為視頻場景不變，與圖片實際情況一致；圖片d、e、f的背景光流數量與背景總像素數量比值p均大于閾值T1（5%），而背景光流平均質心與背景平均質心之間的距離d均小于閾值T2（200），因而判別結果均為視頻場景變動，也與圖片實際情況一致。

3 結語

視頻場景變動檢測是監控視頻智能分析的基礎。本文提出了一種基于背景建模及光流特征分析的視頻場景變動檢測方法，實驗結果證明，該方法簡單有效，同時可以避免由于存在前景運動目標而導致的漏檢或誤檢問題。

[1]耿玉亮，須德.一種魯棒的攝像機運動分類算法[J].電子學報，2006，34（7）：1342-1376.

[2]朱興全，羅迒哉，薛向陽，吳立德.基于運動矢量的攝像機運動定性分類方法[J].計算機研究與發展，2001，8（4）：495-501.

[3]趙亞湘，劉少強，樊曉平.結合運動矢量和像素遞歸的全局運動估計方法[J].中國圖象圖形學報，2012，17（2）：191-196.

[4]Nikitidis S，Zafeiriou S，Pitas I.Camera Motion Estimation Using a Novel Online Vector Field Model in Particle Filters[J].IEEE Transactions on Circuits and Systems for Video Technology，2008，18（8）：1028-1039.

[5]許淑平.視像中的攝像機運動檢測[J].計算機技術與發展，2007，17（7）：1-3.

[6]趙力萱，羅東華，趙建華，彭金偉，何驥.基于光流信息的監控視頻場景變動檢測與判別[J].廣東公安科技，2013，21（4）：38-41.

[7]M.Hu.Visual Pattern Recognition by Moment Invariants.IRE Transactions on Information Theory 8（1962）：179-187.

Video Scene Change Detection Based on Background Optical Flow Analysis

LUO Dong-hua，OU Bing-yu

（Guangdong Fundway Technology Co.，Ltd.，Guangzhou510006）

Optical flow method is one of the commonly used methods for video scene change detection，which is the basis of intelligent analysis of surveillance video.However，the existing optical flow methods are easy to cause false detection due to the movement of foreground objects.Aiming at this problem，proposes a method of video scene change detection based on background optical flow analysis.Firstly,the image is divided into two parts:background and foreground,and then the video scene change is judged by calculating the proportion of the pixels with optical flows in the background and analyzing the distribution uniformity of the background optical flows.The experimental results show that the method is simple and practical,and it can detect video scene change without false detection caused by the moving of foreground objects.

Video Scene Change;Background Modeling;Optical Flow Method

1007-1423（2017）11-0070-04

10.3969/j.issn.1007-1423.2017.11.014

羅東華（1979-），男，廣東湛江人，博士，研究方向為視頻交通流信息采集

2017-02-09

2017-04-06

廣東省科技計劃項目（No.2013B090200020）、廣東省科技計劃項目（No.2015B010110005）

區炳煜（1990-），男，廣東廣州人，碩士，工程師，研究方向為視頻交通流信息采集