交通視頻的移動目標檢測算法研究

黃金海 梁曉梅 桂邦豪

關(guān)鍵詞： 背景差分; 幀間差分; 混合高斯模型; 移動目標檢測; 動態(tài)閾值; 交通視頻

中圖分類號： TN911.73?34; TP391 ? ? ? ? ? ? ? ? ?文獻標識碼： A ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2019）05?0053?04

Research on moving target detection algorithm for traffic video

HUANG Jinhai， LIANG Xiaomei， GUI Banghao

（Institute of Information Technology of GUET， Guilin 541004， China）

Abstract： It is a key technology for target identification and tracking monitoring of video sequence in the field of computer vision. A fusion method of inter?frame difference and Gaussian mixture background model is proposed on the basis of hotspot algorithm of image processing and target detection research directions， which is applied to the target tracking analysis of moving vehicle in traffic video. The algorithm can solve the dynamic threshold range influenced by illumination by means of background subtraction. If the light detection threshold is smaller than the illumination dynamic threshold， the Gaussian mixture background model is selected， otherwise the inter?frame difference is selected. The target can be accurately described by the opening operation， closed operation， connected domain calculation， and convex hull morphological operation of the region. The experimental results show that the fusion algorithm can eliminate the ghost phenomenon， and can be effectively applied to the target detection of moving vehicles in traffic video under the condition of illumination improvement.

Keywords： background difference; inter?frame difference; Gaussian mixture model; moving target detection; dynamic threshold; traffic video

0 ?引 ?言

視頻監(jiān)控已經(jīng)普遍應(yīng)用于各個公共場所，為進一步減輕管理人員的工作量，可以利用計算機視覺技術(shù)，自動對監(jiān)控目標進行分析，則管理人員可對分析結(jié)果進行快速決策。例如，對城市道路上高峰時間段的交通視頻進行車流分析，可方便車主提前知曉實時路況，并做出適當選擇。目前，在靜止攝像機的運動目標檢測和分析研究中，常用的實現(xiàn)方法有背景差分法[1]、幀間差分法[2]、光流法[3?4]、ViBe以及改進的ViBe[5?7]算法等。幀間差分法算法簡單，不易受光線影響，常與背景差分法融合計算，與單一的幀間差分法比較，克服了離散噪聲的干擾。文獻[3?4]采用未改進的光流法對運動目標進行檢測，由于算法迭代運算量大，不適用于實時性環(huán)境要求較高的場合。文獻[5?7]描述的ViBe背景提取算法，該算法處理檢測到的背景突然明顯變化的情況，容易形成鬼影。為解決動態(tài)背景被誤檢，改進ViBe算法則具有較高的魯棒性，動態(tài)適應(yīng)性較好，改進的ViBe算法相對未改進的ViBe算法應(yīng)用于攝像機抖動情況下有良好的適應(yīng)性。

本文根據(jù)上述目標識別檢測算法的優(yōu)缺點，針對交通視頻監(jiān)控的移動車輛的目標檢測，提出幀間差分與混合高斯背景模型的融合算法[8]。該算法首先計算視頻幀圖像的動態(tài)閾值，根據(jù)閾值大小選擇相應(yīng)的幀間差分或者混合高斯背景模型進行運算，提取出目標和背景;然后對目標圖像進行相應(yīng)的開運算、閉運算、連通域計算和區(qū)域的凸包計算，即可完成對目標的識別和檢測。本文算法設(shè)計流程如圖1所示。

1 ?算法分析

1.1 ?視頻序列幀提取

計算機通過API接口讀取視頻，從視頻中讀取幀圖像，并通過彩色（RGB）到灰度圖（GRAY）運算，完成視頻圖片的預(yù)處理過程。

1.2 ?背景動態(tài)閾值算法

光照的動態(tài)閾值[9]根據(jù)提取視頻序列當前幀與背景幀圖像進行動態(tài)背景差分運算，表達式為：

[R（i，j）=F（i，j）-B（i，j）] （1）

式中：[F（i，j）]表示前景圖像;[B（i，j）]表示背景圖像;對[R（i，j）]進行二值化，有：

[R（i，j）=1， ? ? ?Fi，j-Bi，j>T0， ? ? ?Fi，j-Bi，j≤T ] （2）

式中：[T]表示設(shè)定的灰度閾值;[R（i，j）]=1表示檢測到目標。但僅靠式（2）的理論計算還是難以檢測到有效目標，由于光照的影響，隨時可能誤判目標。考慮光線環(huán)境影響的因素，這里提出動態(tài)閾值[ΔT]，即在原灰度閾值[T]的基礎(chǔ)上增加[ΔT]項：

[ΔT=φ?1M×Ni=0N-1 j=0M-1F（i，j）-B（i，j）] （3）

式中：[φ]表示參考抑制系數(shù)，可根據(jù)實際情況將其設(shè)定為某個值，通常取值2;[M×N]表示視頻幀圖像尺寸大小。則改進的[R（i，j）]表達式為：

[R（i，j）=1， ? ? F（i，j）-B（i，j）>T+ΔT0， ? ? F（i，j）-B（i，j）≤T+ΔT] （4）

如果光照變化不明顯，則[ΔT]很小，最終閾值變化不大。因此，引入動態(tài)閾值[ΔT]就可以判斷下一步采用幀間差分法還是混合高斯背景模型法。設(shè)定一個最大動態(tài)閾值[ΔTmax]，若[ΔT]>[ΔTmax]則采用幀間差分法，反之，采用混合高斯背景模型法。

1.3 ?幀間差分法

幀間差分法的優(yōu)勢是對光照變化不敏感，與上述背景差分有相似之處，都是對視頻序列連續(xù)幀進行處理，背景差分是采樣前幾幀圖像作為背景幀與當前幀求差分，而幀間差分采用連續(xù)三幀圖像進行運算，可以減輕鬼影和空洞現(xiàn)象[10]。算法步驟如下：

1） 取視頻序列連續(xù)三幀圖像[Gk-1，Gk，Gk+1]，分別對相鄰兩幀圖像進行差分運算得到[Rk，Rk+1]：

[Rk（i， j）=Gk（i， j）-Gk-1（i， j）] （5）

[Rk+1（i， j）=Gk+1（i， j）-Gk（i， j）] （6）

2） 根據(jù)動態(tài)閾值[T+ΔT]對[Rk，Rk+1]進行二值化：

[Rk（i， j）=1， ? ? Rk（i， j）∩Rk+1（i， j）=1 0， ? ? 其他] （7）

由式（7）可知，對目標的確定需要兩次連續(xù)二值化，確定都為1的目標后，才最終確定為目標。

1.4 ?混合高斯背景模型法

高斯背景需要在光照變化不敏感的情況下才能對視頻背景序列采用混合高斯背景模型（Gaussian Mixture Model，GMM）建模[11]，該模型對視頻幀圖像的某個像素點采用[k]（3～5）個高斯分布描述，設(shè)某像素點[I（x0，y0）]在[t（t>1）]時刻內(nèi)值的數(shù)學(xué)表達式為：

[x1，x2，…，xt=Ix0，y0，i：1

根據(jù)式（8）建立的觀測值，[xt]的概率密度函數(shù)[p（x）]的[k]個混合高斯分布加權(quán)表達式為：

[p（x）=i=0kωi，t?η（xt，μi，t，Σi，t）] （9）

式中：[ωi，t]，[μi，t]和[Σi，t]分別表示[t]時刻混合高斯分布模型的第[i]個權(quán)值[i=1kωi，t=1]、均值和協(xié)方差矩陣;[η（xt，μi，t，Σi，t）]為高斯概率密度函數(shù)：

[ηxt，μi，t，Σi，t=1（2π）n2Σi，t12?exp-（xt-μi，t）T2i，t（xt-μi，t）] （10）

式中：協(xié)方差矩陣[Σi，t=σ2tI]（[I]為單位陣）。當[t+1]時刻觀測值到來，像素點[xt+1]需要根據(jù)匹配規(guī)則判斷其是否與已經(jīng)存在的高斯分布相匹配，如果匹配，則該像素點為背景點[7]。該匹配規(guī)則為：

[xt+1-μi，t

式中：[c]為參考系數(shù)，一般取2.5;[σi，t]為[t]時刻第[i]個高斯分布標準偏差。當像素點滿足匹配規(guī)則后，會影響原來的概率分布，故需要更新高斯分布的相匹配像素點的均值、方差和權(quán)值，更新表達式為：

[μi，t=1-αμk，t+αxt] （12）

[σ2i，t=1-αμ2i，t-1+α（xt-μi，t）T（xt-μi，t）] （13）

[ωi，t=1-ρωi，t-1+ρMi，t， ? i=1，2，…，k] （14）

式中：[α]為背景更新率;[ρ]為學(xué)習(xí)率。這兩個參數(shù)均由實驗調(diào)試的最佳效果確定。當?shù)赱i]個高斯分布與模型匹配時，[Mi，t]取值1，其余[k-1]個情況下[Mi，t]取值為0。為了取得可靠的背景模型，還需要對第[i]個像素的高斯分布權(quán)值以[ωi，tσ]做降序排列，[σ]的選取需設(shè)定下限值[σmin]。當[σ2i，t>σ2min]，取實際值[σi，t];當[σ2i，t≤σ2min]，取下限值[σmin]。經(jīng)過降序排列的權(quán)值，取優(yōu)先級較高的前[b]個作為描述穩(wěn)定背景的高斯分布，[b]的選取根據(jù)經(jīng)驗表達式[b=argmini=1bωi，t>0.85]得到。由此可知，當像素點的值[xt]與前[b]個高斯分布背景匹配時，是背景點，否則為目標點。

1.5 ?形態(tài)學(xué)運算

通過前述運算，可以提取到需要跟蹤的目標。另外，為了直觀顯示跟蹤目標對象，還需要對目標進行相應(yīng)的形態(tài)學(xué)運算才能在視頻序列中準確描述目標。形態(tài)學(xué)運算包括先腐蝕后膨脹的開運算、先膨脹后腐蝕的閉運算、相關(guān)連通域的計算以及區(qū)域的凸包運算。

2 ?實驗測試分析

本文選取一段交通視頻來測試對移動車輛的識別檢測，在Visual Studio+Open cv環(huán)境下進行測試，調(diào)用API接口采集視頻幀圖像。為方便結(jié)果演示和分析，實驗中取連續(xù)幀圖像的測試效果并不明顯，因此取視頻中第1幀和第14幀圖像進行測試，測試動態(tài)閾值[ΔTmax]取值3～11，當[ΔTmax]設(shè)置較小時，選擇幀間差分法，測試目標檢測效果如圖2所示。[ΔTmax]設(shè)置較大時，選擇混合高斯背景模型法，該算法需完成混合高斯背景建模后，提取出目標像素點再進行形態(tài)學(xué)處理，兩部分測試效果如圖3，圖4所示。

通過以上幀間圖像測試可知，可根據(jù)動態(tài)閾值調(diào)節(jié)，選取相應(yīng)的目標檢測算法。當光照影響較大時采用幀間差分法，當光照影響較小時，采用混合高斯背景模型法。

3 ?結(jié) ?語

本文通過詳細論述動態(tài)閾值、背景差分、幀間差分、混合高斯背景模型等運算過程，并通過實驗測試有效消除了鬼影現(xiàn)象，其效果對環(huán)境要求較高，仍存在一定應(yīng)用局限性。若對環(huán)境進行預(yù)處理改善后，該方法可有效應(yīng)用于視頻序列目標檢測，也為工程技術(shù)人員快速解決類似的移動目標檢測提供思路。

參考文獻

[1] 袁益琴，何國金，王桂周，等.背景差分與幀間差分相融合的遙感衛(wèi)星視頻運動車輛檢測方法[J].中國科學(xué)院大學(xué)學(xué)報，2018，35（1）：50?58.

YUAN Y Q， HE G J， WANG G Z， et al. A background subtraction and frame subtraction combined method for moving vehicle detection in satellite video data [J]. Journal of University of Chinese Academy of Sciences， 2018， 35（1）： 50?58.

[2] OHTA N. A statistical approach to background substraction for surveillance systems [C]// Proceedings of the Eighth IEEE International Conference on Computer Vision. Vancouver： IEEE， 2001： 481?486.

[3] 屈治華，邵毅明，鄧天民.基于特征光流的多運動目標檢測跟蹤算法與評價[J].科學(xué)技術(shù)與工程，2018，18（22）：97?104.

QU Zhihua， SHAO Yiming， DENG Tianmin. Multi?objective detection and tracking algorithm based on feature optical flow and its evaluation [J]. Science technology and engineering， 2018， 18（22）： 97?104.

[4] 謝紅，原博，解武.LK光流法和三幀差分法的運動目標檢測算法[J].應(yīng)用科技，2016，43（3）：23?27.

XIE Hong， YUAN Bo， XIE Wu. Moving target detection algorithm based on LK optical flow and three?frame differences [J]. Applied science and technology， 2016， 43（3）： 23?27.

[5] VAN DROOGENBROECK M， PAQUOT O. Background subtraction： experiments and improvements for ViBe [C]// 2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. Providence： IEEE， 2012： 32?37.

[6] 楊依忠，張強，汪鵬飛.基于改進ViBe算法與三幀差法的運動檢測算法[J].合肥工業(yè)大學(xué)學(xué)報（自然科學(xué)版），2018，41（8）：1052?1058.

YANG Yizhong， ZHANG Qiang， WANG Pengfei. A novel mo?ving objects detection algorithm based on improved ViBe and three?frame differencing algorithm [J]. Journal of Hefei University of Technology （natural science edition）， 2018， 41（8）： 1052?1058.

[7] 王旭，劉毅，李國燕.基于改進ViBe算法的運動目標檢測方法[J].激光與光電子學(xué)進展，2017，37（2）：99?102.

WANG Xu， LIU Yi， LI Guoyan. Moving object detection algorithm based on improved visual background extractor [J]. Laser & optoelectronics progress， 2017， 37（2）： 99?102.

[8] 李曉瑜，馬大中，付英杰.基于三幀差分混合高斯背景模型運動目標檢測[J].吉林大學(xué)學(xué)報（信息科學(xué)版），2018，36（4）：414?422.

LI Xiaoyu， MA Dazhong， FU Yingjie. Moving object detection using mixed Gauss background model based on three frame differencing [J]. Journal of Jilin University （information science edition）， 2018， 36（4）： 414?422.

[9] 陳鳳東，洪炳镕.基于動態(tài)閾值背景差分算法的目標檢測方法[J].哈爾濱工業(yè)大學(xué)學(xué)報，2005，37（7）：883?884.

CHEN Fengdong， HONG Bingrong. Object detecting method based on background image difference using dynamic threshold [J]. Journal of Harbin Institute of Technology， 2005， 37（7）： 883?884.

[10] 孫挺，齊迎春，耿國華.基于幀間差分和背景差分的運動目標檢測算法[J].吉林大學(xué)學(xué)報（工學(xué)版），2016，46（4）：1325?1329.

SUN Ting， QI Yingchun， GENG Guohua. Moving object detection algorithm based on frame difference and background subtraction [J]. Journal of Jilin University （engineering and technology edition）， 2016， 46（4）： 1325?1329.

[11] 盧章平，孔德飛，李小蕾，等.背景差分與三幀差分結(jié)合的運動目標檢測算法[J].計算機測量與控制，2013，21（12）：3315?3318.

LU Zhangping， KONG Defei， LI Xiaolei， et al. A method for moving object detection based on background subtraction and three?frame differencing [J]. Computer measurement & control， 2013， 21（12）： 3315?3318.