公共場所暴力行為的光流場構(gòu)建及分析方法*

黃繼東 黎梓毅 馮兆熙 梁家燁 伍馮潔

(1.廣州大學(xué)機(jī)械與電氣工程學(xué)院 廣州 510006)(2.廣州大學(xué)計(jì)算機(jī)科學(xué)與教育軟件學(xué)院 廣州 510006)(3.廣州大學(xué)實(shí)驗(yàn)中心 廣州 510006)

公共場所暴力行為的光流場構(gòu)建及分析方法*

黃繼東1黎梓毅2馮兆熙1梁家燁1伍馮潔3

(1.廣州大學(xué)機(jī)械與電氣工程學(xué)院 廣州 510006)(2.廣州大學(xué)計(jì)算機(jī)科學(xué)與教育軟件學(xué)院 廣州 510006)(3.廣州大學(xué)實(shí)驗(yàn)中心 廣州 510006)

針對以往在暴力事件識別中經(jīng)常存在將相對靜止的對象或普通身體接觸誤判為暴力行為的情況,論文提出了一基于Lucas-Kanade光流法的公共場所暴力檢測方法。首先,檢測并存儲相鄰兩幀圖像的特征點(diǎn),其次,根據(jù)特征點(diǎn)對運(yùn)動物體進(jìn)行運(yùn)動特征提取,最后,構(gòu)建反映物體運(yùn)動狀況的光流場。同時(shí),論文還分析了Lucas-Kanade光流算法的金字塔分解層數(shù)、光流運(yùn)算窗口、最大光流方向數(shù)這三個(gè)參量對光流效果的影響。實(shí)驗(yàn)結(jié)果表明,使用構(gòu)建光流場的分析方法能有效識別公共場所中發(fā)生的暴力事件。

公共場所; 運(yùn)動圖像; 光流法

Class Number TP391.4

1 引言

根據(jù)調(diào)查,暴力行為發(fā)生時(shí)往往存在肢體沖突,并伴隨著身體全身或局部部位(如頭、四肢等)較劇烈的運(yùn)動,那么,如何快速濾除目標(biāo)對象沒有劇烈運(yùn)動的圖像序列,及如何判定當(dāng)目標(biāo)對象有肢體接觸時(shí)是沖突行為還是善意的身體接觸,這是需要考慮的關(guān)鍵問題。以前的方法一般是遍歷圖像序列,通過檢測目標(biāo)對象間的連通域來實(shí)現(xiàn)[1]。但這種方法存在兩個(gè)問題：1) 檢測的圖像包括運(yùn)動的和相對靜止的目標(biāo)對象；2) 沒有考慮沖突事件發(fā)生過程的特點(diǎn),容易把目標(biāo)對象間善意的身體接觸誤判為沖突行為。

運(yùn)動圖像檢測技術(shù)的引入可較好地解決以上存在的問題。本文針對暴力行為發(fā)生時(shí)圖像存在突變情況的特點(diǎn),利用運(yùn)動圖像檢測算法——Lucas-Kanade光流法來構(gòu)建公共場所暴力行為的光流場[2],并對可能影響光流場分析結(jié)果的參數(shù),如金字塔的層數(shù)、光流估計(jì)窗口、最大光流方向數(shù)等,分別取不同的值,對構(gòu)建完成的光流場進(jìn)行光流效果分析,以確定最佳的金字塔層、光流窗口大小與最大光流方向數(shù),從而為后續(xù)提取公共場所暴力行為的光流矢量、光流速度、平均光流速度,及自動檢測與識別工作提供必需的判斷依據(jù)。

2 運(yùn)動檢測的相關(guān)理論

光流法是一種估計(jì)圖像序列中像素點(diǎn)在連續(xù)幀中的運(yùn)動情況的方法,它描述了瞬時(shí)運(yùn)動形狀,包括運(yùn)動物體的形狀(空間)和運(yùn)動的形狀(時(shí)間),可以從運(yùn)動形狀的差異得到圖像中目標(biāo)物體的結(jié)構(gòu)與其運(yùn)動的關(guān)系。目前,比較典型的光流計(jì)算方法有Horn-Schunck 和Lucas-Kanade等。考慮到視頻監(jiān)控一般具有場景數(shù)量大、對檢測效率及應(yīng)急速度要求高的特點(diǎn),本文將采用金字塔Lucas-Kanade 光流算法實(shí)現(xiàn)光流計(jì)算及目標(biāo)跟蹤[3]。

Lucas-Kanade光流算法是一種兩幀差分的光流估計(jì)算法[4],假設(shè)在一個(gè)小矩形窗口內(nèi)其光流保持恒定,對相鄰的兩幀圖像,若序列圖像獲取的時(shí)間間隔很短,且場景和光照條件變化緩慢,那么它們將滿足灰度恒定約束,得到式(1)

I(u,v,k)=I(μ+ε,ν+η,k+1)

(1)

式中,I(u,v,k)表示第k幀圖像,I(u,v,k+1)表示第k+1幀圖像。

根據(jù)式(1),令I(lǐng)(x)=I(u,v,k),J(x+d)=I(μ+ε,ν+η,k+1),得到目標(biāo)函數(shù)如式(2)所示

(2)

式中,w表示一個(gè)小矩形窗口,d表示光流。

通過最小化殘差E來得到光流d的估計(jì)值,得到式(3)

(3)

將J(x+d)按泰勒級數(shù)展開并線性逼近,代入式(3)中,得到光流d的估計(jì)值,如式(4)所示

(4)

Lucas-Kanade光流算法通過計(jì)算局部區(qū)域的光流來獲得目標(biāo)的運(yùn)動狀態(tài)[5],并能根據(jù)實(shí)際視頻圖像自行設(shè)定光流計(jì)算窗口的大小,計(jì)算量較小且應(yīng)用靈活,同時(shí)可獲取更加精確的光流估計(jì)值,從而顯著提高系統(tǒng)檢測速度與檢測精度。

3 光流場構(gòu)建

根據(jù)Lucas-Kanade光流法在較短時(shí)間內(nèi)同一像素點(diǎn)在不同時(shí)間的灰度相同這一特性,可通過檢測相鄰兩幀圖像的特征點(diǎn)的運(yùn)動狀態(tài)來構(gòu)建公共場所暴力行為的光流場[6]。光流場構(gòu)建主要包括兩個(gè)步驟,一是獲取圖像的特征點(diǎn)[7],二是根據(jù)特征點(diǎn)構(gòu)建可視的光流場[8]。

步驟一：找到相鄰兩幀圖像的特征點(diǎn)并儲存,為后面的運(yùn)動變化特征提取提供數(shù)據(jù)源,用式(5)表示,其中,第k幀圖像的特征點(diǎn)采用遍歷整幅圖像的方法查找,第k+1幀圖像的特征點(diǎn)是第k幀特征點(diǎn)在第k+1幀中對應(yīng)的位置。

(5)

式中,Tk(i)表示第k幀特征點(diǎn)的特征值,表(xi,yi)示第k幀特征點(diǎn)的位置,(xj,yj)表示第k幀特征點(diǎn)在第k+1幀對應(yīng)的位置,n、m分別表示第k、k+1幀圖像所找到的特征點(diǎn)的數(shù)量。

為了提高運(yùn)算速度,在查找特征點(diǎn)過程中,當(dāng)兩幀圖像中對應(yīng)特征窗口的光度之差的平方σω小于某個(gè)閾值δw,即滿足式(6)時(shí),式(4)迭代終止,其中經(jīng)過無數(shù)次的實(shí)驗(yàn)測試,本文的閾值δw取0.4。

(6)

式中fω1、fω2是相鄰的兩幀圖像,ω是對應(yīng)的特征窗口。

步驟二：根據(jù)相鄰兩幀圖像對應(yīng)的特征值來構(gòu)建光流場,構(gòu)建過程主要包括四步：第一步遍歷特征點(diǎn)統(tǒng)計(jì)出光流方向數(shù)n及不同的光流方向數(shù)m；第二步記錄各個(gè)特征點(diǎn)的位置及方向變化；第三步定義點(diǎn)、方向、箭頭等對象；第四步利用第三步定義好的對象,根據(jù)第二步記錄的特征點(diǎn)情況,再通過對線的開始點(diǎn)和終止點(diǎn)的適當(dāng)縮小及放大,則可得到可視的光流場圖像[9]。

采用Lucas-Kanade光流算法對公共場所監(jiān)控目標(biāo)人群構(gòu)建的光流場效果圖如圖1所示。

圖1 Lucas-Kanade光流場效果圖

4 光流場分析

從式(2)與式(4)可知,影響光流效果的主要因素有三個(gè),分別為Lucas-Kanade光流算法的金字塔分解層數(shù)、光流運(yùn)算窗口、最大光流方向數(shù)[10]。本文對一段圖像分辨率為640×480存在暴力行為的圖像進(jìn)行實(shí)驗(yàn),分別對金字塔分解層數(shù)、光流運(yùn)算窗口、最大光流方向數(shù)取不同的數(shù)值,通過分析與對比不同取值時(shí)的光流效果圖,從而確定光流效果最好時(shí)金字塔分解層數(shù)、光流運(yùn)算窗口、最大光流方向數(shù)的取值,以其中一幀圖像(如第21幀)為例說明光流場分析的實(shí)驗(yàn)過程如下：

1) 分別對金字塔分解層數(shù)取1,3,5的數(shù)值,得到的光流場效果圖分別如圖2～4所示。

圖2 k=1的光流效果圖

圖3 k=3的光流效果圖

圖4 k=5的光流效果圖

2) 分別對光流運(yùn)算窗口取3×3,5×5,7×7的數(shù)值,得到的光流場效果圖分別如圖5～7所示。

圖5 光流運(yùn)算窗口=3×3的光流效果圖

圖6 光流運(yùn)算窗口=5×5的光流效果圖

圖7 光流運(yùn)算窗口=7×7的光流效果圖

3) 分別對最大光流方向數(shù)取100,250,400的數(shù)值,得到的光流場效果圖分別如圖8～10所示。

圖8 最大光流方向數(shù)為100的光流效果圖

圖9 最大光流方向數(shù)為250的光流效果圖

圖10 最大光流方向數(shù)為400的光流效果圖

采用同樣的光流分析方法對多段存在暴力行為的公共場所監(jiān)控視頻進(jìn)行分析與對比,得出金字塔分解層數(shù)、光流運(yùn)算窗口、最大光流方向數(shù)這三個(gè)參數(shù)對光流效果的影響結(jié)果分析如下。

在光流場構(gòu)建過程,光流運(yùn)算窗口取值越小,運(yùn)算量越小,但得出的光流場效果一般,僅適用于簡單工程項(xiàng)目,隨著取值增大,運(yùn)算量增加,運(yùn)算速度有所下降,但對環(huán)境與目標(biāo)的區(qū)分更準(zhǔn)確,光流效果也更好。金字塔分解層數(shù)的取值越小,迭代次數(shù)越少,運(yùn)算量也越少,但光流效果則較差,隨著k取值增大,迭代次數(shù)增多,運(yùn)算量增大,但光流處理的效果較好。最大光流方向數(shù)取值的大小將直接影響光流矢量的方向,當(dāng)取值越小,運(yùn)算量也越小,但光流矢量方向很不明顯,隨著取值增大,運(yùn)算量增大,相應(yīng)的光流矢量方向也越來越明顯,但m的取值不能太大,太大會帶來特征點(diǎn)太多的問題,進(jìn)而影響公共場所暴力行為識別效果。

5 結(jié)語

本文提出了一種基于Lucas-Kanade光流法的公共場合暴力事件檢測方法,并分析了光流場相關(guān)參數(shù)的調(diào)整對運(yùn)算量以及暴力行為識別效果的影響。相比于傳統(tǒng)的方法,通過構(gòu)建運(yùn)動圖像的光流場,提取光流矢量,從而能夠更加準(zhǔn)確地描述圖像中的物體運(yùn)動狀況,對于以往的暴力事件檢測方法,其顯著地降低了誤判率。此方法還存在一些不足之處,由于Lucas-Kanade光流算法有亮度恒定的假設(shè),在實(shí)際運(yùn)行環(huán)境中當(dāng)外部環(huán)境因素突然發(fā)生改變時(shí),可能會因此產(chǎn)生識別誤差,但可在暴力行為識別前通過圖像預(yù)處理來降低該誤差。

[1] 毛曉東,樊亞文.高清視頻監(jiān)控技術(shù)在城市公共安全中的應(yīng)用[J].電視技術(shù),2010,34(4):103-105. MAO Xiaodong, FAN Yawen. HD video monitoring technology in city public security application of[J]. TV technology,2010,34(4):103-105.

[2] 湯一平,陸海峰.基于計(jì)算機(jī)視覺的電梯內(nèi)防暴力智能視頻監(jiān)控[J].浙江工業(yè)大學(xué)學(xué)報(bào),2009,37(6):591-597. TANG Yiping, LU Haifeng. Anti violence intelligent video surveillance[J]. Journal of Zhejiang University of Technology, in elevator based on computer vision 2009,37(6):591-597.

[3] Shu Tao, Apostolopoulos J., Guerin, R.. Real-Time Monitoring of Video Quality in IP Networks[J]. IEEE/ACM Transactions on Networking.2008,16(5).

[4] 肖軍,朱世鵬,黃杭,等.基于光流法的運(yùn)動目標(biāo)檢測與跟蹤算法[J].東北大學(xué)學(xué)報(bào)(自然科學(xué)版),2016,37(6). XIAO Jun, ZHU Shipeng, HUANG hang, et al. Motion target detection and tracking algorithm based on optical flow algorithm[J]. Journal of Northeastern University (NATURAL SCIENCE EDITION),2016,37(6).

[5] 劉潔.基于光流法的運(yùn)動目標(biāo)檢測和跟蹤算法研究[D].北京:中國礦業(yè)大學(xué),2015. LIU Jie. Research on moving object detection and tracking algorithm based on optical flow[D]. Beijing: China University of Mining and Technology,2015.

[6] Barron J L, Fleet D J, Beauchemin S S. Performance of optical flow techniques[J]. International Journal of Computer Vision, 1994, 12(1):43-77.

[7] 陳震,高滿屯,沈允文.基于角點(diǎn)跟蹤的光流場計(jì)算[J].計(jì)算機(jī)工程,2003,29(13):76-78. CHEN Zhen, GAO Mantun, SHEN Yunwen. Optical flow computation based on corner point tracking[J]. Computer Engineering,2003,29(13):76-78.

[8] 寧瑞芳,歐陽寧,莫建文.基于光流法的聚眾事件檢測[J].計(jì)算機(jī)工程與應(yīng)用,2012,48(3):198-201. NING Ruifang, OUYANG Ning, MO Jianwen. The event detection based on optical flow method[J]. computer engineering and applications,2012,48(3):198-201.[9] 劉濤.基于光流場的視頻車輛檢測與跟蹤算法研究與應(yīng)用[D].武漢:武漢科技大學(xué),2011. LIU Tao. Research and application of video vehicle detection and tracking algorithm based on optical flow field[D]. Wuhan: Wuhan University of Science and Technology,2011.

[10] Tamgade S N, Bora V R. Motion Vector Estimation of Video Image by Pyramidal Implementation of Lucas Kanade Optical Flow[C]//International Conference on Emerging Trends in Engineering & Technology,Icetet 2009, Nagpur, Maharashtra, India, 16-18 December.2009:914-917.

Optical Flow Establishment and Analysis of Violence in Public Places

HUANG Jidong1LI Ziyi2FENG Zhaoxi1LIANG Jiaye1WU Fengjie3

(1. School of Mechanical and Electric Engieering, Guangzhou University, Guangzhou 510006) (2. School of Computer Science and Educational Software, Guangzhou University, Guangzhou 510006) (3. Laboratory Center, Guangzhou University, Guangzhou 510006)

In view of the situation that in recognition of violence in public places, the previous method of detecting has the existence of miscarriage of justice to the static object or general physical contact. So in this paper, a public places violence detection method based on Lucas-Kanade optical flow method is proposed, and the effect of recognition in different parameters is analyzed. First, the feature points of two adjacent frames are detected and stored. Then, the optical flow field to reflect the motion state of objects will be constructed. Besides, in this paper, the effects of the three parameters on the optical flow are analyzed, which are the Pyramid decomposition layer, the optical flow computation window and the maximum optical flow direction of the Lucas-Kanade optical flow algorithm. The experimental results show that the analysis method for constructing optical flow field can effectively identify the occurrence of violence in public places.

public places, moving picture, optical flow

2016年9月3日,

2016年10月24日

廣州大學(xué)大學(xué)生創(chuàng)新訓(xùn)練項(xiàng)目《公共場所暴力沖突的機(jī)器視覺自動檢測方法研究》(編號:CX2015024);廣州市屬高校科研計(jì)劃項(xiàng)目《公共場所暴力行為智能檢測系統(tǒng)的關(guān)鍵技術(shù)研究》(編號:2012A025);廣東省科技計(jì)劃項(xiàng)目《智能社區(qū)異常情況自動檢測系統(tǒng)的研發(fā)及產(chǎn)業(yè)化》(編號:2013B090500067);第十五屆“挑戰(zhàn)杯”全國大學(xué)生課外學(xué)術(shù)科技作品競賽項(xiàng)目資助。

黃繼東,男,研究方向:智能控制與模式識別。黎梓毅,男,研究方向:圖像處理與計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)。馮兆熙,男,研究方向:信息處理與智能控制。梁家燁,男,研究方向:信息處理與智能控制。伍馮潔,女,碩士,高級實(shí)驗(yàn)師,研究方向:光機(jī)電算一體化關(guān)鍵技術(shù)及實(shí)驗(yàn)教學(xué)。

TP391.4

10.3969/j.issn.1672-9722.2017.03.024