復(fù)雜靜態(tài)背景下多移動(dòng)目標(biāo)實(shí)時(shí)檢測(cè)系統(tǒng)的FPGA實(shí)現(xiàn)

陳大偉，劉海龍，李金屏

(1.濟(jì)南大學(xué)信息科學(xué)與工程學(xué)院，濟(jì)南250022;2.山東省網(wǎng)絡(luò)環(huán)境智能計(jì)算技術(shù)重點(diǎn)實(shí)驗(yàn)室，濟(jì)南250022)

隨著人類安防意識(shí)的提高，智能視頻監(jiān)控系統(tǒng)在越來(lái)越多的領(lǐng)域中得到廣泛的應(yīng)用。例如智能小區(qū)監(jiān)控系統(tǒng)、交通事故檢測(cè)系統(tǒng)、無(wú)人車間以和人包分離監(jiān)控系統(tǒng)等。在視頻監(jiān)控中，目標(biāo)檢測(cè)是技術(shù)的關(guān)鍵。因此實(shí)現(xiàn)多移動(dòng)目標(biāo)的快速、準(zhǔn)確實(shí)時(shí)檢測(cè)具有十分重要的研究意義［1－2］。

傳統(tǒng)上視頻監(jiān)控技術(shù)算法都是在PC機(jī)上實(shí)現(xiàn)，視頻監(jiān)控系統(tǒng)成本較高，不便于攜帶靈活性差。隨著FPGA(Filed Programmable Gate Array)的出現(xiàn)，其豐富的邏輯資源和高速運(yùn)算能力［3］，特別適合視頻圖像處理的要求，使利用FPGA進(jìn)行視頻圖像處理逐步成為發(fā)展趨勢(shì)［4－5］。

近年來(lái)，國(guó)內(nèi)外很多專家和學(xué)者對(duì)利用FPGA進(jìn)行視頻圖像處理提出了許多見解和方法。Hiroaki等［1］通過(guò)將光流法和立體視覺(jué)結(jié)合起來(lái)，實(shí)現(xiàn)了多移動(dòng)目標(biāo)的檢測(cè)和測(cè)距;Fatih［2］采用單一攝像頭，實(shí)現(xiàn)了移動(dòng)目標(biāo)的實(shí)時(shí)檢測(cè)和跟蹤。在國(guó)內(nèi)有像素漂移算法［6］、三維距離函數(shù)測(cè)距算法等，這些算法有望在FPGA上實(shí)現(xiàn)，便于視頻監(jiān)控系統(tǒng)向著產(chǎn)品化和智能化方向發(fā)展。

筆者設(shè)計(jì)出一種基于FPGA的復(fù)雜靜態(tài)背景下多移動(dòng)目標(biāo)的實(shí)時(shí)檢測(cè)系統(tǒng)。其創(chuàng)新點(diǎn)在于使用多重去噪技術(shù)獲得了良好的檢測(cè)效果。系統(tǒng)低成本、低功耗，便于安裝維護(hù)，可作為智能監(jiān)控系統(tǒng)廣泛適用于小區(qū)和交通路口［7］、銀行和博物館，以及工廠的無(wú)人車間等場(chǎng)所中，具有很高的實(shí)用價(jià)值。

1 系統(tǒng)硬件設(shè)計(jì)方案與實(shí)現(xiàn)

1.1 系統(tǒng)硬件設(shè)計(jì)方案

系統(tǒng)硬件設(shè)計(jì)方案在采用FPGA芯片上實(shí)現(xiàn)，包括視頻采集、視頻格式轉(zhuǎn)換等6個(gè)部分［6］。系統(tǒng)硬件結(jié)構(gòu)框圖如下圖1所示。

圖1 系統(tǒng)硬件設(shè)計(jì)結(jié)構(gòu)框圖Fig.1 Block diagram of system hardware design

1.2 系統(tǒng)硬件方案實(shí)現(xiàn)

系統(tǒng)采用CMOSWV_CP240模擬攝像頭，錄入PAL(Phase Alternative Line)制式模擬視頻。系統(tǒng)硬件方案的實(shí)現(xiàn)如圖2所示。

系統(tǒng)采用的 FPGA芯片為 Altera公司CycloneII系列EP2C70F896C6N。錄入的模擬視頻經(jīng)過(guò)ADV7180進(jìn)行解碼，解碼后的數(shù)字視頻送入FPGA進(jìn)行處理，處理結(jié)果通過(guò)ADV7123轉(zhuǎn)換為模擬視頻流，送入顯示器實(shí)時(shí)顯示。檢測(cè)到移動(dòng)目標(biāo)的同時(shí)，系統(tǒng)驅(qū)動(dòng)揚(yáng)聲器發(fā)出警報(bào)。

圖2 系統(tǒng)硬件實(shí)現(xiàn)結(jié)構(gòu)圖Fig.2 Structure diagram of system hardware realization

2 系統(tǒng)軟件設(shè)計(jì)方案與實(shí)現(xiàn)

2.1 系統(tǒng)軟件設(shè)計(jì)方案

系統(tǒng)軟件設(shè)計(jì)方案各算法均采用 Verilog HDL硬件描述語(yǔ)言［8］設(shè)計(jì)實(shí)現(xiàn)。算法示意圖如圖3所示。

圖3 算法示意圖Fig.3 diagram of system algorithm

2.2 系統(tǒng)軟件方案實(shí)現(xiàn)

系統(tǒng)從SDRAM2中分別讀入RGB格式的當(dāng)前幀和背景幀圖像。首先將圖像灰度化，再用中值濾波算法濾除攝像頭在采集視頻時(shí)所引入的噪聲。

初步去噪后的灰度視頻圖像及原始圖像R分量同時(shí)送入背景差分模塊中進(jìn)行差分并取絕對(duì)值。差分結(jié)果若大于系統(tǒng)閾值T，則認(rèn)為檢測(cè)場(chǎng)景中有移動(dòng)目標(biāo)出現(xiàn);反之則認(rèn)為沒(méi)有移動(dòng)目標(biāo)出現(xiàn)。

檢測(cè)出移動(dòng)目標(biāo)后，系統(tǒng)有3種后續(xù)處理方案:1)對(duì)比移動(dòng)目標(biāo)經(jīng)過(guò)腐蝕膨脹和像素漂移算法處理前后的效果;2)加入Sobel邊緣檢測(cè)算法再次進(jìn)行對(duì)比;3)檢測(cè)到移動(dòng)目標(biāo)，系統(tǒng)警報(bào)。每種方案都有相應(yīng)的功能開關(guān)進(jìn)行控制。

針對(duì)系統(tǒng)初始得到的移動(dòng)目標(biāo)并不十分充盈，且含有較多的噪聲點(diǎn)的情況，特引入數(shù)學(xué)形態(tài)學(xué)［6］中的腐蝕、膨脹算法和像素漂移算法。腐蝕膨脹算法既消除了圖像部分噪聲點(diǎn)，又保持了檢測(cè)目標(biāo)的完整性。像素漂移算法對(duì)檢測(cè)到的目標(biāo)進(jìn)行再次去噪，進(jìn)一步消除圖像中一些孤立的噪聲點(diǎn)，經(jīng)過(guò)多種算法去噪，獲得了良好的效果。

3 像素漂移算法

像素漂移是指因?yàn)閿z像機(jī)內(nèi)部的暗電流或者電子噪聲以及外界環(huán)境中的空氣擾動(dòng)等原因，引起的某一目標(biāo)點(diǎn)像素值發(fā)生漂移的現(xiàn)象。

現(xiàn)在假設(shè)像素漂移現(xiàn)象主要發(fā)生在中心像素的8鄰域內(nèi)，像素漂移的示意圖如圖4所示。

圖4 像素漂移示意圖Fig.4 Sketch map of pixel shift algorithm

假設(shè)從左到右、從上到下分別為8鄰域的第1至9個(gè)像素，從圖4中可看出，3×3矩陣的第4、5、8個(gè)像素對(duì)應(yīng)位置的灰度值發(fā)生了明顯漲落，這屬于不正常的像素變化。通過(guò)仔細(xì)觀察，認(rèn)為這些像素的灰度值與鄰近的像素值可在一定程度內(nèi)發(fā)生匹配，認(rèn)為這種情況發(fā)生了像素漂移［8］。

基于以上分析，在系統(tǒng)中設(shè)定一個(gè)閾值判定是否發(fā)生像素漂移。如果發(fā)生像素漂移，則按照像素漂移算法對(duì)其進(jìn)行處理，消除這一點(diǎn)因?yàn)橄袼仄飘a(chǎn)生的噪聲。

4 系統(tǒng)仿真與分析

系統(tǒng)的開發(fā)環(huán)境為QuartusII9.0，仿真工具為Modelsim 6.5e。背景差分算法仿真結(jié)果如圖5所示。

圖5 移動(dòng)目標(biāo)檢測(cè)算法仿真圖Fig.5 The simu lation diagram ofm oving objects detection

為便于觀察，圖5中均采用無(wú)符號(hào)整數(shù)顯示。從圖5中可看出，當(dāng)兩個(gè)輸入值iDATA1、iDATA2差的絕對(duì)值大于閾值iTHRESHOLD時(shí)，Result的值為0，表示移動(dòng)目標(biāo)用黑色標(biāo)記，報(bào)警控制信號(hào)Speaker拉低，系統(tǒng)進(jìn)行報(bào)警;反之，Result的值為1023，表示移動(dòng)目標(biāo)之外顯示為白色，此時(shí)Speaker為高電平，揚(yáng)聲器不進(jìn)行報(bào)警。

由此系統(tǒng)實(shí)現(xiàn)了檢測(cè)到移動(dòng)目標(biāo)時(shí)報(bào)警，當(dāng)攝像頭視野內(nèi)沒(méi)有移動(dòng)目標(biāo)，或者移動(dòng)目標(biāo)移出攝像頭視野時(shí)，停止報(bào)警的功能。

5 實(shí)驗(yàn)結(jié)果與分析

系統(tǒng)的開發(fā)平臺(tái)在Terasic公司的DE2－70開發(fā)板上搭建完成。

首先將攝像頭固定起來(lái)，對(duì)準(zhǔn)一個(gè)靜態(tài)場(chǎng)景選取一幀完全靜止圖像作為背景幀圖像。實(shí)驗(yàn)中使用的開發(fā)板和選取的背景幀圖像如圖6所示。

圖6 DE2-70開發(fā)板和背景幀圖像Fig.6 DE2-70 development board and background image

從當(dāng)前幀視頻流中隨機(jī)截取3幀圖像作為筆者展示的當(dāng)前幀圖像。

為觀察腐蝕膨脹和像素漂移算法的處理效果，文章將經(jīng)過(guò)腐蝕膨脹算法和像素漂移算法處理前后的效果展示出來(lái)。實(shí)驗(yàn)中截取的3幀當(dāng)前圖像，及其處理效果如圖7所示。

圖7 3幀視頻圖像的檢測(cè)效果圖Fig.7 Detection results of three video images

在圖7中(a)為當(dāng)前幀圖像;(b)、(c)和(d)、(e)分別為經(jīng)過(guò)腐蝕膨脹算法和像素漂移算法處理前后，背景差分的效果圖和邊緣檢測(cè)的效果圖。

從圖7中可看出，在復(fù)雜靜態(tài)背景下，利用背景差分算法能夠有效實(shí)現(xiàn)多移動(dòng)目標(biāo)的實(shí)時(shí)檢測(cè)。邊緣檢測(cè)模塊能夠清晰地提取出的移動(dòng)目標(biāo)的輪廓。通過(guò)對(duì)比，加入腐蝕膨脹和像素漂移算法之后，背景中的噪聲基本被消除干凈，足以說(shuō)明，系統(tǒng)具有很強(qiáng)的去噪功能。

6 結(jié)論

該系統(tǒng)采用FPGA作為處理器，成本低，運(yùn)算速度快，每秒可以處理25幀PAL制式視頻圖像，能夠滿足智能監(jiān)控實(shí)時(shí)性的要求。

筆者在FPGA上使用多重去噪技術(shù)使系統(tǒng)獲得了良好的檢測(cè)效果。背景差分前使用中值濾波算法對(duì)視頻圖像進(jìn)行處理，可在一定程度上濾除攝像頭在錄入視頻時(shí)引入的噪聲。背景差分后，對(duì)檢測(cè)到的移動(dòng)目標(biāo)進(jìn)行腐蝕、膨脹處理，既有效消除了移動(dòng)目標(biāo)周圍孤立的噪點(diǎn)，又填充了移動(dòng)目標(biāo)中的空洞。系統(tǒng)再采用像素漂移算法，對(duì)含有移動(dòng)目標(biāo)的二值化圖像作進(jìn)一步去噪處理，消除移動(dòng)目標(biāo)以外剩余的噪點(diǎn)，使背景變得更加干凈。從實(shí)驗(yàn)結(jié)果看，經(jīng)過(guò)多重去噪技術(shù)后，除移動(dòng)目標(biāo)以外，噪聲點(diǎn)基本都被消除干凈。

另外系統(tǒng)在檢測(cè)移動(dòng)目標(biāo)的基礎(chǔ)上，實(shí)現(xiàn)了用Sobel邊緣檢測(cè)算子提取移動(dòng)目標(biāo)的邊緣信息，這是一個(gè)很重要的階段性成果。提取移動(dòng)目標(biāo)的邊緣，有助于掌握移動(dòng)目標(biāo)的輪廓信息，為即將進(jìn)行的在FPGA上實(shí)現(xiàn)目標(biāo)的分類和識(shí)別、目標(biāo)的預(yù)測(cè)和跟蹤奠定良好的基礎(chǔ)。

［1］Hiroaki Niitsuma，Tsutomu Maruyama，Tsutomu Maruyama.Real－time detection of moving objects［J］.Field Programm－able Logic and Application－Springer，2004，3203:1155－1157.

［2］Fatih Porikli.Achieving real－time object detection and tracking under extreme conditions［J］.Journal of Real－Time Image Processing－Springer，2006，11(1):33－40.

［3］吳繼華，王誠(chéng).Altera CPLD/FPGA設(shè)計(jì)［M］.北京:人民郵電出版社，2005.

［4］Usman A，Mohammmad B M.hardware/software co－design of a real－time kernel based tracking system［J］. Journal of Systems Architecture，2010，56(8):317－326.

［5］Ayaka Yamamoto，Yoshio Iwai.Real－time object detection with adaptive background model and margined sign correlation［J］.Computer Vision－ACCV－Springer，2010 (17):65－74.

［6］李金屏，王磊，張中方.利用FPGA實(shí)現(xiàn)視頻移動(dòng)目標(biāo)的有效檢測(cè)［J］.計(jì)算機(jī)工程與應(yīng)用，2010，46 (26):162－165.

Li Jin－ping，Wang Lei，Zhang Zhong－fang.Video detection ofmoving objects using FPGA［J］.Computer Engineering and Applications，2010，46(26):162－165.

［7］Jen－Chao Tai，Shung－Tsang Tseng，Ching－Po Lin，et al. Real－time image tracking for automatic traficmonitoring and enforcement applications［J］.Image and Vision Computing，2004，22(6):485－501.

［8］夏宇聞.Verilog數(shù)字系統(tǒng)設(shè)計(jì)教程［M］.北京:北京航空航天大學(xué)出版社，2009.