基于DSP的視頻運(yùn)動(dòng)目標(biāo)實(shí)時(shí)跟蹤系統(tǒng)研究與實(shí)現(xiàn)

劉小敏,范夢(mèng)晴,李 杰

(南昌交通學(xué)院,330100,南昌)

0 引言

由于目前的監(jiān)控系統(tǒng)使用的方法是事后看錄像帶或硬盤,研究當(dāng)時(shí)發(fā)生的情況,是一種被動(dòng)的監(jiān)控方式,隨著社會(huì)的不斷發(fā)展,人們需要更高水平、更智能化的設(shè)備來保證社會(huì)安全。在智能視頻分析環(huán)節(jié)涉及到了識(shí)別和跟蹤運(yùn)動(dòng)目標(biāo),它能根據(jù)相關(guān)特征,在視頻序列圖像中分析出有效的信息,具有提取、定位、識(shí)別和跟蹤運(yùn)動(dòng)目標(biāo)的功能,對(duì)其行為進(jìn)行分析和解釋,以此為基礎(chǔ),最終能夠做出科學(xué)的決策。實(shí)時(shí)檢測(cè)和跟蹤運(yùn)動(dòng)目標(biāo)功能的視頻監(jiān)控系統(tǒng)具有更高的智能化程度,能夠第一時(shí)間實(shí)現(xiàn)對(duì)異常狀況的發(fā)現(xiàn)。因此,本文對(duì)此進(jìn)行了研究分析。

1 DSP技術(shù)及其特點(diǎn)

現(xiàn)代視頻監(jiān)控系統(tǒng)的主要特點(diǎn)是數(shù)字化、智能化和規(guī)模化。而以往的計(jì)算機(jī)視頻監(jiān)控系統(tǒng)存在著一定的滯后性。嵌入式系統(tǒng)具有許多特點(diǎn),例如小體積、低價(jià)格以及穩(wěn)定的系統(tǒng)等,適用于面積較大的領(lǐng)域,是視頻系統(tǒng)中最重要的一種。

嵌入式系統(tǒng)中通常會(huì)用到ARM、FPGA以及GPP等處理器,其中ARM缺乏良好的信號(hào)處理能力,FPGA具有復(fù)雜的設(shè)計(jì)。與GPP相比,DSP在實(shí)時(shí)視頻處理領(lǐng)域更加適用,其主要具有如下特點(diǎn)。

1)DSP處理器中包含支持單周期乘法運(yùn)算和密集乘法的硬件。

2)哈佛結(jié)構(gòu)是DSP最常見的結(jié)構(gòu),處理器的數(shù)據(jù)訪問和指令下達(dá)可同時(shí)進(jìn)行。

3)DSP芯片中具有支持零開銷循環(huán)的硬件。

4)DSP的選址方式十分專業(yè),能夠?yàn)槠胀ǖ男盘?hào)處理和算法提供良好的支持。

5)一般來說,為了實(shí)現(xiàn)對(duì)性能的優(yōu)化,DSP應(yīng)用程序在編寫重要代碼時(shí),應(yīng)用了匯編語言,且此類代碼大多由DSP廠家提供。

6)在嵌入式系統(tǒng)中通過對(duì)DSP的應(yīng)用,能夠降低功耗。

7)優(yōu)化了視頻應(yīng)用。

2 運(yùn)動(dòng)目標(biāo)跟蹤

運(yùn)動(dòng)跟蹤是為了獲取運(yùn)動(dòng)目標(biāo)在圖像序列中的運(yùn)動(dòng)軌跡[1]。目前為止,已經(jīng)研發(fā)出許多目標(biāo)跟蹤算法,在分類時(shí)具有不同的標(biāo)準(zhǔn),但主要用于跟蹤匹配和跟蹤運(yùn)動(dòng)特性這兩種。其中,跟蹤運(yùn)動(dòng)特性時(shí),跟蹤目標(biāo)期間需要用到其運(yùn)行信息,特定時(shí)間內(nèi)相應(yīng)的運(yùn)動(dòng)信息點(diǎn)屬于同一類。然而,此類算法需要進(jìn)行大規(guī)模的算法處理,且十分費(fèi)時(shí),想要滿足實(shí)時(shí)處理的需求難度較大。在跟蹤匹配時(shí)主要跟蹤對(duì)象為目標(biāo)區(qū)域、目標(biāo)輪廓和目標(biāo)特征等。

在進(jìn)行區(qū)域匹配跟蹤時(shí),所匹配的運(yùn)動(dòng)區(qū)域是預(yù)先提取或人為設(shè)定的,接著需要在下一幅圖像中,對(duì)目標(biāo)模板進(jìn)行搜索,匹配最優(yōu)性能指標(biāo)的位置。此類算法在所獲取到的運(yùn)動(dòng)目標(biāo)存在著影子和遮擋,難以實(shí)現(xiàn)對(duì)該問題的處理,且在大面積匹配時(shí),需要耗費(fèi)大量時(shí)間。區(qū)域跟蹤法還可結(jié)合卡爾曼濾波及粒子濾波等預(yù)測(cè)算法共同使用,能夠?qū)崿F(xiàn)對(duì)搜索過程的優(yōu)化;也可借助彩色信息實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)陰影的處理,最常用的就是這種方法。在跟蹤運(yùn)動(dòng)目標(biāo)活動(dòng)輪廓時(shí),需要用到封閉邊界輪廓曲線的提取,跟蹤這一曲線在圖像序列中的運(yùn)動(dòng)軌跡,進(jìn)而跟蹤運(yùn)動(dòng)目標(biāo)。近幾年,主要采用了主動(dòng)法和Hausdorff距離法來跟蹤運(yùn)動(dòng)目標(biāo)活動(dòng)輪廓。通過輪廓匹配能夠在減少計(jì)算量的同時(shí),獲得理想的匹配效果。然而初始輪廓會(huì)決定著該算法能否獲得理想的跟蹤效果,且難以實(shí)現(xiàn)輪廓初始化。

在跟蹤運(yùn)動(dòng)目標(biāo)特征時(shí),主要的跟蹤對(duì)象就是角點(diǎn)或邊界線等相同性質(zhì)的運(yùn)動(dòng)目標(biāo)特征點(diǎn)。該方法的實(shí)現(xiàn)并不困難,且可以避免遮擋運(yùn)動(dòng)目標(biāo),但難以選取特征點(diǎn)。

目前,最穩(wěn)定、最可靠的方法就是區(qū)域匹配法,目前研究最多的就是MeanShift,這一典型方法的匹配載體就是區(qū)域直方圖[2]。在應(yīng)用MeanShift技術(shù)跟蹤運(yùn)動(dòng)目標(biāo)時(shí),通過對(duì)概率密度的核算,能夠?qū)崿F(xiàn)對(duì)目標(biāo)特征的描述,然后借助MeanShift對(duì)目標(biāo)位置進(jìn)行搜索。MeanShift是1975年Fukunaga等提出的,1995年Cheng對(duì)該技術(shù)的適用范圍進(jìn)行了擴(kuò)展,Comanciu等通過對(duì)MeanShift技術(shù)的應(yīng)用,完成了跟蹤非剛體的問題。然而,由于該技術(shù)也需要在直方圖中進(jìn)行匹配,在應(yīng)用MeanShift技術(shù)時(shí),也會(huì)出現(xiàn)遮擋目標(biāo)、運(yùn)算結(jié)果不準(zhǔn)確等問題。

事實(shí)上,如果能夠通過檢測(cè)運(yùn)動(dòng)物體來進(jìn)行運(yùn)算,那么就能夠更加簡(jiǎn)便地跟蹤運(yùn)算運(yùn)動(dòng)目標(biāo)。相比匹配靜態(tài)圖像等方法來說,在跟蹤運(yùn)動(dòng)目標(biāo)時(shí),主要的匹配對(duì)象就是目標(biāo)遠(yuǎn)動(dòng)物體和檢測(cè)到的運(yùn)動(dòng)物體,并且相同目標(biāo)在連續(xù)圖像序列中不會(huì)存在過大的距離差和空間差。所以,匹配算法大幅的縮小了運(yùn)算范圍[3]。

3 系統(tǒng)總體結(jié)構(gòu)

3.1 系統(tǒng)硬件

如圖1所示,該系統(tǒng)主要包括以下幾個(gè)部分。

圖1 運(yùn)動(dòng)檢測(cè)與跟蹤監(jiān)控系統(tǒng)結(jié)構(gòu)框圖

1)TMS320C6711DSK目標(biāo)板。此開發(fā)板中所應(yīng)用的DSP浮點(diǎn)為TMS320C6711型,每秒可以發(fā)出100萬種指令,運(yùn)算浮點(diǎn)900萬次,能夠?qū)崿F(xiàn)對(duì)復(fù)雜問題的實(shí)時(shí)高效運(yùn)算;SDRAM的內(nèi)存在16 M,支持多幀圖像存儲(chǔ)。在進(jìn)行開發(fā)的過程中,在并口可直接調(diào)試軟硬件,或在JTAG口可直接調(diào)試仿真器。

2)視頻采集輸出子板。其主要能夠采集圖像、輸出圖像和轉(zhuǎn)換圖像格式等,如圖2所示。

圖2 系統(tǒng)程序流程

板上的video芯片、FPGA芯片數(shù)量分別為2塊和1塊,SDRAM為16 M。其中采集到RGB圖像經(jīng)過TVP5022Video芯片的解碼后,會(huì)轉(zhuǎn)變?yōu)镠SV格式,并在SDRAM子板中存儲(chǔ),圖像經(jīng)過TVP3026Video芯片的編碼能夠輸出為RGB格式。FPGA能夠控制板卡、管理外部存儲(chǔ)接口等。在進(jìn)行圖像顯示時(shí),SDRAM可直接向FIFO傳輸SDK目標(biāo)板上的數(shù)據(jù),由TVP3026輸出編碼[4]。

3)CCD攝像頭、云控制器及顯示器。DSK目標(biāo)板具有處理采集圖像數(shù)據(jù)的功能,通過對(duì)處理結(jié)果的應(yīng)用,可實(shí)現(xiàn)對(duì)云臺(tái)的控制及對(duì)運(yùn)動(dòng)目標(biāo)的鎖定,且具有適當(dāng)縮放功能[5]。

3.2 系統(tǒng)軟件流程

系統(tǒng)軟件具有如圖3所示總體流程,首先需要初始化上電或復(fù)位后的系統(tǒng),DM642可將Flash芯片由EMIFACE1空間向1kbyte程序中的RAM搬運(yùn),在完成傳輸后,CPU由零地址開始進(jìn)行程序代碼的執(zhí)行,由于大多數(shù)系統(tǒng)程序都超過1kbyte,所以,需要對(duì)1kbyte程序的初始化和跳轉(zhuǎn)進(jìn)行指令設(shè)置。然后需要初始化外圍設(shè)備,在完成初始化后,需要借助DM642在視頻序列圖像中連續(xù)采集兩幀,并計(jì)算相鄰幀差,根據(jù)差分結(jié)果對(duì)目標(biāo)的運(yùn)動(dòng)進(jìn)行判斷,Cam-shift算法在檢測(cè)到出現(xiàn)運(yùn)動(dòng)目標(biāo)時(shí),會(huì)對(duì)其進(jìn)行跟蹤,并向單片機(jī)輸出跟蹤結(jié)果。單片機(jī)結(jié)合了跟蹤到的目標(biāo)質(zhì)心和視場(chǎng)中心這2個(gè)坐標(biāo)的差值,能夠?qū)崿F(xiàn)對(duì)舵機(jī)轉(zhuǎn)動(dòng)的控制,進(jìn)而實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤[6]。

圖3 系統(tǒng)軟件流程圖

4 基于序列圖像的運(yùn)動(dòng)目標(biāo)識(shí)別跟蹤

4.1 序列圖像預(yù)處理

攝像機(jī)在對(duì)物體運(yùn)動(dòng)圖像進(jìn)行拍攝的過程中,會(huì)受到各種因素的影響,例如,光照變化及相機(jī)抖動(dòng)等,難免會(huì)存在噪聲。然而想要獲取到精確的處理結(jié)果,就需要銳化和加強(qiáng)圖像。因此,在分析識(shí)別開始前,需要預(yù)選處理圖像,重點(diǎn)做好對(duì)圖像的濾波處理。

在圖像噪聲消除環(huán)節(jié),為了保證輪廓及邊緣等圖像重要信息的完整性,進(jìn)而,做出準(zhǔn)確的處理,需要采用多圖像平均法和中值濾波法等來消除圖像噪聲。其中,前者對(duì)硬件有著較高的要求,缺乏良好的實(shí)時(shí)性;而后者可以實(shí)現(xiàn)對(duì)脈沖型噪聲的有效去除,且可為凸顯邊緣提供良好的保護(hù)。中值濾波指的就是在小窗口內(nèi)將(x,y)作為中心點(diǎn),按照由大到小的灰度順序,排列所有像素,在(x,y)將mid(x,y)中間值作為灰度值,此類低通濾波器十分典型,由于圖像細(xì)節(jié)偶爾會(huì)被中值濾波損壞,本文對(duì)中值濾波進(jìn)行了改進(jìn)[7]:

其中,(x,y)點(diǎn)的濾波前后灰度值分別為g(x,y)和f(x,y),濾波窗口內(nèi)閾值和中間點(diǎn)灰度值分別為ε和mid(x,y),在結(jié)合了各類應(yīng)用背景后,能夠根據(jù)試驗(yàn)得知。

如此,中間點(diǎn)和像素點(diǎn)之間不存在大于預(yù)定閾值的灰度值差,能夠?qū)崿F(xiàn)對(duì)原值的保留,保證圖像細(xì)節(jié)不會(huì)受到完全中值濾波的影響,同時(shí)也取得了理想的實(shí)際應(yīng)用效果。

4.2 運(yùn)動(dòng)目標(biāo)識(shí)別與跟蹤

幀間差閾值法是序列圖像中最簡(jiǎn)單的運(yùn)動(dòng)目標(biāo)檢測(cè)法,它在速度、硬件實(shí)現(xiàn)方面具有一定的優(yōu)勢(shì),然而卻難以實(shí)現(xiàn)對(duì)物體運(yùn)動(dòng)速度的獲取,對(duì)重疊物體的運(yùn)動(dòng)檢測(cè)。在序列圖像中最重要的運(yùn)動(dòng)目標(biāo)分析法就是光流場(chǎng),不僅能夠檢測(cè)運(yùn)動(dòng)目標(biāo),還可以跟蹤運(yùn)動(dòng)目標(biāo),尤其是對(duì)于重疊物體運(yùn)動(dòng)的檢測(cè),通過分布光流場(chǎng)來實(shí)現(xiàn)檢測(cè)和跟蹤。然而在噪聲以及陰影等因素的影響下,無法實(shí)現(xiàn)對(duì)光流場(chǎng)分布的可靠、準(zhǔn)確計(jì)算,同時(shí)需要大量時(shí)間計(jì)算光流場(chǎng)分布。

結(jié)合以上2種算法后,可達(dá)到揚(yáng)長(zhǎng)避短的目標(biāo),使系統(tǒng)具有更高的效率和實(shí)時(shí)性。也就是在目標(biāo)區(qū)域內(nèi),先根據(jù)幀間差閾值對(duì)運(yùn)動(dòng)物體進(jìn)行檢測(cè),然后再根據(jù)局部光流場(chǎng)對(duì)該區(qū)域進(jìn)行分析,以此來跟蹤運(yùn)動(dòng)目標(biāo)[8]。

4.2.1 背景的估計(jì)和更換 如果像素點(diǎn)存在無效背景值,或覆蓋了運(yùn)動(dòng)物體,那么就可根據(jù)連續(xù)幀差來分析該像素點(diǎn),如此能夠?qū)崿F(xiàn)對(duì)背景實(shí)效、物體離開等突變背景的處理,其采用了如下基本原理:實(shí)時(shí)采集前幀和后幀的圖像,如果相應(yīng)位置的兩幀圖像的像素點(diǎn)差分值比系統(tǒng)維護(hù)該像素點(diǎn)的閾值更小,那么達(dá)到了如下條件:

|I(x,y,t)-I(x,y,t-1)

那么對(duì)應(yīng)Count(x,y)計(jì)數(shù)值+1,反之Count(x,y)為零。如果增加Count(x,y)與設(shè)定的N相等時(shí),系統(tǒng)會(huì)根據(jù)實(shí)時(shí)像素值來對(duì)背景像素值進(jìn)行估算。

4.2.2 運(yùn)動(dòng)物體檢測(cè) 借助背景差分法對(duì)運(yùn)動(dòng)物體進(jìn)行檢測(cè)時(shí),系統(tǒng)會(huì)拆分實(shí)時(shí)采集到的圖像和估計(jì)所得的背景圖像,通過比較差值和閾值來確定區(qū)域中相應(yīng)像素點(diǎn)的運(yùn)動(dòng)情況,并獲取相應(yīng)的二值圖像。

如果BW(x,y)的值為1,那么B(x,y,t)與B(x,y,t-1)的值相同

如果BW(x,y)的值為0,那么B(x,y,t)與αB(x,y,t-1)+βI(x,y,t)的值相同。

其中α+β=1,學(xué)習(xí)率是α,α關(guān)系著目前實(shí)時(shí)圖像會(huì)給背景圖像帶來怎樣的影響,此類更新方法具有選擇性,借助此類方法不僅可加快背景對(duì)場(chǎng)裂變化的適應(yīng)速度,還可保證背景不受到運(yùn)動(dòng)像素的污染。

4.2.3 運(yùn)動(dòng)物體檢測(cè)后處理 采用背景剪除法會(huì)獲取到帶有大量孤立噪聲的二值圖像,由于人體在視頻圖像中的長(zhǎng)寬不同,所以系統(tǒng)在開運(yùn)算檢測(cè)結(jié)果時(shí)所采用的掩膜圖像為長(zhǎng)方形,其長(zhǎng)、寬像素點(diǎn)為16和4。經(jīng)過濾波后,系統(tǒng)會(huì)在二值圖像中借助四連通分量來標(biāo)記其連通區(qū)域,為了實(shí)現(xiàn)連續(xù)標(biāo)簽,系統(tǒng)會(huì)借助獨(dú)立的等價(jià)數(shù)組來對(duì)等價(jià)標(biāo)簽進(jìn)行標(biāo)記。在標(biāo)簽完每一個(gè)運(yùn)動(dòng)像素后,系統(tǒng)會(huì)合并等價(jià)標(biāo)簽,進(jìn)而獲取物體的運(yùn)動(dòng)區(qū)域,并對(duì)物體運(yùn)動(dòng)參數(shù)進(jìn)行計(jì)算,同時(shí),連通區(qū)域中需要具有比設(shè)定閾值更小的像素點(diǎn)數(shù)目,如此能夠?qū)崿F(xiàn)對(duì)噪聲的濾除[7]。

5 實(shí)驗(yàn)結(jié)果

本試驗(yàn)在具有穩(wěn)定光照的室內(nèi)識(shí)別和跟蹤單個(gè)運(yùn)動(dòng)。采用的彩色CCD攝像頭為普通PAL制,能夠達(dá)到720*576分辨率。目標(biāo)平面為1 cm2大小,距離攝像頭大約2 m,在固定鏡頭后,跟蹤處于低速運(yùn)動(dòng)的物體,獲取到如圖4的序列圖像。

圖4 算法跟蹤效果圖

據(jù)圖4可知,當(dāng)采用DM642計(jì)算運(yùn)動(dòng)狀態(tài)的目標(biāo)的相鄰幀差,能夠?qū)崿F(xiàn)對(duì)運(yùn)動(dòng)物體的準(zhǔn)確捕獲,如果物體的移動(dòng)是按照從左到右的順序,那么采用背景減除法可實(shí)現(xiàn)對(duì)物體的有效跟蹤。為了了解攝像頭運(yùn)動(dòng)是否會(huì)影響系統(tǒng),在識(shí)別目標(biāo)物體后,在物體保持不動(dòng)的情況下,轉(zhuǎn)動(dòng)攝像頭,這個(gè)時(shí)候背景減除法的跟蹤效果依然良好,如圖5所示[8]。

圖5 攝像頭運(yùn)動(dòng)跟蹤效果

5.1 分析時(shí)間精度

如果處理速度為10 f/s(幀/秒),那么在采集相鄰兩幀圖像時(shí)只存在大約0.1 s的時(shí)間差。在時(shí)間差較小的情況下,幀差法可根據(jù)后續(xù)連續(xù)的各幀圖像信息,實(shí)現(xiàn)對(duì)錯(cuò)誤的自動(dòng)糾正,故幀差法能夠?qū)崿F(xiàn)對(duì)光照影響的有效規(guī)避。

5.2 分析位置精度

在做迭代算法時(shí),搜索窗是一直存在的,假設(shè)當(dāng)目標(biāo)處于非常快的速度運(yùn)動(dòng)時(shí),由于速度非常快,那么就會(huì)有可能丟失跟蹤的目標(biāo)。這時(shí)想要跟蹤連續(xù)運(yùn)動(dòng)目標(biāo),跟蹤的目標(biāo)其運(yùn)動(dòng)速度不能太快,應(yīng)為相鄰兩幀中目標(biāo)位置差不能超過本身尺寸的1.5倍。

6 結(jié)束語

本文提出并實(shí)現(xiàn)了一種基于 DSP 的視頻圖像運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤系統(tǒng)的設(shè)計(jì)方法。系統(tǒng)基于高性能數(shù)字信號(hào)處理器 DM642,采用背景減除法檢測(cè)運(yùn)動(dòng)目標(biāo),采用幀間差分法處理背景的突變,采用實(shí)驗(yàn)分析了時(shí)間精度和位置精度,進(jìn)而得出運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)軌跡。實(shí)驗(yàn)結(jié)果表明,系統(tǒng)能夠?qū)崟r(shí)檢測(cè),且跟蹤運(yùn)動(dòng)目標(biāo)。