基于ZYNQ的運(yùn)動(dòng)目標(biāo)識(shí)別與追蹤

金燚 鄧濤

摘要：針對(duì)當(dāng)前運(yùn)動(dòng)目標(biāo)檢測(cè)跟蹤有關(guān)的算法在中低端的硬件平臺(tái)上實(shí)時(shí)性差，且耗費(fèi)資源大、功耗高的問(wèn)題。本文在Xilinx的ZYNQ-7020硬件平臺(tái)上，合理利用以并行運(yùn)算見(jiàn)長(zhǎng)的FPGA和以控制見(jiàn)長(zhǎng)的ARM核，高效的實(shí)現(xiàn)了運(yùn)動(dòng)目標(biāo)檢測(cè)算法的移植。在PL端實(shí)現(xiàn)視頻圖像的采集、灰度轉(zhuǎn)換、幀間差分算法、膨脹腐蝕算法以及包圍盒的設(shè)計(jì)，而PS端主要完成了IIC對(duì)攝像頭的配置，以及對(duì)VDMA的配置。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)能夠?qū)崟r(shí)檢測(cè)出運(yùn)動(dòng)目標(biāo)。

關(guān)鍵詞：運(yùn)動(dòng)目標(biāo)檢測(cè);ZYNQ;幀間差分;包圍盒;軟硬件協(xié)同;VDMA

引言

隨著集成電路的發(fā)展，一些硬件處理器的性能不斷提高，嵌入式圖像處理平臺(tái)由于其靈活性的優(yōu)勢(shì)，具有較高的研究?jī)r(jià)值。本文基于Xilinx的ZYNQ-7020硬件平臺(tái)，采用軟硬件協(xié)同設(shè)計(jì)方法，搭建了運(yùn)動(dòng)目標(biāo)檢測(cè)系統(tǒng)。ZYNQ具有FPGA+ARM架構(gòu)，同時(shí)擁有了FPGA和ARM的優(yōu)點(diǎn)，所以其功能強(qiáng)大靈活性高的優(yōu)點(diǎn)，能夠輕松完成運(yùn)動(dòng)目標(biāo)檢測(cè)的工作。

1???? 數(shù)字圖像處理

1.1? 幀間差分算法

幀差法即幀間差分法，是一種通過(guò)對(duì)視頻圖像連續(xù)兩幀作差分運(yùn)算來(lái)獲得運(yùn)動(dòng)目標(biāo)輪廓的方法。當(dāng)視頻圖像中的物體出現(xiàn)運(yùn)動(dòng)時(shí)，相鄰兩幀之間就會(huì)出現(xiàn)較為明顯的差異，通過(guò)兩幀相減，得到兩幀亮度差的絕對(duì)值。結(jié)合預(yù)設(shè)的閾值進(jìn)行二值化來(lái)分析圖像中物體的運(yùn)動(dòng)特性，確定圖像中有無(wú)運(yùn)動(dòng)物體。

幀差法主要通過(guò)式（1）實(shí)現(xiàn)，其中和 分別為當(dāng)前幀和上一幀同一位置坐標(biāo)的像素點(diǎn)灰度值，T為預(yù)設(shè)的參考分割閾值，y為最終輸出的二值結(jié)果。

1.2? 包圍盒的設(shè)計(jì)

一組像素的包圍盒是指包含所有這些像素的最小矩形框，矩形框的長(zhǎng)和寬都平行于像素坐標(biāo)軸。假設(shè)所有的像素均為閾值差分后的二值化像素，則通過(guò)流水處理，得到的包圍盒會(huì)包圍所有的運(yùn)動(dòng)目標(biāo)，即視為捕獲運(yùn)動(dòng)目標(biāo)。

差分后剪掉靜止的背景畫(huà)面，得到一幀二值化的畫(huà)面，其中運(yùn)動(dòng)目標(biāo)所在的像素?cái)?shù)值為1。以二值化的結(jié)果為包圍盒的工作使能，記錄每個(gè)像素的坐標(biāo)，同時(shí)進(jìn)行比較。

2硬件平臺(tái)搭建

本系統(tǒng)采用的是ZYNQ-7020開(kāi)發(fā)板進(jìn)行設(shè)計(jì)，攝像頭接口采集的圖像數(shù)據(jù)，輸入到圖像處理模塊進(jìn)行一系列運(yùn)算處理后，通過(guò)Video in視頻輸入IP將RGB數(shù)據(jù)轉(zhuǎn)換為AXI Stream流后，與VDMA IP之間進(jìn)行數(shù)據(jù)通信，實(shí)現(xiàn)把數(shù)據(jù)通過(guò)VDMA寫(xiě)入到DDR3。每次寫(xiě)入一幅圖像的數(shù)據(jù)后，會(huì)把數(shù)據(jù)三緩存后，再通過(guò)VDMA發(fā)出去。VDMA發(fā)送端與Video out視頻輸出IP連接。數(shù)據(jù)進(jìn)入Video out后，會(huì)隨同VTC IP輸出符合VGA時(shí)序的圖像信號(hào)。HDMI驅(qū)動(dòng)IP會(huì)將Video out的VGA輸出信號(hào)轉(zhuǎn)換為HDMI信號(hào)送出到顯示器顯示。

2.1? 圖像采集模塊

0V5640圖像采集模塊負(fù)責(zé)采集圖像數(shù)據(jù)。本設(shè)計(jì)采集的是640X480分辨率、RGB565格式的圖像。

圖像采集IP核主要實(shí)現(xiàn)輸入數(shù)據(jù)的轉(zhuǎn)換，8位數(shù)據(jù)需要2 字節(jié)（兩個(gè)時(shí)鐘周期）才可以完成1 個(gè)像素點(diǎn)數(shù)據(jù)的采集。對(duì)于攝像頭寄存器的配置，通過(guò)ZYNQ的IIC接口實(shí)現(xiàn)，在SDK中用軟件進(jìn)行配置。

2.2? 圖像處理模塊

圖像處理模塊主要是完成運(yùn)動(dòng)目標(biāo)檢測(cè)，主要采用的是幀差法。圖像處理模塊包含了4個(gè)IP核，分別是灰度轉(zhuǎn)換IP核、幀間差分算法IP核、腐蝕算法IP核、包圍盒定位IP核。灰度轉(zhuǎn)換IP核對(duì)視頻中的每一幀進(jìn)行格式轉(zhuǎn)換，將彩色圖轉(zhuǎn)換為灰色圖，把轉(zhuǎn)換后的灰度圖緩存一幀存入FI-FO，準(zhǔn)備與下一幀進(jìn)行幀間差分。

2.3? AXI VDMA模塊

數(shù)據(jù)傳輸?shù)耐分饕玫降氖荲DMA IP核，VDMA數(shù)據(jù)接口分為讀、寫(xiě)通道，本系統(tǒng)的圖像數(shù)據(jù)是通過(guò)寫(xiě)通道M_AXI_S2MM將AX-I-Stream類型的數(shù)據(jù)寫(xiě)入DDR3，通過(guò)讀通道M_AXI_MM2S從DDR3讀取數(shù)據(jù)，并以AXI-Stream類型的格式輸出。

3系統(tǒng)實(shí)現(xiàn)

3.1? 硬件平臺(tái)搭建

在完成各模塊的設(shè)計(jì)后，便可以在VIVADO上進(jìn)行整個(gè)系統(tǒng)搭建，完成搭建后，軟件進(jìn)行綜合分析后得到系統(tǒng)資源消耗圖。

其中，BRAM使用較大，這是由于將一幀圖像存入FIFO時(shí)，使用了較多的RAM。系統(tǒng)的動(dòng)態(tài)功耗為1.672W，靜態(tài)功耗僅為0.162W，滿足低功耗要求。

3.2? 軟件部分設(shè)計(jì)

在VIVADO中運(yùn)行SDK，在SDK中通過(guò)軟件對(duì)攝像頭OV5640寄存器配置和VDMA配置。

（1）?? VDMA配置。主要配置的是幀緩存的數(shù)量，讀寫(xiě)的幀起始地址，幀延遲和跨度以及水平方向和垂直方向尺寸。在本系統(tǒng)中，圖像尺寸為640X480。

（2）?? OV5640攝像頭的配置。本設(shè)計(jì)中采用的是ZYNQ自帶的IIC接口來(lái)進(jìn)行配置。

3.3? 系統(tǒng)測(cè)試

完成所有硬件搭建和軟件配置后，便可以在SDK中進(jìn)行系統(tǒng)調(diào)試，將比特流文件下載至開(kāi)發(fā)板中。觀察顯示器圖像，如圖1 所示，圖中藍(lán)色框圈起來(lái)的部分即為運(yùn)動(dòng)的手臂。

4總結(jié)

基于ZYNQ的運(yùn)動(dòng)目標(biāo)識(shí)別與追蹤系統(tǒng)，通過(guò)軟件與硬件相結(jié)合的方式，極大的提高了開(kāi)發(fā)效率。通過(guò)軟件綜合后的結(jié)果分析，可以看到資源利用率以及功耗，表明該系統(tǒng)具有較低的功耗。對(duì)檢測(cè)結(jié)果分析測(cè)試，都達(dá)到了預(yù)期的設(shè)計(jì)效果。ZYNQ采用FPGA+ARM的架構(gòu)，結(jié)合了FPGA和ARM的優(yōu)勢(shì)，能夠較好的應(yīng)用于圖像處理領(lǐng)域。

參考文獻(xiàn)：

[1]李棟.基于ARM嵌入式的圖像處理研究[D].石家莊：河北科技大學(xué)，2010.

[2]許崢.基于ARM與FPGA的嵌入式實(shí)時(shí)圖像處理平臺(tái)[D].蘇州：蘇州大學(xué)，2012.

[3]鄧裕彬.基于ZYNQ的運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)研究[D].南京：南京理工大學(xué)，2017.

[4]楊曉安，羅杰，蘇豪，等.基于ZYNQ-7000高速圖像采集與實(shí)時(shí)處理系統(tǒng)[J].電子科技，2014，23（7）：96-98.

[5]何賓.Xilinx all programmable ZYNQ-7000SoC[M].北京：清華大學(xué)出版社，2013.