基于ZYNQ的車載行人檢測系統設計與實現

鄧健峰，謝　云

(廣東工業大學 自動化學院，廣東 廣州 510006)

0　引言

目前，隨著汽車保有量的日益增多，道路安全問題日益突出，行人因為沒有好的保護方法而容易受到傷害。2016年中國的道路交通事故死亡人數約為40 824人，與2015年的36 178人相比，增加了4 646人[1]，可見，車輛裝備具有行人檢測功能的安全駕駛系統是有必要的。當前，行人檢測技術越來越廣泛，但由于行人檢測復雜度高，數據處理量大，因此大多數行人檢測平臺一般采用PC來完成。但問題就是功耗和成本比較高。因此筆者采用Xilinx公司ZYNQ-7000 SoC開發板，設計了一種車載行人檢測系統。開發板包含處理系統(Processing System,PS)和可編程邏輯(Programmable Logic,PL)兩部分[2]，PS端集成雙核ARM Cortex-A9系列處理器，PL端包含Xilinx 7系列的FPGA。本系統采用軟硬件協同設計的方法，移植操作系統Linux作為系統軟件運行環境，滿足準確度、低功耗和便攜性要求。

1　系統總體框架

如圖1所示，系統由6個功能模塊組成，分別是采集模塊、緩存模塊、顯示模塊、行人梯度方向直方圖(Histogram of Oriented Gradient，HOG)特征提取模塊、支持向量機(Support Vector Machine，SVM)分類識別模塊和IP核驅動模塊。其中采集模塊、緩存模塊和顯示模塊在FPGA中完成，行人HOG特征提取模塊、SVM分類識別模塊和IP核驅動程序模塊則在ARM中完成。FPGA與ARM之間的通信是通過高級可擴展接口(Advanced eXtensible Interface, AXI)完成的。

圖1　系統構成圖

系統主要模塊功能如下：

(1)采集模塊：采用攝像頭采集數據，用戶可以通過IIC協議[3]設置攝像頭的工作模式。本系統設置RGB565、分辨率640×480的圖像輸出格式。

(2)緩存模塊：采用IP核視頻直接內存訪問(Video Direct Memory Access，VDMA)[4]作為ARM和FPGA之間的數據傳輸工具，將圖像數據通過格式轉換緩存到外部儲存DDR3中。

(3)行人HOG特征提取主要包括圖像灰度化、圖像縮放和特征提取。

(4)SVM主要對提取的行人特征向量進行判別。

(5)顯示模塊：由IP核視頻定時控制器(Video Timing Controller,VTC)提供分辨率為640×480的顯示時序，主要任務是將已經被方框標出的行人位置輸出到VGA(Video Graphics Array)顯示器上，并根據行人離攝像頭距離遠近變換方框顏色。

(6)驅動模塊程序主要是IP核VDMA驅動，使得ARM處理器的軟件程序可以控制FPGA中的IP核。

2　硬件系統(FPGA)部分設計與實現

本系統采用OV7670型號的攝像頭來采集視頻圖像，因為攝像頭上電后默認輸出YUV422格式的視頻圖像，所以通過IIC協議改變攝像頭的采集模式和輸出模式。攝像頭初始化完成后，在行同步(高電平有效)、幀同步信號(低電平有效)情況下，每兩個像素時鐘周期輸出一個16位的RGB565的像素值，同時輸出有效的寫使能信號、行同步信號和幀同步信號。

系統采用DDR3緩存視頻數據。在開發板結構中，DDR3是ARM控制的。AXI包括3種接口標準，分別是AXI4、AXI-Stream和AXI-Lite[5]。FPGA中的圖像數據主要以AXI-Stream與ARM通信，所以攝像頭采集的數據信號要轉換成AXI-Stream的接口信號，而AXI-Stream不能直接和ARM相連[6]。本設計采用VDMA，通過AXI_HP(High Performance)接口將數據緩存到DDR3中[7]。ARM端讀取DDR3數據并進行處理，處理后的數據通過AXI_GP(General Purpose)接口傳到FPGA中[7]，最后轉換成RGB565格式輸出。圖2為分辨率為640×480的實景效果圖。

圖2　實景效果圖

3　軟件系統(ARM)設計與實現

本系統采用了“HOG+SVM”框架的行人檢測算法，完整的行人檢測流程如圖3所示。

圖3　行人檢測流程圖

3.1　HOG行人特征提取

本系統采用HOG作為行人特征。HOG提取分為6個部分：圖像預處理、圖像縮放、梯度計算、梯度統計、重疊Block標準化和特征組合，具體過程如下：

(1)原始圖像灰度化，目的是弱化光照效果，減少圖像信息。灰度值g(x,y)的計算公式為：

g(x,y)=0.3r+0.59g+0.11b

(1)

其中r、g、b分別為像素H(x,y)中紅、綠、藍的分量值。

(2)由于行人相對于攝像頭的距離各有不同，會造成視頻圖像中行人的大小不一。本設計是利用滑動窗口掃描法檢測圖像中行人，滑動窗口的尺寸是64×128。為了能夠提取出圖像中大小不同的行人的特征，需要對原幀圖像按照一定比例進行縮放操作，然后對每一尺度下的圖像都利用滑動窗口遍歷掃描[8]，提取行人HOG特征，直到圖像縮小到不小于滑動窗口的尺寸為止。縮放算法采用二維線性插值法，該算法計算復雜度不高，實現效果較好。

(3)對滑動窗口進行單元和塊的劃分，水平方向和垂直方向上的滑動窗口掃描步長均為8像素。用8×8像素的單元(cell)對窗口進行劃分，形成了8×16=128個單元。把上下左右4個相鄰的單元視為一個塊(Block)，一個塊的滑動步長也是8像素，每一個像素的梯度方向范圍為0°～180°，平均劃分為9個區間。計算窗口里每個像素的梯度大小和方向。

像素點H(x,y)的梯度為：

Gx(x,y)=H(x+1,y)-H(x-1,y)

(2)

Gy(x,y)=H(x,y+1)-H(x,y-1)

(3)

像素點H(x,y)的梯度幅值為:

(4)

像素點H(x,y)的梯度方向為:

(5)

(4)空間和方向上的梯度統計，首先在cell中統計9維向量，一般像素點的梯度方向離散化到9個區間中，則它會對相鄰的2個區間有影響(梯度方向如果在某個區間的中心，則認為只對該區間有影響)，每個cell中的向量統計都是基于該cell中每個像素點進行投票，投票的權重根據該像素點的梯度幅值在方向和位置上三線性插值到相鄰兩個梯度方向中心上計算出來[9]。其次，在一個Block中，一個cell中的像素梯度方向對另一個cell的像素也有影響，統計Block梯度直方圖時除了對單個cell的統計，還要考慮對其他cell的投影權重，因此采用三線性插值法求出權重。最后，因為每個Block按照一定的步長在水平和垂直方向上移動，所以Block與Block是相互重疊的，每個cell的梯度直方圖在不同的Block中被重復計算，對Block中的特征向量使用L2-norm函數進行標準化能獲得更好的檢測效果[9]。

(5) 將所有的Block的特征向量組合得出(所檢測的目標)描述子，在64×128的掃描窗口中，水平方向一共有7個Block，垂直方向一共有15個Block，一個cell的描述子為9維，一個Block的描述子為36維，整個掃描窗口的描述子就為3 780維，這樣完成了行人特征提取。

3.2　SVM訓練與判別

SVM是一種基于結構風險最小化原則的模式分類方法，可將多類的問題轉化為多個兩類的問題來解決[9]。使用SVM前先進行訓練，然后再讀取已經訓練好的分類器(XML文件)進行行人檢測，這樣既節省時間，也不會影響檢測率。當行人檢測時，求每個檢測窗口產生的3 780維向量與XML文件里的3 780維檢測子向量內積，如果結果大于0則被認為檢測到行人，并保存當前檢測窗口的位置。分類器訓練使用的是INRIA數據庫，該訓練庫包含正樣本集和負樣本集，正樣本集包含3 500張含有人體的圖片，分辨率為64×128，負樣本集包含1 200張不含人體的圖片，每張隨機截取10張分辨率為64×128的圖片，一共為12 000張，得到特征向量矩陣A，利用A訓練SVM分類器。當完成訓練時，重新對負樣本集進行行人檢測，收集錯誤檢測到的矩形框，把這些誤判保存并加入原來負樣本集中，重新進行SVM的訓練，這樣能顯著減少誤報。

3.3　窗口融合

當所有尺度下的圖像檢測完畢后，如果有行人就會輸出滑動窗口的四點坐標，再用方框將其連起來，但這樣同一個行人會產生尺度不同的行人方框，需要窗口融合算法將重疊的方框合并成一個方框，核心思想是將所有的矩形框分為若干類，初始為空，遍歷所有矩形框，如果每兩個矩形框的四個相應頂點的差值的絕對值都在0.5范圍內，則認為屬于同一類，否則是不同類。然后計算每一類別的平均矩形框位置，將類別中個數少于設定闕值的矩形框舍棄，只有當某一個類別中的矩形框個數大于設定的闕值，才保留該類別。最后將大矩形框里的小矩形框舍棄，得出融合的窗口，并在圖像中表示出來。

3.4　VDMA IP核驅動設計

VDMA驅動程序是通過AXI-Lite接口向VDMA中不同功能的寄存器進行賦值實現的，因為FPGA和ARM之間圖像數據傳輸是通過IP核VDMA傳輸的，所以用戶需要控制VDMA來控制傳輸，當開始幀緩存前需要分配好每幀首地址。當ARM端進行數據處理，讀取一幀圖像數據時，VDMA寫通道中斷[10]，幀緩存暫停，完成處理并顯示后，幀緩存繼續工作，以此循環。

4　實驗結果與分析

本系統采用軟硬件協同設計方式實現，利用了FPGA+ARM架構。FPGA部分通過VDMA將圖像數據緩存到DDR3，由ARM做算法處理，最終將結果輸出到顯示器上。行人檢測系統的評價標準是系統輸出的矩形框能否包含行人軀體80%以上。軟件性能測試結果通過準確率(Precision)和覆蓋率(Recall)曲線描述，準確率和覆蓋率計算公式如下:

(6)

(7)

首先從ETH行人數據庫截取4段不同場景的視頻在Linux系統上進行測試，4段視頻分別是晴天，人多；晴天，人少；陰天，人多；陰天，人少，每段視頻都是20 s，600幀圖像。系統平均處理一幀圖像需要0.45 s，在不影響正確率情況下，可以調整圖像的縮放比例使處理速度加快。表1為4種情況下行人檢測系統檢測率和誤檢率統計結果。由表1看出，在晴天情況下，人多時的檢測率要低于人少時的檢測率，人多時的誤檢率要高于人少時的誤檢率。在行人數量相近的情況下，晴天時的檢測率要高于陰天的檢測率，晴天時的誤檢率要低于陰天時的誤檢率。圖4是行人檢測部分的準確率和覆蓋率曲線圖，從圖中可看出，當準確率達到85%時，覆蓋率達到70%，當覆蓋率達到85%，準確率也達到72%，基本達到預期效果。

表1　行人檢測系統檢測率和誤檢率

圖4　行人檢測的準確率和覆蓋率曲線圖

圖5、圖6是行人檢測系統校園實景測試效果圖。圖5是行人比較多的畫面，圖中出現的方框大小、粗細不同表示行人距離攝像頭的遠近不同，線條粗的表明行人距離攝像頭較遠，線條較細的表明行人距離攝像頭較近。

圖6是行人比較少的畫面，存在漏檢現象，主要是因為行人距離攝像頭較遠，光照不足而導致，但基本達到理想預期。

圖5　行人較多的檢測結果圖

圖6　行人較少的檢測結果圖

5　結束語

本文在ZYNQ平臺上進行嵌入式軟硬件協同設計，結合梯度直方圖和支持向量機算法進行行人檢測，在FPGA端實現了圖像采集和顯示功能，在ARM端進行行人檢測和分類。該系統已經進行了測試，當準確率達到85%時，覆蓋率達到70%，當覆蓋率達到85%，準確率也達到72%，達到基本應用要求。行人多時準確率不高，主要是行人遮擋影響了準確率。誤檢主要是因為行人的影子、諸如路燈和樹這些柱狀物體的干擾。行人的服飾與背景相似、光照不足是造成漏檢的原因之一。如果要降低漏檢率就要增加包含人各種動作的正樣本來訓練SVM，在SVM分類器選擇上，可以采用非線性和線性分類器級聯，以提高檢測速度。本系統實現了一種低功耗、靈活的嵌入式行人檢測系統，在實際應用中有比較大的意義，具有良好的發展潛力。

[1] 中華人民共和國國家統計局.中華人民共和國2016年國民經濟和社會發展統計公報[N].經濟日報,2017-03-01(5).

[2] 孟繁星.基于ZYNQ-7000的視頻圖像處理系統設計[J].信息通信，2015(8)： 60-62.

[3] 莫長江,李俊宏,駱綺健,等.基于ZYNQ AP SoC的安全駕駛系統設計[J].電子產品世界,2017(Z1):38-41.

[4] Xilinx.LogiCORE IP AXI video direct memory access v6.3[EB/OL].[2017-10-04].http://china.xilinx.com/support/documentation/ip-documentation/axi-vdma/v6_3/pg020_axi_vdma.pdf.

[5] 鄭建立,漆榮輝,張璐.基于AXI4-Stream總線的數字視頻采集接口IP核設計[J].電子科技,2016,29(9)：161-165.

[6] 曾爽，應駿，王健,等.基于ZYNQ的人臉檢測的快速實現[J].電視技術，2015,39(15):144-147.

[7] 陸佳華，潘祖龍，彭競華.嵌入式系統軟硬件協同設計實踐指南：基于Xilinx ZYNQ[M].北京：機械工業出版社，2014.

[8] 梁新宇.基于ZYNQ的行人檢測系統的軟硬件協同實現[D].大連：大連海事大學,2016.

[9] 徐光柱, 雷幫軍. 實用性目標檢測與跟蹤算法原理與應用[M]. 北京：國防工業出版社，2015.

[10] 符曉，張國斌，朱鴻順.Xilinx ZYNQ-7000 AP Soc開發實戰指南[M].北京：清華大學出版社，2016.