基于Hi3531平臺的快速行人檢測優(yōu)化與實現(xiàn)

孫樂飛，張重陽

(上海交通大學 圖像通信與信息處理研究所，上海 200240)

?

基于Hi3531平臺的快速行人檢測優(yōu)化與實現(xiàn)

孫樂飛，張重陽

(上海交通大學 圖像通信與信息處理研究所，上海 200240)

介紹了基于單芯片SoCHi3531的快速行人檢測的實現(xiàn)，以及基于平臺及算法的速度優(yōu)化方案。利用Hi3531硬件平臺資源及智能引擎加速模塊提供的基本算子，實現(xiàn)算法速度優(yōu)化。同時提取不同色彩空間特征并訓練相應特征模板用于行人檢測，減少色彩空間轉(zhuǎn)換耗費的計算時間。實驗結(jié)果表明，在Hi3531平臺上，在幾乎不降低檢測精度的情況下，一系列優(yōu)化較大幅度地減少了單幀圖像檢測時間。

海思3531；視頻監(jiān)控；行人檢測；速度優(yōu)化；色彩空間轉(zhuǎn)換

目前，隨著城市人口的不斷增多，城市的公共安全防范系統(tǒng)變得越來越重要，尤其是智能視頻監(jiān)控系統(tǒng)，在奧運會、世博會等大型人員聚集場所發(fā)揮著至關(guān)重要的作用[1]。行人檢測是目標檢測領(lǐng)域的關(guān)鍵技術(shù)，它基于圖像或視頻幀，判斷是否包含行人，如果包含則給出具體位置等信息。好的行人檢測算法應該兼顧檢測的準確度和實時性，以做到能夠使算法應用到不同的場合[2]。Hi3531高性能SoC，擁有專用的視頻處理模塊、高速的數(shù)據(jù)傳輸通道、高速的數(shù)據(jù)處理能力，且價格低廉，為行人檢測技術(shù)在智能監(jiān)控領(lǐng)域的實際應用提供一種解決方案。但是嵌入式平臺的配置相對PC機來說要低，對于復雜特征的提取計算以及匹配檢測需要耗費較多的時間，難以滿足快速行人檢測的需求[3-4]。

本文提出利用Hi3531硬件平臺資源及智能引擎加速模塊，實現(xiàn)算法速度優(yōu)化。提取不同色彩空間特征，訓練相應特征模板用于行人檢測，取得了較好的加速效果。

1　硬件平臺及行人檢測算法分析

1.1海思媒體處理平臺

海思提供的媒體處理軟件平臺(MediaProcessPlatform，MPP)可支持應用軟件快速開發(fā)。該平臺對應用軟件屏蔽了芯片相關(guān)的復雜的底層處理，并對應用軟件直接提供MPI(MPPProgrameInterface)接口完成相應功能。

海思媒體處理平臺的主要內(nèi)部處理流程如圖1所示，主要分為視頻輸入(VI)、視頻處理(VPSS)、視頻編碼(VENC)、視頻解碼(VDEC)、視頻輸出(VO)、視頻偵測分析(VDA)等模塊。VI獲取視頻YUV數(shù)據(jù)，VPSS模塊接收VI模塊發(fā)送過來的圖像，可對圖像進行去噪、圖像增強、銳化等處理，編碼模塊接收VI捕獲并經(jīng)VPSS處理后輸出的圖像數(shù)據(jù)，可疊加用戶通過Region模塊設(shè)置的感興趣區(qū)，然后按不同協(xié)議進行編碼并輸出相應碼流。VDA模塊接收VI的輸出圖像，并進行移動偵測和遮擋偵測，最后輸出偵測分析結(jié)果[5]。

圖1　海思媒體處理平臺內(nèi)部處理流程圖

1.2快速行人檢測算法

快速行人檢測算法包括如下幾個模塊：1)channels模塊，用于圖像通道特征提取，根據(jù)給定的圖像，在特定的scale下計算不同通道特征，在這里的通道特征是顏色通道特征、梯度大小和方向及梯度直方圖[6]。2)detector模塊，用于通道特征目標物體檢測[7]。通過大量實驗及統(tǒng)計平均后總結(jié)，在Hi3531平臺上，對于每幀圖像的檢測，每個步驟的時間花費所占總時間的比例如圖2所示。由圖中可知，特征計算花費了32%的總體計算時間，其中YUV轉(zhuǎn)RGB及RGB轉(zhuǎn)LUV兩個過程耗費了18.6%的計算時間。圖像下采樣過程也花費了總計算時間的6%。

圖2　單幀檢測中各步驟的時間花費占比

運用快速行人檢測算法開啟一個新的檢測模塊，實現(xiàn)了算法的移植，行人檢測算法中YUV色彩空間到RGB色彩空間的轉(zhuǎn)換可以通過調(diào)用平臺提供的MPI來實現(xiàn)，從而省去這部分計算時間；同時通過開啟VI子通道來優(yōu)化VI模塊，利用硬件資源實現(xiàn)圖像下采樣，省去算法中圖像下采樣的計算。提取不同顏色特征作為新的通道特征用于檢測，可以節(jié)省RGB色彩空間到LUV色彩空間的轉(zhuǎn)換，加速檢測過程。

2　基于Hi3531的行人檢測算法優(yōu)化

本文結(jié)合Hi3531平臺的硬件資源及算法中的特征選取，從以下3個方面入手，對行人檢測算法進行了優(yōu)化。

2.1視頻輸入模塊(VI)優(yōu)化

視頻輸入(VI)模塊實現(xiàn)的功能：將芯片外的視頻數(shù)據(jù)通過ITU-RBT656/601/1120接口或者數(shù)字攝像機接口接收，存入指定的內(nèi)存區(qū)域[8]。可指定硬件通道綁定到相應的設(shè)備端口。在此過程中可實現(xiàn)一路原始視頻圖像輸入，輸出一路或多路視頻圖像功能。Hi3531VI的物理通道支持對接收圖像按序進行以下處理：

主通道：裁剪→遮擋→色度重采樣→色度下采樣CDS→水平垂直翻轉(zhuǎn)VBI→輸出處理后的圖像到DDR。

次通道：剪裁→遮擋→水平垂直縮小→水平垂直翻轉(zhuǎn)→輸出處理后的圖像到DDR[9]。

次通道與主通道的圖像源相同，次通道編號=主通道編號+16，主通道實現(xiàn)1 080p圖像的輸出，同時通過設(shè)置次通道的屬性，可實現(xiàn)所需縮放后的圖像輸出，如640×360，320×180等分辨率的圖像。圖3為優(yōu)化的整體流程圖。

圖3　優(yōu)化的整體流程圖

VI(subchn)為新開啟的視頻輸入次通道，其數(shù)據(jù)來源與VI通道一致，在次通道中可以根據(jù)設(shè)定完成特定尺度的縮放，縮放后的數(shù)據(jù)作為源數(shù)據(jù)傳入Detect模塊。通過Detect檢測到視頻中的行人區(qū)域后，將其坐標、大小等參數(shù)作為ROI配置參數(shù)，從而進行自適應檢測的ROI編碼。通過開啟視頻輸入次通道，在次通道內(nèi)完成圖像下采樣，傳給行人檢測模塊檢測，減少了detect模塊中下采樣過程耗費的時間。

2.2創(chuàng)建色彩空間轉(zhuǎn)換任務(wù)

Hi3531平臺基于操作系統(tǒng)層，控制芯片完成相應的媒體處理功能。它對應用層屏蔽了硬件處理細節(jié)，并為應用層提供API接口完成相應功能。IVE模塊是智能分析系統(tǒng)中的硬件加速模塊。ARM在做智能分析時，可以借助IVE完成一些基本操作來加速智能分析。IVE共提供了以下基本算子，包括：快速拷貝、模板濾波、色彩空間轉(zhuǎn)換、模板濾波加色彩空間轉(zhuǎn)換、邊緣提取、膨脹腐蝕、圖像二值化、圖像與、圖像減、圖像或、積分圖和直方圖統(tǒng)計。

由于通過VI模塊獲取的數(shù)據(jù)是視頻原始YUV數(shù)據(jù)，而用于行人檢測模塊輸入的是圖片RGB數(shù)據(jù)，在平臺上，利用IVE提供的色彩空間轉(zhuǎn)換基本算子HI_MPI_IVE_CSC，可以替換C++代碼實現(xiàn)YUV到RGB數(shù)據(jù)的轉(zhuǎn)換，節(jié)約ARM的計算資源。定義源數(shù)據(jù)類型為SP422，源數(shù)據(jù)寬高為輸入數(shù)據(jù)寬高，色彩空間轉(zhuǎn)換模式為IVE_CSC_MODE_PIC_BT709，實現(xiàn)計算

(1)

ACSC，BCSC由源數(shù)據(jù)類型和色彩空間轉(zhuǎn)換模式?jīng)Q定。將轉(zhuǎn)換的輸出作為行人檢測模塊的輸入。

2.3特征提取及模板訓練

對于快速行人檢測算法，根據(jù)給定的圖像，在特定的尺度下計算通道特征，在這里是顏色通道特征、梯度幅值及梯度方向特征。當提取LUV特征作為顏色特征，結(jié)合梯度幅值特征及6個方向的梯度方向特征用于檢測，可以得到91.9%的檢測精度，而當提取RGB特征作為顏色特征，結(jié)合梯度幅值及6個方向的梯度方向特征，可以得到90.2%的檢測精度[10]。當RGB數(shù)據(jù)作為算法輸入，算法需要實現(xiàn)RGB轉(zhuǎn)化為LUV。用RGB替換LUV作為顏色通道特征，在幾乎不降低檢測精度的情況下，能夠較大幅度地減少因為不同色彩空間轉(zhuǎn)換損失的計算時間。因此提取RGB作為顏色通道特征，訓練出對應的行人模板用于檢測。

3　實驗結(jié)果與分析

提取RGB特征替換LUV特征作為顏色通道特征用于行人檢測，圖4和圖5分別為提取LUV作為顏色通道特征和提取RGB作為顏色通道特征用于檢測的效果圖，表1，表2為對應的檢測結(jié)果。表中系數(shù)欄為行人的可信度，該值越高則表示該區(qū)域越可能為行人，兩表都分別列出了前6個最有可能是行人區(qū)域的檢測結(jié)果。X，Y，W，H分別表示檢測出的行人區(qū)域左上角的橫坐標，左上角的縱坐標，寬和高。

圖4　提取LUV特征行人檢測效果

圖5　提取RGB特征行人檢測效果

系數(shù)XYWH37.36155.5086.0041.00100.0033.65127.0085.0944.93109.6033.61-9.4280.4786.32210.5233.2976.5494.1537.7091.9524.99195.5194.5929.0270.7922.01219.6891.2926.4564.52

表2提取RGB特征行人檢測結(jié)果

系數(shù)XYWH27.20147.5086.0041.00100.0025.65131.5086.0041.93100.6024.43-8.2597.2074.54181.8223.9870.7684.0048.96119.4023.27131.5186.0029.0270.7922.44215.7897.2924.2564.32

結(jié)合圖4，圖5和表1，表2對比可以發(fā)現(xiàn)，對于提取RGB作為顏色通道特征與提取LUV作為顏色通道特征，兩者檢測結(jié)果基本接近，兩張圖前6個行人區(qū)域也基本吻合。

為比較優(yōu)化前后系統(tǒng)檢測的準確性，本文給出了在3個行人數(shù)據(jù)集(INRIA，Caltech，TUD)上的測試結(jié)果，從INRIA數(shù)據(jù)集中選取200張圖片，在1fppi(falsepositiveperimage)的情況下，優(yōu)化前后檢測結(jié)果如表3所示。從表中可以看出，優(yōu)化前后檢測率基本不變。

表3優(yōu)化前后INRIA數(shù)據(jù)集檢測結(jié)果

選項檢出行人個數(shù)檢測率/%優(yōu)化前29732990.3優(yōu)化后29332989.1

選取Caltech行人數(shù)據(jù)集和TUD行人數(shù)據(jù)集上的圖片用于測試，在1fppi情況下，優(yōu)化前后的檢測效果如表4所示，從表中也可以清楚地看出，對于不同的行人數(shù)據(jù)集，優(yōu)化前后檢測率基本不變。

表4優(yōu)化前后行人不同數(shù)據(jù)集檢測結(jié)果

數(shù)據(jù)集及選項檢出行人個數(shù)檢測率/%Caltech優(yōu)化前16228756.4Caltech優(yōu)化后16128756.1TUD優(yōu)化前16526263.0TUD優(yōu)化后16126261.5

為比較優(yōu)化前后系統(tǒng)的檢測速度，在Hi3531平臺上，對于原始數(shù)據(jù)1080p的圖片(即1 920×1 080)，下采樣6倍到320×180大小進行測試，圖6為優(yōu)化前后行人檢測算法各個模塊所需的計算時間對比。

創(chuàng)建VI子通道用于完成下采樣，行人檢測模塊從子通道中獲取數(shù)據(jù)，省去下采樣計算時間，對于下采樣到320×180的圖片，平均每幀需要花費23ms，其中這部分時間占到總計算時間的6.5%。

創(chuàng)建色彩空間轉(zhuǎn)換任務(wù)，通過調(diào)用Hi3531中IVE提供的色彩空間轉(zhuǎn)換基本算子，轉(zhuǎn)換工作由硬件加速模塊完成，而不再耗費CPU資源用于計算。對于一幀320×180大小圖片的檢測，平均可以節(jié)省39ms，這部分時間占到總計算時間的10.9%。

通過提取RGB特征作為顏色通道特征，替換LUV特征，訓練出相應的行人模板，對于下采樣到320×180大小的圖片用于檢測，平均每幀計算可以節(jié)省33ms，這部分時間占到總計算時間的9.3%。

結(jié)合3部分的優(yōu)化，整合所有步驟的優(yōu)化，得到最終的優(yōu)化效果。Hi3531主通道獲取1 080p圖像(即1 920×1 080)，同時開啟視頻輸入次通道，下采樣視頻數(shù)據(jù)到尺寸為320×180大小的圖片用于檢測，創(chuàng)建色彩空間轉(zhuǎn)化任務(wù)，將YUV轉(zhuǎn)化為RGB，提取RGB數(shù)據(jù)并計算梯度幅值及6個方向的梯度方向特征進行行人檢測，平均每幀檢測減少95ms，節(jié)省26.7%的計算時間，檢測速度明顯提高。

圖6　優(yōu)化前后檢測所需時間對比

針對每一個模塊的優(yōu)化，測試并驗證了下采樣到不同分辨率后的行人檢測的優(yōu)化效果。表5分別列出了960×540，640×360，320×180這3種不同分辨率下優(yōu)化前后的性能對比。

表5不同分辨率圖片各計算模塊所需時間

算法960×540640×360320×180時間/ms百分比/%時間/ms百分比/%時間/ms百分比/%下采樣967.2406.7236.5YUV2RGB16012.16311.03910.9RGB2LUV13310.2609.4339.3

時間一列是不同模塊所需的計算時間，百分比一列是該部分計算時間所占總的計算時間的百分比。對于3種優(yōu)化，不同分辨率下均能獲得較大幅度的檢測速度方面的提升。實驗證明對于下采樣到更高分辨率的圖片，能獲得更多檢測時間上的節(jié)省。

圖7為Hi3531平臺獲取現(xiàn)實場景的行人檢測效果圖，為測試優(yōu)化前后系統(tǒng)在不同場景下的效果，將網(wǎng)絡(luò)攝像機架設(shè)在不同的場景下拍攝有行人的畫面并將每幀檢測所需的時間記錄保存于文件中，統(tǒng)計平均發(fā)現(xiàn)相較優(yōu)化前，優(yōu)化后平均每幀可以節(jié)省26%的計算時間，對于多種不同場景，檢測速度均能獲得明顯提高。

圖7　現(xiàn)實場景行人檢測效果

4　小結(jié)

本文基于海思推出的Hi3531媒體處理平臺，實現(xiàn)了一個快速行人檢測系統(tǒng)，并針對該系統(tǒng)進行速度優(yōu)化。實驗結(jié)果表明，該系統(tǒng)能準確、快速地對監(jiān)控視頻中的行人目標進行檢測，提取行人的坐標信息，通過視頻輸入次通道的開啟，色彩空間轉(zhuǎn)化任務(wù)的建立，以及提取不同顏色通道特征優(yōu)化算法，較大幅度地提升了行人檢測速度。

[1]王俊，盧賢龍，張重陽，等.基于Hi3516的監(jiān)控視頻自適應ROI編碼[J].電視技術(shù)，2013，37(23)：65-68.

[2]鄭世寶．智能視頻監(jiān)控技術(shù)與應用[J]．電視技術(shù)，2009，33(1)：95-97.

[3] 許言午，曹先彬，喬紅. 行人檢測系統(tǒng)研究新進展及關(guān)鍵技術(shù)展望[J]. 電子學報，2008，36(5)：962-968.

[4] 蘇松志，李紹滋，陳淑媛，等.行人檢測技術(shù)綜述[J].電子學報，2012，40(4)：814-820.DOI：10.3969/j.issn.0372-2112.2012.04.031.

[5]DOLLáRP，TUZ，PERONAP，etal.Integralchannelfeatures[C].//BritishMaehineVisionConference.London:[s.n.]2009:7-10.

[6]MAJIS，BERGAC，MALIKJ.Classificationusingintersectionkernelsupportvectormachinesisefficient[C]//IEEEConferenceonComputerVision&PatternRecognition. [S.l.]：IEEEComputerSociety，2008：1-8.

[7]DOLLáRP，WOJEKC，SCHIELEB，etal.Pedestriandetection：anevaluationofthestateoftheart[J].IEEEtransactionsonpatternanalysis&machineintelligence， 2012， 34(4)：743-761.

[8]海思半導體有限公司.HI3531Full-HDIP-CamSOC產(chǎn)品[EB/OL].[2015-05-21].http：//www.hisilicon.com/cn/download/digital_media/20110924/Hi3531.rar.

[9]海思半導體有限公司.HI3531媒體處理軟件開發(fā)參考[EB/OL].[2015-05-21].http：//www.hisilicon.com/cn/download/digital_media/20110924/Hi3531.rar.

[10]DOLLáRP，BELONGIES，PERONAP.Thefastestpedestriandetectorinthewest[C]//BritishMachineVisionConference.Aberystwyth:[s.n.],2010:1-11.

孫樂飛(1991— )，碩士生，主要研究方向為圖像視頻處理。

責任編輯：閆雯雯

Hi3531-basedoptimizationandrealizationoffastpedestriandetection

SUNLefei，ZHANGChongyang

(Institute of Image Communication and Information Processing，Shanghai Jiao Tong University，Shanghai 200240，China)

Theachievementofrapidpedestriandetectiononsingle-chipSoCHi3531andtheoptimizationofitsdetectionspeedbasedonplatformandalgorithmareintroduced，whichnotonlyspeedsupthealgorithmbyutilizingHi3531hardwareplatformandthebasicoperatorsprovidedbyintelligentvideoenginespeedupmodule，butalsoreducesthealgorithmtimeforcolorspaceconversionbydevelopingamodulecapableofidentifyingthefeaturesofdifferentcolorspacestofacilitatepedestriandetection.Experimentalresultsrevealthatthedetectiontime，runningonHi3531platform，isremarkablyreducedafteraseriesofoptimizationthatinducesnooffsettodetectionaccuracythough.

Hi3531；videosurveillance；pedestriandetection；speedoptimization；colorspaceconversion

TN941.1

ADOI：10.16280/j.videoe.2016.08.024

2015-11-02

文獻引用格式：孫樂飛，張重陽.基于Hi3531平臺的快速行人檢測優(yōu)化與實現(xiàn) [J].電視技術(shù)，2016，40(8)：122-125.

SUNLF，ZHANGCY.Hi3531-basedoptimizationandrealizationoffastpedestriandetection[J].Videoengineering，2016,40(8)：122-125.