基于Hi3531平臺的快速行人檢測優化與實現

孫樂飛，張重陽

(上海交通大學 圖像通信與信息處理研究所，上海 200240)

?

基于Hi3531平臺的快速行人檢測優化與實現

孫樂飛，張重陽

(上海交通大學 圖像通信與信息處理研究所，上海 200240)

介紹了基于單芯片SoCHi3531的快速行人檢測的實現，以及基于平臺及算法的速度優化方案。利用Hi3531硬件平臺資源及智能引擎加速模塊提供的基本算子，實現算法速度優化。同時提取不同色彩空間特征并訓練相應特征模板用于行人檢測，減少色彩空間轉換耗費的計算時間。實驗結果表明，在Hi3531平臺上，在幾乎不降低檢測精度的情況下，一系列優化較大幅度地減少了單幀圖像檢測時間。

海思3531；視頻監控；行人檢測；速度優化；色彩空間轉換

目前，隨著城市人口的不斷增多，城市的公共安全防范系統變得越來越重要，尤其是智能視頻監控系統，在奧運會、世博會等大型人員聚集場所發揮著至關重要的作用[1]。行人檢測是目標檢測領域的關鍵技術，它基于圖像或視頻幀，判斷是否包含行人，如果包含則給出具體位置等信息。好的行人檢測算法應該兼顧檢測的準確度和實時性，以做到能夠使算法應用到不同的場合[2]。Hi3531高性能SoC，擁有專用的視頻處理模塊、高速的數據傳輸通道、高速的數據處理能力，且價格低廉，為行人檢測技術在智能監控領域的實際應用提供一種解決方案。但是嵌入式平臺的配置相對PC機來說要低，對于復雜特征的提取計算以及匹配檢測需要耗費較多的時間，難以滿足快速行人檢測的需求[3-4]。

本文提出利用Hi3531硬件平臺資源及智能引擎加速模塊，實現算法速度優化。提取不同色彩空間特征，訓練相應特征模板用于行人檢測，取得了較好的加速效果。

1　硬件平臺及行人檢測算法分析

1.1海思媒體處理平臺

海思提供的媒體處理軟件平臺(MediaProcessPlatform，MPP)可支持應用軟件快速開發。該平臺對應用軟件屏蔽了芯片相關的復雜的底層處理，并對應用軟件直接提供MPI(MPPProgrameInterface)接口完成相應功能。

海思媒體處理平臺的主要內部處理流程如圖1所示，主要分為視頻輸入(VI)、視頻處理(VPSS)、視頻編碼(VENC)、視頻解碼(VDEC)、視頻輸出(VO)、視頻偵測分析(VDA)等模塊。VI獲取視頻YUV數據，VPSS模塊接收VI模塊發送過來的圖像，可對圖像進行去噪、圖像增強、銳化等處理，編碼模塊接收VI捕獲并經VPSS處理后輸出的圖像數據，可疊加用戶通過Region模塊設置的感興趣區，然后按不同協議進行編碼并輸出相應碼流。VDA模塊接收VI的輸出圖像，并進行移動偵測和遮擋偵測，最后輸出偵測分析結果[5]。

圖1　海思媒體處理平臺內部處理流程圖

1.2快速行人檢測算法

快速行人檢測算法包括如下幾個模塊：1)channels模塊，用于圖像通道特征提取，根據給定的圖像，在特定的scale下計算不同通道特征，在這里的通道特征是顏色通道特征、梯度大小和方向及梯度直方圖[6]。2)detector模塊，用于通道特征目標物體檢測[7]。通過大量實驗及統計平均后總結，在Hi3531平臺上，對于每幀圖像的檢測，每個步驟的時間花費所占總時間的比例如圖2所示。由圖中可知，特征計算花費了32%的總體計算時間，其中YUV轉RGB及RGB轉LUV兩個過程耗費了18.6%的計算時間。圖像下采樣過程也花費了總計算時間的6%。

圖2　單幀檢測中各步驟的時間花費占比

運用快速行人檢測算法開啟一個新的檢測模塊，實現了算法的移植，行人檢測算法中YUV色彩空間到RGB色彩空間的轉換可以通過調用平臺提供的MPI來實現，從而省去這部分計算時間；同時通過開啟VI子通道來優化VI模塊，利用硬件資源實現圖像下采樣，省去算法中圖像下采樣的計算。提取不同顏色特征作為新的通道特征用于檢測，可以節省RGB色彩空間到LUV色彩空間的轉換，加速檢測過程。

2　基于Hi3531的行人檢測算法優化

本文結合Hi3531平臺的硬件資源及算法中的特征選取，從以下3個方面入手，對行人檢測算法進行了優化。

2.1視頻輸入模塊(VI)優化

視頻輸入(VI)模塊實現的功能：將芯片外的視頻數據通過ITU-RBT656/601/1120接口或者數字攝像機接口接收，存入指定的內存區域[8]。可指定硬件通道綁定到相應的設備端口。在此過程中可實現一路原始視頻圖像輸入，輸出一路或多路視頻圖像功能。Hi3531VI的物理通道支持對接收圖像按序進行以下處理：

主通道：裁剪→遮擋→色度重采樣→色度下采樣CDS→水平垂直翻轉VBI→輸出處理后的圖像到DDR。

次通道：剪裁→遮擋→水平垂直縮小→水平垂直翻轉→輸出處理后的圖像到DDR[9]。

次通道與主通道的圖像源相同，次通道編號=主通道編號+16，主通道實現1 080p圖像的輸出，同時通過設置次通道的屬性，可實現所需縮放后的圖像輸出，如640×360，320×180等分辨率的圖像。圖3為優化的整體流程圖。

圖3　優化的整體流程圖

VI(subchn)為新開啟的視頻輸入次通道，其數據來源與VI通道一致，在次通道中可以根據設定完成特定尺度的縮放，縮放后的數據作為源數據傳入Detect模塊。通過Detect檢測到視頻中的行人區域后，將其坐標、大小等參數作為ROI配置參數，從而進行自適應檢測的ROI編碼。通過開啟視頻輸入次通道，在次通道內完成圖像下采樣，傳給行人檢測模塊檢測，減少了detect模塊中下采樣過程耗費的時間。

2.2創建色彩空間轉換任務

Hi3531平臺基于操作系統層，控制芯片完成相應的媒體處理功能。它對應用層屏蔽了硬件處理細節，并為應用層提供API接口完成相應功能。IVE模塊是智能分析系統中的硬件加速模塊。ARM在做智能分析時，可以借助IVE完成一些基本操作來加速智能分析。IVE共提供了以下基本算子，包括：快速拷貝、模板濾波、色彩空間轉換、模板濾波加色彩空間轉換、邊緣提取、膨脹腐蝕、圖像二值化、圖像與、圖像減、圖像或、積分圖和直方圖統計。

由于通過VI模塊獲取的數據是視頻原始YUV數據，而用于行人檢測模塊輸入的是圖片RGB數據，在平臺上，利用IVE提供的色彩空間轉換基本算子HI_MPI_IVE_CSC，可以替換C++代碼實現YUV到RGB數據的轉換，節約ARM的計算資源。定義源數據類型為SP422，源數據寬高為輸入數據寬高，色彩空間轉換模式為IVE_CSC_MODE_PIC_BT709，實現計算

(1)

ACSC，BCSC由源數據類型和色彩空間轉換模式決定。將轉換的輸出作為行人檢測模塊的輸入。

2.3特征提取及模板訓練

對于快速行人檢測算法，根據給定的圖像，在特定的尺度下計算通道特征，在這里是顏色通道特征、梯度幅值及梯度方向特征。當提取LUV特征作為顏色特征，結合梯度幅值特征及6個方向的梯度方向特征用于檢測，可以得到91.9%的檢測精度，而當提取RGB特征作為顏色特征，結合梯度幅值及6個方向的梯度方向特征，可以得到90.2%的檢測精度[10]。當RGB數據作為算法輸入，算法需要實現RGB轉化為LUV。用RGB替換LUV作為顏色通道特征，在幾乎不降低檢測精度的情況下，能夠較大幅度地減少因為不同色彩空間轉換損失的計算時間。因此提取RGB作為顏色通道特征，訓練出對應的行人模板用于檢測。

3　實驗結果與分析

提取RGB特征替換LUV特征作為顏色通道特征用于行人檢測，圖4和圖5分別為提取LUV作為顏色通道特征和提取RGB作為顏色通道特征用于檢測的效果圖，表1，表2為對應的檢測結果。表中系數欄為行人的可信度，該值越高則表示該區域越可能為行人，兩表都分別列出了前6個最有可能是行人區域的檢測結果。X，Y，W，H分別表示檢測出的行人區域左上角的橫坐標，左上角的縱坐標，寬和高。

圖4　提取LUV特征行人檢測效果

圖5　提取RGB特征行人檢測效果

系數XYWH37.36155.5086.0041.00100.0033.65127.0085.0944.93109.6033.61-9.4280.4786.32210.5233.2976.5494.1537.7091.9524.99195.5194.5929.0270.7922.01219.6891.2926.4564.52

表2提取RGB特征行人檢測結果

系數XYWH27.20147.5086.0041.00100.0025.65131.5086.0041.93100.6024.43-8.2597.2074.54181.8223.9870.7684.0048.96119.4023.27131.5186.0029.0270.7922.44215.7897.2924.2564.32

結合圖4，圖5和表1，表2對比可以發現，對于提取RGB作為顏色通道特征與提取LUV作為顏色通道特征，兩者檢測結果基本接近，兩張圖前6個行人區域也基本吻合。

為比較優化前后系統檢測的準確性，本文給出了在3個行人數據集(INRIA，Caltech，TUD)上的測試結果，從INRIA數據集中選取200張圖片，在1fppi(falsepositiveperimage)的情況下，優化前后檢測結果如表3所示。從表中可以看出，優化前后檢測率基本不變。

表3優化前后INRIA數據集檢測結果

選項檢出行人個數檢測率/%優化前29732990.3優化后29332989.1

選取Caltech行人數據集和TUD行人數據集上的圖片用于測試，在1fppi情況下，優化前后的檢測效果如表4所示，從表中也可以清楚地看出，對于不同的行人數據集，優化前后檢測率基本不變。

表4優化前后行人不同數據集檢測結果

數據集及選項檢出行人個數檢測率/%Caltech優化前16228756.4Caltech優化后16128756.1TUD優化前16526263.0TUD優化后16126261.5

為比較優化前后系統的檢測速度，在Hi3531平臺上，對于原始數據1080p的圖片(即1 920×1 080)，下采樣6倍到320×180大小進行測試，圖6為優化前后行人檢測算法各個模塊所需的計算時間對比。

創建VI子通道用于完成下采樣，行人檢測模塊從子通道中獲取數據，省去下采樣計算時間，對于下采樣到320×180的圖片，平均每幀需要花費23ms，其中這部分時間占到總計算時間的6.5%。

創建色彩空間轉換任務，通過調用Hi3531中IVE提供的色彩空間轉換基本算子，轉換工作由硬件加速模塊完成，而不再耗費CPU資源用于計算。對于一幀320×180大小圖片的檢測，平均可以節省39ms，這部分時間占到總計算時間的10.9%。

通過提取RGB特征作為顏色通道特征，替換LUV特征，訓練出相應的行人模板，對于下采樣到320×180大小的圖片用于檢測，平均每幀計算可以節省33ms，這部分時間占到總計算時間的9.3%。

結合3部分的優化，整合所有步驟的優化，得到最終的優化效果。Hi3531主通道獲取1 080p圖像(即1 920×1 080)，同時開啟視頻輸入次通道，下采樣視頻數據到尺寸為320×180大小的圖片用于檢測，創建色彩空間轉化任務，將YUV轉化為RGB，提取RGB數據并計算梯度幅值及6個方向的梯度方向特征進行行人檢測，平均每幀檢測減少95ms，節省26.7%的計算時間，檢測速度明顯提高。

圖6　優化前后檢測所需時間對比

針對每一個模塊的優化，測試并驗證了下采樣到不同分辨率后的行人檢測的優化效果。表5分別列出了960×540，640×360，320×180這3種不同分辨率下優化前后的性能對比。

表5不同分辨率圖片各計算模塊所需時間

算法960×540640×360320×180時間/ms百分比/%時間/ms百分比/%時間/ms百分比/%下采樣967.2406.7236.5YUV2RGB16012.16311.03910.9RGB2LUV13310.2609.4339.3

時間一列是不同模塊所需的計算時間，百分比一列是該部分計算時間所占總的計算時間的百分比。對于3種優化，不同分辨率下均能獲得較大幅度的檢測速度方面的提升。實驗證明對于下采樣到更高分辨率的圖片，能獲得更多檢測時間上的節省。

圖7為Hi3531平臺獲取現實場景的行人檢測效果圖，為測試優化前后系統在不同場景下的效果，將網絡攝像機架設在不同的場景下拍攝有行人的畫面并將每幀檢測所需的時間記錄保存于文件中，統計平均發現相較優化前，優化后平均每幀可以節省26%的計算時間，對于多種不同場景，檢測速度均能獲得明顯提高。

圖7　現實場景行人檢測效果

4　小結

本文基于海思推出的Hi3531媒體處理平臺，實現了一個快速行人檢測系統，并針對該系統進行速度優化。實驗結果表明，該系統能準確、快速地對監控視頻中的行人目標進行檢測，提取行人的坐標信息，通過視頻輸入次通道的開啟，色彩空間轉化任務的建立，以及提取不同顏色通道特征優化算法，較大幅度地提升了行人檢測速度。

[1]王俊，盧賢龍，張重陽，等.基于Hi3516的監控視頻自適應ROI編碼[J].電視技術，2013，37(23)：65-68.

[2]鄭世寶．智能視頻監控技術與應用[J]．電視技術，2009，33(1)：95-97.

[3] 許言午，曹先彬，喬紅. 行人檢測系統研究新進展及關鍵技術展望[J]. 電子學報，2008，36(5)：962-968.

[4] 蘇松志，李紹滋，陳淑媛，等.行人檢測技術綜述[J].電子學報，2012，40(4)：814-820.DOI：10.3969/j.issn.0372-2112.2012.04.031.

[5]DOLLáRP，TUZ，PERONAP，etal.Integralchannelfeatures[C].//BritishMaehineVisionConference.London:[s.n.]2009:7-10.

[6]MAJIS，BERGAC，MALIKJ.Classificationusingintersectionkernelsupportvectormachinesisefficient[C]//IEEEConferenceonComputerVision&PatternRecognition. [S.l.]：IEEEComputerSociety，2008：1-8.

[7]DOLLáRP，WOJEKC，SCHIELEB，etal.Pedestriandetection：anevaluationofthestateoftheart[J].IEEEtransactionsonpatternanalysis&machineintelligence， 2012， 34(4)：743-761.

[8]海思半導體有限公司.HI3531Full-HDIP-CamSOC產品[EB/OL].[2015-05-21].http：//www.hisilicon.com/cn/download/digital_media/20110924/Hi3531.rar.

[9]海思半導體有限公司.HI3531媒體處理軟件開發參考[EB/OL].[2015-05-21].http：//www.hisilicon.com/cn/download/digital_media/20110924/Hi3531.rar.

[10]DOLLáRP，BELONGIES，PERONAP.Thefastestpedestriandetectorinthewest[C]//BritishMachineVisionConference.Aberystwyth:[s.n.],2010:1-11.

孫樂飛(1991— )，碩士生，主要研究方向為圖像視頻處理。

責任編輯：閆雯雯

Hi3531-basedoptimizationandrealizationoffastpedestriandetection

SUNLefei，ZHANGChongyang

(Institute of Image Communication and Information Processing，Shanghai Jiao Tong University，Shanghai 200240，China)

Theachievementofrapidpedestriandetectiononsingle-chipSoCHi3531andtheoptimizationofitsdetectionspeedbasedonplatformandalgorithmareintroduced，whichnotonlyspeedsupthealgorithmbyutilizingHi3531hardwareplatformandthebasicoperatorsprovidedbyintelligentvideoenginespeedupmodule，butalsoreducesthealgorithmtimeforcolorspaceconversionbydevelopingamodulecapableofidentifyingthefeaturesofdifferentcolorspacestofacilitatepedestriandetection.Experimentalresultsrevealthatthedetectiontime，runningonHi3531platform，isremarkablyreducedafteraseriesofoptimizationthatinducesnooffsettodetectionaccuracythough.

Hi3531；videosurveillance；pedestriandetection；speedoptimization；colorspaceconversion

TN941.1

ADOI：10.16280/j.videoe.2016.08.024

2015-11-02

文獻引用格式：孫樂飛，張重陽.基于Hi3531平臺的快速行人檢測優化與實現 [J].電視技術，2016，40(8)：122-125.

SUNLF，ZHANGCY.Hi3531-basedoptimizationandrealizationoffastpedestriandetection[J].Videoengineering，2016,40(8)：122-125.