基于ZYNQ異構多核處理器的人體動作識別系統

李金泉，王東，胡文振，闞世超

(北京交通大學 信息科學研究所，北京 100044)

?

基于ZYNQ異構多核處理器的人體動作識別系統

李金泉，王東，胡文振，闞世超

(北京交通大學 信息科學研究所，北京 100044)

以ZYNQ異構多核處理器為實現平臺，采用HLS設計方法學對運動特征提取算法進行了FPGA硬件加速，達到了1080P 60 fps的計算能力。采用K-means 對運動特征聚類，再生成高維向量，用SVM分類器進行分類和識別。最終，通過高效的系統結構和硬件加速電路實現了算法的加速。系統最終采用基于Linux和QT框架的人機交互方式，支持在線學習、創建動作庫的功能。

動作識別；ZYNQ；異構多核處理器；軟硬件協同設計；HLS；Linux

引　言

由于人對視覺感知的直觀性，視頻序列中運動的目標是人眼最易感知和感興趣的部分[1]，因此，以視頻為載體的信息處理成為當今視覺研究的熱門分支。

針對人體動作的視覺處理是圖像處理、計算機視覺、模式識別、機器學習等多個學科的交叉研究課題，在視頻監控、人機交互、虛擬現實、醫療看護等領域具有深遠的理論研究意義和很強的實用價值。因此，如何讓機器正確識別人體運動的意義是智能視覺信息處理技術重要研究內容。

視覺處理系統中，第一是對視頻中關鍵特征進行提取，并進行合理的表示;第二是將提取的特征進行分類和識別等處理。目前的實現方法主要集中在以建立復雜的數學模型為基礎，同時對識別精度的提升越來越微小。隨著算法復雜度的增加，計算運行時間越來越長，很多的算法需要使用高性能的圖形處理器(GPU)來改善計算時長，但不利于提升效率、節約成本和實現小型化[2-3]。

本文選擇Xilinx推出的ZYNQ異構處理器為硬件加速計算實現平臺。ZYNQ內部集成了FPGA邏輯資源和ARM處理器，采用了基于視覺感知層次的計算模型[4]，適合于硬件加速的時空運動場塊的運動識別算法[5]。在ZYNQ平臺上實現的算法相比于使用Intel Core i3-4130雙核3.4 GHz CPU為核心的實現方式，運動動作識別速度提升了約120倍，實現了每1～1.7 s識別出一次運動結果，達到了實時處理的效果。

1　識別算法概述

圖1　運動識別的總體模型設計

基于時空運動場塊的識別算法總體流程如圖1所示，主要包括，運動特征向量的生成和分類。運動特征向量生成是將輸入視頻序列轉化為一個運動特征向量，以表征視頻序列的運動特征。分類是利用支持向量機SVM(Support Vector Machine)等將生成的運動特征向量同已知運動類型的模板特征向量進行比較，以對應的運動類型作為識別結果輸出。

2　軟硬件劃分與FPGA加速

基于運動識別的總體模型，其實現流程如圖2所示。幀間差分和生成MF圖都需要使用連續兩幀圖像作為輸入進行處理，硬件實現上使用并行輸入可以減少輸入時延，提高系統效率；卷積計算、濾波去除噪聲點需要逐點進行矩陣運算。以上每一步算法中都需要對像素點做逐點計算處理，屬于密集型運算，同時還要求很高的數據吞吐量和大量數據運算邏輯。因此，將該部分算法遷移至FPGA中，采用邏輯電路進行硬件加速，達到流水線實現和并行化處理，極大地提高了計算效率。

圖2　運動識別流程圖

在運動特征生成、聚類學習、運動向量匹配等算法的實現步驟中,學習和分類過程中具有大量選擇和分支計算，為了控制密集型計算，適合采用通用CPU進行軟件處理，因此將此部分算法在ARM處理器上運行，提高了算法的可控性。

硬件實現部分，首先采用幀間差分法對并行輸入的連續兩幀視頻序列進行幀差，獲得方向邊緣DE(Directional Edge)圖。接著，利用方向邊緣濾波器(Sobel算子)做卷積運算，以得到每幀圖像的方向邊緣位移DED(DE Displacement)圖。然后，通過引入一個降噪濾波器來抑制背景上存在的一些對于運動識別毫無意義的雜亂邊緣點，保留了密集的邊緣位移部分，以獲得有效的方向邊緣位移EDED (Essential DED)圖。式(1)給出了降噪濾波處理器的數學表達式，其物理意義就是判斷局部窗口內是否有足夠多的運動邊緣信息，若存在，則保留該邊緣的位移信息，否則對其濾除。

(1)

最后，MF圖是利用記錄的連續兩幀EDED通過運動匹配估計算法得到對應像素點的運動特征。為了降低運算復雜度，本文采用基于直方圖投影的方法代替二維圖像塊進行匹配[5]。直方圖匹配尋優的過程與人類的視覺感知系統中“聯想型”方式是一致的。

從DE圖到MF圖均采用Xilinx的高層綜合HLS(High-levelsynthesis)工具，基于C/C++語言實現算法，并針對算法做流水線型處理，綜合成硬件描述語言(VHLD/Verilog)，可以直接使用硬件描述語言進行開發，縮短了開發周期，同時也很好地實現了算法的加速。

軟件實現部分首先是將多幀MF圖累積抽取成32維的高維向量。4個方向分別占用8個維度，每個方向可以表示8種不同級度的運動強度。然后從視頻序列中累積數萬個32維的塊向量(原型特征向量)進行K-means聚類學習處理，聚合出N(本文取用N=2 000)類。每一類的中心即為一個原型塊向量，分別對應于一個微小運動過程，其理論依據認為無監督學習能夠有效減小由于外界視覺信號各分量之間存在強相關而引起的信息冗余[6]。

最終，一段視頻動作的運動軌跡就可以用一個N維的運動特征向量來表達，以訓練視頻得到的運動特征向量作為模板特征向量。執行識別處理流程時，只要將待檢測的N維運動特征向量輸入到SVM分類器中，尋找相似度最高的相關模板特征向量，并將其類型輸出作為最終識別的運動類型。

3　實驗與分析

3.1系統架構

在ZYNQ處理器上實現的系統架構如圖3所示。視頻通過HDMI輸入到ZedBoard板上，在ZYNQ處理器PL(ProgrammableLogic)上實現了圖2中所有算法的硬件加速功能；在PS(ProgrammableSoC)中主要完成運動分類、識別和圖形顯示等處理。PS端通過通用輸入輸出接口(GPIO)主動控制PL端的控制通路，其中在PL進行處理的中間步驟的數據通過VDMA(VideoDirectMemoryAccess)可經HP口(AXIHigh-PerformancePorts)存入內存，極大地減少了在PL中調用RAM和LUT進行片上存儲。

圖3　系統在ZedBoard上實現的系統架構

本文所實現的硬件系統如圖4所示。視頻處理流程按照數字順序，首先通過顯示器上方的1080P 60 fps的高清攝像頭錄入運動視頻，然后將獲取的視頻通過HDMI線輸入到一塊外置轉接板卡，通過夾層卡FMC (FPGA Mezzanine Card)接口將視頻送入到ZedBoard開發板中。該轉接板卡是基于HDMI接收器芯片SiI9135自行設計的，通過FMC板卡可將輸入的HDMI信號轉換成RGB、4:4:4 YCbCr、4:2:2 YCbCr等多種常見視頻格式的輸出。輸入的運動視頻經過ZYNQ處理器進行運動特征提取、運動識別，最終通過開發板上的HDMI輸出口將攝像頭錄入的原始視頻和識別結果顯示在1080P的顯示器上。

圖4　視頻在硬件平臺上處理流程

3.2性能分析

基于Vivado集成開發環境，將HLS生成的IP核導入到Vivado中，搭建硬件實現系統。PL中視頻處理的運行時鐘頻率為148.5 MHz，支持1080 P 60 fps的視頻處理，受限于DDR總帶寬，1920×1080分辨率的視頻在處理過程中采用立方插值降低為480×270，但分辨率的降低并不影響運動軌跡提取。ARM運行的最高時鐘頻率為666.67 MHz，運動識別結果為每1～1.7 s更新一次，達到了實時識別能力。根據Vivado綜合報告，整個系統在片上功耗只有 2.233 W。

表1是基于ZYNQ處理器運動識別軟硬件協同在PL端的資源利用率，可見基于時空場的運動特征提取算法消耗的硬件資源，符合硬件友好。FPGA計算部分總共在DDR中申請了22.577 MB的緩存空間用于幀緩存，同時，Linux系統和運行QT框架消耗的內存也不足60 MB，對于512 MB的內存，本系統總計內存的使用率在16%左右。

表1　PL端的資源利用率

ZYNQ中集成了雙核Cortex-A9處理器，CPU主要用于QT繪制顯示圖像，以及部分算法處理，整個系統運行時CPU的使用率在50%左右。無論是內存，還是CPU使用率，都是有足夠富余，因此系統整體運行流暢，延遲較小，視覺觀感效果良好。

動作庫中有4種基本動作(直線、豎線、圓和三角)，視頻的識別過程和對應運動類型以此視頻庫為基礎訓練識別庫，經測試，能很好地識別動作庫中所包含的4種基本動作，其識別率為90%。擴充到的10個動作庫(雙手結合的動作和基本啞語動作)，本文識別系統的動作識別率也能達到 86%。

表2為參考文獻中列舉出的先前的工作與本文所做的工作進行對比。參考文獻中的硬件平臺皆以FPGA邏輯電路實現，系統設計復雜，不易使用，可移植性差，以及需要消耗大量的硬件資源。而本文所采用的ZYNQ處理器在進行硬件加速的同時，還可以運行操作系統以及圖形圖像界面，具備一個完整系統直觀的輸入、處理、輸出功能，并且易于修改以及版本升級，做到了在一塊芯片上完成軟硬件協同設計。此外，本文中圖像分辨率有所提升，可以在一幀圖像中提取出更加豐富的特征向量。

表2　對比分析

結　語

基于ZYNQ處理器ARM+FPGA架構對時空運動場塊的識別算法進行軟硬件協同設計，將適合于硬件電路實現的運動特征提取算法，使用HLS設計方法，用高級語言快速實現算法級開發，并自動轉化成硬件可綜合的RTL級語言。最終以較低的運算復雜度獲取具有較強表現力的運動特征，并獲得很好的識別效果。本文的識別系統支持高清1080P 60 fps的視頻輸入和輸出，以及運動的實時檢測。由于采用了DDR進行幀緩存，因此可以查看硬件計算的中間處理結果。運動特征圖和運動場圖可實時更新顯示，比純軟件實現方式要快兩個數量級。最后，通過Linux和QT框架設計的控制和人機交互系統可實現在線學習和創建運動庫的功能。

[1] Murat Tekalp.Digital Video Processing[M].Englewood Cliff:Prentice-Hall Press,1996.

[2] Sadanand S,Corso JJ.Action bank:A high-level representation of activity in video[C]//IEEE Conference on Computer Vision and Pattern Recognition,2012:1234-1241.

[3] Sun D,Roth S,Black MJ.Secrets of optical flow estimation and their principles[C]//IEEE Conference on Computer Vision and Pattern Recognition,2010:2432-2439.

[4] Serre T,Wolf L,Bileschi S,et al.Robust object recognition with cortex-like mechanisms[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(3):411-426.

[5] Hou Z,Zhu H,Zheng N,et al.A single-chip 600-fps real-time action recognition system employing a hardware friendly algorithm[C]//IEEE International Symposium on Circuits and Systems (ISCAS),Melbourne,2014:762-765.

[6] A A Maashri,M DeBole,Chakrabarti.Accelerating neuromorphic vision algorithms for recognition[C]//Proc. ACM DAC,2012:579-584.

[7] H Meng,M Freeman,Bailey.Real-time human action recognition on an embedded, reconfigurable video processing architecture[J].Real-Time Image Proc,2008,3(3):163-176.

李金泉、胡文振、闞世超(碩士研究生)，主要研究方向為嵌入式與多媒體信息處理；王東(副教授)，主要研究方向為數字系統設計與異構計算。

Human Action Recognition System Based on ZYNQ Heterogeneous Multi-processor

Li Jinquan,Wang Dong,Hu Wenzhen,Kan Shichao

(Institute of Information Science,Beijing Jiaotong University,Beijing 100044,China)

Based ZYNQ heterogeneous multi-core processor,the FPGA hardware acceleration is achieved using the HLS design methodology motion feature extraction algorithm,which reaches the handling capacity of 1080P 60 fps.The K-means is used to generate high dimension vector by motion feature vector.Then the SVM classifier is used to do the classification and identification.In the end,the algorithm effectively is achieved through the system structure and the hardware acceleration circuit.Based on the man-machine interaction way of Linux and the framework of QT,the system can support online learning and create a library of action.

action recognition;ZYNQ;heterogeneous multi-processor;software hardware co-processing;HLS;Linux

TP27

A

(責任編輯：薛士然2016-03-14)