基于PYNQ框架的深度卷積特征異構跟蹤系統(tǒng)

崔洲涓，安軍社 ，陳長龍，崔天舒

1.中國科學院 國家空間科學中心 復雜航天系統(tǒng)電子信息技術重點實驗室，北京 100190

2.中國科學院大學，北京 100049

深度學習方法在圖像分類、目標檢測等計算機視覺任務中大放異彩，研究者開始逐步將其引入目標跟蹤領域。Wang 等[1]提出 SO-DLT（Structured Output Deep Learning Tracker）算法，使用卷積神經網絡作為獲取特征和分類的模型，使其具備區(qū)分背景與非背景的能力，跟蹤結果更加魯棒。Wang等[2]的FCNT（Visual Tracking with Fully Convolutional Networks）算法選擇預訓練深度網絡的不同卷積層構建特征篩選網絡以及兩個互補的熱度圖，有效地抑制干擾，防止跟蹤器漂移。Ma等[3]提出的 HCFT*（Hierarchical Correlation Features Based Tracker）算法基于預訓練深度網絡的不同卷積層訓練相關濾波器，提取不同尺寸的目標特征，逐層向下做細粒度的位置預測，大幅提升跟蹤性能。特征提取作為目標跟蹤系統(tǒng)的關鍵環(huán)節(jié)[4]，直接決定了目標跟蹤的效果。相較于傳統(tǒng)的依靠先驗知識通過手工調整參數(shù)進行設計的尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）、方向梯度直方圖（Histogram of Oriented Gradient，HOG）、多通道顏色名稱（Color Names，CN）等淺層特征，預訓練深度網絡提取到的深度卷積特征能夠較為敏銳地捕捉到目標的語義信息，具有更強的特征表達能力，可以提高跟蹤算法的精度，使其在目標遮擋、外觀變化及背景干擾等復雜場景下表現(xiàn)更為穩(wěn)健。

然而由于深度卷積網絡通常具有復雜且龐大的結構，導致目標特征提取過程計算量巨大，極大地影響目標跟蹤算法的實時性。為了將跟蹤算法部署至嵌入式平臺，除了從算法層面進行優(yōu)化，提升運算效率，還可以從硬件層面通過專用的計算單元實現(xiàn)加速。目前廣泛使用的硬件加速平臺有GPU（Graphics Processing Unit）、ASIC（Application Specific Integrated Circuit）、FPGA（Field Programmable Gate Array）三種。GPU 中包含大量同構并行計算單元，但功耗高；ASIC可以定制專用硬件結構，但靈活性差，設計周期較長；FPGA 可重構，集成度高，功耗低，可以適應計算量大但計算機構簡單的神經網絡模型。

針對跟蹤算法在傳統(tǒng)嵌入式開發(fā)平臺應用中存在的問題與需求，選取可應用開源框架PYNQ（Python Productivity for Zynq）的高性能、低功耗異構計算平臺Zynq進行系統(tǒng)搭建。為使算法更好地適應硬件計算架構，根據(jù)目標跟蹤算法的特點，將任務進行軟硬件劃分。通過對性能進行分析，對異構跟蹤系統(tǒng)中的深度卷積特征提取單元進行并行優(yōu)化加速，最終達到目標跟蹤任務性能與速度的平衡。

1 基于相關濾波框架的目標跟蹤算法

1.1 深度卷積特征

特征提取的基本流程是輸入視頻序列，統(tǒng)計離散的圖像像素點的分布規(guī)律，經由向量或矩陣進行數(shù)值映射，轉變至更優(yōu)的空間，將原始的視頻圖像轉換為富含信息量的形式進行重構表達。目標跟蹤任務中的特征應具有獨立性、高區(qū)分度、強泛化性、可靠性、快速計算等特點。

由于訓練數(shù)據(jù)缺失，針對目標跟蹤任務對大量標注數(shù)據(jù)重新訓練網絡困難重重，本文選用在超大規(guī)模數(shù)據(jù)集ImageNet[5]上表現(xiàn)優(yōu)異的預訓練深度卷積網絡VGGNet-19[6]作為特征提取網絡，提取各個層的目標特征。VGG-Net-19 由 3×3 的小型卷積核以及 2×2 的最大池化層堆疊構筑，主要包括五段卷積層、兩個全連接特征層以及一個全連接分類層，共19 層。將視頻圖像序列輸入VGG-Net-19 提取特征，其中包含豐富紋理及空間信息的底層特征用于目標的精確定位以及排除相似背景的干擾；包含語義信息的高層特征用于目標的背景區(qū)分及削弱目標形變、遮擋等表觀變化的影響。

1.2 相關濾波框架

基于核相關濾波框架的目標跟蹤算法以良好的實時性成為主流應用。本文算法在相關濾波框架上構建。

將視頻序列輸入VGG-Net-19，構造目標函數(shù)[3]如式（1）：

其中，x為第q層維度為M×N×D的深度卷積特征；λ為正則化參數(shù)；xij,i,j∈{0,1,…,M}×{0,1,…,N} 為樣本；yij為其對應的回歸標簽。

由傅里葉變換求出第q層d通道分類器權重頻域閉式解如式（2）：

其中，X、Y分別對應x、y的頻域變換，為X的共軛，⊙表示Hadamard積。

z為第q層深度卷積特征構成的循環(huán)矩陣，與預訓練得到的分類器聯(lián)合得到回歸函數(shù)fq(z)如式（3）：

其中，F(xiàn)-1為傅里葉逆變換：

逐層向下搜索其r×r鄰域，通過第q-1 層的響應圖，進而得到最低層的預測結果。

1.3 目標跟蹤算法

目標跟蹤算法的流程如圖1，分為初始化、特征提取、訓練、檢測、模型更新5個功能單元。

開始進行初始化配置，設定相關參數(shù)。載入視頻圖像序列，建立高斯回歸標簽，通過漢寧窗去除邊界效應。加載深度卷積網絡預訓練模型VGG-Net-19，提取多層深度卷積特征。訓練過程頻域進行核自相關計算，進而得到嶺回歸分類參數(shù)，快速訓練，根據(jù)訓練結果，計算3 個置信度評估指標，判斷是否有遮擋，對目標模型進行自適應更新。檢測過程將特征在頻域內與目標模型進行互相關計算，進而在頻域內計算最大響應，通過傅里葉反變換求出當前幀相對于前一幀目標的位移，輸出目標位置。重復訓練與檢測過程，直至視頻圖像序列跟蹤完畢。

圖1 目標跟蹤算法流程圖

2 異構跟蹤系統(tǒng)

2.1 總體架構

根據(jù)對目標跟蹤算法的特點分析，選取Xilinx 公司的嵌入式視覺評估套件ZCU104 作為異構跟蹤系統(tǒng)的實現(xiàn)平臺。板載Zynq?Ultrascale+TMMPSoC 系列XCZU7EV 型號器件，集成了高效應用處理器（ARM?CortexTM-A53）、實時低功耗協(xié)處理器（ARM Cortex-R5）、圖形處理器（ARM MaliTM-400）、平臺管理單元（電源管理、錯誤管理、配置管理、安全管理）以及滿足高性能計算和豐富I/O擴展的可編程邏輯資源[7-8]。結合軟硬件協(xié)同設計的理念[9]，從總體層面將系統(tǒng)拆分為控制與運算兩大部分?？刂撇糠趾w配置、尋址、通信等較為復雜的操作，可以通過以ARM為核心的片內處理系統(tǒng)（Processing System，PS）實現(xiàn)；而運算部分涉及數(shù)據(jù)龐大、重復性高的簡單計算，可以通過并行度高的可編程邏輯（Programmable Logic，PL）實現(xiàn)。二者之間采用AXI接口和DMA通道實現(xiàn)控制流與數(shù)據(jù)流的交互通路。

圖2 異構跟蹤系統(tǒng)總體設計圖

異構目標跟蹤系統(tǒng)總體設計框圖如圖2 所示。PS用于系統(tǒng)初始化配置，視頻圖像序列載入，對所述特征提取運算加速模塊的調用與通信，響應圖的顯示和目標位置的輸出。PL 的主體部分為特征提取加速單元IP核。為了支持特征提取加速單元IP核的工作，需要進行片上系統(tǒng)的搭建。首先配置PS運行所需的硬件設備及參數(shù)；其次為IP 核提供工作時鐘、控制指令信號、數(shù)據(jù)輸入接口等；然后實現(xiàn)PS-PL 間高效穩(wěn)定協(xié)同工作的AXI 總線通信；最后完成片上系統(tǒng)的搭建之后，導出硬件配置文件，進行PYNQ 框架應用層開發(fā)與硬件協(xié)處理器調用。

為了配合異構跟蹤系統(tǒng)的運行，配置了一些外設接口：PC 機用于支持 PS 中 Jupyter 筆記本的工作；USB 接口實現(xiàn)Zynq比特文件的加載；以太網接口通過與Jupyter子系統(tǒng)的連接，完成片上系統(tǒng)的遠程訪問與顯示以及數(shù)據(jù)傳輸；Micro SD 卡加載PYNQ 的鏡像文件，引導Linux系統(tǒng)正常啟動，同時提供數(shù)據(jù)存儲空間。

2.2 PYNQ框架應用層開發(fā)

開源框架PYNQ[10-12]采用可視化開源Jupyter Notebooks基礎架構，使用Python在Zynq的PS上編程，運行IPython 內核和Web 服務器，實現(xiàn)應用層開發(fā)以及底層可編程邏輯的調用。PYNQ框架主要包括三個層面：

（1）頂層（應用程序）：主體為Jupyter 筆記本，用戶創(chuàng)建交互式文檔，將可執(zhí)行代碼行與描述文本的圖形結合在一起，用于可視化數(shù)據(jù)、搭建機器學習模型等。

（2）中間層（軟件）：PYNQ框架的中間層包括Python軟件庫、操作系統(tǒng)和底層軟件驅動程序。

（3）底層（硬件）：PYNQ 框架的底層為硬件系統(tǒng)設計。在Vivado 下生成特征提取加速單元IP 核后，創(chuàng)建比特流文件，形成硬件協(xié)處理器。在Jupyter中通過API提取硬件詳細信息，由Python直接調用PL上的IP核，實現(xiàn)并行計算加速等功能。

3 特征提取加速單元的設計

由于深度卷積特征提取模塊涉及的網絡結構龐大，參數(shù)占用空間大，計算重復性高，耗時多，為了對異構跟蹤系統(tǒng)進行加速，使算法更高效地映射到硬件架構，需要針對影響實時因素的瓶頸進行優(yōu)化，對算法實現(xiàn)的架構與細節(jié)反復修改、調整，最終達到與軟件算法的數(shù)據(jù)結構相當?shù)挠布娐穼崿F(xiàn)結構，提取出信息豐富的多層深度卷積特征圖，層次化地構造目標外觀模型。

3.1 總體設計

針對目標跟蹤算法的特征提取硬件加速單元整體設計如圖3 所示，主要包括控制模塊（Controller）、輸入緩沖（Input Buffers）、輸出緩沖（Output Buffers）、特征圖緩沖（Feature Map Buffers）以及由多個處理單元（Processing Element）構成的運算陣列。

控制模塊包括主控模塊、權重地址分配模塊、偏置地址分配模塊、特征圖地址分配模塊。負責從外部獲取指令，并對其進行解析、配置、記錄、分發(fā)正確的信息以及模塊間的交互。

輸入緩沖模塊包括圖像、權值、偏置緩沖。由于片上資源的限制，數(shù)據(jù)從外部存儲器中載入，緩存到片上緩存器再送至運算陣列中。輸出緩沖模塊將中間結果和最終運算結果傳輸保存到外部存儲中，供PS 端訪問獲取。

特征圖緩沖模塊利用FPGA 能進行流水線運算的特點，使用片上BRam緩存若干行圖像數(shù)據(jù)。

處理單元陣列模塊是整個硬件架構的核心，實現(xiàn)卷積運算、池化運算。為滿足數(shù)據(jù)并行性，設置8×8 個并行處理單元陣列，單個處理單元完成3×3 的卷積運算。處理單元使能設置一些處理單元處于閑置狀態(tài)，節(jié)省資源占用。

圖3 特征提取加速單元

3.2 并行模式分析

卷積計算過程需要大量的計算資源，其本質為乘累加運算。設每層的特征圖維度為Min×Nin×Din，在進行卷積層計算時，轉化成Din路Min×Nin尺寸的特征圖輸入，先對每一路輸入特征圖取出對應位置的窗口包含的數(shù)據(jù)，窗口大小則與卷積核尺寸3×3 相同，然后將卷積核與其做卷積操作，求出單路輸入單窗口的中間結果。對Din路的輸入執(zhí)行同樣的過程，并將這些中間結果累加求出相應輸出點。反復計算Mout×Nout次，輸出每路輸出通道上的一張輸出特征圖。輸出通道為Dout，需再重復進行Dout，完成一層卷積運算的計算量為：

單層的權重參數(shù)個數(shù)為：

MAC 的計算任務繁重，權重參數(shù)以及特征圖的占用空間巨大，因此需將網絡拆分依次循環(huán)優(yōu)化映射至FPGA實現(xiàn)。

深度卷積網絡的架構決定了層與層之間存在數(shù)據(jù)依賴，底層的輸出結果是上層的輸入數(shù)據(jù)，因此卷積層間并行一般主要從整體架構實現(xiàn)上提高運算性能。而卷積層內主要有以下幾種并行特征[13]：

（1）特征圖釋放窗口內部并行計算：選定卷積核C1，特征圖I1釋放一個與卷積核同樣尺寸的窗口W1，則C1與W1進行卷積運算，相應的乘法計算可以并行執(zhí)行；

（2）特征圖釋放窗口之間并行計算：選定卷積核C1，特征圖I1釋放若干個與卷積核同樣尺寸的窗口如W1、W2等，則C1與W1、W2之間的卷積運算可以并行執(zhí)行；

（3）卷積核之間并行計算：選定卷積核C1、C2，特征圖I1 釋放一個與卷積核同樣尺寸的窗口W1，則C1、C2與W1之間的卷積運算可以并行執(zhí)行；

（4）原始輸入圖像或者特征圖之間的并行計算：選定卷積核 C1、C2，特征圖 I1、I2，則 C1 與 W1、C2 與 W2之間的卷積運算可以并行執(zhí)行。

本文根據(jù)深度卷積網絡中運算結構相似度高的特點，采取卷積核內并行、卷積核間并行以及特征圖間并行的方案。

3.3 處理單元陣列模塊設計

處理單元陣列模塊是整個特征提取加速單元的核心部分，每個處理單元功能獨立，結構相同，如圖4，由卷積計算器、加法器樹、非線性模塊、最大池化模塊和偏置偏移模塊組成。

由于直接從DDR4 中讀取圖像，訪存延遲較大，無法實現(xiàn)高效的流水處理，因此卷積計算器使用經典的行緩沖器結構[14]，如圖5 所示。行緩沖區(qū)在輸入圖像上釋放一個窗口選擇函數(shù)，然后經由乘法器和加法器樹，每個周期計算一次卷積結果。

圖4 處理單元

圖5 卷積計算器

乘法操作通過DSP單元進行快速的實現(xiàn)，具體由定點乘法器模塊DSP48E2在一個時鐘周期內完成一個乘法累加算法，行緩沖處理延時固定。

加法器樹對所有的卷積結果進行求和。非線性模塊將非線性激活函數(shù)應用于輸入數(shù)據(jù)流。最大池化模塊使用行緩沖區(qū)相同結構，以特定窗口輸入數(shù)據(jù)流，并輸出最大值。

4 算法分析與系統(tǒng)實現(xiàn)

4.1 算法定量定性分析

為了評估算法的性能，在通用目標跟蹤數(shù)據(jù)集OTB-2015[15]以及專用目標跟蹤數(shù)據(jù)集UAV123[16]上進行測試。根據(jù)OPE（One Pass Evaluation）方法，采用四種常見的評估指標繪制跟蹤精確度曲線圖和成功率曲線圖。

對OTB-2015 中自帶的算法以及主流跟蹤算法ECO[17]等進行定量分析，僅在精度曲線和成功率曲線中顯示排名前列的跟蹤算法，如圖6 所示。圖7 為基于UAV123 數(shù)據(jù)集的精度曲線和成功率曲線。圖例中標注的是每種算法的性能評分。

圖6 OTB-2015跟蹤精度曲線和成功率曲線

圖7 UAV123跟蹤精度曲線和成功率曲線

不同算法在典型視頻的部分跟蹤結果如圖8所示。不同算法用不同顏色表示，其中紅色為本文算法。由圖中可見，本文算法表現(xiàn)較為穩(wěn)健，與ECO算法持平。

圖8 UAV123數(shù)據(jù)集中wakeboard6序列跟蹤效果圖

4.2 系統(tǒng)實現(xiàn)

本文在完成目標跟蹤算法設計后，基于Vivado2018.3開發(fā)環(huán)境進行了設計、綜合以及布局布線，以Xilinx 公司的ZCU104為目標平臺，構建了完整的異構跟蹤系統(tǒng)（ZCU104 PS+PL），PS端運行頻率為500 MHz，PL端運行頻率為200 MHz。對系統(tǒng)的實現(xiàn)效果及性能指標進行了驗證與分析，與未集成特征提取加速IP 核的系統(tǒng)（ZCU104 PS）進行了跟蹤速率的比對，如表1。

表1 跟蹤速率

5 結束語

本文設計了一種集成了深度卷積特征提取加速單元的異構跟蹤系統(tǒng)。在算法層面，在通用數(shù)據(jù)集OTB-2015以及UAV123上測試驗證跟蹤精度。在系統(tǒng)實現(xiàn)層面，采用軟硬件協(xié)同的方式劃分算法任務，搭建異構計算平臺，根據(jù)基于深度卷積特征目標跟蹤算法的特點，利用Zynq 中的PS 部分進行控制與調度，通過PL部分對特征提取任務進行優(yōu)化，形成加速IP核，抽象為硬件協(xié)處理器，通過PYNQ 框架進行調用，實現(xiàn)了異構跟蹤系統(tǒng)的設計，跟蹤效果穩(wěn)健，平均跟蹤速度提升達到30倍。