基于DSP的嵌入式目標跟蹤系統①

時旭東，施華君，陸國強

(中國電子科技集團公司第三十二研究所，上海 201808)

目標跟蹤是計算機視覺領域中一個非常重要的研究方向，其主要工作是通過對圖像序列中的指定目標進行特征提取與建模，而后利用所得模型獲取或標注出指定目標在動態圖像序列中的位置信息，從而實現目標跟蹤.近年來，隨著計算機視覺領域的快速發展，目標跟蹤算法和理論成果也層出不窮.然而，這些算法雖然種類繁多、效果顯著，但其大多是基于PC 平臺進行算法實現的，這些算法的開發普遍需要借助第三方軟件或者軟件庫進行，很難直接在嵌入式平臺上進行算法部署和應用；此外，工程環境中獲取的圖像包含很多不確定因素，這些因素也會極大影響算法的跟蹤性能.這些缺陷使得大量的目標跟蹤算法在實際的國防軍事、公共安全、工業生產等眾多工程領域中的應用大大受限，實際效果也大大折扣.因此，目標跟蹤算法在嵌入式平臺上的實現一直是該領域中需要著力攻克的難點，設計一種能夠適應現實環境復雜性的、具有一定實時性的、性能具有魯棒性的目標跟蹤系統更是目前亟待解決的課題[1，2].

DSP (數字信號處理器)作為一種具有強大運算處理能力的嵌入式系統，具備能耗低、規模小、成本低、穩定性高等諸多優點，這使其在實際工程項目中應用廣泛，現已成為目標跟蹤算法技術應用的關鍵平臺之一.因此，研究基于DSP 的目標跟蹤系統設計及實現方法是十分必要并且具有極高的現實意義的.近年，隨著機器學習的迅猛發展，目標跟蹤算法已從圖像幀差分法[3]、圖像幀間特征匹配法等傳統方法過渡到基于機器學習的目標跟蹤算法，在實際應用中，這對算法的嵌入式平臺優化與應用提出了更高的要求.

本文介紹了一種基于TMS320C6414 平臺的目標跟蹤系統設計及其實現方法，該系統選用了基于機器學習的核化相關濾波算法[4-8](KCF 算法)作為目標跟蹤模塊的核心算法，在簡要介紹系統硬件平臺的基礎上，詳細分析了KCF 算法的原理和特點，與此同時，針對本系統的硬件平臺，文章著重解讀了系統在算法架構、數據處理、程序編譯等方面的優化思路和方法，最后展示了本系統在實際工程應用中的實驗結果，并得出相關結論，為計算機視覺領域內的各類算法的嵌入式應用提供參考.

1 系統硬件設計

作為一個能夠獨立運行于實際工程環境中的目標跟蹤系統，其主要功能包括：圖像采集和數據緩存、實現目標跟蹤算法、上位機通信與跟蹤結果反饋等功能.由于系統的外圍通信接口較多，通信任務繁重，同時又要運行目標跟蹤算法，運算任務繁重，所以在系統的硬件設計中需要根據不同任務，采用模塊化的設計思想.FPGA 作為一種典型的半定制電路，擁有豐富的可并行執行的邏輯運算單元，非常適合進行信號調理和時序控制，因此在系統硬件設計中，本文選擇FPGA 作為協處理器進行數據通信與外圍芯片的時序控制，DSP 則作為核心處理器，主要運行需要大量復雜運算的目標跟蹤算法.系統硬件平臺的基本結構如圖1所示.

圖1 系統硬件結構

從圖中可以看出，硬件平臺包括視頻采集電路、視頻解碼電路、視頻顯示電路、數據緩存電路、視頻處理電路、通信電路以及電源電路等，其中視頻解碼電路、數據緩存電路以及視頻處理電路是本系統硬件平臺的核心電路.

1.1 視頻解碼電路

視頻解碼電路由TVP5150 及其外圍電路組成，該電路功能是將CCD 攝像機采集的PAL 模擬信號轉換為符合BT.656 標準的8 位4：2：2 YCbCr 格式的數字信號[9].本系統中，由協處理器FPGA 根據BT.656 幀劃分和數據流格式解析出行同步信號、場信號以及YCbCr 數據信號，并將解析結果輸出至后級電路進行處理.

1.2 數據緩存電路

數據緩存電路主要負責圖像數據的緩存工作.考慮到DSP 讀取和處理數據需要較快的速度，因此使用工作頻率較高的SRAM 作為DSP 的數據緩存，而協處理器FPGA 的數據緩存則采用經典的“乒乓結構緩沖存儲”[10，11]策略，即采用兩片SDRAM 作為圖像數據緩存主體，輸入輸出數據選擇單元切換由FPGA 控制實現，最終完成圖像數據的無縫緩沖處理，提升系統的數據存取速度.

1.3 視頻處理電路

視頻處理電路由協處理器FPGA、核心處理器DSP 以及它們的外圍電路組成.為達到系統“小規模、低成本、高能效”的設計需求，FPGA 選用Altera 公司Cyclone IV 系列的EP4CE40F29I7N 芯片，該產品具備532 個可用I/O，39 600 個基本邏輯單元(LEs)，1134 Kbit片上存儲空間，芯片面積僅為29×29 mm2，其資源足夠滿足系統功能需求；DSP 則選用TI 公司TMS320C6000系列最高性能的定點DSP 產品TMS320C6414，該產品具有2 個FMIF 接口，工作頻率最高可達850 MHz，其運算能力足夠滿足系統的算法需求.

2 核化相關濾波算法(KCF 算法)

目標跟蹤算法在本系統中嵌入在DSP 的監控程序中，算法的具體要求是，在視頻中的每一幀圖像中均能識別并框選出所指定的跟蹤目標，并將跟蹤結果反饋至控制臺上位機以供觀察.針對本系統的研制需求，本文提出了一種核化相關濾波算法(KCF 算法)在本系統硬件平臺上的優化與實現方法.

KCF 算法是一種典型的判別式目標跟蹤算法[5，6]，該算法的核心思想是根據圖像中給定的跟蹤目標，在線學習得到一個能夠區分目標和背景信息的目標檢測器模型，然后使用該檢測器模型在下一幀圖像上進行相關濾波計算，從而得到圖像的輸出響應并框選出目標區域，并用得到的目標區域更新目標模板.算法的優勢在于，在目標檢測器模型的訓練過程中引入“核技巧”，該方法可以隱式地使用圖像的高維特征，增強模型的泛化能力和目標識別的準確率[12]；與此同時，在算法實現過程中巧妙地使用循環矩陣來拓展訓練集，在一定程度上解決了目標跟蹤中訓練樣本匱乏的問題[13]；并且算法利用循環矩陣在傅里葉域內可對角化的性質，將原本時域中復雜的矩陣求逆運算轉化為傅里葉域中的向量Hadamad 積運算，大大降低了算法運行的時間復雜度，極大提高了運算速度[5，12].

2.1 循環移位

在樣本訓練過程中，將圖像中選定的目標區域I作為基樣本，記其中的一行1×n維向量為x.使用置換矩陣P對該基樣本中的行向量x進行循環移位，從而得到移位集合，集合中的每個元素都可以看作是一個向量的變換，集合則可以看作是一個矩陣的變換.對于行向量x，其置換矩陣可以表示為：

置換矩陣與行向量相乘可構成循環矩陣X：

循環矩陣可通過離散傅里葉變換實現矩陣的對角化：

上式可以看作是循環矩陣的特征值分解[12]，其中，G被稱作DFT 矩陣，是一個與基樣本行向量無關的常量矩陣，GH表示G的共軛轉置，表示x的離散傅里葉變換.對于二維圖像，可以對圖像中的每一個行向量或者列向量進行上述操作，從而獲得循環矩陣.由于離散傅里葉變換是一種線性變換，對角化過程等價于對向量做元素級的線性變換，所以，其可大大簡化后續計算，提升算法性能.

2.2 訓練目標檢測器

訓練目標檢測器的本質是一個嶺回歸問題，即尋找一個線性函數f(z)=wTz，使得該函數的輸出與樣本標簽值之間的殘差最小，該過程可以表示為：

上式最優閉式解的復數形式為：

對其進行傅里葉逆變換即可得到w.可以看出，原本O(n3)復雜度的矩陣求逆運算被轉換成了O(n)復雜度的元素乘法和O(nlogn)的傅里葉變換，計算復雜度減少了幾個數量級[5].

2.3 核技巧

2.2 節中訓練得到的目標檢測器是線性的，為得到具有更優性能的非線性目標檢測器，KCF 算法引入“核技巧”來解決非線性目標檢測器的在線訓練問題.即首先將問題的輸入X映射到一個非線性空間 φ(X)中，將φ(X)作為嶺回歸問題的輸入，由算法文獻[5]可得，該問題的最優解為樣本的線性組合：

然后，KCF 算法引入核函數來表示高維空間中映射值的點積，即：

其中，κ為核函數，其計算結果通常存儲在核矩陣K中，從式(8)可以看出，核函數可以在不實例化任何向量的前提下隱式地使用向量的高維特征[12].根據算法文獻[5]可以得到，核函數下嶺回歸的閉式解為：

文獻[5]中證明大部分常用的核函數構成的核矩陣K是循環矩陣，利用循環矩陣的性質可以對(9)式進行對角化，結果為：

其中，kxx'為核矩陣K的第一行元素.從上述推導可知，該求解過程可以避開式(9)中原本復雜的矩陣求逆運算，將式(10)的計算結果進行離散傅里葉逆變換即可得到目標向量α.值得注意的是，當樣本規模線性增加時，式(9)求解的復雜度呈指數級提升，而式(10)則是線性級的[12].

2.4 快速目標檢測

對于輸入的待檢測圖像塊z，其在訓練得到的目標檢測器中的輸出響應為：

其中，x為目標檢測器的訓練基本樣本，設Kz為訓練樣本和所有候選圖像塊的核矩陣，其可表示為：

代入式(11)并對角化可得：

對上式結果進行離散傅里葉逆變換即可得到所有候選圖像塊的響應值.

以上過程的實質就是計算當前幀中的待檢測圖像塊和訓練檢測器模型時所使用的目標模板之間的相關性，并找出計算結果中相關性最高的區域作為目標位置.結合本工程的實際情況，本文選用高斯核進行算法實現，高斯核的核相關運算表達式為：

將其代入式(13)中即可得到最終結果.

2.5 模板更新

在實際的工程應用中，引入超參數η作為更新因子用來調節目標檢測器的更新率[12，14，15]，以保證目標檢測器模型的跟蹤準確率，并盡可能減弱噪聲、干擾以及目標形變等對檢測器性能的影響.

對于模板更新因子η，當跟蹤目標被遮擋或短暫消失時，為保證系統的魯棒性，應停止對目標檢測器的模板更新，此時更新因子取值為1；當目標能夠被正常檢測時，為保證目標跟蹤的平滑性，更新因子η應根據實際工程的調試情況，取一個大于0 的較小值[15]，以保證目標跟蹤的連貫性和平滑性.

3 基于硬件平臺的算法優化與實現

KCF 算法的作者Henriques 在其個人主頁上公開了算法基于OpenCV 開發的C++源碼以及Matlab 源碼，相關資料[5，16]也給出了該源碼在標準測試集上的性能指標.但是由于本系統硬件不支持OpenCV 的開發環境，即源碼無法在DSP 上運行，且當算法在以實際工程環境中所采集的視頻數據作為測試數據時，原算法提供的評測指標也不再適用，因此，為滿足系統在實際工程中的指標需求，使其能夠適應實際工程環境，本算法需要基于系統的硬件平臺進行多方面的優化和改進.

在本系統中，算法的優化和改進主要面臨以下問題：其一，在原代碼中使用的大量OpenCV 庫函數無法在DSP 上直接運行；其二，KCF 算法中涉及大量的浮點運算，而本系統中所使用的型號為TMS320C6414的DSP 為定點DSP，浮點運算非常慢；其三，此算法中的二維傅里葉變換、圖像插值、矩陣變換等函數運算量大，未優化前，這些函數在本硬件平臺上運行時無法滿足實時性需求.鑒于以上問題，本文針對TMS320C6414進行了以下優化[14，15，17-21]：

(1)對原有的OpenCV 函數進行了重構，包括圖像插值、矩陣變換、HOG 特征提取、矩陣運算、二維傅里葉變換等經典算法模塊，在保留功能的基礎上進行適當裁剪與優化，使其能夠適配DSP 的硬件底層.

(2)優化算法的內存分配機制，采用靜態內存分配的策略，消除DSP 在算法不斷申請和釋放內存過程中的隱患.

(3)為提高算法的運行效率，將算法中的高運算量函數通過C64X DSP 庫函數進行實現，使得計算過程與底層硬件嚴格適配.在本系統的算法實現中使用了DSPLib、ImgLib、FastRTS 3 個由TI 公司提供的官方庫，主要負責算法中高運算量步驟的計算，提升計算效率.

(4)針對算法中大量的浮點運算，在保證計算精度指標的前提下采用浮點運算轉定點運算的策略.

(5)開通軟件流水線操作，將多層循環轉化為多次迭代并行執行.

(6)將算法中大量的數據存取和常用的數學運算等操作使用instrinsic 函數進行優化[22]，提升算法的運行速度.

在本系統實現過程中，由于算法基于硬件平臺的適配性優化較多，在此僅攫取這些適配性優化中的一例以說明優化思路和方法.本算法中，點積運算的使用頻率較高，對點積函數的優化會極大影響系統的工作效率和性能.首先，可對代碼進行編譯器優化，C6000的C 優化器是TI 的一個創新，它對程序循環的流水處理使得C 代碼的效率得到很大提高，使用時只需在編譯時加入優化選項即可，在使用中，具體的優化編譯命令可參考TI 公司提供的使用指南[22，23].采用優化選項進行優化后，點積函數的執行時間從1800 周期縮短至159 周期，執行效率提升超過10 倍.除此之外，本算法在運算過程中，點積運算所使用的數據大多是16 位的short 類型，而C6000 的內部數據總線和寄存器都是32 位的，因此還可以采用字長優化的方法進行優化[23].具體做法是：做點積運算時，每次使用1 個LD 指令取2 個16 位數據，并進一步用C6000 的2 個16 位乘法器在1 個周期內并行完成2 個16 位乘法.在C6000的C 編譯器中提供了兩個特殊的內聯函數_mpy 和_mpyh，該函數可以實現匯編語言中的MPY/MPYH 功能，高效率實現C 語言中的字長優化問題，使C 代碼的效率可以達到90%以上.經過字長優化以后，點積算法的核心循環變成了單周期，而且執行包達到了8 條指令并行的最佳性能，點積函數的執行時間也從159 周期縮短至了66 周期，性能提高1 倍，由此可見，采用以上優化方法可以大大提升系統的數據處理性能.

在進行上述諸多硬件適配性優化后，系統成功實現了基于DSP 的KCF 算法，并且算法在本平臺的運行效率也相對較高，在實際的工程環境中能夠實現平均25 fps 的運行速度，滿足系統實時運行的需求以及其他目標跟蹤性能指標要求.最終的算法流程圖如圖2所示.

對于整個目標跟蹤系統，其在實際工程環境中的工作步驟如下：

步驟1.系統上電后進入自檢，自檢完成后進入工作狀態；

步驟2.視頻采集電路啟動拍攝，并將圖片幀流傳入視頻解碼電路進行模/數轉換，隨后將轉換結果輸出至FPGA 進行數據緩存控制；

步驟3.視頻顯示電路將數字視頻信號發送至上位機控制臺進行顯示，并等待操作人員框選目標區域(目標框的大小可根據跟蹤目標的實際情況進行手動調整)；

步驟4.目標區域框選完成后，系統進入目標跟蹤狀態，并將含有該目標區域的圖片作為跟蹤視頻的第一幀圖片；

步驟5.DSP 從緩存區域讀入幀數據，并調用目標跟蹤算法更新檢測器參數，輸出計算得到的目標區域，同時輸出控制量使視頻采集電路中的攝像頭跟隨目標區域進行移動跟蹤；

步驟6.對后續幀數據重復上述步驟4 到步驟5，若更換跟蹤目標，則重復步驟1 到步驟5.

4 實驗結果與分析

根據本系統的應用場景，實驗測試分為標準數據集測試和實際工程場景測試兩部分.

4.1 標準數據集測試

標準數據集測試實驗中使用的測試視頻為Wu 等人在2013年CVPR 上提出的測試基準[24]，該測試集Benchmark 中有50 個測試視頻.在本實驗中，由于系統的硬件平臺是以DSP 為核心的嵌入式平臺，其核心處理器的處理性能與通用PC 機的處理性能不在同一級別，這就導致平均跟蹤幀率這一性能評價指標與原算法差距較大，但由于硬件平臺本身的應用背景不同，對比該指標的性能優劣并沒有實際意義，因此，在標準數據集測試實驗中，本文僅關注跟蹤準確率這一指標.Benchmark 中的50 個測試視頻提供了每一幀圖像的人工標注值ground truth，該值反映的是每一幀圖像中目標框的中心坐標值.KCF 算法的作者使用20 像素精度作為算法準確率的評判標準，即目標框中心的預測值與ground truth 之間的歐氏距離在20 個像素以內則認為該幀跟蹤正確，并以正確跟蹤幀數的比例作為算法的準確率.本實驗以KCF 作者公開的算法的Matlab代碼在Benchmark 上的測試結果[5，12]作為實驗基準與本系統在相同測試集上的運行結果進行橫向比較(Gaussian 核+HOG 特征)，測試結果如表1所示.

圖2 目標跟蹤算法流程圖

從測試結果來看，算法在本平臺上的準確率與原算法相比下降了0.7%，可以認為本系統對原算法進行了復現，算法移植效果良好，與原作者算法的準確率比較來看符合實驗預期.

4.2 實際工程場景測試

為模擬真實的工程環境，保證測試視頻片段的多樣性，本實驗使用了不同場景、不同復雜度的多段視頻作為測試素材，以檢測本系統在不同測試環境下的魯棒性.測試視頻均由本系統的圖像采集電路實時采集，視頻單幀圖像的分辨率為720×576，通過視頻解碼電路、視頻顯示電路和上位機通信電路將采集到的實時信號投射在上位機界面，操作人員可通過鍵盤操作選定信號中的待跟蹤目標，并調整跟蹤框尺寸.操作完成后系統便進入工作狀態，視頻采集電路的CCD 攝像機可自動跟隨目標進行二維轉動(控制信號由本系統的控制模塊產生)，以保證跟蹤目標在整個實驗過程中一直處于視野范圍內，并在每一幀圖像中框選出目標位置，同時在上位機的視頻顯示界面實時顯示.其中每一幀的坐標原點默認為圖像中心位置，在跟蹤過程中，視頻下方會實時顯示跟蹤框的中心坐標值.

表1 標準數據集測試結果

由于每次實驗中所框選出的目標區域大小不同，因此系統在不同實驗中的跟蹤速度也有差別，實際測試中，其平均處理幀率為25 幀/秒，滿足工程應用中的實時性指標；在跟蹤準確率方面，由于測試數據由系統實時采集得到，無法對視頻進行ground truth 標定，因此跟蹤準確率無法精確量化.從視覺上看，系統的跟蹤準確率處在較高水平，平均可達95%以上，與標準數據集測試實驗相比性能有較大提升，這主要是由于本系統應用于實際工程環境中時，視頻采集電路由二軸云臺進行穩定控制，云臺的控制模塊可以根據視頻處理模塊計算輸出的目標脫靶量對云臺運動進行實時修正，進而可以最大限度地保證CCD 攝像機的視軸始終處于穩定狀態，因此，采集到的視頻數據相較于標準測試集中的視頻數據更加穩定，抖動較小，且目標運動更連貫，目標區域可以一直處于視野中心附近，這對目標跟蹤模塊的功能實現具有積極作用.圖3為實際工程場景測試實驗中使用的上位機主界面，界面左上角為視頻跟蹤顯示區域.

圖3 上位機主界面

4.2.1 場景一

目標的平移運動是目標跟蹤過程中的最簡單最基本的運動，本場景目的是用來測試系統的最大跟蹤角速度，視頻中跟蹤目標在測試人員的控制下以一定速度在桌面上沿橢圓軌跡做循環往復運動，測試結果如圖4所示.在實際的工程環境中，本系統的最大跟蹤角速度可達20 度/秒.

4.2.2 場景二

在實際的工程環境中，待跟蹤的目標所處的背景環境中往往會出現與目標相似的物體，這對跟蹤結果會產生一定的干擾，同時目標在視野中的遠近位置變化還會引起尺度變化，系統能否順利應對這種干擾和變化也是系統魯棒性的重要參考標準.本場景是實際公路的航拍片段，以道路上某輛行駛中的小汽車作為跟蹤目標，其余汽車以及背景中的道路標識為干擾項，同時在汽車由遠及近的過程中會發生明顯的尺度變化.測試結果如圖5所示，從測試結果來看，本系統在該場景下能夠順利避開背景干擾信息，準確跟蹤指定目標，且目標在由遠及近的過程中，系統均可實現對目標的跟蹤.

圖4 場景一下的跟蹤結果

圖5 場景二下的跟蹤結果

4.2.3 場景三

實際應用場景中，跟蹤目標所處環境一般會出現明暗、陰影等變化，目標有時也會被遮擋，導致其在視野中發生較為明顯的形變等.跟蹤系統能否在這種復雜多變的環境下完成跟蹤任務，亦是衡量系統可靠性和穩定的重要參考標準.本場景中將對公路上行駛的大巴車進行跟蹤，在其行駛過程中會經過陰影區、樹木遮擋區等，并會發生一定程度的形變.測試結果如圖6所示，在整個跟蹤過程中，當跟蹤目標所處的環境出現陰影、遮擋時，系統均能正常工作，完成跟蹤任務.

5 結語

為實現目標跟蹤算法的工程應用問題，本文提出一種以DSP 為核心處理器、FPGA 為協處理器的嵌入式目標跟蹤系統設計方案，并基于此平臺對KCF 算法進行優化與實現，使之能滿足實際工程應用的指標要求.本系統具有“小規模、低成本、高能效”的特點，在典型工程環境中能實現良好的目標跟蹤效果.本目標跟蹤系統中還配套開發了上位機操作平臺和視頻采集電路的運動控制模塊，使得本系統可很好兼容其余功能模塊，極大提高工程項目的開發效率.本系統的嵌入式硬件平臺和算法優化思想具有通用性，為計算機視覺領域內的各類算法的嵌入式應用實現提供參考.

圖6 場景三下的跟蹤結果