基于DSP+FPGA框架的實時目標跟蹤系統設計

高 文，朱 明，劉 劍，湯 洋

(中國科學院 長春光學精密機械與物理研究所，吉林 長春 130033)

1 引 言

隨著我國武器研制水平的不斷提高，高速度、高機動能力的武器裝備越來越多，這就要求對于有目標跟蹤功能的型號武器有能夠對快速運動的戰場目標能夠穩定跟蹤，同時對于目標與型號武器的相對運動較大導致的目標尺度變化大、速度快等情況都有很好的魯棒性，這些都要求目標跟蹤系統有更高的處理速度以及更復雜穩定的跟蹤算法[1-3]。而對于工程應用中的目標跟蹤算法受到嵌入式系統[4]的限制，對于浮點運算較多、計算量較大的如SIFT特征點匹配[5]、基于主成分分析(PCA)[6-7]的目標跟蹤、基于snake模型[8-9]的目標跟蹤等都很難在嵌入式系統上實現實時處理，現有的工程應用成熟的重心跟蹤和相關跟蹤對于復雜情況存在跟蹤丟失等問題。基于以上分析，本文設計了一種基于TI TMS320C6455+ FPGA的實時目標跟蹤系統，并將其應用在實際工程中。實驗表明對于目標快速運動以及目標多尺度變化有穩定跟蹤效果的同時，處理時間每幀僅需13.5 ms，能夠滿足工程實時性要求。

2 系統結構與工作原理

2.1 系統結構

本目標跟蹤系統采用的是DSP+FPGA的框架，其中DSP采用世界上最大的DSP芯片商——德州儀器(TI)公司的TMS320C6455，其主頻為1.2 GHz，相較于目標跟蹤系統中常用的主頻為1 GHz的TMS320C6455，不僅處理速度有很大提升，片上存儲空間也提升至了2 Mbyte。

TMS320C6455是該公司新推出的高端DSP芯片，也是目前單片處理能力最強的定點DSP。它建立在增強型C64X+DSP內核基礎之上，該內核添加了專用新指令與基于TI當前高級C64X DSP架構的代碼，代碼尺寸平均縮短了20%～30%，周期效率提高了20% 。新指令包括復雜的32位寬乘法以及同步加減法指令，提高了快速傅里葉變換(FFT)以及離散余弦變換(DCT)的性能。TMS320C6455時鐘頻率為1.2 GHz，16位定點處理能力為9 600 MMAC/s。推出TMS320C6455前，TI的DSP單片處理能力較強，但是芯片間的數據傳輸問題沒有解決，構建多處理器平臺比較復雜。而新推出的TMS320-C6455采用了SerialRapidIO接口技術，互連速率高達25 Gbit/s，很好地解決了芯片間的數據傳輸問題，搭建多處理器平臺變得簡單方便。C6455用了兩級高速緩存，片內存儲容量為2M字節，一個64位總線寬度的EMIFA(外部存儲器接口)，一個參數RAM內對應的事件可靈活配置的8個32 bit 字64 個獨立通道的增強型直接存儲器訪問 EDMA3，以及HPI、PCI、I2C、千兆以太網口(EMAC)、可控制的數據I/O口(MDIO)等多種集成外設。由于內部沒有ROM存儲器，需要掛載一片FLASH用于外部引導。

FPGA采用ALTERA公司的高端StratixII系列芯片，型號為EP2S系列EP2S60-F1020C5，該芯片具有邏輯單元60 440個，RAM總數為318 024 kbit，DSP blocks 36個，18 bit×18 bit 乘法器144個，PLL12個，最大使用IO數718個。視頻編解碼芯片分別使用3M公司的DS90CR285和DS90CR286實現。

2.2 工作原理

本系統的結構原理框圖如圖1所示。

圖1 系統原理圖Fig.1 Block diagram of system

實時圖像跟蹤領域，實時性差將導致脫靶量滯后、以及當幀計算不完造成的脫靶量錯誤甚至目標丟失，這會給后續的伺服系統帶來未知甚至是災難性的后果。基于DSP+ FPGA框架圖像處理系統是當前一種比較成熟、穩定且應用廣泛的硬件結構。

本系統中FPGA完成時序控制及調度等工作，算法部分在DSP中運算完成。

圖2 系統工作流程圖Fig.2 Flowchart of system working

相機接入視頻解碼芯片將CameraLink格式的數據信號轉換成TTL信號，接入FPGA，FPGA將實時采集的圖像數據存入SDRAM中；經過FPGA進行圖像預處理將采集到的圖像存入SDRAM，當SDRAM存入一幀圖像后，連同產生的像素時鐘和行、場同步信號經由DSP的EMFA口傳入DSP的片上存儲空間中，DSP啟動DMA從SDRAM中讀入內部內存，進行目標跟蹤的相關處理，DSP每次計算結束后將跟蹤結果通過串口芯片ST16C752傳給控制計算機或者傳動裝置；與此同時將計算得出目標位置傳給FPGA，FPGA疊加字符和跟蹤框在圖像上并存入SDRAM中，再將SDRAM中的圖像送入編碼芯片進行編碼，生成標準視頻輸出給監視器。

本系統的工作流程如圖2所示。

3 目標跟蹤算法

均值漂移(MeanShift)[10]算法是一種基于核密度直方圖的無參數估計方法，其采用核直方圖作為目標模板的描述，用巴氏系數作為相似性度量，采用均值漂移向量迭代的方法得到目標的最優位置，其計算量相對小，直方圖的計算易于硬件實現，但是其缺點是：(1)當目標兩幀間的運動超過目標的半徑時，均值漂移算法將失效，因此其不適用于快速目標運動的情況；(2)并且當目標選擇過大導致有大量背景在目標模板建立過程中參與計算，而使得目標跟蹤過程受背景影響較大導致偏移甚至丟失等情況。本文采用金字塔的方法對其進行改進，并且針對(2)中分析的情況在模板的直方圖建立時進行了背景加權處理。

3.1 均值漂移目標跟蹤算法

均值漂移算法中對目標的描述采用核直方圖如公式(1)所示。

(1)

其中：C為歸一化常數，k為核函數，Bhattacharyya系數定義如下：

(2)

其中:p為候選目標區域核直方圖，q為模板的核直方圖，那么均值漂移向量為公式(3)所示。

(3)

其中：x表示候選區域的像素位置，w為該位置的權值，其公式如(4)所示:

(4)

3.2 金字塔均值漂移目標跟蹤算法

均值漂移算法應用在目標跟蹤中有一個限制，就是當目標在前一幀與當前幀的運動范圍超過目標的半徑時，算法將失效，如圖3(a)所示，圖中間的淺灰色圓圈代表當前目標的真實位置，A點代表上一幀目標的位置，在當前幀的計算是從A點開始計算的，黑色虛線框就是計算的最大漂移范圍，而目標的真實位置不在該范圍內，所以計算肯定會不正確，圖(b)是按照采樣頻率為2進行向下降采樣，仍然可以看到目標真實位置不在計算范圍內，當再向下采樣得到2級金字塔圖像時，目標的真實位置在計算范圍內則能夠正確計算得到目標位置，因此對于均值漂移算法在目標跟蹤中的限制可通過金字塔進行解決。

圖3 金字塔均值漂移示意圖Fig.3 Diagram of pyramid MeanShift

對于工程實際中，目標通常取為64×64，目標候選區域即波門大小通常為256×256，那么取2級金字塔即向下采樣兩次則能夠適應各種快速變化。

假設物鏡組件采用透射式設計，有效孔徑30 mm、鏡頭焦距95 mm(長焦模式)、視場角為2.4°×1.8°，CCD的有效像素數為720×576。以小型指揮機構或車輛為例，其結構尺寸大致在5 m×5 m×5 m量級，在距離目標5 km時，單個像素對應的目標尺寸約為0.29 m，即至少需要20×20個像素。由于模板的大小在跟蹤開始時一般應該是目標的3～10倍，即理論上對于此類目標，其對應的模板大小至少應為60×60。考慮到算法最終將被移植到嵌入式系統中，本文將模板大小取為64×64，這是因為64與2存在整次方倍數關系，便于DSP指令的流水線操作。

當目標的運動速度為90 km/h時，即25 m/s，以模擬視頻幀頻為25 Hz為例計算，每幀目標的運動速度在1 m，大約相當于4個像素，可見波門范圍選擇是合理的。

3.3 背景加權的目標初始化模型建立

考慮到目標點選過大時背景的影響，采用背景直方圖加權的方式進行改進，模板的公式如下：

(5)

其中：v為背景權值，其通過模板周圍2倍大小的區域計算直方圖ou得到,omin為其直方圖ou的非零最小值。

(6)

4 實驗結果

為了驗證本文算法的有效性，我們在基于DSP C6455+FPGA框架的嵌入式系統上進行了實驗，相機采用分辨率為1 024×768的3CCD相機，處理得到的帶有跟蹤框的圖像通過千兆網傳輸，我們利用千兆網盒將圖像采集到計算機上進行顯示。

圖4為一組實驗結果。圖中紅色十字絲為圖像的中心，紅色方框為當前幀的目標跟蹤結果，從圖4(a)、(b)中可以看出，目標在兩幀過程中發生了快速運動，本文算法能夠穩定跟蹤目標，并且對一定程度的模糊有魯棒性，到圖4(e)、(f)時目標出現了尺度變化以及超平面旋轉，一直到50幀時目標變大為原來的1.5倍，本文算法都能夠穩定跟蹤。

本文算法在DSP TMS320C6455上實現，平均運行時間為每幀13.5 ms，對于工程上30幀的視頻圖像能夠完成實時處理，滿足實時性要求。

圖4 實驗結果Fig.4 Experiment results

5 結 論

設計了一套基于DSP+FPGA的嵌入式實時目標跟蹤處理系統，該系統實現了一種金字塔均值漂移算法，通過實驗結果表明，該系統對于目標快速運動、尺度變大、變小、超平面旋轉以及一定程度的模糊均有很好的穩定性，每幀的平均處理時間在13.5 ms，能夠滿足工程中對于實時性的要求。

[1] 賀柏根,劉劍,馬天瑋.基于DSP+FPGA的實時圖像去霧增強系統設計[J].液晶與顯示,2013,28(6):968-972.

He B G, Liu J, Ma T W. Real-time image defogging and enhanced system designed based on DSP+FPGA [J].ChineseJournalofLiquidCrystalsandDisplays, 2013, 28(6):968-972.(in Chinese)

[2] 朱秋平,顏佳,張虎,等.基于壓縮感知的多特征實時跟蹤[J].光學 精密工程,2013,21(2):437-444.

Zhu Q P, Yan J, Zhang H,etal. Real-time tracking using multiple features based on compressive sensing [J].Optics and Precision Engineering,2013,21(2):437-444.(in Chinese)

[3] 龔俊亮,何昕,魏仲慧,等.采用改進輔助粒子濾波的紅外多目標跟蹤[J].光學 精密工程,2012,20(2):413- 421.

Gong JL,He X,Wei Z H,etal. Multiple infrared target tracking using improved auxiliary particle filter[J].Opt.PrecisionEng.,2012,20(2):413-421. (in Chinese)

[4] 張云峰. 基于DSP的實時圖像拼接技術[J]. 液晶與顯示，2013,28(6)：963-967.

Zhang Y F. Realtime image mosaic technology based on DSP[J].ChineseJournalofLiquidCrystalsandDisplays,2013,28(6): 963- 967.(in Chinese)

[5] 蘇可心，韓廣良，孫海江.基于SURF的抗視角變換圖像匹配算法[J].液晶與顯示，2013,28(4):626-632.

Su K X, Han G L, Sun H J. Anti-viewpoint changing image matching algorithm based on SURF [J].ChineseJournalofLiquidCrystalsandDisplays, 2013, 28(4):.626-632.(in Chinese)

[6] Roweis S. EM algorithms for PCA and SPCA [M]//AdvancesinNeuralInformationProcessingSystems,MIT Press,1997: 626-632.

[7] 孫曉燕,常發亮. 梯度特征稀疏表示目標跟蹤[J]. 光學 精密工程,2013,21(12):3191-3197.

Sun X Y, Chang F L. Object tracking based on sparse representation of gradient feature [J].Opt.PrecisionEng., 2013,21(12):3191-3197.(in Chinese)

[8] 王麗佳,賈松敏,王爽,等. 采用改進Mean Shift算法的移動機器人行人跟蹤[J].光學 精密工程,2013,21(9):2364-2370.

Wang L J, Jia S M, Wang S,etal. Person tracking of a mobile robot using improved Mean Shift [J].Opt.PrecisionEng., 2013,21(9):2364-2370. (in Chinese)

[9] 匡金駿,柴毅,熊慶宇.結合標準對沖與核函數稀疏分類的目標跟蹤[J].光學 精密工程, 2012, 20(11): 2540- 2547.

Kuang J J, Chai Y, Xiong Q Y. Visual object tracking combined normal hedge and kernel sparse representation classification[J].Opt.PrecisionEng., 2012, 20(11): 2540- 2547.(in Chinese)

[10] Comaniciu D, Ramesh V, Meer P. Kernel-based object tracking[J].IEEETransactiononpatternanalysisandmachineintelligence, 2003,25(5):564-577.