視頻運動目標跟蹤系統設計

喻武龍，陳倫海，李克勤，姚 遠

（1.北京理工大學珠海學院 廣東 珠海 519085；2.炬力集成電路設計公司 廣東 珠海519085）

視頻運動目標跟蹤技術是視頻圖像處理領域中主要的研究方向，主要是對圖像序列中的運動目標將進行分割提取，獲得運動目標的運動目標的參數，從而為進一步處理與分析提供依據，以完成更高級的任務。文中將視頻運動目標跟蹤系統集成在一片芯片中，可以大大提高系統的運行速度，因此具有較高的實時性。

1 視頻運動目標跟蹤器的總體結構

視頻運動目標跟蹤器是基于ASIC設計，整個視頻運動目標跟蹤器的數字設計部分是由視頻圖像數據采集、I2C配置模塊、圖像格式轉換、圖像處理模塊、以及SDRAM控制器和VGA控制器模塊組成，其結構框圖1所示。

圖1 系統總體結構框圖Fig.1 Structure of the system

2 視頻運動目標跟蹤器主要模塊的設計

2.1 視頻采集模塊設計

系統啟動前，首先通過I2C配置模塊實現對視頻解碼芯片（TVP5150）內部的寄存器進行配置，配置完以后，視頻解碼芯片會將前端CCD攝像頭所采集到的模擬視頻信號轉換成具有統一標準格式的數字視頻數據流，將轉換后的連續視頻數據輸入給視頻圖像采集模塊進行下一步處理。其功能如圖2所示。

圖2 視頻采集模塊功能框圖Fig.2 Structure of the video capture module

2.2 圖像格式轉換模塊

為了得到VGA顯示所需的RGB像素，需要對圖像數據采集模塊送過來的YUV數據進行格式轉換?？紤]到背景圖像易受外界光照影響的缺點，需要將圖像數據轉換到HSV顏色空間去分析[1]。其中HSV顏色空間是由3個元素H、S、V組成，H代表成色度，S代表的是飽和度，V代表的是亮度。考慮到HSV的取值范圍不適合硬件電路的實現，所以文中通過以下的公式將RGB顏色轉換到HSV顏色空間。

2.3 SDRAM控制器的設計

在實時的圖像處理運算中，有大量中間數據需要保存和讀取，而圖像數據的快速而準確的存取直接影響著整個系統的成敗。設計中考慮到一幀分辨率為640×480的RGB圖像數據需要占用 640×480×8×3/1024×8=900 kB 的存儲空間，所以系統設計中采用臺灣力積電子公司生產的大小為SDRAM A3V64S40ETP作為背景圖像的幀存儲器。

2.4 圖像處理模塊的設計

由于CCD攝像頭輸入的圖像信號，不可避免引入噪聲，并且圖像本身存在著空間和幅度的量化誤差，所以在設計圖像處理模塊時需要對圖像數據進行濾波處理，可將圖像處理模塊劃分為中值濾波、邊緣檢測、SAD匹配跟蹤3個模塊。

2.4.1 中值濾波

中值濾波[2]是某一點的值用該點的一個鄰域中各點值的中間值代替，這個鄰域通常被稱為窗口。本文中使用快速中值濾波算法的排序方法，主要思路是通過分組比較的方法找出其中的最大值、最小值和中間值，避免了逐個比較操作,從而減少了邏輯資源的使用。以3×3濾波窗口為例，接著按下述進行排序：

1）每行按最小數值、中間數值和最大數值排序。

2）將每一步排序所得到的最小數值組、中間值組和最大數值組分別按最小值、中間值和最大值排序。

3）對上一步得到的最小數值組的最大值、中間數值組的中間值和最大數值組中的最小值排序，最后得到中間值[3]。

中值濾波的硬件實現框圖如圖3所示。

圖3 中值濾波模塊框圖Fig.3 Structure of the median filter module

2.4.2 圖像邊緣檢測

圖像邊緣是圖像最基本的特征之一，其中包含著有價值的目標邊緣信息，這些信息可以用于圖像分析、目標識別以及圖像濾波。經典Sobel邊緣檢測算法是利用2個方向模板與圖像進行鄰域卷積完成[4]。這種算法對于紋理較復雜的圖像，其邊緣檢測效果不是很理想?？紤]到實時性的要求，本文對上述的Sobel邊緣檢測算法進行簡化，采用只增加其中右對角模板和左對角模板的算法，分別用于檢測右對角和左對角邊緣，并通過將這4個方向的算子模板分別與圖像進行卷積，獲得4個方向的梯度值。

圖4 邊緣檢測結構框圖Fig.4 Structure of the edge detection module

首先同過將四個模板在圖像運動，實際上就是通過3×3方形窗生成子模塊將待處理的圖像中的每個中心像素以及其鄰域的9個像素取出，然后再分別與對應位置的系數做乘積和運算，最后得出邊緣檢測值，結構框圖如圖4所示。

2.4.3 SAD匹配跟蹤模塊的設計

SAD匹配的過程就是首先通過選取模板圖像，然后到圖像區域中的所有的未知物體進行SAD運算，掃描整幅圖像尋找SAD值最小的點，將SAD最小值的點所在的鄰域作為所尋找的目標物體[5]。算法流程如圖5所示。

圖5 SAD匹配算法流程示意圖Fig.5 Diagram of the SAD matching algorithm

首先通過16×16窗生成子模塊生成候選目標模塊與目標模板模塊，然后送到SAD運算子模塊進行SAD運算，最后通過SAD查找子模塊尋求SAD值最小的點 （即跟蹤的目標）。

3 VGA顯示模塊的設計

視頻圖像經圖像處理模塊處理后所等得到的數據為數字信號，為了方便直觀地進行調試，必須將數字信號轉換為模擬圖像信號進行VGA顯示[6]。本設計采用普通的VGA顯示器，其引出線主要是R、G、B三基色信號、HS(行同步信號)、VS（場同步信號）。

4 視頻運動目標跟蹤器的FPGA驗證方案

在整個驗證設計中，采用硬軟模型對比的方法，即用標準BT.656格式視頻數據作為視頻運動目標跟蹤器頂層模塊的測試向量，用Verilog代碼模型作為參照，通過串口使PC機與FPGA驗證板進行數據通信[7]，實時觀測經過FPGA驗證后的數據，將此數據與System Verilog代碼模型得出的結果進行比對，具體驗證流程如圖6所示。

圖6 FPGA驗證系統結構圖Fig.6 Structure of the FPGA verification system

設計好FPGA驗證板和準備好測試激勵文件和設計文件之后，即可進行FPGA驗證。本設計采用Altera公司的QuartusII 7.2進行下載綜合，所選目標芯片為Altera公司CycloneII系列的EP2C35，占用資源情況如表1所示。

表1 資源占用情況表Tab.1 Tab le of resource con sump tion

在QuartusII軟件平臺上綜合后下載到FPGA板上運行，并將處理的效果直接輸出到VGA顯示器進行顯示。圖7(a)、(b)、(c)、(d)、(e)、(f)為實驗結果的截圖。 圖(a)為通過 CCD 攝像頭采集到的彩色圖像。圖(b)為經過格式轉換所得到的灰度圖象。圖(c)為經過邊緣檢測后的邊緣圖像。圖(d)、圖(e)、圖(f)為不同時刻，對目標小球進行跟蹤的效果圖?？梢钥闯?，該視頻運動目標跟蹤系統能實時追蹤目標，具有較高的實時性。

圖7 VGA顯示結果圖Fig.7 Results of the VGA image display

5 結束語

本文設計了一種可應用于靜止背景下進行動態視頻目標跟蹤的系統，該系統將CCD攝像頭采集到的動態圖像序列進行圖像格式轉換、中值濾波、邊緣檢測以及匹配跟蹤等操作，最后得到運動目標的位置信息。與普通的基于PC機的視頻運動目標跟蹤系統相比，本文所涉及的跟蹤系統有效的減少了運算時間,提高匹配跟蹤的準確度，使系統的圖像處理單元具有更快的處理速度和更高的實時性。

[1]肖治民，林坤輝，周昌樂，等.基于HSV顏色空間的視頻鏡頭檢測[J].廈門大學學報：自然科學版，2008，47（5）：665-668.XIAO Zhi-ming， LIN Kun-hui， ZHOU Chang-le， et al.Shot segmentation based on HSV color model[J].Journal of Xiamen University：Natural Science，2008，47（5）：665-668.

[2]Blackledge J M，Turner M J.Image processing II[M].Horwood，2000.

[3]李軼博，李小兵，周嫻.基于FPGA的快速中值濾波器設計與實現[J].液晶與顯示，2010，25（2）：292-296.LI Yi-bo， LI Xiao-bing， ZHOU Xian.Design and realization of fast median filter based on FPGA[J].Chinese Journal of Liquid Crystls and Displays，2010，25（2）：292-296.

[4]初秀琴，曾祥永，李玉山.一種新型的實時圖像處理機結構及Sobel電路設計 [J]. 儀器儀表學報，2003，26 （5）：506-508，511.CHU Xiu-qin， ZENG Xiang-yong， LI Yu-shan.A new Realtime image processing architecture and circuit design for Sobel algorithm[J].Chinese Journal of Scientific Instrument，2003，26（5）：506-508，511.

[5]Kolar A，Graba T，Pinma A，et al.An Integrated Digital Architecture for the Real-Time Reconstruction in a VsiP Senssor [C]//13th IEEE International Conference on Electronics,Circuits and Systems.2006，8（6）：144-147.

[6]鄭美芳，高曉蓉，王黎，等.基于FPGA的VGA時序彩條信號實現[J].現代電子技術，2009，14（8）：90-92.ZHENG Mei-fang， GAO Xiao-rong， WANG Li， et al.Implement of VGA-timing color strip signal based on FPGA[J].Modern Electronic Technioue，2009，14（8）：90-92.

[7]瞿富強，楊啟龍.H9000監控系統及水調系統數據通信的二次開發應用[J].陜西電力，2010（6）：59-62.QUFu-qiang，YANGQi-long.Applicationofdatacommunication of H9000 computer supervision system and reservoir dispatch system[J].Shaanxi Electric Power，2010（6）：59-62.