基于FPGA的目標識別與跟蹤系統設計

呂清松 許宜申

摘 要： 利用FPGA實現算法的硬件加速逐漸成為一個新的發展趨勢。因此，采用FPGA獨特的并行處理方式設計一套基于顏色特征的目標識別與跟蹤系統。該系統采用OV7725數字圖像攝像頭采集原始圖像數據，然后在HSV顏色空間實現顏色特征提取和目標檢測，并將識別后的圖像數據二值化，最后運用基于區域特征的形心計算和跟蹤算法實現對目標物體的穩定跟蹤。測試結果表明，整個系統能夠有效穩定地跟蹤目標物體。

關鍵詞： FPGA； 目標識別； 形心計算； 跟蹤算法； 圖像處理； HSV

中圖分類號： TN710?34 文獻標識碼： A 文章編號： 1004?373X（2018）18?0012?05

Design of target recognition and tracking system based on FPGA

L? Qingsong， XU Yishen

（School of Optoelectronics Science and Engineering， Soochow University， Suzhou 215006， China）

Abstract： Using the FPGA to achieve hardware acceleration of the algorithm has gradually become a new development trend. Therefore， a target recognition and tracking system based on color feature is designed by adopting the unique parallel processing pattern of the FPGA. In the system， the OV7725 digital image camera is used to collect original image data. Color feature extraction and target detection are achieved in the HSV color space. Binarization of the recognized image data is conducted. The stable tracking of the target object is realized by using the centroid calculation and tracking algorithm based on the regional feature. The test results show that the whole system can track the target object effectively and stably.

Keywords： FPGA； target recognition； centroid calculation； tracking algorithm； image processing； HSV

長期以來，對于運動目標檢測問題的研究都是基于PC機和DSP等傳統平臺[1]。但是，PC機固有的體積大、攜帶不便等劣勢使得其無法應用在一些需要小、快、靈的應用場合，比如無人機的偵查、士兵的紅外探測裝備[2]；DSP平臺內含乘法器，圖像處理開發比較方便，但是其只能處理特定的圖像算法，對于系統實時性要求較高的場合，需要多個DSP塊并行運行，成本高昂。此外，隨著自動化水平和科學技術的不斷發展，高分辨率的圖像信號使得視頻數據的實時處理難度越來越大。

FPGA作為一種硬件平臺，用于數字圖像處理，具有速度快、集成度高、可靠性強等優點。隨著FPGA的內部資源越來越豐富，利用FPGA對實時圖像進行硬件處理逐漸成為一個新的發展趨勢[3]。

本文即針對傳統開發平臺在目標檢測方面存在的問題和現代智能監控領域的實際需求，利用FPGA強大的并行處理能力，設計了一套基于顏色特征的目標識別與跟蹤系統。

1 總體方案

系統總體方案如圖1所示。此方案主要包括CMOS攝像頭、FPGA、外部存儲器（SDRAM）、LCD液晶顯示等模塊。CMOS攝像頭實現原始視頻信號的采集；FPGA主要完成攝像頭配置、圖像預處理、顏色特征提取和目標識別、形態學濾波、形心計算和跟蹤以及LCD液晶顯示控制等功能；外部存儲器模塊使用SDRAM實現像素時鐘與VGA顯示時鐘間跨時鐘域的數據交互；LCD液晶顯示模塊用于實時顯示處理后的視頻圖像信息。

系統工作流程如下：首先，FPGA通過SCCB總線配置CMOS攝像頭（OV7725）相關參數，捕獲CMOS輸出的8 bit Bayer陣列的RAW數據，通過RAW轉RGB888算法，得到后續彩色圖像處理所需的原始數據；經中值濾波后，將圖像數據轉換到特征提取所需的HSV空間；然后，通過設定相應的顏色閾值實現目標識別，并將圖像二值化，以便后續進行腐蝕、膨脹等形態學濾波操作；濾波后圖像數據一路送外置SDRAM存儲器緩存實現視頻流的跨時鐘域處理，一路運用基于區域特征的形心計算和跟蹤算法實現對目標中心的穩定跟蹤；最后，將處理完成后的視頻圖像數據通過VGA接口在LCD液晶上進行實時顯示。

2 系統硬件

2.1 CMOS傳感器OV7725

本系統設計中，選用OmniVision公司的數字式CMOS圖像傳感器OV7725，其擁有640×480的感光陣列，最高支持640×480@60 Hz圖像的輸出，而且分辨率、輸出數據格式、圖像特性等可配置。此外，在640×480分辨率下，OV7725成像質量優越，開發簡單，受到很多中低端產品的青睞[4]。

2.2 視頻處理器EP4CE15F17C8

根據內部資源和開發成本，最終選用Altera公司的Cyclone IV系列FPGA芯片EP4CE15F17C8作為視頻處理的控制核心。該芯片包含15 408個邏輯單元、4個PLL、通用I/O數目達166個、內置112個嵌入式乘法器，以及31.5k×16 bit的存儲器，滿足系統的需求。

2.3 外部存儲器SDRAM

系統設計中，采用Hynix公司的32 bit SDRAM HY57V283220T作為視頻圖像數據的緩存單元完成跨時鐘域的數據交互。該款型號的SDRAM最高能運行到166 MHz，共有4 banks×1M×32 bit的存儲容量，滿足系統設計的需要。實際使用中，截取了24 bit作為視頻數據的傳輸通道。

2.4 視頻轉換電路ADV7123

系統設計中，采用美國AD公司的專用視頻轉換芯片ADV7123，實現視頻圖像數據的實時VGA顯示。ADV7123是一款單芯片、三通道、高速數/模轉換器，最大采樣速度為330 MHz，能夠與多種高精度的顯示器兼容[5]。此外，通過芯片內部產生基準源，作為DAC的轉換基準電壓，保證了視頻傳輸的質量。

3 目標識別與跟蹤系統設計

控制系統設計主要包括圖像采集模塊、數據預處理模塊、顏色檢測與目標識別模塊、形態學濾波模塊、SDRAM存儲控制模塊、形心計算以及VGA顯示控制模塊。

3.1 圖像采集模塊

圖像采集模塊主要實現OV7725攝像頭配置和RGB彩色圖像數據的獲取。綜合后的攝像頭配置模塊的RTL級視圖如圖2所示。子模塊U1，U2聯合實現OV7725相關寄存器的配置，U3完成8 bit Bayer陣列RAW數據的捕獲。然后，通過RAW轉RGB888算法，得到后續處理所需的24 bit彩色圖像數據。

3.2 數據預處理模塊

視頻圖像采集后需要進一步的處理，才能滿足后續顏色檢測和目標識別的需要。圖像數據預處理框架如圖3所示，主要實現中值濾波和顏色空間轉換。

3.2.1 中值濾波

中值濾波器是一種基于統計排序理論的非線性濾波器，其運算簡單速度快，在濾除椒鹽噪聲、長尾疊加噪聲方面顯示了極好的性能。其主要原理在于對掩模覆蓋的像素點灰度值進行排序，取中間值代替中心點像素值[6]。因此，其關鍵在于濾波器模板（掩模）的構建。本設計中，通過2行Shift_RAM的移位存儲，同時與當前輸入行的數據來實現3×3的像素陣列。Shift_RAM移位存儲示意圖如圖4所示。

設計中，設置Shift_RAM的數據位寬為8 bit，每行緩存640個像素數據（VGA顯示分辨率為640×480）。

3.2.2 顏色空間轉換

HSV色彩模型是一種面向人類視覺感知的色彩模型。其將顏色的色調、飽和度和亮度屬性分離，因此相較于RGB色彩空間，采用HSV顏色空間來實現顏色檢測的效果會更好[7]。RGB轉換為HSV的轉換方程如下：

式中，max，min分別為R，G，B分量中的最大值和最小值。根據轉換方程設計的RGB轉HSV的硬件電路如圖5所示。

此外，系統設計時為了便于后續處理，將色調值H∈[0[°]，360[°]]，飽和度值S∈[0，1]分別映射到[0，255]的范圍內。

3.3 顏色檢測與目標識別模塊

經過圖像預處理操作后得到24 bit的HSV圖像數據。顏色檢測與目標識別模塊主要通過計算每個像素點HSV分量與目標顏色的差值是否滿足設定的閾值，來判斷該像素點是否屬于目標像素。顏色檢測與目標識別的流程如圖6所示。

系統設計中，目標顏色可以通過外部輸入或者采集中心點附近顏色作為目標像素值。識別過程中，通過計算輸入像素與目標像素在H，S，V三分量的差值（H_diff，S_diff，V_diff），并與設定閾值（H_th，S_th，V_th）進行比較。當滿足閾值條件時，即認為該點為目標像素點，并對該點的像素值進行標記（二值化）。顏色識別與目標檢測模塊的電路設計如圖7所示。

3.4 形態學濾波模塊

為了去除二值圖像中存在的孤立點和噪聲，系統基于開運算設計了形態學濾波模塊。利用基于Shift_RAM構建的3×3形態學濾波算子，對輸入圖像數據先進行腐蝕運算，然后進行膨脹運算[8]。在去掉毛刺、孤立點和銳化角的同時，使目標輪廓變得光滑[9]。設計的形態學濾波模塊電路如圖8所示。

3.5 SDRAM存儲控制模塊

SDRAM存儲控制模塊主要用來解決像素時鐘（24 MHz）與VGA顯示時鐘（25 MHz）間跨時鐘域的數據交互問題[10]。系統中采用的雙端口SDRAM控制器主要由命令解析模塊、SDRAM接口模塊、讀/寫FIFO模塊以及頂層控制模塊組成。

此外，為了避免液晶顯示出現前后兩幀交錯的現象，將SDRAM中的4個Bank人為分成兩部分，構建了兩個數據緩存模塊。通過控制數據輸入選通模塊和輸出選通模塊的工作，在兩個數據緩存模塊中循環切換讀/寫操作，實現“片內乒乓”，從而保證圖像顯示的完整性。

3.6 形心計算以及VGA顯示控制模塊

3.6.1 形心計算

本系統中，選取目標區域的形心來實現對運動物體的跟蹤。傳統基于形心提取公式的算法不僅會消耗大量邏輯資源，而且跟蹤效果不理想[11]。因此，為了降低對FPGA內部邏輯資源的消耗和提高算法跟蹤的穩定性，根據到目標中心距離的不同對像素點進行加權處理，實現了對運動目標的穩定跟蹤。目標形心提取與跟蹤流程如圖9所示。

其中，Lcd_xpos，Lcd_ypos表示當前像素點行、列坐標；Diff_x，Diff_y表示像素點與當前目標中心的行、列距離；Target_sum表示一幀圖像中目標像素點的總數。像素點加權處理后，統計當前數據幀中的目標像素數（num_cnt_now）以及形心所在行的目標像素數（H_num_cnt_now）。如果計數值少于前一幀統計值的一半，則在當前數據幀結束時更新形心坐標，否則保持原形心坐標不變，從而保證了跟蹤的穩定性。形心提取與跟蹤模塊電路如圖10所示。

3.6.2 VGA顯示控制

基于ADV7123這一單芯片的DAC轉換方案，對于FPGA而言，只需要按照VGA時序進行數據的傳輸即可實現圖像信息的實時VGA顯示[12]。 系統設計中，配置LCD液晶的顯示模式為640×480@60 Hz，即圖像分辨率為640×480，刷新頻率為60 Hz。

4 系統平臺驗證

在完成系統各個子模塊的功能設計和時序仿真后，編寫頂層控制文件，在Quartus軟件中進行編譯、綜合，系統所消耗的FPGA硬件資源情況如圖11所示。

4.1 顏色檢測模塊測試

為了驗證顏色檢測與目標識別模塊的功能，分別選取帶一定色差的紅色、黃色、綠色以及藍色卡片各50張進行顏色識別效果的測試。實驗結果如表1所示。

4.2 目標跟蹤效果測試

CMOS攝像頭采集到的圖像數據經FPGA處理后，通過VGA接口送到LCD液晶屏上進行實時顯示。實際測試時，以黃色小球為目標，測試過程如圖12所示。

圖12a）為系統實驗裝置；圖12b）為系統初始狀態，即沒有檢測到目標時液晶屏的顯示效果；圖12c）為加入目標后液晶屏的顯示效果，目標部分以綠色突出顯示；圖12d）為移動目標后的顯示效果。

測試結果表明，該系統能夠很好地跟蹤目標物體的形心，跟蹤準確穩定，且系統實時性良好，實現了預期的功能。

5 結 語

本文針對傳統開發平臺在目標檢測方面存在的體積大、成本高、實時性較差等問題和現代智能監控領域的實際需求，基于FPGA強大的并行處理能力設計一套基于顏色特征的目標識別與跟蹤系統。測試結果表明，該系統能夠有效地識別目標物體的顏色，并基于改進的形心跟蹤算法對目標物體實施穩定跟蹤，而且系統跟蹤效果良好，實現了預期的設計目標。

注：本文通訊作者為許宜申。

參考文獻

[1] 張慧君.基于FPGA目標顏色識別與跟蹤系統的設計與實現[D].哈爾濱：哈爾濱工業大學，2015.

ZHANG Huijun. Design and implementation of target color recognition and tracking system based on FPGA [D]. Harbin： Harbin Institute of Technology， 2015.

[2] 陸彬.基于FPGA的運動目標檢測算法研究與系統實現[D].武漢：華中科技大學，2014.

LU Bin. Moving target detection algorithm research and system implement based on FPGA [D]. Wuhan： Huazhong University of Science and Technology， 2014.

[3] 李艷婷，王水魚.視頻圖像中動態目標檢測系統的FPGA硬件設計[J].計算機系統應用，2017，26（3）：119?125.

LI Yanting， WANG Shuiyu. FPGA hardware design of dynamic target detection system in video image [J]. Computer systems & applications， 2017， 26（3）： 119?125.

[4] 韓彬.FPGA設計技巧與案例開發詳解[M].2版.北京：電子工業出版社，2016.

HAN Bin. FPGA design skills and detailed case development [M]. 2nd ed. Beijing： Publishing House of Electronics Industry， 2016.

[5] 李光春，蘇沛東，杜世通，等.基于FPGA的視頻采集及實時顯示系統設計[J].計算機測量與控制，2015，23（11）：3810?3812.

LI Guangchun， SU Peidong， DU Shitong， et al. Design of video acquisition and real?time display system based on FPGA [J]. Computer measurement & control， 2015， 23（11）： 3810?3812.

[6] LI Jintong， DUAN Xiaojie. Study and design of image pre?processing system based on FPGA [J]. Advanced materials research， 2012， 482?484： 200?205.

[7] 袁奮杰，周曉，丁軍，等.基于FPGA的RGB和HSV色空間轉換算法實現[J].電子器件，2010，33（4）：493?497.

YUAN Fenjie， ZHOU Xiao， DING Jun， et al. Design of RGB and HSV color space conversion based on FPGA [J]. Chinese journal of electron devices， 2010， 33（4）： 493?497.

[8] ZHAN Hui， LI Xiaoyu， WANG Wei， et al. Research on image recognition technology of wormhole chestnut [J]. Journal of agricultural mechanization research， 2010（8）： 127?130.

[9] 龔聲蓉，劉純平，趙勛杰，等.數字圖像處理與分析[M].2版.北京：清華大學出版社，2014.

GONG Shengrong， LIU Chunping， ZHAO Xunjie， et al. Digital image processing and analysis [M]. 2nd ed. Beijing： Tsinghua University Press， 2014.

[10] LIU Jie， LI Zhangyong， ZHANG Lifang， et al. The research of high?speed data caching algorithm in the CCD/DR system [C]// Proceedings of 15th International Conference on Biomedical Engineering. Cham： Springer International Publishing Switzerland， 2014： 547?550.

[11] 彭丹陽.基于FPGA的視頻跟蹤與編碼系統設計與實現[D].沈陽：東北大學，2013.

PENG Danyang. Design and implementation of video tracking and encoding system based on FPGA [D]. Shenyang： Northeastern University， 2013.

[12] DONG Hongyan， GUO Hongmin. Design of VGA display controller based on FPGA and VHDL [C]// Proceedings of International Conference on Electric Information and Control Engineering. Wuhan： IEEE， 2011： 4125?4128.