基于FPGA 的顏色與運動特征識別系統設計

劉建國，李祖明，劉曉宏，李昱龍

（1.南京理工大學 機械學院，江蘇 南京 210094；2.南京工程學院 電力學院，江蘇 南京 210095；3.鹽城供電公司，江蘇鹽城 224005；4.蘇州長風航空電子有限公司，江蘇蘇州 215151）

目標識別是機器視覺的重要研究方向，其在無人駕駛、自動導航、軍事制導、安防監控等領域應用廣泛。近年來，隨著現代微電子技術的不斷發展，人們在體積、精度、速度等方面對運動目標識別系統的要求不斷提高[1-3]。運動目標識別系統大多是基于PC 機或嵌入式平臺實現。PC 機體積大、質量重，無法滿足便捷性這一需求；而圖像處理計算量龐大，傳統的嵌入式平臺又難以滿足實時性要求[4]。

現場可編程門陣列（FPGA）以靈活著稱，具有并行處理、實時性好、成本低等優點[4]。FPGA 在視頻處理方面已有廣泛的研究與應用，文獻[5-6]基于FPGA 實現了視頻實時監控與顯示，文獻[7-10]基于FPGA 平臺實現了運動目標識別。然而，目前的基于FPGA 平臺的運動目標檢測系統研究，大多都基于單一的幀間差分法或背景差分法來實現，容易受到環境、光照以及其他干擾物體的影響，系統的抗干擾性與檢測精度難以得到保證。

鑒于此，該文設計了一套基于FPGA 的顏色與運動特征識別系統，實現了目標的運動特征檢測與顏色特征在FPGA中的檢測并進行結合，借助FPGA的高速運算能力，只對同時滿足運動特征與顏色特征的物體進行檢測，以達到準確高速的目標識別要求。

1 目標檢測算法介紹

1.1 幀間差分法

運動目標識別領域中常用的方法有光流法、幀間差分法和背景差分法三種典型算法。光流法的算法復雜、計算量大，在嵌入式平臺上難以實現。背景差分法檢測信息較為精確，但容易受周圍環境影響，穩定性欠佳[11-12]。幀間差分法通過將視頻流相鄰兩幀圖像的灰度值先進行差分相減，再進行閾值判斷來提取圖像中的運動部分。設相鄰兩幀圖像分別為第K幀、第K+1 幀，x、y表示圖像中像素點的坐標位置，則這兩幀圖像可分別用fk(x,y)，fk+1(x,y)表示。差分運算的閾值設置為T，得到二值化圖像用G(x,y)表示，如式（1）所示，其中“1”表示運動的像素點。

1.2 HSV顏色空間

幀間差分法對所有的移動物體都進行判斷，單一使用幀間差分法難以達到精確的識別效果。鑒于此，針對具有特定顏色特征的物體進行顏色檢測，并與幀間差分法相結合，從而提升目標物體的識別精確度。

如圖1 所示，HSV 顏色空間中，H代表色調、S代表飽和度、V代表亮度。H以角度度量，繞V軸旋轉一周，構成一個圓，取值范圍為[0°，360°]；S與V的取值范圍均為[0，1][13]。

圖1 HSV顏色空間模型

相較于RGB 顏色空間，HSV 顏色空間的各顏色分量冗余信息少，對目標物體顏色的描述相對簡單。HSV 顏色空間能夠獨立感知各顏色分量的變化，H和S分量可以減少光照變化的影響[14]。將RGB數據轉換至HSV 顏色空間，設置H、S、V三個顏色分量的上下閾值可進行顏色特征識別。RGB 轉HSV的轉換公式如式（2）-（6）所示：

2 系統總體設計

該系統基于Altera公司的Cyclone Ⅳ系列EP4E10 F17C8 芯片來開發，開發環境為Quartus Prime 17.1，借助Verilog HDL 硬件描述語言來實現邏輯設計。

系統的整體設計方案如圖2 所示，由FPGA 主控芯片、OV5640 攝像頭、SDRAM 以及TFT 顯示屏等四部分組成，能夠同時實現圖像采集、圖像緩存、圖像處理以及圖像顯示的工作，各個模塊協同工作，實現運動目標的識別跟蹤。

圖2 系統總體結構框圖

系統工作原理：1）系統上電后，先進行SDRAM 和OV5640 攝像頭的初始化配置工作。2）初始化成功后，OV5640 采集到的圖像數據由圖像采集模塊捕獲，圖像采集模塊將視頻數據分為兩路，分別輸送至SDRAM 控制模塊和圖像處理模塊。SDRAM 控制模塊負責圖像數據的緩存，圖像處理模塊負責圖像數據的處理，二者相互配合完成目標識別功能。3）經過相關圖像處理運算，數據傳輸至目標指示模塊，進行圖像顯示與位置數據發送。

3 基于FPGA的目標識別系統設計

3.1 攝像頭配置模塊

在OV5640 正常工作前，需要通過IIC 總線配置相關寄存器來保證攝像頭在預期的模式下工作。如圖2 所示，攝像頭配置模塊由IIC 驅動模塊和IIC 配置模塊構成。其中，IIC 驅動模塊負責驅動OV5640的接口總線，為IIC 配置模塊提供時鐘；IIC 配置模塊向OV5640 輸出寄存器的配置數據以及控制IIC 驅動模塊的執行與否。該設計設定的圖像分辨率為640×480像素，幀率為30 fps，數據輸出格式設置為RGB565。

3.2 圖像采集模塊

OV5640 正常工作時，在每個像素時鐘T-PCLK向FPGA 輸出8 位寬的圖像數據DATA。在RGB565輸出模式下，一個像素的數據為16 位，因此需要兩個像素時鐘周期才能輸出一個RGB565 數據。

圖像采集模塊在像素時鐘的驅動下，第一個時鐘先采集RGB565 的低八位數據，第二個時鐘采集RGB565 的高八位數據，通過設置的一位寬的標志信號作為數據拼接完成信號即可拼接成RGB565[15:0]數據格式。

3.3 SDRAM控制模塊

系統對圖像數據進行算法處理需要大量的存儲空間。該系統使用讀寫速率快，存儲容量大的同步動態隨機存儲器（Synchronous Dynamic Random Access Memory，SDRAM）完成數據緩存[15]。

SDRAM 控制模塊負責實現復雜的SDRAM 讀寫操作，是FPGA與SDRAM 內部進行數據交互的橋梁。

FPGA 與SDRAM 進行數據交互時，會產生跨時鐘域的問題[16]。該系統設計調用讀、寫各兩個FIFO來解決跨時鐘的問題。寫FIFO 對需要寫入SDRAM的數據進行緩沖緩存，讀FIFO 對從SDRAM 讀出的數據進行緩沖緩存。設置四個FIFO，分別為Write-FIFO0、Write-FIFO1、Read-FIFO0、Read-FIFO1，數據位寬均為16 位，存儲深度均為2 048 個。

如圖3所示，系統工作時，當前幀的灰度圖像數據與當前幀的RGB 彩色圖像（有包圍盒）數據分別先存入FIFO-Write0 與FIFO-Write1 之中進行緩存。當寫fifo 向SDRAM 發送寫請求并得到SDRAM 的寫請求響應后，兩個寫fifo 將數據讀出，依次寫入到SDRAM 的存儲空間中。為了避免數據存儲的紊亂，SDRAM 存放兩路數據的地址完全不同，分別為0～（640×480-1）、（640×480）～（640×480×2-1），深度均等于一幀圖像的數據量。兩個讀FIFO 負責向SDRAM 發送讀請求，當得到SDRAM 的讀請求響應后，將SDRAM 中的兩個不同地址的數據依次讀出，分別進行后續處理和顯示。

圖3 SDRAM讀、寫控制流程圖

3.4 圖像處理模塊

圖像處理模塊對數據進行格式轉換、運動目標識別、顏色特征識別、形態學濾波等算法處理，最終實現對運動目標的檢測跟蹤。圖像處理流程示意圖如圖4 所示。

圖4 圖像處理流程示意圖

3.4.1 格式轉化模塊

將RGB 視頻流分別轉換為灰度格式和HSV 格式。灰度格式數據用于運動特征檢測，HSV 格式數據用于顏色特征檢測。

RGB 數據轉灰度數據的公式如式（7）所示：

Verilog 無法進行浮點數的運算，因此先將式（7）前的各系數統一擴大256 倍，再將結果右移8 bit，以實現RGB 轉灰度的運算，如式（8）所示：

為了進行顏色特征識別，需要完成數據從RGB格式到HSV 格式的轉換。由式（2）-（6）可知，計算中包含著大量的除法運算。通過調用FPGA 內部自帶的IP 核來實現除法運算，最終將HSV的H、S、V三個分量的值都按比例映射至0～255 之間。

為了驗證格式轉換算法的正確性，借助Quartus軟件中的SignalTap 抓取到波形，圖像數據格式轉換結果如圖5 所示。由圖5 可知，數據轉換結果準確。

圖5 圖像數據格式轉換結果

3.4.2 目標檢測模塊

如圖6 所示，幀差法模塊、顏色識別模塊、“與”運算模塊、時鐘對齊模塊等各模塊協同完成目標檢測功能。

圖6 目標檢測模塊

幀差法模塊將上一幀存入SDRAM 的灰度數據，與當前幀的灰度數據進行差分運算后進行二值化處理。顏色識別模塊對當前幀的所有像素點值進行閾值判斷后進行二值化處理。兩路二值化數據在上一步的運算中耗費的時鐘周期數不一樣，“與”運算比較的是同一幀同一位置的像素數據，因此需要先進行時鐘對齊，再進行“與”運算，若為真，即為符合運動與顏色雙重特征的目標物體。

3.4.3 形態學濾波模塊

上述運算后輸出的二值化數據存在椒鹽噪聲，該文選用形態學濾波中的“開運算”去除椒鹽噪聲。“開運算”將圖像數據先“腐蝕”后“膨脹”，可以很好地抑制椒鹽噪聲，增強圖像的邊緣信息，有利于增強目標檢測的準確度[8]。

在FPGA 中實現“腐蝕”和“膨脹”處理時，需要借助一個3×3 的模板窗口進行濾波運算。該文通過調用兩個雙端口RAM 移位存儲前兩行的數據[9]，設置位寬為1 位，深度為640 個。如圖7 所示，當第三行的數據來臨時，讀取前兩行數據，同時讓RAM 保持移位寄存，就可以得到濾波計算所需的3×3像素窗口。

圖7 3×3像素模板示意圖

在實現軟件算法設計時，為了提高運算速度，采用二級流水線的方式來實現濾波的計算。以“腐蝕”計算為例，實現“腐蝕”計算的Verilog 代碼如下：

第一級：

Corrosion1=matrix_p11matrix_p12matrix_p13

Corrosion2=matrix_p21matrix_p22matrix_p23

Corrosion3=matrix_p31matrix_p32matrix_p33

第二級：

Corrosion_Result=Corrosion1&Corrosion2&Corrosion3

“膨脹”的計算與“腐蝕”大體一致，只需將“&”運算改成“||”運算即可。

3.4.4 目標指示模塊

經過形態學濾波處理后直接二值化顯示效果太差，且無法得到直觀的目標運動數據。為了解決上述問題，找出一幀像素中“真”區域的邊界值，形成一個包圍盒，將包圍盒疊加到當前幀的RGB 視頻流中來實現運動目標指示跟蹤。

需要注意的是，經過一系列的圖像處理，包圍盒數據與當前的RGB 視頻流存在著時間差。直接疊加顯示，包圍盒與移動目標之間會有明顯的滯后效果。因此，需要先對兩路數據進行時鐘對齊，再將帶有包圍盒的RGB 視頻流在VGA 顯示器上顯示出來。同時將包圍盒邊界值通過串口發送出去，發送頻率為30 Hz，與攝像頭捕獲圖像的幀率保持一致。運動目標的中心位置可通過計算包圍盒的中心點近似得到。

4 系統驗證

4.1 目標檢測驗證

實驗室環境下，在移動平臺上設置一個紅色標簽作為目標物體，以檢驗目標識別算法的可行性。經過多次試驗調試，這次實驗將運動識別的灰度閾值設置為10，顏色特征識別閾值設置如表1 所示。實驗結果如圖8 所示。

表1 顏色特征識別閾值設置

圖8（a）為攝像頭直接捕獲的原始圖像，圖8（b）為僅使用幀間差分法得到的二值化圖像，其對所有移動的物體都進行了識別。圖8（c）為僅使用顏色識別得到的二值化圖像，僅對設置的紅色目標進行識別。圖8（d）為幀差法與顏色識別結合后得到的二值化圖像，其識別范圍更加精確，但是顯示上仍有空洞問題存在。在圖8（d）的基礎上，計算得到包圍盒，將包圍盒與RGB視頻流疊加后進行顯示，得到圖9（a）。

圖8 算法效果圖

圖9 不同環境識別效果圖

在不同場景下，分別進行實驗驗證，得到圖9。由圖9 可知，系統最終在各個環境中都可以實現對移動物體的準確識別與跟蹤，且在顯示上克服了幀差法的空洞缺陷。

4.2 識別準確度分析

在不同的環境下試驗后，將某次的實驗數據基于Matlab 平臺進行處理，然后繪制得到圖10。

設測量值為y1，根據y1通過最小二乘擬合出y2。因為目標的真實運動軌跡是一條直線，因此將y2作為真值來計算相對誤差σ，則有：

統計分析圖10 中的σ得到表1。由圖10 和表1可知，若數據誤差σ=0.05 在誤差允許的范圍內，則95%以上的點的識別結果是準確的。

表1 σ 結果統計

圖10 實驗數據及誤差圖

5 結論

針對目標識別系統小型化、精確化的要求，設計了一套基于FPGA 的顏色與運動特征識別系統。通過驅動OV5640 模塊獲取到彩色視頻流后，將其分成灰度、HSV、RGB 三個數據流。其中灰度數據流用于運動目標檢測，HSV 數據流用于顏色特征檢測，RGB數據流用于運動目標的顯示與跟蹤。基于Verilog HDL 語言進行算法的邏輯設計，在FPGA 中通過實現格式轉換、運動識別、顏色識別、形態學濾波與目標指示等圖像處理操作，最終實現了目標識別功能。

文章的創新點在于將運動特征識別與顏色特征識別相結合，并在FPGA 中成功實現。通過實驗證明，系統在不同的場景下可以實現對目標物體的精確識別，且識別準確率都高于95%。