紅外圖像小目標實時檢測系統的設計與實現

摘要：設計了一種基于FPGA+DSP+ASIC結構的紅外圖像小目標實時檢測系統。該系統將紅外圖像的非均勻性校正、多級濾波等計算強度高、具有數據流結構特點的成熟子算法用硬件方式實現；將需要較大存儲空間、抽象層次高的算法任務分配給DSP完成，充分發揮各類型器件的優勢。測試表明，算法和硬件平臺做到了很好的吻合，系統在處理速度、可重構性等方面達到良好的平衡和統一。

關鍵詞：現場可編程門陣列；數字信號處理；專用的系統集成電路；實時處理

中圖分類號：TP391．41文獻標志碼：A

文章編號：1001－3695(2008)03－0789－02

現有圖像處理平臺多以DSP為核心處理器件，可以完成一般的計算任務[1~3]。然而當算法復雜、數據量增大、實時性要求嚴格時，單純依靠選用更高性能的DSP和簡單地增加DSP數量的途徑可能無法達到實時指標要求（如以100 fbps的速度對320×256大小的16 bit圖像做實時檢測識別算法）。即使這樣，DSP數量增多時，各DSP之間的互連結構更復雜，數據傳輸和通信開銷驟增，系統實現困難。

為滿足高速實時圖像處理要求，本文提出并實現了一種基于FPGA+DSP+ASIC結構的小目標實時檢測系統。系統結合ASIC、DSP、FPGA的特點，合理分配算法流程。通過ASIC器件超高速信號處理能力來彌補DSP在速度上的缺陷；DSP則可以彌補ASIC在通用性和可重構性方面的不足；作為系統結構樞紐的FPGA則可以協調DSP、ASCI之間的通信，充分發揮各類型器件的優勢，做到功能互補，使硬件的數據通路和算法的結構合理地結合起來，達到高速實時處理的目的。

1紅外小目標檢測算法

系統從焦平面接收紅外圖像數據。由于紅外傳感器的非均勻性影響，從焦平面來的數據需要作圖像校正的預處理。之后，由于小目標在圖像中只表現為幾個到十幾個像素，信雜比低，沒有結構特征；尤其當圖像質量差時，目標會淹沒在雜波和噪聲中，需要對圖像作濾波以抑制背景和去除噪聲來加強目標。濾波后再分割圖像，目的是將目標和背景區分開。然后對分割圖像作標記處理，并根據小目標的特點剔除那些不符合小目標特征的區域，這樣在單幀圖像中可以標記出一個或幾個可能的目標。在單幀圖像的基礎上，通過連續圖像幀之間的關系構建目標鏈。由于目標在序列圖像的相鄰幀之間具有穩定的特征，而噪聲或偽目標是隨機的，它們不可能在連續幾幀都表現出來，通過幀間的數據關聯匹配，可去除偽目標，捕獲真目標[4]。算法處理流程如圖1所示。

可以看到捕獲目標的過程可以分為非均勻性校正、多極濾波、圖像分割、標記、目標鏈的構造、數據關聯匹配等幾個子算法，算法過程復雜。當圖像較大（320×256）、幀頻較快時（100 fbps），系統的數據吞吐率很高，計算量大，僅靠DSP作運算單元來構建系統可能會遇到困難。根據算法結構，分析各子算法的特點，將具有數據流結構、運算量大的計算任務用硬件來實現，其他處理子算法用DSP來處理。具體來說，由于非均勻性校正算法比較簡單，需要的邏輯資源較少，可用FPGA實現。多極濾波算法的運算任務較大，算法比較成熟，而且在小目標檢測這一類算法中均需要用到，在邏輯設計、前端仿真、布局布線、后端仿真后經過流片以ASIC形式實現。其他子算法用DSP實現。這樣可以減輕DSP的負荷，有利于硬件平臺的實現和提高系統實時處理數據的能力。

2基于DSP+FPGA+ASIC結構的并行硬件系統

系統由圖像接收部分、預處理部分和信號主處理部分構成。接收和預處理部分由FPGA、MLF ASIC芯片、DPRAM、配置ROM芯片等構成，完成對圖像的接收、非均勻性校正、多級濾波、圖像PAL制式顯示輸出等功能。信號主處理部分由多塊以DSP為核心的信號處理板構成，各處理板之間可以通過共享總線和link口兩種方式通信。整個硬件系統可以根據具體算法需要作必要的重構，使系統適應算法結構的要求，達到快速完成實時計算任務。硬件系統結構如圖2所示。

2．1NUC(ununiformity correction)的FPGA實現

紅外圖像非均勻性是指焦平面陣列的探測元由于具有不同的傳輸函數，而使得在同一均勻輻射場輸入時各單元輸出具有不一致性。非均勻性校正就是要通過圖像預處理的方法來彌補這一缺陷[5]。它是IRFPA(infrared focal plane array)成像處理系統中必須的預處理過程。

通過兩點法來實現對紅外焦平面圖像的非均勻性校正。式（1）是兩點法校正公式：

yci≈(a′i×yi)/2n+b′i+bmin(1)

其中：yi為原始輸入；yci為校正后的輸出；a′i和b′i為無符號整數，分別為像元i的增益校正系數和偏移校正系數，對每個光敏元都有一組這樣的校正系數，實現時用RAM存儲；bmin為有符號整數，對所有光敏元都是相同的，實現時用FPGA內部寄存器存儲；2-(n+1)為誤差上限。校正算法的電路實現框圖如3所示。

2．2MLF(multilevel filter)的ASIC實現

由于成像條件惡劣，圖像雜波干擾強烈，在紅外圖像小目標檢測算法中需要對圖像作抑制背景、消除噪聲的濾波處理，以增強目標。為此，設計了一個有自主知識產權的多級濾波ASIC芯片。多級濾波算法結構框圖如圖4所示。它實現了三路濾波通道：第一路是圖像經過1×3的均值濾波模板后與原圖像相減消除背景，然后再通過1×3均值濾波消除噪聲，因此適應處理1×3的小目標；第二路和第三路分別增加了一級或兩級1×3的均值濾波，這樣等效模板分別變為1×5、1×7，然后再與原始圖像相減消除背景，最后都是通過1×3的均值濾波消除噪聲。第二路和第三路中分別增加了降分辨率和高斯插值運算。

MLF數據通道設計采用流水線方式實現，主要電路結構如圖4所示。其中：dl1、dl2和dl3表示延遲單元；r是插入的寄存器；“”為加法運算單元；“”表示減法器；“”是乘法電路。 dl1_out1、dl1_out2、dl1_out3是三路延遲寄存器，以便將結果同時寫入三個輸出緩存FIFO。其中：fir5a表示降分辨率電路；fir5b為高斯插值電路，它們的電路結構相同，只是模版系數不一樣。fir3a、fir3b對應不同帶寬的1×3低通濾波器模版，它們的電路結構一致，僅參數不同。芯片采用0.35 μm工藝，工作時鐘可達到50 M，可以接受5~10 Mpixel/s的數據輸入速度。

2．3DSP任務分配

圖形經過多級濾波后，原圖和濾波的一、二、三級濾波的結果存在DPRAM中，DSP根據需要從DPRAM中讀取所需圖像數據作后續運算， 完成包括分割、標記、目標鏈的構建，與數據關聯匹配，并輸出最后處理結果。

3系統性能測試和分析

UNC中需要從DPRAM中讀取校正參數。DPRAM的讀、寫速度可達66~100 M，而圖像輸入的像素時鐘約5~10 M，所以讀、寫DPRAM并不是瓶頸。根據圖1、2中UNC的實現結構，對一個圖像像素的校正需要一次乘法操作、兩次加法運算和一次二路選擇操作；而無效像元的補償需要一次加法、一次移位、一次二路選擇操作。系統時鐘為40 M，校正操作的數據吞吐率可達到10 Mpixel/s ，以幀為單位的圖像數據以流水的方式進入校正電路，可以做到很快的速度，理論上單幀的處理延時只有幾個像素時鐘周期。

MLF中系統時鐘為40 M，數據通道采用流水線方式實現。圖4中，除了延時單元，每個處理方框可以由一級流水實現，fir3和fir5均可以在一個系統時鐘周期內完成。可見，系統處理速度取決于各級流水單元中延時最大者。經測試，MLF模塊數據吞吐率可達到5~10 Mpixel/s。與UNC一樣，MLF采用流水結構，單幀處理延時也只有幾個像素時鐘周期。

筆者構造了一組對比實驗：一方面，將非均勻性校正與無效像元補償、多級濾波分給DSP來處理，測出了這兩個子算法在DSP上運行的時間；另一方面，分析并測出了這兩個子算法通過ASIC和FPGA等硬件電路來實現所需要的時間。具體的測試數據如表1所示。

圖5是根據表1中的數據繪出的系統性能測試對比圖。

從表1和圖5中可以看出，用硬件實現部分算法的方法可較大地提高系統的計算速度和數據的吞吐率，尤其當圖像較大時，處理速度和實時性方面的優勢就表現得更明顯。

4結束語

本系統只是將非均勻性校正與無效像元補償、多級濾波用硬件來實現，但是如果需要，后邊的標記、數據關聯匹配等子算法也可以通過硬件實現。

在對圖像處理實時性要求越來越苛刻的情況下，系統結合ASIC、DSP、FPGA的特點，用ASIC、FPGA等硬件電路代替軟件方式來實現部分算法，發揮了各類型器件的優勢，并在系統各處理單元之間合理分配算法流程，使硬件的數據通路和算法的結構的合理地結合起來，可以顯著地提高系統的處理速度和性能。

參考文獻：

［1］CARLOS M B，CORREIA A，COMBO A，et al.A high performance reconfigurable hardware platfrom for digital pulse processing[J].IEEE Trans on Nuclear Science，2004，51(3):13751381.

[2]ILLGNER K.DSPs for image and video processing[J].Signal Processing，2000，80：2323－2336.

[3]顏露新，張天序，鄒勝，等.用FPGA實現互連的多DSP并行系統結構[J].系統工程與電子技術，2005，27（10）：17571759.

[4]王岳環，陳妍，程勝蓮，等.基于模式側抑制的復雜背景下小目標檢測[J].紅外與激光工程，2005，34（6）：51－54.

[5]張天序，樊榮，石巖.紅外焦平面非均勻校正兩點法在DSP上的優化實現[J].系統工程與電子技術，2005，21（10）：15661568.

“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文”