FPGA紅外圖像處理系統硬件平臺設計

韓 團 軍

(陜西理工大學 物理與電信工程學院, 陜西 漢中 723000)

0 引 言

隨著紅外圖像處理技術和焦平面陣列技術的不斷發展，紅外圖像處理系統在軍事成像、安防工程和工業監測中的應用越來越廣泛，紅外圖像中常含有大量的椒鹽噪聲，且圖像對比度較低，使得視覺效果較差。同時紅外圖像處理系統對算法的實時處理要求較高，一般圖像處理算法運算量較大[1-4]。這樣就要求處理芯片有很高的處理速度和較大的數據吞吐量。傳統的硬件平臺采用DSP對紅外圖像進行處理，其處理復雜算法的速度較慢，無法滿足圖像處理實時性要求，限制了對紅外圖像算法的廣發應用。為了提高紅外圖像的質量和增強系統處理圖像的實時性，結合已有的紅外圖像實時處理算法，本文提出了一種基于FPGA的紅外圖像處理系統硬件平臺設計過程，通過該系統可以消除紅外圖像的非均勻性，同時可以對紅外圖像進行增強，對椒鹽噪聲進行的濾除。通過硬件測試，系統能夠實時處理紅外圖像的各種算法，且效果較好。該系統具備設計靈活、移植性方便、消耗資源較少，具有一定的工程開發和應用價值[5-7]。

1 系統的總體設計

整個系統硬件平臺主要實現了對紅外探頭采集的紅外圖像進行了非均勻性校正，為了便于后面的處理，對含有噪聲圖像進行平滑濾波去噪處理，針對圖像對比度不高的問題，對除噪后的圖像進行了直方圖均衡處理來提高圖像的對比度。處理完成后的圖像由PAL模擬視頻直接顯示。各處理模塊是在同一塊FPGA上實現。整個系統硬件框圖如圖1所示。

圖1 系統的硬件框圖

2 系統的重要模塊及FPGA設計

2.1 非均勻性一點校正算法的FPGA實現

非均勻性一點溫度定標算法的實現需要先用溫度的均勻輻射黑體輻照探測器，得到此時每個探測元的響應輸出，并求出其平均值。于是對于每個探測元有：

將D存儲起來，并在正常景物下對每個探測元輸出響應進行實時減法校正，即可消除這種偏差。從算法上不難看出，一點定標法實質上是對焦平面的非均勻噪聲中的加性噪聲作了很好的補償，

A=Y2-D

其中：A為一點校正后響應；Y2為輸出響應。

在具體實現時，先用溫度均勻的輻射黑體輻照探測器，通過編寫代碼獲取偏差值，然后將其保存在FPGA的雙端口RAM中。實際處理時，選取整個圖像中的160×120像素的范圍進行一點校正。在程序設計時列計數器pixelcount和行計數器linecount_in伴隨著6.75MHz像素時鐘遞增。當pixelcount=80, linecount_in=60時，RAM寫使能信號有效，RAM地址回到0。當80

圖2 偏差從RAM讀出進程代碼片段

2.2 快速中值濾波算法的FPGA實現

快速中值濾波算法是將一個含有N×N像素的二維陣列，對其先執行一次行排序運算，然后執行一次列排序運算，完成后對對角線上的像素得到中值輸出。設計硬件實現了一個3×3窗口的快速中值濾波算法結構，如圖3所示，這樣設計的濾波比傳統線性濾波和均值濾波運算量有很大減少。列排序運算需要9次比較運算，行排序也同樣需要9次比較運算，最后將對角線上的3個像素值進行比較后取中值，需要3次比較運算。因此快速中值算法對一組9個像素取中值運算一共需要進行21次比較運算，和傳統的濾波算法執行36次運算次數相比較可以看出，快速中值濾波算法可以大大降低運算次數。運算量減少對硬件實現上可以節省芯片的內部資源，同時可以提高硬件對圖像的處理速度。系統利用移位寄存器宏模塊設計了一個深度為158的FIFO，使用嵌入式存儲器來實現移位寄存器塊，它能節省邏輯單元LE和布線資源，提供了更加有效的實現方法。由于Quartus II軟件中的altshift_taps 宏模塊沒有正好等于158的FIFO，可以選用移位寄存器實現FIFO的功能。1個w×m×n移位寄存器，由輸入數據寬度w，抽頭長度m和抽頭數n來決定，移位寄存器的抽頭長度m最大值是256，當需要更大容量的移位寄存器塊可以級聯。由于w沒有正好14位，可以選16位移位寄存器。運用圖中的移位寄存器組成一個深度為158的FIFO，抽頭數n都為1。最終完成了一個如圖3所示中值濾波結構，利用3×3窗口在FPGA 進行了有效設計[8-10]。通過對設計進行編譯可以看出，快速中值濾波算法要比傳統中值濾波算法節省大量的硬件資源。編譯后對3×3模板進行了仿真，結果見圖4，表1為兩種算法對邏輯資源的利用率。

圖3 3×3中值濾波結構

圖4 3×3模板時序仿真結果

表1 傳統中值濾波算法和快速中值濾波算法使用資源比較

2.3 直方圖均衡化算法的FPGA實現

系統對圖像進行了噪聲濾除后，圖形質量變得更加清晰。但是紅外圖像還受到光照條件的影響，如果光照不均勻會嚴重影響視覺效果。直方圖均衡就是對圖像顯示效果進行增強處理，設計中算法是利用灰度點通過概率計算實現圖像有效增強。在設計中圖像處理中所需的數據，是從FPGA中外圍帶有的SRAM中得到，得到的一維數組寬8位的數據，讀取時鐘f為50 MHz。通過改進傳統增強算法在FPGA利用宏模塊和邏輯鎖定來實現，灰度級累加完成后結果存在list中。如果有像素數據從外部存儲器輸入到直方圖均衡化模塊，其像素數據就作為list的讀地址，將其對應的讀出的數據乘以L-1，再除以n，得到的就是均衡化后的像素數據[11-17]。設計中直方圖均衡化模塊在硬件平臺的內部邏輯框圖如圖5所示。

2.4 PAL模擬視頻接口的FPGA實現

系統對PAL制式正極性電視信號發生器進行了時序仿真和設計。輸入像素時鐘pixelclk為6.75 MHz，幀頻25 Hz，幀周期40 MHz/s，場頻50 Hz，場周期20 ms，行頻15.625 Hz，行周期64 μs程序將1幀細分為1 250行，每場625行，行周期32 μs，如果將2行32 μs看做一行即就是PAL制視頻標準。通過設計仿真可以得到復合同步信號仿真結果，復合同步信號由前均衡脈沖(5個凹槽)、后均衡脈沖(5個凹槽)和行同步脈沖組成 。復合同步信號仿真結果如圖6所示。

圖5 直方圖均衡化模塊內部邏輯框圖

3 硬件實驗結果

FPGA是本系統的核心部分，用來完成數據緩存、圖像濾波以及圖像增強等。為了便于系統的升級、擴展，在FPGA外部添加了FLASH和SRAM，以便于存儲數據和運行程序，配置芯片用來存放芯片的配置信息，避免數據掉電后丟失，DA轉換器主要是實現數字信號到模擬信號的轉化，TFT顯示屏PAL模擬視頻接口與系統結合，完成紅外圖像的顯示，電源和復位模塊保證系統的正常工作，整個測試系統框圖如圖7所示。

圖6 復合同步信號仿真圖

圖7 整個測試系統框圖

系統選用的是Altera公司生產的CycloneIIIEP3C55F484C8型號的FPGA芯片對整個系統的每一個設計模塊進行了硬件下載測試，系統的終端如圖8所示。終端對系統模擬視頻信號顯示采用320×240 TFT真彩顯示屏。該系統可以對外場采集或模擬生成的紅外圖像進行預處理。在一點校正前的圖像中存在固定溢出的像素點，一般表現為離散的最亮點或最暗點，通過一點校正后圖像，離散的最亮點或最暗點被去除，證明所設計的一點校正算法有良好的處理效果，處理前后的對比結果如圖9所示。

圖8 測試終端

圖9 一點校正前后圖像在終端對比顯示

將一幅未經處理的原始紅外圖像加入了孤立的噪聲點，輸入給FPGA中值濾波器得到濾波后的圖像。試驗結果可以看出，原始圖像中孤立的噪聲點得到了有效的濾除，對含有噪聲的圖像采用中值濾波算法的硬件下載顯示結果如圖10所示。可以看出，整個系統對噪聲濾處較好。同時對一幅亮度較低的紅外圖像進行直方圖均衡化，可以看出處理后的圖像亮度、對比度明顯提升，圖像細節得到了很好的體現，增強處理結果如圖11所示。

圖10 中值濾波前后圖像在終端的對比顯示

圖11 直方圖均衡化前后圖像在終端對比顯示

4 結 語

本文實現了一種基于FPGA紅外圖像處理系統硬件平臺，解決了紅外圖像由于在處理過程中圖像的分辨率低、圖像對比度不高、噪聲較大而且具有非均勻性以及圖像是灰度圖像等缺陷。利用模塊化設計方法，通過一塊CycloneIIIEP3C55F484c8芯片為核心處理器,對整個系統的各個模塊進行了硬件下載測試。處理前后圖像對比可以看出，整個系統完成了紅外圖形的各種算法處理，結果較好，驗證了設計正確性。整個系統平臺在紅外圖像處理方面具有一定的應用價值。