基于FPGA的紅外成像系統及圖像處理算法

高美靜，彭春陽，李時雨，張博智，祖振龍

(1．燕山大學 信息科學與工程學院，河北 秦皇島 066004；2．河北省特種光纖與光纖傳感重點實驗室，河北 秦皇島 066004)

0 引言

近年來，紅外成像技術發展迅速，紅外成像系統在軍事、航空航天、工業生產、通信及醫學等領域得到諸多的應用[1-3]。相較于可見光成像領域，由于當前紅外傳感器工藝技術缺陷和紅外成像特性，紅外圖像噪聲較高、圖像對比度較小，使得紅外圖像質量往往并不理想，而且在紅外圖像處理領域并沒有形成完善的理論體系[4]。同時，對于紅外系統整體而言，紅外成像系統往往無法在提升紅外成像效果的同時兼顧圖像的處理速度，為此，本文首先研究改進的紅外圖像處理方法，包括一種改進的中值濾波算法去除圖像噪聲；一種伽馬變換與直方圖均衡化組合算法對紅外圖像進行增強；一種改進的紅外圖像偽彩色變換算法提高人眼視覺效果。然后基于FPGA搭建了硬件系統，并完成了改進的紅外圖像處理算法的硬件實現。以FPGA為核心處理器的紅外系統不僅具有體積小、可靠性強、重量輕等ASIC芯片的特點，還具有并行執行、開發周期短、成本低、編程升級靈活等特點[5]。仿真數據和實驗結果表明了本文紅外圖像處理算法的優越性和系統的有效性。

1 改進的紅外圖像處理算法

本章研究了一種改進的紅外圖像處理方法，包括改進的中值濾波算法、伽馬變換與直方圖均衡化的組合算法以及改進的偽彩色變換算法，用于完成圖像的去噪、增強和偽彩色變化功能，獲取在圖像質量上優于傳統算法處理后的紅外圖像。圖1為該算法的流程圖。

1.1 改進的中值濾波算法

傳統的基于3×3模板的中值濾波算法雖然能對噪聲進行有效的濾除，但是該算法每處理一個像素時，會重復利用鄰域內的6個像素，占據模板像素個數的2/3。這意味著系統每次進行中值濾波時會進行一半的重復操作[6]。所以，本文提出一種改進的快速中值濾波算法，其原理圖如圖2所示。B2、C2為待處理的像素，改進的中值濾波算法執行的步驟為：

1) 取3×4模板中對角線上的像素值，A1、C1、B2、C1、C3和B1、D1、C2、B3、D3。

2) 比較步驟(1)中兩條對角線灰度值的大小，分別得出中值：Med_dia1和Med_dia2。

3) 將步驟(2)中得到的中值Med_dia1和Med_dia2，分別與剩下的兩個像素A2和D2進行比較，得出Med1和Med2。

4) 將Med1和Med2替換模板內待處理的B2和C2，完成濾波過程。

圖1 紅外圖像處理算法流程圖Fig1 Infrared image processing algorithm flowchart

圖2 改進的中值濾波算法原理Fig.2 Improved median filtering algorithm principle

為了驗證算法的有效性，采集實驗室人員作為待處理紅外圖像，圖3為改進中值濾波算法、傳統中值濾波算法和冒泡法分別對帶有椒鹽噪聲的圖像的處理結果圖。改進中值濾波算法在處理帶有椒鹽噪聲的圖像時，既保證了圖像的清晰度，又消除了大部分圖像噪聲，處理效果與傳統中值濾波算法在處理結果目視上一致。但是，從算法的復雜度來看，改進算法的相關度較傳統算法降低50%，既減少了重復操作的次數，又降低了比較次數，增強了算法的實時性，更適合硬件平臺的實現。

表1是不同中值濾波算法復雜度的比較。假如算法比較一次消耗時間為20 ns，如果一幅640×480像素的待處理紅外圖像，3種算法消耗的時間約為2.211 s、1.290 s與0.614 s；如果是一幅2 560×1 080像素的待處理紅外圖像，3種算法消耗的時間約為19.906 s、11.612 s與5.616 s。算法消耗時間隨圖像中像素個數增加呈線性變化，如果待處理為多幀圖像甚至是視頻流，算法處理過程消耗的時間差別更為明顯，由此可見，本文提出的算法的實時性最好。

圖3 不同算法處理后的效果對比圖Fig.3 Comparison of the effects of different algorithms

表1 不同算法的復雜度比較Tab.1 Comparison of the complexity of different algorithms

表2給出了采用冒泡法、傳統中值濾波算法和改進中值濾波算法的峰值信噪比，PSNR0代表原始紅外圖像經3種方法處理后的峰值信噪比，PSNR1代表原始紅外圖像添加10%椒鹽噪聲后3種方法處理結果峰值信噪比。可見在兩種情況下，本文改進的中值濾波算法的峰值信噪比最低，本文提出的改進方法是有效的。

表2 不同算法處理結果峰值信噪比Tab.2 PSNR of different filtering algorithms

本文改進的中值濾波算法的效果總結為三點：第一是算法復雜度低，該算法采用3×4緩存窗口，窗內進行10次比較即可輸出濾波結果；第二是算法耗時少，該算法在對單個紅外圖像處理時，消耗4個時鐘周期；第三是該算法可以濾除大部分椒鹽噪聲，處理效果與傳統中值濾波算法相當。綜上，本文提出的改進的中值濾波算法是以上幾種算法中最優的。

1.2 伽馬變換與直方圖均衡組合算法

完成圖像濾波后，為了增強圖像細節對比度，需要對紅外圖像進行圖像增強處理，最常用的紅外圖像增強算法為直方圖均衡法，然而傳統的直方圖均衡化會損傷原圖的某些細節，影響圖像處理效果[8]。考慮到算法應用平臺為FPGA，要求算法復雜程度較低且實時性要好，本文提出一種伽馬變換與直方圖均衡化的組合算法。

首先對紅外圖像進行直方圖均衡化處理，然后根據該原始圖像中要凸顯的圖像目標的位置與圖像細節，來選取不同的伽馬值進行伽馬變換得到最終的處理結果。按照圖4所示的原理，本文完成了仿真。

圖4 組合算法原理圖Fig.4 Schematic diagram of the combined algorithm

圖5是組合算法處理后的效果圖與原圖像的對比圖。從圖5中可以看出，組合算法在不損害目標細節的情況下，最大程度地拉伸了背景，增強了對比度，視覺效果明顯優于單獨的伽馬變換和傳統的直方圖均衡化方法，達到了預期處理目標。

圖5 組合算法處理的效果圖Fig.5 Effect diagram of the combined algorithm processing

1.3 改進的偽彩色變換算法

傳統偽彩色變換算法在處理背景復雜的紅外圖像時，會造成處理后的圖像不清晰，對比度降低[10]。因此，本文提出一種改進的偽彩色變換算法。算法中各個溫度區間的映射關系為

(1)

G(x)=255x/4t，

(2)

(3)

式中，R、G和B分別代表圖像的紅、綠和藍色分量，t為圖像灰度級閾值，映射圖如圖6所示。圖6(a)表示傳統偽彩色灰度級彩色映射關系，而圖6(b)為改進的灰度級彩色映射關系。

圖6 偽彩色變換映射關系Fig.6 Pseudo color transformation mapping

按照圖6所示對紅外圖像進行仿真處理，處理結果如圖7所示。可以看出傳統的偽彩色變化算法在處理紅外圖像時，會造成圖像清晰度下降，對比度降低，而新方法測量后的圖像色彩變化連續，溫度變化又暗到明，細節更為清晰，對比度更高。

圖7 偽彩色變換處理效果圖Fig.7 Pseudo-color transformation processing diagram

2 基于FPGA的視頻紅外成像系統

2.1 系統結構與功能

本文基于FPGA的紅外成像系統，核心控制芯片選用Intel公司生產CYCLONE Ⅳ系列EP4CE10F17C8型FPGA，紅外圖像采集部分選用FLIR公司生產的PHOTON320熱成像機芯，視頻信號解碼芯片采用ADI公司生產的ADV7180視頻解碼芯片，圖像的緩存芯片采用華邦公司生產的64M SDRAM芯片，外部顯示終端采用的是TFT液晶屏[11]。本文系統組成框圖如圖8所示，系統正常工作時，外部紅外攝像頭采集到的紅外圖像信號，經過視頻解碼芯片解碼后，進行緩存與圖像處理，隨后將視頻信號傳送到液晶屏進行顯示。

圖8 基于FPGA的紅外成像系統框圖Fig.8 FPGA-based infrared imaging system block diagram

其中，ADV7180芯片進行寄存器配置，視頻解碼模塊為ITU656視頻解碼格式[3]， ITU解碼模塊的有兩個功能：1)將視頻控制信號與視頻有效數據信號分離，并且通過計算行列坐標，確定像素的具體位置。2)通過計算水平像素坐標，將圖像分辨率修改為640×480以便在TFT中顯示。SDRAM作為系統的外部存儲器用于儲存圖像[6]。顯示設備為TFT數字液晶顯示屏，可以直接顯示數字視頻信號的顏色信息。

2.2 改進的紅外圖像算法的FPGA實現

完成系統搭建后，需將改進的紅外圖像算法在系統中實現。紅外圖像的硬件實現流程按照濾波、增強和偽彩色變換的順序進行。

首先改進的中值濾波算法基于FPGA的實現方案如圖9所示，該方案主要分為兩部分：3×4緩存窗口模塊以及快速中值濾波模塊。當外部Tft_de顯示使能信號有效時，首先建立3×4緩存窗口并判斷當前像素是否處在奇數列；隨后將圖像數據送入改進的中值濾波模塊完成濾波操作。

圖9 改進中值濾波算法實現方案Fig.9 Improved median filtering algorithm implementation

伽馬變換和直方圖均衡化組合算法實現主要分為三步：首先建立灰度統計直方圖；其次根據統計結果實現統計結果均衡化；最后將均衡化的結果進行伽馬變換。這種組合增強算法實現算法容易，對紅外圖像增強的效果好，并且在硬件中資源消耗較低。

改進的偽彩色變換算法按照圖10所示的原理圖進行操作。經過前期處理后的紅外圖像灰度值首先經過多路選擇器進行溫度分區；隨后，在不同溫度區間進行改進的線性變換；最后，將變換后的數據送給TFT控制模塊用于顯示。圖11為系統偽彩色處理效果圖。

圖10 改進偽彩色變換算法實現的模塊圖Fig.10 Diagram of improved pseudo color conversion algorithm implementation

圖11 偽彩色變換效果圖Fig.13 Pseudo-color transformation effect diagram

通過系統處理結果與原始紅外圖像和傳統偽彩色變換對比可知，本文搭建的紅外成像系統，在最大限度保持目標細節的同時，能夠更多地顯示背景區域、增強圖像的對比度，從圖像處理視覺效果來看，清晰度、對比度要比傳統算法好。

同時二者在硬件資源上的消耗基本一致，可見，本文提出的改進的偽彩色變換算法，在未增加FPGA中資源的使用量的情況下，最大限度保持了原始圖像的細節，增強了圖像的清晰度以及對比度。

3 結論

本文首先針對紅外圖像噪聲多和對比度低的問題提出了改進的紅外圖像處理方法，包括改進的中值濾波算法、伽馬變換和直方圖均衡化組合算法、改進的偽彩色變換算法。結果表明改進的中值濾波算法在保持濾波效果的同時減少了代碼的復雜程度，縮短了運算時間；組合算法以較小代碼量提升了紅外圖像的對比度，增強了圖像細節；改進的偽彩色變換算法在未增加硬件資源消耗的情況下增強了彩色圖像的清晰度和視覺效果。最后本文搭建了基于FPGA的紅外成像硬件系統并依次實現了紅外圖像濾波、增強和偽彩色變換等功能，并且達到實時處理的要求。本文搭建的基于FPGA的紅外成像系統體積小，成本低，性能和實時性較好，可以適應絕大多數應用場合。論文的研究對于紅外成像系統搭建和紅外圖像處理領域具有一定的參考價值，雖然整體系統搭建成功，但是依然存在著紅外圖像處理算法適應性較低，受環境影響大和偽彩色效果評價具有主觀性等問題。通過后續進一步對這些問題展開研究和實驗，有望獲得性能更優的紅外成像系統。