基于FPGA的紅外圖像清晰化系統設計

李 娜,劉文進,杜育寬,陳褒丹

(海南大學信息與通信工程學院,海南 海口 570228)

1 引 言

由于紅外傳感器本身具有的非均勻性的影響,導致紅外圖像存在對比度低、細節模糊等問題[1]。目前,大部分的紅外圖像清晰化處理是基于計算機端進行,雖然處理效果較好,但是場地適應性差,對外設條件要求較高。因此,設計一個紅外圖像清晰化系統以增強對比度、突出紅外圖像細節特征的同時能夠集成在相機機芯實時地處理紅外圖像是十分必要的。

傳統的紅外圖像增強算法分為空間域增強和頻域增強。頻域增強的算法有基于傅里葉變換、小波變換、輪廓波變換等[2-3],文獻[2]通過離散小波變換將輸入圖像分解為低頻和高頻子帶,利用卷積神經網絡學習重建高頻子帶的圖像特征進而重建灰度圖像,有效豐富了圖像細節信息。由于這類算法采用非線性變換函數對系數進行變換,增強圖像的細節高頻信息,同時抑制噪聲的放大,可以取得較好的增強效果,但通常計算量較大,不利于硬件實現。空間域增強的算法有空域濾波、Retinex算法、直方圖均衡化(HE,Histogram Equalization)[4-6]及其改進的算法等。這類算法因其簡單有效,可實現硬件的實時處理等優勢而被廣泛地應用于實際。文獻[4]提出了一種基于Retinex理論與概率非局部均值相結合的紅外圖像增強方法,首先通過單尺度Retinex方法調整圖像中過暗和過亮部分的灰度級,然后分層對圖像進行增強,能夠提升圖像對比度但算法會出現局部區域過度增強的現象。Wan等提出的自適應平臺直方圖均衡化算法進行圖像增強時效果有一定的改善,但在處理大動態范圍的圖像時,處理后圖像細節損失較大,造成圖像模糊。文獻[6]提出了一種雙邊濾波和平臺直方圖均衡的紅外圖像增強算法的FPGA實現方法,有效提升了圖像清晰度但是占用了較多的硬件資源。拉普拉斯銳化是經典的空域濾波方法,能夠有效豐富圖像細節信息并且易于硬件實現,但其在增強圖像邊緣特征的同時會放大圖像的噪聲,進而影響圖像質量。文獻[7]通過拉普拉斯濾波實現紅外圖像細節增強,然后統計增強后圖像直方圖信息進行灰度映射,有效提高了輸出圖像的對比度,但是算法設置的參數較多,場景自適應能力較弱。

本文設計的紅外圖像清晰化系統為了解決圖像在拉普拉斯銳化后產生噪聲放大的問題,首先采用均值濾波器對輸入紅外圖像進行平滑濾波。然后通過拉普拉斯算子進行圖像細節增強,最后利用Gamma校正曲線平衡增強后紅外圖像的灰度,使其更加適應于人眼視覺。對硬件系統的可操作性進行了分析,并在FLIR公司的非制冷長波紅外相機和FPGA處理電路上進行實驗驗證。結果表明,硬件系統處理后的紅外圖像對比度高,目標景物的輪廓和細節特征突出。

2 紅外圖像清晰化算法

2.1 基于拉普拉斯濾波的紅外圖像增強

拉普拉斯濾波是常用的圖像增強方法,能較好的增強圖像細節信息,同時便于硬件實現,缺點是容易放大噪聲。拉普拉斯算子是最簡單的各向同性微分算子,具有旋轉不變性[8]。對于離散的數字圖像f(x,y),定義拉普拉斯算子?2f為:

(1)

根據二階微分的定義,有:

(2)

(3)

將式(2)和式(3)代入式(1),可得到:

?2f=f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y)

(4)

由式(4)可以看出在一幅灰度圖像中,任一像素點的拉普拉斯算子計算結果為該像素點與其上、下、左、右各像素點的差的累加值。根據拉普拉斯算子的旋轉不變性得到拉普拉斯運算擴展模板,如表1所示。

表1 拉普拉斯運算擴展

擴展模板增加了拉普拉斯算子兩個對角線方向的邊緣信息。紅外圖像的邊緣特征為該圖像中灰度值發生跳變的區域,可以使用紅外圖像的灰度值疊加所在位置的拉普拉斯算子描述增強后的紅外圖像。定義增強后的紅外圖像z(x,y)為:

z(x,y)=f(x,y)+α|?2f|

(5)

式中,α為自定義參數,可根據人眼視覺效果或者外界環境變化取合適的值,取值范圍為[0,1],α值越大圖像增強效果越明顯。由式(5)可知,如果在一幅圖像中出現灰度值較大的點,疊加拉普拉斯算子會進一步增加該像素點的灰度值。

2.2 Gamma校正

Gamma曲線校正是常用的平衡圖像灰度的方法,能夠有效補償圖像暗部的灰度值。Gamma曲線的表達式[9]如下:

f(I)=Iγ

(6)

式中,I為歸一化后紅外圖像的灰度;f(I)為校正后圖像的灰度值;γ為校正參數。當γ<1時,在低灰度值區域內,動態范圍變大,圖像對比度增強；在高灰度值區域內,動態范圍變小,圖像對比度降低,圖像的整體灰度值變大。當γ>1時,與之相反。

2.3 文中算法

拉普拉斯濾波在突出圖像邊緣方面能夠取得較好的效果,但會產生更多的噪聲,可以通過均值濾波對輸入圖像進行平滑處理避免噪聲的放大。因此,文中清晰化方法將平滑處理后的圖像疊加拉普拉斯算子進行細節增強,然后利用Gamma曲線均衡增強后圖像灰度值,具體流程如下:

步驟1:對輸入原始紅外圖像數據取8×8窗口的平均值進行平滑濾波處理。

步驟2:計算處理后圖像的拉普拉斯算子,結合平滑后圖像數據進行細節增強。

步驟3:對增強后圖像進行Gamma曲線校正,進一步平衡灰度。

在輸入灰度級為0～255范圍內,我們將Gamma曲線校正后的灰度數據放入16×16的查找表Gamma_table中,一方面可以得到校正后的灰度值,另一方面可以將查找表數據添加至硬件語言中,使得硬件算法能夠直接獲得經Gamma曲線校正后的灰度,從而降低硬件算法的計算復雜度,節約硬件資源。選取紋理細節較為豐富的圖像驗證清晰化算法的處理效果,如圖1所示。圖1(b)為原始圖像直接進行拉普拉斯銳化后的效果,近處桌子的邊緣及遠處物體的輪廓都得到增強,同時噪聲也被放大；將原始圖像首先進行平滑濾波后有效抑制了噪聲的放大,增強后圖像變化平滑,適合人眼觀察識別,如圖1(c)所示。

圖1 紅外圖像清晰化算法結果

3 紅外圖像清晰化系統設計

3.1 硬件系統的搭建

紅外圖像清晰化系統采用美國FLIR公司的TAU2長波紅外相機,輸出圖像大小為640×512像素,以及Xilinx公司ZYNQ系列的FPGA芯片作為核心處理器。在相機端輸出數字信號遵循Camera Link協議,輸出圖像為8bits灰度數據,配置電平轉換芯片DS90CR288將相機輸出的低壓差分信號轉換為TTL/CMOS信號作為FPGA的輸入。FPGA內部運行的時鐘與相機的工作時鐘保持同步,均為21 MHz。電平轉換芯片DS90CR287將FPGA處理后的圖像信號轉換為LVDS信號,使用加拿大Matrox公司SOL 2M EV CLB型號圖像采集卡接收DS90CR287輸出的差分信號并在顯示設備顯示清晰化后的紅外圖像。

3.2 算法的硬件語言實現

在Xilinx公司ISE14.7平臺上,使用VHDL語言描述紅外圖像清晰化算法,圖2為硬件語言功能模塊框圖。在control模塊生成控制信號,將原始紅外圖像按照Camera Link協議輸入,在smooth filter模塊,對輸入灰度圖像平滑濾波,detect模塊對濾波后的圖像進行基于拉普拉斯算子的細節增強,最后利用Gamma校正曲線平衡增強后紅外圖像的灰度。enhance模塊用于子功能模塊間數據的傳輸,處理后的圖像數據從頂層模塊control輸出。

圖2 硬件語言功能模塊框圖

3.2.1 紅外圖像的輸入輸出控制

紅外圖像清晰化系統適用于Camera Link接口的紅外相機,因此需設計符合Camera Link協議的圖像輸入輸出時序,硬件算法通過狀態機生成圖像輸入輸出的控制信號,具體如下:

S0狀態:幀有效信號fram_valid清零；行有效信號hor_valid清零；數據有效信號data_valid清零；行、列計數清零；

S1狀態:幀有效信號fram_valid為1；

S2狀態:行有效信號hor_valid為1；

S3狀態:數據有效信號data_valid為1,同時列計數器col開始計數；

S4狀態:數據有效信號data_valid為0；

S5狀態:行有效信號hor_valid為0,同時行計數器row開始計數；當row小于圖像高度時,狀態機進入S3狀態,否則狀態機進入S6狀態；

S6狀態:控制信號清零,狀態機返回S0狀態。

3.2.2 平滑濾波模塊

對輸入圖像進行平滑濾波,需要調用7個FIFO緩存7行數據,再加上當前行構成8行數據進行8×8窗口的行列相加。為了提高運算速度,濾波采用流水方式,假設當前時鐘有效時,8行數據分別為d11～d18,首先計算行相加的串并行流水,具體結構如圖3。利用4路并行完成8行數據的分組相加,構成并行流水。輸出結果d21～d24利用2路并行加法,得到d31～d32,再使用一個加法器完成d31+d32運算,得到最后行相加運算結果sum。由于不同級別的加法運算在不同時鐘完成,從而構成了3級并行流水。

圖3 行相加串并行流水

將加法運算的結果sum延時,延時后的信號分別用sum1～sum7表示,圖4為列相加串并行流水。同樣將延時后生成的7列數據采用3級串并行流水方式得到最終64位數據的和,再除以64得到圖像平滑濾波后的結果avg。

圖4 列相加串并行流水

3.2.3 基于拉普拉斯算子的細節增強

采用3×3窗口對平滑濾波后的圖像數據計算拉普拉斯算子,需要在FPGA內部建立兩個FIFO用于緩存兩行數據,FIFO輸出數據為dout1和dout2,再加上當前行數據datain,形成3×3的矩陣,如圖5所示。

圖5 數據緩存示意圖

假設當前時鐘有效時,3行數據分別為G2、G5和G8,首先計算3行數據的和為sum,計算2×G5-G2-G8為sub；然后將sum和sub的值做延時,根據時序的配合計算出以G5為中心的拉普拉斯算子；再使用一個乘法器將拉普拉斯算子乘以一個自定義參數α,用以調節細節增強效果的強弱,使其更加適應于環境的變化(參數α可以在control模塊進行調整)；最后將乘以參數后的拉普拉斯算子的值與G5相加,得到G5增強后的灰度值。

為了節約硬件資源,提高FPGA運算速度,本文將C語言生成的經Gamma校正后的0～255灰度范圍的查找表Gamma_table添加至硬件語言中。將拉普拉斯增強后的圖像灰度乘以一個自適應參數β(0<β≤1,β值通常為1,當紅外圖像過暗或者過亮可以在control模塊適當增加或減少β值),得到的乘積在查找表中對應找出Gamma校正后的灰度值即為處理后圖像灰度值。

4 實驗結果及分析

4.1 硬件資源占用情況

紅外圖像清晰化硬件系統選取型號為XC7Z020的Xilinx ZYNQ系列的FPGA芯片作為核心處理器。在ISE14.7平臺上,采用Synplify工具綜合后,最高頻率為228.05 MHz,如表2所示,遠遠高于所使用紅外相機的工作頻率21 MHz,能夠實時地處理視頻圖像。表3為綜合后的FPGA資源占用情況,其中Slice registers占用率為2 %,Block RAMs占用率為5 %,LUT占用率為5 %,所選器件完全可以滿足清晰化硬件系統的資源需求。

表2 時鐘周期

表3 硬件實現方案對比

表3將所提的硬件實現方案在邏輯資源占用、運行時鐘方面與其他方案做了對比分析。文獻[10]通過計算輸入圖像的直方圖,然后乘以比例因子達到圖像增強的目的,計算復雜度較低占用了較少的LUT和register資源。文獻[11]采用改進的神經網絡算法對紅外圖像進行非均勻性校正,需要進行大量的累加、乘除運算,同時為保證計算精度,所處理的數據涉及小數部分,因此會占用大量的LUT和register資源。所提的紅外圖像清晰化硬件實現方案利用FIFO緩存7行圖像數據后進行均值濾波,通過將軟件生成的Gamma校正查找表直接添加至硬件語言中,避免了整幅圖像數據的緩存以及Gamma校正時的非線性運算,消耗了最少的Block RAM和較少的LUT資源。并且,所提硬件實現方案的運行時鐘周期最短,更加適合實時地處理視頻圖像。

4.2 圖像主客觀質量評價

紅外圖像清晰化軟件算法實現平臺為Intel(R)Xeon(R)E5-2680 v3,2.50GHz CPU,內存64GB,使用軟件為Dev-C++5.11,文中軟件語言實現所使用的輸入原始圖像均由FLIR相機輸出經圖像采集卡捕獲的紅外圖像。為了驗證紅外圖像清晰化硬件系統的性能,將WNNM(Weighted Nuclear Norm Minimization,加權核范數最小化)算法[12]、Wan算法、Tarel算法[13]與本文軟硬件算法處理后的圖像對比分析,并從主客觀角度對圖像質量進行評價。

圖6是一組紋理細節豐富的紅外圖像,從圖6(b)可以看出WNNM方法能夠降低原始圖像的噪聲從而達到改善圖像整體視覺效果的目的,但是沒有突出更多的細節特征。Wan方法采用自適應平臺直方圖均衡圖像的灰度信息,在處理圖像邊緣時效果不理想,如圖6(c)所示。Tarel方法基于大氣散射模型能夠有效恢復原始圖像一定的紋理細節特征,但容易出現局部過增強或局部增強不足的現象,如圖6(d)方框所示。

圖6 圖像1數據比較

圖6(e)和圖6(f)為本文紅外圖像清晰化方法處理后的結果,從圖中可以看出,算法增強了目標景物的細節信息,如近處樹葉的紋理特征、遠處墻體的輪廓特征都得到增強。同時,算法在細節增強之前對原始圖像進行平滑濾波處理,有效避免了圖像噪聲的放大。

圖7是一組熱輻射較為均勻的紅外圖像,可以看出本文方法能夠更好的突出圖像的邊緣特征,同時提高了圖像整體的對比度,這是在細節增強后加入Gamma校正的結果,并且硬件算法處理后圖像效果逼近軟件算法。當原始圖像全局像素值較高、噪點較少時,WNNM方法處理效果不明顯。Wan方法由于自適應參數選取較為簡單,沒有突出較多的圖像邊緣。由圖7(d)方框所示,Tarel方法使得圖中部分區域出現失真現象,這是由于對透射率估計不準確的結果。

圖7 圖像2數據比較

為了客觀評價各算法的性能,采用2個經典的圖像質量評價指標進行對比分析。可見邊對比度能夠反映圖像處理前后的清晰化程度[14],新增的可見邊之比為:

(7)

式中,no和nr分別為圖像處理前后的可見邊數目。較大的e值說明對應算法有更好的紋理細節恢復能力。峰值信噪比(PSNR,Peak Signal to Noise Ratio)是衡量圖像是否失真的指標,其表達式為:

(8)

式中,MSE為圖像的均方誤差。圖像PSNR值越高,表示圖像的質量越好[15]。由表4可見,所提方法獲得的e值最高,PSNR值也接近于其他方法,并且所提硬件方法處理后圖像的PSNR和e值均接近軟件方法。因此,所提方法能夠有效豐富圖像細節信息,提高圖像對比度。

表4 紅外圖像不同算法處理定量評價結果

5 總 結

本文設計實現的基于FPGA的紅外圖像清晰化硬件系統符合camera link數據傳輸協議。首先對輸入圖像進行8×8窗口的均值濾波得到平滑后的灰度圖像,然后疊加拉普拉斯算子進行細節增強,有效解決了傳統拉普拉斯銳化產生的噪聲放大問題。最后利用Gamma校正曲線調整增強后圖像的亮度,使其更加適合人眼觀察與識別。處理后的紅外圖像邊緣特征清晰,整體對比度得到提升。在硬件算法實現中,充分利用FPGA的FIFO資源進行串并行流水運算,能夠提高硬件系統的運算速度。同時將軟件算法生成的Gamma校正后的灰度查找表添加至硬件語言中,使得硬件算法能夠直接獲取校正后的圖像灰度,有效降低了硬件計算復雜度。硬件測試時,系統處理一幅圖像耗時0.1152 ms,滿足實時處理視頻圖像的需求。