多子直方圖均衡微光圖像增強及FPGA實現

陳 瑩，朱 明

(1.中國科學院長春光學精密機械與物理研究所航空光學成像與測量中國科學院重點實驗室，吉林長春130033;2.中國科學院大學北京100049)

1 引言

微光夜視系統在軍事和民用方面都有很重要的用途，微光圖像的對比度低，并且灰度級范圍集中，圖像的質量嚴重影響對目標的識別，圖像增強技術在其中起著至關重要的作用。圖像增強方法基本上可分成兩大類:頻率域法和空間域法。直方圖均衡［1］(空間域法)處理技術是最簡單、最有效的處理手段之一，但是，傳統的直方圖均衡會產生過度增強和放大噪聲的現象。因此，學者們陸續提出了很多基于直方圖均衡的改進算法，例如:動態直方圖均衡［2］，其思想是動態尋找閾值(極小值或極大值)，分割直方圖后再分別均衡化，此算法自適應性強，能有效拉伸過于集中的灰度級。但是，該算法復雜，極小值檢測容易出錯。此外，學者們還陸續提出了多峰值圖像直方圖均衡算法［3］、基于高斯混合模型的直方圖均衡算法［4］等。許多學者也開始研究局部增強算法，提出了許多新的技術，如暗背景下局部直方圖增強、區間可變的直方圖均衡化算法、基于直方圖互確認的圖像閾值化分割算法、子圖均衡算法、亮度保持直方圖均衡處理等［5-9］。局部增強算法由于重疊度高，算法都比較復雜，處理時延長。

圖像增強技術在實際應用中需要保持實時性，所以，圖像增強系統要優先考慮時延。現場可編程門陣列(FPGA)靈活性好，集成度高，同時開發周期短，擴展能力強，處理數據速度快，適合實時的信號處理。

本文提出了一種多子直方圖均衡算法，首先將直方圖按面積平均分割成4個子直方圖，利用平均像素數量作為閾值切割直方圖降低過度增強的現象，然后加入尺度因子對動態范圍進行調整，最后分別對子直方圖均衡得到增強效果。圖像經處理后，灰度級動態范圍分區更加合理，改進算法在硬件上實現，并由主客觀評價表明，它對微光圖像的增強效果很好，滿足實時性要求。

2 直方圖均衡算法

2.1 傳統直方圖均衡(Histogram Equalization，HE)

數字圖像直方圖灰度范圍是［0，L－1］。它是一個頻率分布函數，首先，計算出每個灰度級的像素數量。

式中，k=0，1，2，……，L－1;Xk表示輸入第k個灰度級;nk是圖像中第k灰度級對應的像素數量。

其次，計算出圖像每個灰度級的概率密度函數P(Xk):

由式(3)可推導出CDF(XL－1)=1，由此可以看出，直方圖均衡就是將圖像的灰度值平均分配到整個動態范圍內。用傳遞函數來表示輸入像素的傳遞函數:

式中，Xk是輸入的第k灰度級;XL－1代表最大灰度值。

2.2 動態直方圖均衡(Dynamic Histogram E-qualization，DHE)

DHE首先要用一個1×3的平滑濾波器去掉直方圖中不重要的極小值，然后對平滑后的直方圖取極小值作為分區點，把原直方圖分成幾個子直方圖。其次，在每個子直方圖中計算均值u，標準差σ。如果子直方圖在(μ－σ)～(μ+σ)范圍內的灰度級占據子直方圖整體灰度級的68.3%以上，那么就認為它是一個正態分布，不受其它灰

式中，n表示圖像的總像素數;k=0，1，2，……，L－1。

然后，由式(2)的統計結果計算圖像灰度級的累積概率密度函(Cumulate Density Function，CDF):度級影響;否則，就不是正態分布，需要重新劃分區域，在子直方圖中以(μ－σ)和(μ+σ)為分割點，分為3個更小的子直方圖，再進行檢驗，直到所有子直方圖都符合正態分布為止。

再次是分區，分區后第i個子直方圖的動態范圍由下式決定:

每個子直方圖要根據所占據整體動態范圍的比例來確定輸出的灰度級范圍，表達式如下:

式中，L表示最大灰度級。

最后，對每個子直方圖應用HE，其映射灰度值只能在指定分配的灰度級范圍內。

2.3 改進的直方圖均衡算法

經HE處理后，圖像的對比度得到明顯提高，但處理后的圖像有過亮或過暗的地方，增強結果不易控制，不能把較小的細節部分很好的增強。DHE算法較傳統HE算法效果好一些，但是，檢測極小值算法復雜且容易出錯，因此，在保證效果和復雜度的前提下提出了改進的直方圖均衡算法。

改進的算法包括5個過程:(1)直方圖分區;(2)剪切;(3)灰度級范圍分配;(4)動態范圍調整;(5)直方圖均衡化。

(1)直方圖分區

微光圖像的灰度級比較集中，包含的灰度級數量少，采用每個子直方圖有相同數目的像素數量的分割方法，能有效地將灰度級分隔開，避免了傳統峰值分割時出現的分割不理想或者無分割現象。

利用輸入圖像的直方圖的強度中值來分區，將其按照像素數量等分為4個子直方圖，最低和最高的灰度級設置為分區端點。

使用式(7)計算出每個分離點:

式中，m1、m2和m3分別是輸入圖像直方圖中總像素數量的0.25、0.50和0.75的灰度級。Iwidth和Iheight分別是輸入圖像的寬度和高度。

(2)裁剪

圖1 多子直方圖均衡算法處理過程Fig.1 Processes of multiple sub-histogram equalization algorithm

增加裁剪過程可以控制均衡化的增強度。學者們也提出了一些裁剪過程的方法，例如，自動裁剪過程——自適應閾值直方圖均衡化(SAPHE)［10］由王等人提出，然而，此方法中局部峰值檢測容易判斷錯誤而產生誤峰值，導致圖像不自然柔和。繼而由趙等人提出自適應閾值用加權來優化直方圖［11］——SAPHE 的改進技術，以直方圖非空處的值作為裁剪閾值，計算過程復雜。本文中，為了優化算法，選擇所有灰度級像素數量的平均值作為閾值Tc［12］，Tc=總像素數量n/灰度級數L。裁剪過程如圖1(b)和圖1(c)所示，對于大于閾值的值由閾值本身所取代，如圖1(c)所示，圖1(d)為子直方圖均衡過程。

(3)灰度級范圍分配

為了平衡每個子直方圖的提升空間，優化算法根據灰度級范圍所占的比例為子直方圖分配灰度級動態范圍，這個過程描述如下:

式(8)中，spani是輸入直方圖的第i個子直方圖的灰度級范圍;mi是第i個分區點;rangei是輸出直方圖中每個子直方圖的動態范圍。用式(9)來分配灰度級的動態范圍。

(4)動態范圍調整

微光圖像的灰度級比較集中，目標與背景難區分。因此，保留圖像細節尤為重要。子直方圖均衡后，像素數量少的灰度級會產生合并，從而導致細節減少。為了克服這種缺點，引進了尺度因子r，適當調整拉伸范圍，防止動態范圍的過度壓縮或過度拉伸，它可用來擴大可擴展的動態范圍。合理調整子直方圖的動態范圍，才能達到更好的效果。r定義如下:

式中，L是最大灰度級;k是分區的份數(k=4)。子直方圖調整灰度范圍aspan的定義:

式中，α是在0和1之間的尺度因子。

圖2是當算法有4個分離級別和尺度因子α=0.5時，4個子直方圖span的調整結果。

圖2 k=4，α=0.5時，改進算法動態范圍調整后aspan示意圖Fig.2 When k=4，α =0.5，schematic diagram of aspan after adjustment

第i個子直方圖的新的動態范圍被分配到［istart，iend］內，定義為式(11)和式(12):

第一個istart值和最后一個iend值分別是分配后動態范圍中最小和最大的灰度值，圖1(d)中顯示出直方圖新分配的動態范圍。

(5)直方圖均衡化

在所有子直方圖的新動態范圍確定后，算法的最后一步是獨立的對每個子直方圖均衡化。如果第i個子直方圖的分配范圍是［istart，iend］，那么，均衡化后子直方圖要完全分配在這個分區內，這部分的y(x)可使用式(14)傳遞映射函數確定。

3 基于FPGA的硬件實現

3.1 系統硬件結構

采用 Altera公司的 DE2-70 FPGA開發板，FPGA芯片是Cyclone II系列的EP2C70F896C6N。

此開發板有以下主要資源［13］:68416LEs(邏輯單元)，16×2 LCD模塊，150嵌入式乘法器，1個2 Mbyte SSRAM，1個8 Mbyte Flash內存，2個32 Mbyte SDRAM，1個 50 MHz振蕩器，1個28.63 MHz振蕩器，3個10 bit高速數字模擬轉換(DAC)，采用ADV7123 140-MHz作為3個10 bit高速視頻數/模轉換器，支持100 Hz刷新率時的高達1 600×1 200的分辨率，采用ADV7180多格式SDTV視頻解碼器，支持世界范圍內的NTFC/PAL/SECAM制式，開發板正常工作電壓為12 V。本文應用Verilog HDL硬件描述語言，在DE2-70開發板上實現改進的直方圖均衡增強算法，采用以下硬件結構:

圖3 DE2-70 FPGA開發板Fig.3 DE2-70 FPGA board

圖4 改進的直方圖均衡算法硬件結構Fig.4 Hardware structure of optimized algorithm

3.2 系統工作原理

在開發板上連接兩個SRAM，采用“乒乓工作模式”，在讀入一幀圖像時，時鐘上升沿SRAM1進行直方圖統計及找分區點工作;在時鐘下降沿，利用SRAM2進行直方圖均衡處理運算［14］。乒乓操作的最大特點是通過“輸入數據流選擇單元”和“輸出數據流選擇單元”的互相配合，可將經過緩存的數據流沒有時間停頓地送到下一級處理單元中［15］利用資源，處理速度快。將增強算法模塊加載到這個系統之中就可實現算法。在實時處理視頻時，用前一幀的計算結果處理后一幀圖像，這樣省去了等待時間。

在算法復雜度上，傳統直方圖均衡算法分為直方圖統計和傳遞函數兩部分，在硬件上將時鐘4倍頻，每個時鐘讀入一個像素，即可處理完成。優化算法中，在閾值計算部分，只需要一步除法即可求出，在處理視頻圖像時，由于圖像大小是固定的，只需要對第一幀圖像求閾值，之后可直接應用，免去了重新計算過程。在分配動態范圍時加入的尺度因子也是固定值，即灰度級范圍的1/4。根據尺度因子公式，每一幀圖像增加的只有8次加法，4次乘法。閾值和尺度因子都可以存儲到SRAM中，應用時可直接讀取，從而降低算法的復雜度。

4 結果及分析

在開發板上實現改進的直方圖均衡算法，圖5(a)為夜晚黑暗條件下拍攝的飲料盒圖片，實驗結果如圖5(b)所示，圖像處理時間為一幀圖像大小加上一個像素處理時間再除以時鐘頻率［16-21］，實驗所用的時鐘頻率為 50 MHz，假設圖像大小為128×128，通過公式計算時延約為

從圖5中可以看到，原始圖像中目標被淹沒，肉眼難以發現，整體對比度很低，經過增強后的圖像，噪聲和過度增強現象得到抑制，目標變得清晰。在FPGA上可以滿足實時處理要求。

為了說明本文算法的優越性，分別用傳統直方圖均衡技術(HE)、動態直方圖均衡(DHE)及改進的直方圖均衡算法基于Matlab對微光圖像做了大量實驗，并比較上述各種算法的增強結果。對于圖像增強質量評價，采用圖像熵結合主觀評價共同評測。這里用離散熵作為定量評價。

由直方圖可以得出:

式中，p(xk)是第k灰度級的概率。由熵的定義可知，熵值較高說明圖像帶來的信息量較多。

實驗選用的是微光條件下海底拍攝的魚的圖像，如圖6所示。圖6(a)是原不清晰圖像，整體偏暗色，魚的身體及周邊的小石子都不清晰。HE處理后的圖像，即圖6(b)，圖像整體變得偏白，魚的身體可以分辨出來，說明成功的提高了圖像的對比度，但是，圖像過于明亮，看起來有“過增強”現象。DHE處理后的圖像，即圖6(c)，能較好的分辨出魚身和周邊小石子，但圖像還是過亮，一些區域出現強度飽和的問題，比如身下的小石子。以上方法可以明顯增強對比度，但是，對突出圖像的細節方面較弱，這點可以在實驗的直方圖中看出。第一組實驗中改進的算法使圖像色彩更柔和自然，提高了對比度，產生了更好、更清晰的圖像，噪聲也成功的被抑制了，此外，在細節方面也保留的很好。從直方圖中也可以看出，直方圖被拉伸的很均勻。

以下是多組圖像實驗的增強結果。圖片分別為微光環境下房子圖像、路燈光下人的圖像和微光圖像下坦克的圖像。

圖6 第一組實驗結果Fig.6 Experiment results of group 1

圖7 第一組實驗直方圖Fig.7 Experiment histograms of group 1

離散熵的計算結果列于表1。其中自適應分割直方圖均衡算法產生了最高的熵，這足以說明改進的算法在突出圖像細節方面做得很好。此外，由主觀分析也可以看出改進的算法能產生更柔和自然的圖像。總體而言，上述提到的改進直方圖均衡算法在上述增強圖像算法中效果是最佳的。綜上所述，在上述介紹的3種算法中，在客觀和主觀上，都能說明改進的算法產生了更好、更清晰的圖像，滿足了圖像增強的兩種要求:增強圖像的局部對比度，調節圖像灰度級的動態范圍。

圖8 第二組實驗結果Fig.8 Experiment results of group 2

圖9 第三組實驗結果Fig.9 Experiment results of group 3

圖10 第四組實驗結果Fig.10 Experiment results of group 4

表1 多種增強算法的圖像熵值Tab.1 Entropy of enhanced images by different algorithm

5 結論

本文以提高微光圖像的對比度為目的，針對一般直方圖均衡算法過度增強、噪聲放大、丟失細節的缺點，提出了多子直方圖均衡增強算法，利用閾值抑制過度的增強，分區后進行動態范圍調整也保證了此算法對圖像細節部分的提取能力，不會產生飽和、噪聲放大現象，克服了傳統直方圖均衡的缺點，通過定性和定量評價都得到最佳性能。在FPGA上實現此算法，一幀圖像約為0.45 ms，在硬件上能夠有效的實現預期的增強效果，滿足實時性要求。

［1］ 蔡式東，楊芳.基于直方圖修正的圖像增強算法［J］.光電子技術，2012，32(3):155-159.

CAI SH D，YANG F.Image enhancement based on histogram modification［J］.Optoelectronic Technology，2012，32(3):155-159.(in Chinese)

［2］ ABDULLAH-AL-WADUD M，HASANUL KABIR M，ALI AKBER DEWAN M，et al..A dynamic histogram equalization for image contrast enhancement［J］.IEEE Transactions on Consumer Electronics，2007，53(2):593-601.

［3］ YANG F，WU J.An improved image contrast enhancement in multiple-peak images based on histogram equalization［J］.IEEE Conference Publications，2010，1:346-349.

［4］ CELIK T，TJAHJADI T.Automatic image equalization and contrast enhancement using gaussian mixture modeling［J］.IEEE Transactions on Image Processing，2012，21(1):145-156.

［5］ 范永杰，張亞萍，陳華.平臺直方圖均衡算法實現的存儲優化方法［J］.激光與紅外，2013，5:522-525.

FAN Y J，ZHANG Y P，CHEN H.Realizing，memory optimization to plateau histogram［J］.Lasers and Infrared，2013，5:522-525.(in Chinese)

［6］ 吳成茂.可調直方圖均衡化的正則解釋及其改進［J］.電子學報，2011，39(6):1278-1284.

WU CH M.Regularization explanation of adjustable histogram equalization and its improvement［J］.Acta Electronic Sinica，2011，39(6):1278-1284.(in Chinese)

［7］ 吳強，王新賽，賀明，等.一種結合小波分析與直方圖的紅外圖像增強方法［J］.應用光學，2011，32(3):464-467.

WU Q，WANG X R，HE M，et al..Infrared image enhancement based on wavelet analysis and histogram［J］.J.Appl.Optics，2011，32(3):464-467.(in Chinese)

［8］ 黃梅，吳志勇，梁敏華，等.暗背景下低灰度圖像的實時增強［J］.液晶與顯示，2011，26(3):374-378.

HUANG M，WU ZH Y，LIANG M H，et al..Real-time enhancement method of low gray image under dark background［J］.Chinese J.Liquid Crystals and Displays，2011，26(3):374-378.(in Chinese)

［9］ WELLING P，KIM S H，CHO S B.Brightness preserving contrast enhancement using polynomial histogram amendment［C］.IEEE Soc Design Conference，Jeju Island，Korea，4-7 November，2012.

［10］ CHEN H O，KONG N S P，IBRAHIM H.Bi-histogram equalization with a plateau limit for digital image enhancement［J］.IEEE Consumer Elevtronics，2009，55(4):2072-2087.

［11］ GAN C，YE Z.Brightness preserving histogram equalization with maximum entropy:a variational perspective［J］.IEEE Transactions on Consumer Electronics，2005，51(4):1326-1334.

［12］ 孫海江，王延杰，劉偉寧.基于自適應平臺閾值和拉普拉斯變換的紅外圖像增強［J］.中國光學，2011，4(5):474-479.

SUN H J，WANG Y J，LIU W N.Enhancement of infrared images based on adaptive platform threshold and laplace transformation［J］.Chinese Optics，2011，4(5):474-479.(in Chinese)

［13］ 王靜軒，尹傳歷.基于DSP和FPGA的嵌入式實時圖像增強系統［J］.液晶與顯示，2013，28(3):459-463.

WANG J X，YIN CH L.Embedded color image enhancement system based on DSP and FPGA［J］.Chinese J.Liquid Crystals and Displays，2013，28(3):459-463.(in Chinese)

［14］ 吳家偉，武春風，庹文波.紅外圖像實時顯示增強系統設計［J］.光學 精密工程，2009，17(10):2612-2619.

WU J W，WU CH F，YU W B.Design of real-time infrared image enhancement system［J］.Opt.Precision Eng.，2009，17(10):2612-2619.(in Chinese)

［15］ 李強，龔俊亮.基于FPGA的實時紅外圖像采集與預處理系統［J］.紅外，2012，33(10):21-24.

LI Q，GONG J L.Design of real-time infrared image acquisition and pre-process system based on FPGA［J］.Infrared，2012，33(10):21-24.(in Chinese)

［16］ 姜文濤，陳衛東，錢鈞，等.基于FPGA的實時圖像增強設計［J］.應用光學，2010，31(6):965-968.JIANG W T，CHEN W D，QIAN J，et al..Real-time image enhancement based on FPGA［J］.J.Appl.Optics，2010，31(6):965-968.(in Chinese)

［17］ 韓希珍，趙建.結合偏微分方程增強圖像紋理及對比度［J］.光學 精密工程，2012，20(6):1382-1388.

HAN X ZH，ZHAO J.Enhancement of image texture and contrast combined with partial differential equation［J］.Opt.Precision Eng.，2012，20(6):1382-1388.(in Chinese)

［18］ 張超，李洪文，賈建祿，等.高幀頻多通道圖像采集與顯示［J］.液晶與顯示，2013，28(4):593-597.

ZHANG CH，LI H W，JIA J L，et al..High frame rate and multiple channels digital image acquisition and display［J］.Chinese J.Liquid Crystals and Displays，2013，28(4):593-597.(in Chinese)

［19］ 賀柏根，劉劍，馬天瑋.基于DSP+FPGA的實時圖像去霧增強系統設計［J］.液晶與顯示，2013，28(6):968-972.

HE B G，LIU J，MA T W.Real-time image defogging and enhanced system designed based on DSP+FPGA［J］.Chinese J.Liquid Crystals and Displays，2013，28(6):968-972.(in Chinese)

［20］ 尹傳歷，王嘯哲.機載嵌入式圖像增強系統設計與實現［J］.液晶與顯示，2013，28(4):604-607.

YIN CH L，WANG X ZH.Design and realization of airborne embedded image enhancement system［J］.Chinese J.Liquid Crystals and Displays，2013，28(4):604-607.(in Chinese)

［21］ 孫玉勝，白克.基于小波變換與加權濾波的電機紅外圖像增強［J］.液晶與顯示，2010，25(3):439-443.

SUN Y SH，BAI K.Enhancement of motor infrared image based on wavelet transform and weighted filtering［J］.Chinese J.Liquid Crystals and Displays，2010，25(3):439-443.(in Chinese)