基于頂帽底帽變換的仿生圖像增強算法

于天河，李昱祚，蘭朝鳳

（哈爾濱理工大學電氣與電子工程學院，哈爾濱150080）

（?通信作者電子郵箱2045227040@qq.com）

0 引言

圖像增強技術(shù)在圖像研究領(lǐng)域一直占據(jù)了舉足輕重的作用，近年來，人們提出了許多有效的圖像增強方法，如小波變換法［1］等取得了顯著的增強效果［2-5］，但是這些增強方法因為單純地引入數(shù)學方法到圖像增強領(lǐng)域中，沒有考慮到人類的視覺感官特性，存在很嚴重的增強后表現(xiàn)結(jié)果失真、圖像輪廓模糊、色彩飽和度低的問題。對于低照度圖像的增強處理往往分為兩個方面：物理模型法和非物理模型法。物理模型法中，一般是使用直方圖均衡化、色調(diào)映射以及Retinex等方法。直方圖均衡化可以明顯增加低照度圖像的對比度，但是增強結(jié)果總是存在著細節(jié)模糊、色彩失真等問題。而Retinex方法是基于人眼視覺系統(tǒng)角度而提出的，該方法闡述了物體本身的色彩是表征物體本身的固有屬性，不會因為光照的不同而發(fā)生突變。Retinex算法把物體假設(shè)為由光照圖像與反射圖像相乘得到，但是Retinex算法應(yīng)用于低照度圖像增強的操作往往需要對圖像RGB（Red，Green，Blue）色彩空間的三個分量進行處理，容易在圖像增強過程中出現(xiàn)色彩失真以及過度增強的問題。本文研究仿生彩色圖像增強方法［6］，該圖像增強方法具有較好的視覺效果，圖像的色彩得到了較好的保持，但是圖像中的邊界范圍存在著一定的模糊，導(dǎo)致圖像顯得輪廓模糊，同時圖像的色彩飽和度低。通過研究頂帽變換和底帽變換，發(fā)現(xiàn)了它們對于細節(jié)和背景的明暗提取功能效果十分明顯，于是在此基礎(chǔ)上，提出了一種頂帽和底帽變換相結(jié)合的仿生圖像增強算法。

1 三高斯和頂?shù)酌彼惴ɑ驹?/h2>

1.1 神經(jīng)元感受野三高斯模型

Rodieck曾提出過一種雙高斯差（Difference Of Gaussian，DOG）模型［7-8］，該模型準確地描述了視網(wǎng)膜神經(jīng)節(jié)細胞感受野的輸入-輸出功能特性。以大小各異、同心重疊的圓形區(qū)來表現(xiàn)出神經(jīng)節(jié)細胞中的傳統(tǒng)感受野的中心區(qū)域和外周區(qū)域的分布情況。然而該模型忽略了傳統(tǒng)感受野的外部區(qū)域中還存在著大范圍的去抑制區(qū)域，研究學者L i在雙高斯模型的基礎(chǔ)上分析了其中的原因，并以此基礎(chǔ)上提出了三高斯模型［3-4］。在DOG模型的基礎(chǔ)上，通過添加第3個高斯核代表去抑制區(qū)。三高斯模型為：

其中：A1、A2、A3分別表示出中央、四周和邊緣三個范圍內(nèi)的興奮強度；σ1、σ2、σ3三個參數(shù)分別表示中央、四周和邊緣三個范圍內(nèi)的區(qū)域半徑。使用這一模型來處理圖像，不僅能很好地增強圖像的邊緣，同時還能高效提升暗光圖像中低空間頻率的成分，最終滿足傳遞亮度梯度緩慢變化信息的需要。三高斯模型在空間域上用Matlab仿真結(jié)果如圖1所示。三維圖體現(xiàn)了中央部分刺激興奮突出、四周部分抑制和邊緣部分興奮的特性。該模型用于暗光圖像的增強邊緣對比度方面有著顯著的效果。

圖1 三高斯模型的空間結(jié)構(gòu)Fig.1 Spatial structureof tri-Gaussian model

1.2 頂帽變換和底帽變換

頂帽變換是圖像分析處理中形態(tài)學變換的一種重要方法，能夠完成對大面積范圍內(nèi)單一較暗背景的提取，從而進一步實現(xiàn)從背景中提取局部較亮區(qū)域的功能。而底帽變換的作用則恰恰相反［9-10］。頂帽變換和底帽變換分別定義為：

其中：I為原始圖像；I'為頂帽變換后圖像，I"為底帽變換后的圖像；B為結(jié)構(gòu)元素；I°B表示原始暗光圖像與結(jié)構(gòu)元素B進行開運算最后得到的結(jié)果，即可以精細地得到背景圖像；I?B表示原始暗光圖像與結(jié)構(gòu)元素B進行閉運算得到的結(jié)果。開運算和閉運算的過程如圖2所示。

B的選取對圖像增強工作產(chǎn)生很重要的作用。頂帽變換具有類似高通濾波的作用，可以突顯出圖像細節(jié)部分；而底帽變換則具備低通濾波的特色，突出圖像相連接目標部位間的邊界。將頂?shù)酌弊儞Q之間這種特性進行相結(jié)合用于暗光圖像增強研究中，可以將暗光圖像的目標與背景得到一定的拉伸，突顯出目標與細節(jié)部位的信息。

結(jié)構(gòu)元素B有不同的形狀，有圓盤形、六邊形等，構(gòu)造不同的結(jié)構(gòu)元素，得到的暗光增強圖像的效果也不同。結(jié)構(gòu)元素形狀b與膨脹運算bn如式（4）所示：

圖2 開運算與閉運算Fig.2 Open operation and closeoperation

對于圓盤形結(jié)構(gòu)元素，其具有各向?qū)ΨQ性，尤其3×3結(jié)構(gòu)元素的結(jié)構(gòu)形狀，運算速度快，檢測結(jié)果精細，本文選擇以該結(jié)構(gòu)為實驗選擇對象。對于B的尺寸的選擇在圖像增強結(jié)果起到更重要作用：大尺寸的結(jié)構(gòu)元素圖像去噪能力強，缺點是圖像邊緣顯得較粗；而小尺寸的結(jié)構(gòu)元素能較好地檢測圖像的邊緣細節(jié)，缺點是去噪能力弱。

2 頂?shù)酌钡姆律鷪D像增強算法

2.1 暗光條件下的彩色圖像增強算法

本文改進的仿生圖像增強算法，主要包括神經(jīng)元感受野三高斯模型和頂?shù)酌弊儞Q對低照度圖像細節(jié)和背景較亮部分的提取。由于彩色圖像RGB（Red，Green，Blue）顏色空間具有很高的色彩相關(guān)性，沒有將RGB三個色彩通道進行各通道的單一處理，而是將RGB色彩空間轉(zhuǎn)化為HSV（Hue，Saturation，Value）空間［11］，得到三個分量，分別是亮度分量V、色調(diào)分量H和飽和度分量S，然后對后兩個分量保持不變，對所要研究的V分量進行處理，利用式（5）～（7）完成色彩空間之間的轉(zhuǎn)化：

式中：R、G、B分別代表原始暗光彩色圖像的空間的像素值，max｛R，G，B｝表示R、G、B中最大的值，min｛R，G，B｝表示R、G、B中最小的值。

2.2 人眼視覺對光照強度的限制

生物學研究表明，人眼視覺對亮度的反應(yīng)具有對數(shù)非線性這一特殊性［12］。人眼的視覺掩蓋效應(yīng)是一種局部效應(yīng)，受背景照度、紋理復(fù)雜性和信號頻率的影響，具有不同局部特性的區(qū)域，在保證不被人眼察覺的前提下，允許改變的信號強度不同。人眼的視覺特性是一個多信道（Multichannel）模型。或者說，它具有多頻信道分解特性。例如，對人眼給定一個較長時間的光刺激后，其刺激靈敏度對同樣的刺激就降低，但對其他不同頻率段的刺激靈敏度卻不受影響。人眼會根據(jù)周圍環(huán)境中光照強度的變化做出調(diào)整，不能同時在一個范圍內(nèi)工作的，當人眼在當前的平均亮度下適應(yīng)后，視覺的感受范圍會有限制。比如在一個黑暗的屋子里中點亮一盞燈，在該環(huán)境下比再點亮十盞燈對人眼的刺激還大，所以在圖像中，平均亮度大的區(qū)域范圍內(nèi)的灰度誤差，人眼的視覺感受并不敏感。人眼會在當前的這一光照強度上適應(yīng)該強度的主觀亮度的范圍。但是在這種光照強度下，人眼對該范圍具有限制作用，使其在一定的亮度范圍以下，導(dǎo)致對所有的刺激亮度都用不可辨別的黑色來理解［7-8］。

2.3 全局亮度對數(shù)變換

暗光彩色圖像整體的暗度較低，圖像中的物體大部分被陰暗遮蔽，人眼主觀無法看出物體的輪廓。對亮度分量V進行對數(shù)變換，可以滿足人眼視覺對光照強度的主觀感受，同時完成對圖像明暗的調(diào)整、動態(tài)范圍的壓縮。其公式如下：

其中：I(x，y)為亮度分量V的值，M為圖像動態(tài)范圍最大值256，Ig(x，y)是對該亮度分量進行歸一化處理。

2.4 局部邊緣的對比度增強

全局處理圖像的亮度后，圖像的對比度仍然很差，圖像邊緣輪廓不清。再由當前的像素亮度值與其鄰域范圍的平均亮度的關(guān)系，進行圖像的局部的對比度增強。公式如下：

其中：Ig(x，y)為圖像全局對數(shù)變換；Ib(x，y)為當前像素點的鄰域平均亮度，由三高斯模型雙邊濾波獲得；K為比例系數(shù)。

雙邊濾波具有很強的對圖像邊緣保持的性能，同時還有去噪的能力，該方法是空間權(quán)值和相似權(quán)值都考慮的一種非線性濾波方法。由于考慮了像素點的數(shù)值及其位置上兩方面的原因：像素間的歐氏距離和相似程度，選擇三高斯模型下的雙邊濾波，可以充分體現(xiàn)出物體邊緣部位的信息情況。該方法下獲得圖像的平均亮度公式如下：

式中：GR與GV為空間和數(shù)值兩方面相似的高斯核函數(shù)。

2.5 色彩恢復(fù)

暗光彩色圖像RGB轉(zhuǎn)化HSV色彩空間后對V亮度分量處理后，經(jīng)過全局亮度增強和局部亮度增強后，圖像的顏色沒有復(fù)原。顏色復(fù)元的方法如式（14）所示：

其中：Ij（x，y）分別對應(yīng)原始暗光圖像中的r、g、b三原色分量；Sj（x，y）是增強后彩色圖像對應(yīng)的r、g、b三原色分量。

本文的研究算法整個步驟過程分為以下3個部分：

步驟1 提取暗光圖像中HSV空間中的亮度分量V，進行全局亮度的對數(shù)變換，來滿足視覺特性的主觀感受，將暗光圖像中低照度區(qū)域進行亮度提升。

步驟2 利用視網(wǎng)膜神經(jīng)元的感受野三高斯模型的雙邊濾波處理，獲取暗光圖像中各個像素點的鄰域平均亮度。再由當前圖像中每個像素值與其鄰域的平均亮度之間的線性關(guān)系，來實現(xiàn)步驟1中對整體亮度增強圖像的局部對比度增強。

步驟3 前兩部分的處理使暗光圖像得到了較好的增強效果，但是圖像的背景明暗度較差，色彩飽和度低。利用頂帽底帽變換進一步實現(xiàn)從前圖像背景中提取局部較亮部分的功能，使用該方法再對圖像進行明暗提取和降噪，最后得到本文算法最終的暗光增強圖像。

本文的整個算法流程如圖3。

圖3 本文算法流程Fig.3 Flowchart of theproposed algorithm

3 實驗結(jié)果與分析

經(jīng)過大量的仿真實驗，選取了4組實驗圖片作對比，選取的照片是暗光條件下拍攝的。對比的實驗方法分別是直方圖均 衡［13］和 Retinex 算 法 中 的 SSR（Single-Scale Retinx）和MSRCR（Multi-Scale Retinex with Color Restoration）［14-16］三種方法。4組實驗中所采用的原圖像為700×500、950×700、400×700、600×900彩色的jpg格式。圖4為實驗原圖像。圖5～8為實驗結(jié)果對比。

3.1 主觀分析

從圖4～8原圖像和各種增強方法增強效果可以看出，圖4中原圖像整體偏暗，圖中物體輪廓不清，局部細節(jié)無法觀察到，圖像色彩飽和度低，視覺效果較差。直方圖均衡提高了圖像的整體對比度，但是圖像的細節(jié)部分沒有表現(xiàn)出來，圖像存在較大噪聲、顏色失真、圖像飽和度差。SSR算法提高了圖像亮度，但是圖像整體偏白，存在過度增強的現(xiàn)象，主觀視覺效果差，細節(jié)層次不分明，圖像色彩失真。MSRCR算法對增強圖像的色彩有了較好的保持，圖像視覺效果較好，但圖片飽和度低，導(dǎo)致圖像景深變差，光源方向感消失，圖像看起來不自然，感知效果比較差。本文算法增強的低照度圖像，圖像對比度較高，樹葉、貓、椅子等景物的細節(jié)清楚，輪廓分明，色彩豐富，圖像更生動，清晰度更高。本文算法得到的低照度增強圖像與人眼所能感受到的實景更接近，實物的細節(jié)更突出，圖片更清楚，圖像生動色彩豐富，圖片的質(zhì)量更好。

由灰度直方圖可以清晰地看出，直方圖均衡算法對圖像灰度拉伸比較明顯，灰度分布覆蓋0～255范圍，可以使圖像灰度級的概率密度分布近似于均勻分布，從而提高圖像整體對比度并增強細節(jié)。SSR、MSRCR算法將灰度值較低的像素增強，增強之后灰度值變大，使得圖像低灰度的像素數(shù)量變少。從本文算法的直方圖可以看出，對灰度拉伸比較明顯，原直方圖中的三個峰保留明顯，對一些灰度的信息保留較好。

圖4 原圖像及其直方圖Fig.4 Original imagesand their histograms

圖5 植物的實驗效果對比Fig.5 Comparison of experimental results of plant

圖6 貓的實驗效果對比Fig.6 Comparison of experimental results of cat

3.2 客觀評價

為了更好地客觀評價本文低照度圖像增強算法的有效性，選用亮度均值、對比度提升指數(shù)、峰值信噪比（Peak Signalto-Noise Ratio，PSNR）3個指標［17］來作為本次的評價標準。本文的亮度均值指標定義為將RGB圖像變換到HIS色彩空間，對其中的亮度分量I進行取均值的操作。

1）對比度提升指數(shù)的定義。

將圖像分為3×3的圖像塊，C表示為全部的3×3圖像塊對比度的均值，圖像塊對比度定義為：

式中：max為圖像塊灰度值的最大值；min為圖像塊灰度值的最小值。式（15）中original和proposed符號分別表示原始低照度圖像與其增強后的圖像。

2）基于像素差異的評價標準。

MSE（Mean Squared Error）表示增強的低照度圖像X與輸入的原始低照度圖像Y的均方誤差，MSE的計算見式（17），其中H和W分別表示為圖像中的高和寬。峰值信噪比（PSNR）是由MSE計算而來，用來一個衡量圖像失真或是噪聲水平，PSNR越大，表示圖像失真和噪聲越小。PSNR的計算見式（18）。PSNR指標是最普遍使用的評鑒畫質(zhì)的一種客觀量測方法。

表1是原始圖像和4種方法增強處理后圖像性能的客觀評價標準。

圖7 河水的實驗效果對比Fig.7 Comparison of experimental resultsof river

圖8 游樂場的實驗效果對比Fig.8 Comparison of experimental results of playground

表1 實驗數(shù)據(jù)比較Tab.1 Experimental data comparison

從亮度均值角度來看，4種方法對原始低照度圖像都有顯著的增強效果，提升了圖像的亮度，本文算法亮度均值數(shù)值上低于其他增強算法。

從對比度提升指數(shù)方面來看，直方圖均衡化和本文算法的對比度提升指數(shù)最大，但是直方圖均衡直觀反映的圖像效果并不好，不適合暗光的增強效果，因為該算法并沒有從物體成像的機制和人眼的視覺特性去考慮，而本文算法的對比度提升指數(shù)比起SSR和MSRCR算法，其數(shù)值較高，有良好的對比度增強效果。

從峰值信噪比PSNR指標來看，本文的數(shù)值較大，圖像的失真和噪聲相比其他3種算法來說較小。綜上對暗光增強的主觀評價和對4組實驗中的數(shù)據(jù)客觀對比來說，本文算法優(yōu)于其他幾類熱門的圖像增強方法。

4 結(jié)語

低照度圖像存在對比度低，圖像細節(jié)模糊，色彩飽和度低的問題，本文提出了頂?shù)酌弊儞Q的仿生圖像增強算法有效地改良了這些問題。前人使用神經(jīng)元感受野三高斯模型有效提升了低照度圖像的局部對比度，但是實驗發(fā)現(xiàn)增強的圖像存在著過增強現(xiàn)象以及圖像色彩飽和度低的問題。而本文引入了頂?shù)酌弊儞Q相結(jié)合的方法改進圖像的視覺效果。該方法提取圖像的光照背景并且解決了圖像景深的問題，使改進后的仿生圖像方法增強的圖像對比度高，細節(jié)清楚，色彩飽和度高。

本文算法通過與直方圖均衡、SSR、MSRCR算法進行實驗對比，從客觀評價指標亮度均值、對比度提升指數(shù)、峰值信噪比以及主觀視覺感受來評價實驗結(jié)果。實驗結(jié)果證明，本文的低照度圖像增強方法對圖像的對比度提升有更好的效果，圖像灰度范圍被拉伸，圖像輪廓更清楚，色彩更豐富，在實際應(yīng)用中有很強的研究價值。