基于Retinex 理論改進(jìn)的低照度圖像增強(qiáng)算法

閆保中，韓旭東，何偉

哈爾濱工程大學(xué) 自動化學(xué)院，黑龍江 哈爾濱 150001

圖像信息是人與人之間進(jìn)行交換信息的主要傳播媒介，人們在日常生活中，圖像信息是不可或缺的。據(jù)研究結(jié)構(gòu)不完全統(tǒng)計，視覺信息在人類獲取的外界信息比聽覺信息多一倍以上，大約占信息總數(shù)的3/4。圖像是最簡單直觀的信息來源。隨著科技的發(fā)展，人工智能當(dāng)前發(fā)展迅速，在進(jìn)行物體識別時，許多識別場合都需要用到視覺效果良好的圖像。然而在實際場景中，理想的光照條件往往很難得到滿足，在這種環(huán)境下，無論是通過人眼直接獲取，還是通過圖像采集單元采集到的圖像信息，常常存在整體亮度偏暗、噪聲大、圖像細(xì)節(jié)信息少等問題。因此有必要采用圖像增強(qiáng)算法，去處理視覺效果差的圖像，提高圖像的質(zhì)量，豐富圖像細(xì)節(jié)，提高圖像對比度，消除圖像噪聲，以便對圖像進(jìn)行后期處理。例如:視頻監(jiān)控、駕駛員駕駛行為檢測、醫(yī)學(xué)圖像處理等。綜上所述低照度圖像增強(qiáng)技術(shù)在未來各行各業(yè)都有重要的研究價值。

在實際生活中，多種圖像增強(qiáng)技術(shù)已經(jīng)被應(yīng)用，其中常用的有暗通道算法、伽馬校正、依據(jù)直方圖的直方圖均衡化、色調(diào)映射神經(jīng)網(wǎng)絡(luò)、Retinex理論。其中基于Retinex 理論，經(jīng)過多年的研究，學(xué)者又提出了多種圖像增強(qiáng)算法。劉曉陽等[1]在Retinex 算法基礎(chǔ)上用雙邊濾波代替高斯濾波，該算法避免了圖像的顏色失真及細(xì)節(jié)丟失，缺點(diǎn)是算法復(fù)雜，程序運(yùn)行時間長；Fu 等[2]在Kimmel 和Ng 方法的基礎(chǔ)上提出了光照和反射的加權(quán)變分模型，該算法可以使圖像的高頻信息不被破壞；李慧芳等[3]人使用變分最優(yōu)化技術(shù)，并且在該技術(shù)中加入了投影歸一化最速下降法，通過兩種技術(shù)的結(jié)合去遙感圖像的光照分量也即低頻分量，該算法作用明顯，能夠明顯消除遙感圖像的灰度不均勻性，并且保持圖像的紋理信息；劉欽堂[4]在處理圖像時，對顏色空間進(jìn)行了變換，將圖像的顏色空間由RGB 變換至HIS，在HIS 空間中，I 表示的是亮度分量，除此之外他還將亮度分量分成不同的區(qū)間段，區(qū)間的分段采用對數(shù)圖像處理模型，每一個區(qū)間段都有自己的尺度，在每個區(qū)間獨(dú)立地使用Retinex 算法進(jìn)行圖像增強(qiáng)，該算法可以減少圖像中顏色的失真。張雪峰等[5]提出使用具有邊緣保持特性的雙邊濾波核函數(shù)作為中心環(huán)繞函數(shù)，雙邊濾波可以準(zhǔn)確估計明暗突變的環(huán)境照度分量，但是該算法比較復(fù)雜，計算量較大，在嵌入式系統(tǒng)中考慮到實時性，該算法不能被采用。He 等[6]采用局部線性模型的引導(dǎo)濾波作為中心環(huán)繞函數(shù)，引導(dǎo)濾波保留著雙邊濾波的平滑保邊作用，并且其效率不受窗口半徑的影響，程序運(yùn)行的時間復(fù)雜度也大大降低。

針對光照不均勻，導(dǎo)致采集到的圖像噪聲大、分辨率低、圖像整體對比度差等問題，本文對Retinex 理論進(jìn)行研究，用改進(jìn)的低照度圖像增強(qiáng)算法去恢復(fù)圖像原有的視覺特征，提高圖像的質(zhì)量。

1 Retinex 基本理論

1.1 Retinex 理論

Retinex 理論由Land 在大量的重復(fù)試驗后在俄亥俄州提出。根據(jù)Retinex 理論，一幅圖像由入射圖像和反射圖像構(gòu)成，入射圖像在頻域中屬于低頻分量，它是緩慢變化的；反射分量具有突變性，在圖像的頻域中屬于圖像的高頻分量。

圖像模型表示為

式中:S(x,y)為源圖像；L(x,y)為圖像的光照分量；R(x,y)為圖像的反射分量。其中R(x,y)為我們要求的目標(biāo)圖像，光照分量只能通過近似估計獲得。Retinex 算法框圖如圖1 所示。

圖1 Retinex 算法框圖

1.2 Retinex 相關(guān)算法

在Retinex 理論提出后，單尺度Retinex(single-SR, SSR)算法出現(xiàn)。為了計算方便，在求解時，需要將式(1)轉(zhuǎn)換到對數(shù)域

在傳統(tǒng)的Retinex 算法中，G(x,y)常取高斯函數(shù)，使用高斯尺度算子可以對原圖像提供更局部的處理，從而更好地增強(qiáng)圖像，式(2)中G(x,y)表示的是Retinex 算法中的中心環(huán)繞函數(shù)。

式中: λ是一個常量，滿足:c作為中心環(huán)繞函數(shù)的一個重要尺度常量，c的大小與圖像的動態(tài)壓縮范圍密切相關(guān)。c越小，表示低照度圖像的動態(tài)范圍壓縮的程度就相比較大；c越大，圖像銳化程度越大。使用SSR 算法不能同時滿足細(xì)節(jié)增強(qiáng)、顏色保真。

SSR 算法在單一尺度對圖像進(jìn)行處理。這種單一操作，不能同時保證圖像的色彩動態(tài)范圍和圖像的色感。針對這一問題，Rahman 等[7]提出了MSR 算法。MSR 是SSR 算法的加權(quán)平均。MSR算法表示如下:

式中:n為MSR 算法中多尺度的個數(shù)，經(jīng)實驗驗證n通常取3 比較合適，當(dāng)n取3 時可以表示彩色圖像； ωi為加權(quán)系數(shù)；Gi(x,y)一般取高斯低通濾波器:

MSR 算法已經(jīng)做出了很大的改進(jìn)。在進(jìn)行MSR 算法時分別對RGB 每個通道進(jìn)行處理，在對單獨(dú)通道進(jìn)行處理時容易造成每個通道處理之后不平衡，引入其他干擾噪聲，這樣處理之后會導(dǎo)致圖像的局部顏色失真，不能呈現(xiàn)物體本身的面貌，圖像的整體效果將會變差，視覺效果不佳。

2 低照度圖像增強(qiáng)算法改進(jìn)

2.1 HSV 顏色空間及變換

物體的顏色空間目前有很多種，例如RGB、LAB、YUV 等類型。顏色是人們視網(wǎng)膜以及大腦處理之后產(chǎn)生的視覺效應(yīng)。人們根據(jù)物體顏色的直觀特性提出了HSV 顏色空間。在HSV 顏色空間中，H表示顏色的色調(diào)、S為飽和度、V為亮度，該模型在幾何圖形中與六角錐類似，人們常稱HSV 顏色空間為六角錐模型。HSV 顏色空間模型如圖2 所示。

圖2 HSV 顏色空間模型

在HSV 模型中，色調(diào)H用數(shù)學(xué)上的圓形角度度量，范圍為0°～360°；亮度V取值范圍為0～1，V值越大，圖像顏色越飽和；飽和度S的取值范圍為0～100%，S越大，表示圖像的顏色越飽和。

在HSV 顏色空間，亮度分量是單獨(dú)通道，對亮度通道進(jìn)行處理不會對圖像的色彩產(chǎn)生其他影響，避免了處理之后顏色失真。RGB 圖像轉(zhuǎn)換到HSV 顏色空間如下

2.2 非局部均值濾波算法

非局部均值(NLM)[8]是近年來通過實驗方法得到的一種新的數(shù)字式去噪方法。NLM 方法將圖像中的冗余信息充分利用起來，不但可以有效對圖像進(jìn)行降噪，而且可以最大程度保留圖像的細(xì)節(jié)紋理信息。NLM 算法是以塊之間的相似性為基礎(chǔ)建立權(quán)值計算模型的[9]。假設(shè)圖像P(x,y)為噪聲圖像，圖像D(x,y)為去噪之后的圖像，圖像D(x,y)中像素點(diǎn)x處的灰度值為

式中ω(x,y)為圖像中每個像素點(diǎn)之間的相似度，ω(x,y)的大小計算過程如下

式中:V(x)、V(y)分別為以x和y為中心求取的歐式距離；h為濾波算法的濾波參數(shù)，其值越大，去噪效果越理想，但圖像的細(xì)節(jié)信息就會減少；z(x)為圖像的歸一化系數(shù):

2.3 改進(jìn)MSR 算法

MSR 算法通過提升圖像中暗區(qū)域的幅度進(jìn)而去提升圖像的亮度。在傳統(tǒng)的MSR 算法中，研究人員通常對R、G、B 三通道分別采用Retinex 算法進(jìn)行操作，由于3 個通道圖像增強(qiáng)尺度不一致，導(dǎo)致其在后期圖像融合會產(chǎn)生顏色失真[10]。本文將RGB 顏色空間轉(zhuǎn)換到HSV 空間，由于對低照度圖像進(jìn)行增強(qiáng)，亮度通道作用明顯，算法僅僅處理V 分量，可以在恢復(fù)和調(diào)節(jié)圖像光照條件的同時保持圖像真實色彩，有利于后續(xù)圖像識別與分析的準(zhǔn)確性。改進(jìn)的MSR 算法流如圖3 所示。

圖3 低照度圖像增強(qiáng)算法示意

3 實驗結(jié)果分析

本文圖像增強(qiáng)算法進(jìn)行實驗的硬件環(huán)境如下:CPU 為Intel(R) Core(TM) i5-4210U @ 1.70 GHz 2.40 GHz，內(nèi)存4 GB；軟件環(huán)境:Window10 操作系統(tǒng)，Visual Studio 2017 軟件，圖像處理庫版本OpenCv3.41。

在低照度圖像增強(qiáng)算法實驗中，為了驗證本文算法的有效型，本文從圖像庫選擇了多幅圖像進(jìn)行實驗，并與SSR 算法、MSR 圖像增強(qiáng)算法進(jìn)行了比較。在實驗中選擇了部分實驗結(jié)果圖像進(jìn)行對比，如圖4～7 所示。

圖4 立交橋低照度圖像對比

圖5 人像低照度圖像對比

圖6 室外低照度圖像對比

圖7 室內(nèi)低照度圖像對比

3.1 主觀評價

針對圖4～7 實驗結(jié)果，對源圖像以及增強(qiáng)后的圖像的局部區(qū)域進(jìn)行解釋說明。在測試圖4中，用SSR 算法進(jìn)行增強(qiáng)，光線明亮，但圖像質(zhì)量變差；用MSR 算法處理，圖像略模糊；而用本文算法處理低照度圖像，輪廓清晰。在測試圖5 中，在原始圖像中，小男孩右側(cè)漆黑一片，看不出任何細(xì)節(jié)，在進(jìn)行圖像增強(qiáng)之后，小男孩右側(cè)能夠看到一只手；傳統(tǒng)的算法在增強(qiáng)之后，圖像若隱若現(xiàn)地出現(xiàn)一層薄霧；而本文算法處理之后輪廓更加明顯，并且可以看清小男孩上衣的字母，在本文算法和傳統(tǒng)的SSR、MSR 算法比較之后，本文算法有明顯的優(yōu)勢。在測試圖6 中，本文算法處理之后，墻上的箭頭顏色更加鮮艷明亮。在測試圖7 中，本文算法處理的圖像物體輪廓鮮明，易于分辨。綜上所述，本文算法在主觀視覺方面比其他圖像增強(qiáng)算法增強(qiáng)作用更佳，能夠增強(qiáng)圖像的細(xì)節(jié)。

3.2 客觀評價

從主觀角度評價有時難以有效說明算法的有效性，每個人的主觀能動性對結(jié)果影響比較大，同一個人在不同時間可能就有不同的評價標(biāo)準(zhǔn)，下面將從客觀角度進(jìn)行評價。用圖像的均值、標(biāo)準(zhǔn)差、平均梯度等方面綜合考慮，通過多條指標(biāo)去對圖像的質(zhì)量好壞進(jìn)行評估。

1)圖像均值:圖像的均值與一副圖像整體的明暗情況密切相關(guān)，均值越接近中值，圖像越理想，對于人類的視覺體驗越好，并且均值越大說明圖像亮度越大[11]。

2)標(biāo)準(zhǔn)差:標(biāo)準(zhǔn)差這一物理量反映了圖像像素值與均值的離散程度，圖像標(biāo)準(zhǔn)差越大說明圖像的質(zhì)量越好[12]。

式中:M、N分別表示圖像的大小；S(x,y)為圖像中的像素值；u為圖像均值。

3)平均梯度:平均梯度反映了圖像的清晰度和圖像細(xì)節(jié)紋理變化，平均梯度越大說明圖像越清晰[13]。

實驗選取的圖像客觀評價結(jié)果如表1～3 所示。

表1 不同算法圖像均值對比

表2 不同算法圖像標(biāo)準(zhǔn)差對比

表3 不同算法平均梯度對比

從表1～3 可以看出，在圖像均值對比中，采用SSR 算法處理圖像均值最大，表示圖像的亮度也最高；在圖像標(biāo)準(zhǔn)差和平均梯度對比中，本文算法的計算指標(biāo)最高，說明低照度圖像經(jīng)過本文算法的處理之后，圖像質(zhì)量好，圖像的清晰度有很大提高，圖像的紋理較復(fù)雜，能夠表示圖像的更多細(xì)節(jié)信息，包含圖像的信息量變大。

4 結(jié)論

本文針對圖像采集單元在低光照強(qiáng)度下采集到低對比度、質(zhì)量差的圖像，研究基于Retinex 理論的圖像增強(qiáng)算法，針對算法的缺點(diǎn)進(jìn)行改進(jìn)。在HSV 空間處理低照度圖像，采用改進(jìn)的MSR算法估計光照分量，能夠準(zhǔn)確估計出光照分量。

1)改進(jìn)的算法不但可以得到高質(zhì)量的圖像，而且有效保留圖像的紋理以及細(xì)節(jié)信息，處理之后圖像清晰度有了明顯的提高。

2)改進(jìn)后的算法在進(jìn)行圖像增強(qiáng)時，亮度增強(qiáng)幅度不是很大，在接下來的工作中，將重點(diǎn)提升算法的性能，優(yōu)化算法，提高低照度圖像亮度。