李忠海,陳燦燦,金海洋
(沈陽航空航天大學自動化學院,沈陽 110136)
由于外界環(huán)境的光照變化,使得低照度圖像增強成為目前需要研究的一類問題,Retinex(retina+cortex)算法是一種模仿人類色彩恒常性的有效的圖像增強方法,能夠改善圖像的色彩恒常性和動態(tài)范圍。本文提出的改進算法表明Retinex算法在照明不良條件下可以對低照度彩色圖像進行有效的增強處理。
目前的Retinex算法一般是在多尺度Retinex算法的基礎上進行研究的,一些新的研究成果也接踵而至。Jang[1]主要研究如何使Retinex算法具有更好的顏色校正能力。Robinson[2]降低了圖像的“光暈偽影”現(xiàn)象和“泛灰”效應,從而對Retinex算法進行了改進。Jang[3]改進了單尺度的相關權值,從而改進了多尺度Retinex算法。同年Jang[4]對多尺度Retinex算法的實時性做了改進。Lin[5]對Retinex算法的結構進行了創(chuàng)新,將Retinex算法中的對數(shù)函數(shù)改為指數(shù)函數(shù)對夜間圖像進行了增強。
該算法在以上文獻的基礎上作了改進。采用引導濾波求取入射分量,并在計算反射分量時選用重構的自適應權重多尺度Retinex算法,既能有效地增強原圖像,也能夠有效地保留原始圖像的信息。
Retinex顏色理論的原理是人對圖像亮度的感知,由外界環(huán)境照明亮度和事物外表反射兩部分組成,外界環(huán)境照明亮度代表低頻圖像部分,物體外表反射代表高頻圖像部分,即待增強圖像用照射光分量和反射光分量兩部分組成:
其中,G(x,y)代表待增強圖像,即從觀察者角度獲得原始圖像;L(x,y)表示照射分量,代表了圖像的動態(tài)范圍;R(x,y)表示反射分量,也表示圖像的內(nèi)在性質。
對多尺度Retinex[6]算法進行計算時是將多個單尺度Retinex的值采用加權的形式來進行融合。多尺度Retinex算法公式如下:
rMSR(x,y)表示MSR算法的計算結果,G(x,y)代表待增強圖像,F(xiàn)j(x,y)表示高斯濾波函數(shù),其尺度為σj,K為尺度參數(shù)σ的個數(shù)統(tǒng)計,K一般取值為3,Wj是第j個濾波函數(shù)的權重因子,滿足,取。高斯濾波函數(shù)的數(shù)學表達式為:
參數(shù)κ的取值必須滿足以下條件:
該算法的整體設計流程基本思路為:首先將原始低照度彩色圖像由RGB顏色空間轉換到HSI顏色空間,然后對飽和度分量S做線性拉伸處理,對亮度分量I進行改進重構自適應權重多尺度Retinex算法處理,將處理后的圖像由HSI顏色空間轉換回RGB顏色空間,對處理后的圖像進行顏色恢復得到最終增強圖像。算法的流程圖如圖1所示。
飽和度是代表圖像色彩的深淺和濃淡程度,飽和度越高,圖像色彩越深。由于低照度圖像是從不同的外界環(huán)境獲取的,每幅低照度圖像的飽和度S進行拉伸的程度也不一樣。為了使在不同照明條件下的低照度圖像的飽和度能夠自適應地取得最優(yōu)值,本文選用飽和度S自適應線性拉伸算法[8],其算法計算公式為:
其中,max(R,G,B)和 min(R,G,B)分別表示R、G、B 3個顏色分量的最大值和最小值;S表示原始低照度圖像的飽和度;MV表示原始低照度圖像的均值;S?表示線性拉伸后圖像的飽和度。實驗結果數(shù)據(jù)顯示,經(jīng)過線性拉伸處理后,飽和度的取值范圍由[0,1]擴展到[0,x](x大于 1,根據(jù)每幅圖像的不同,取值也不同,其值在1.1左右),此操作有效地加深了圖像的色彩。
由于引導濾波在邊界保持方面效果顯著,其與高斯濾波和雙邊濾波相比在圖像的細節(jié)和邊界保持上效果更加突出,不會引起引導反轉效應,并且引導濾波的運算速度與濾波窗口的大小無關。
引導濾波的局部線性模型可以表示為:
式中,qj為亮度圖像I在窗口wk中j像素處的線性變換灰度值;濾波窗口的半徑為r;k為窗口wk的中心像素;在窗口wk中,ak和bk為常數(shù),局部線性系數(shù)ak和bk采用以下方式求解:式中,μk和σk分別為亮度圖像在窗口wk中的像素的均值和標準差;Nwk為窗口wk中的像素數(shù)量;ε為平滑參數(shù)。
平滑參數(shù)ε和濾波窗口r的大小都能影響圖像的增強效果。
引導濾波中的平滑參數(shù)ε,其值越大越能對圖像進行色彩保真,但模糊了圖像的細節(jié),因此,平滑參數(shù)可以選擇大、中、小3個數(shù)值。
在利用引導濾波核函數(shù)對原圖像進行濾波時,可以根據(jù)圖像大小來確定濾波窗口r,一般設置大、中、小3個尺度,若預濾波圖像的尺寸為m×n,根據(jù)實驗結果,總結得出r的取值范圍由圖像自身尺寸大小決定,小尺度r的取值范圍為[1,rmin],中尺度r的取值范圍為[rmin,rmid],大尺度r的取值范圍為[rmid,rmax],[]表示向下取整。其中 rmin,rmid,rmax分別如式(9)~ 式(11)所示:
為了獲得引導濾波函數(shù),對qj在整幅圖像上求均值:
式中,N為圖像總的像素數(shù)。
當圖像的平均亮度范圍在[0,85]時,定義為低亮度圖像,選取小尺度的權重作為參考權重;同理,當圖像的平均亮度范圍在[85,170]時,定義為中亮度圖像;當圖像的平均亮度范圍在[170,255]時,定義為高亮度圖像。首先,,要確定參考權重的取值,再根據(jù)每個尺度處理后圖像的亮度信息選取另外兩個尺度的權重。設 Rv1、Rv2、Rv3分別為大、中、小 3個尺度的SSR對原圖像處理后的圖像。則參考權重可以取值為
其中,μ為待增強圖像的平均亮度,Iimax為第i個尺度亮度的最大值,Iimin為第i個尺度亮度的最小值。
參考權重以小尺度為例,3個尺度的權重按下式確定:
給出一種引導濾波的改進重構自適應權重多尺度Retinex算法,反射分量求取公式如下:
其中,i為引導濾波的次數(shù),Ri(x,y)為對數(shù)形式下第i次引導濾波的反射分量,f為引導濾波函數(shù),I(x,y)為亮度圖像,Wo為一個權系數(shù),取值范圍在[0,1]之間,根據(jù)不同低照度圖像的增強效果,Wo可以取不同的值。
從式(5)可以看出,提出的算法在每一個單尺度算法都加上了一定程度的原圖像信息,在算法執(zhí)行過程中,對原圖像的部分信息也進行了對數(shù)處理,然后通過加權來作為反射分量結果的一部分。提出算法的目的在于,傳統(tǒng)算法去除圖像的入射分量時,去除的部分是不完全準確的,若入射分量估計的不準確,將會去除掉原圖大量的重要信息,那么所得到的反射分量反而丟失了原圖的信息,降低了圖像的質量。而給出的算法在求取反射分量時部分保留了原圖的信息,兼顧了圖像增強和信息保留兩個方面。
Ri(x,y)通過對數(shù)反變換計算出估計的反射分量,即
采用非線性的全局Gamma校正方法對亮度進行調(diào)整,即
γ為校正參數(shù),取值范圍為1~+∞,經(jīng)過試驗驗證γ取3時效果較好。
將Rvi(x,y)進行自適應權重加權組合,自適應權重 W1,W2,W3的取值按式(14)~ 式(16)確定,Rv(x,y)為最終融合的反射分量,也即為增強后的亮度分量Ienhanced。
為防止增強后的圖像顏色失真,需要對增強后的圖像進行顏色恢復處理。先計算原始圖像的R、G、B 各個色彩分量,用 g1、g2、g3來表示,對圖像進行顏色恢復時采用顏色恢復函數(shù)Ci[9]對圖像進行處理,即用Ci分別乘以圖像的R、G、B 3個分量,得到最終增強后的圖像。公式如下:
式中,Ga為增益參數(shù);α用來調(diào)節(jié)彩色圖像的亮度程度,β用來調(diào)節(jié)圖像增強后3種顏色之間的比重,Gi(x,y)(i=1,2,3)分別表示原始低照度彩色圖像的3個色彩分量。(x,y)為顏色恢復后的3個顏色通道,將3個顏色通道進行合成可得到本文算法的最終結果。
為驗證本文算法的有效性,在MATLAB 2012a平臺(CPU Intel(R)Core(TM)i5-2320 3.0 GHz)上對多幅低照度彩色圖像進行分組實驗,先從主觀視覺效果和客觀質量評價兩方面分別對其進行驗證,再使用基于統(tǒng)計的圖像質量評價方法對各算法的增強效果進行比較。
該算法將與傳統(tǒng)的MSR算法、MSRCR算法進行比較。MSR算法[8]的參數(shù)設置如下:3個高斯尺度參數(shù) σ1=15,σ2=80,σ3=250。MSRCR 算法[9]的參數(shù)設置如下:尺度參數(shù)與MSR算法相同,顏色恢復函數(shù)參數(shù),α=6.5,β=0.2,Ga=1.5。該算法中有關的參數(shù)值取值如下(引導濾波參數(shù)取值[10]):窗口半徑r1,r2,r3的取值根據(jù)圖像大小按照上述式(9)~ 式(11)來確定,平滑參數(shù)取值為,ε1=0.000 012,ε2=0.01,ε3=202,顏色恢復函數(shù)參數(shù)取值,α=6.5,β=0.2,Ga=1.5,Wo=0.2。本文采用Gamma參數(shù)對反射分量進行修正,γ在本文中的取值均為3。
選擇比較有代表性的兩幅低照度彩色圖像進行主觀視覺效果驗證,兩組圖片的效果圖如圖2、圖3所示。其中,兩組圖片的圖(a)為原始圖片,圖(b)為MSR算法的處理效果,圖(c)為MSRCR算法的處理效果,圖(d)為本文算法的處理效果。
從圖2、圖3可以看出,MSR算法獲取的圖像在圖像高亮或低暗對比度較為強烈的區(qū)域出現(xiàn)明顯的“光暈偽影”現(xiàn)象,并且在這些區(qū)域色偏現(xiàn)象比較嚴重,在較暗處出現(xiàn)過增強的效果。MSRCR算法處理后的圖像整體效果優(yōu)于MSR算法,但其算法仍然出現(xiàn)一些弊端,如出現(xiàn)過增強、顏色失真現(xiàn)象,尤其是在圖3(c)中,水果的顏色都增強過大,與原圖像相比較亮處有顏色失真。本文算法處理的圖像效果在消除“光暈偽影”現(xiàn)象的同時,能更好地突出圖像較暗處事物的細節(jié)紋理信息,圖像動態(tài)范圍變化明顯,圖像總體的對比度和清晰度都得到了明顯的提高,既保存了原圖像的信息,又能夠對圖像進行顯著的增強,最后增強的圖像具備了良好的視覺成效。
在本文中,對增強圖像從客觀質量角度進行評估[9],計算的4個參數(shù)值分別選為均值,標準差,灰度熵和顏色熵。圖像增強后平均亮度的變化用圖像的均值表示,圖像的對比度變化用標準差表示,圖像的細節(jié)表現(xiàn)能力用灰度熵表示,顏色增強程度表示用彩色熵表示。客觀質量評價指標如下頁表1、表2所示。
從實驗效果圖可以看出,MSR算法獲得的圖像均值增強過大,說明原圖像經(jīng)過MSR算法處理后亮度增強過大,出現(xiàn)過增強現(xiàn)象;MSRCR算法處理后的圖像亮度增大比MSR算法小,比原圖像大,說明過增強現(xiàn)象效果小于MSR算法,亮度和對比度增強效果不如本文算法好,且算法運行時間較長,平均為本文算法的5倍,算法的實時性較差;本文算法處理的效果亮度增強適中,對比度在3種算法中最高,細節(jié)表現(xiàn)能力更強,顏色增強程度適中,算法運行效率最高。客觀質量評價結果和主觀視覺效果基本一致,進而證明了本文算法的有效性和優(yōu)越性。

表1 圖像2定量評價指標對比

表2 圖像3定量評價指標對比
本文采用基于統(tǒng)計的圖像質量評價方法[11]對各算法的處理效果進行進一步的比較。
統(tǒng)計評價方法的整體流程為:分別把兩組圖片中每一幅圖片分割為大小相同的不重疊的子塊(子塊個數(shù)取為50×50或60×60),然后計算每個子塊的標準方差,對各個子塊的標準方差求平均值得到平均方差,將平均方差與圖像灰度的平均值相乘來得到評價結果,在圖像視覺效果較好且相乘的結果值越大,表明圖像經(jīng)過處理后的效果越好,對兩組圖片的評價結果數(shù)據(jù)如表3所示,柱狀圖如圖4所示。
從圖4中可以看出處理后的圖像的質量評價數(shù)據(jù)大大提高,增強效果優(yōu)于傳統(tǒng)的MSR算法和MSRCR算法。

表3 統(tǒng)計評價結果數(shù)據(jù)表
本文給出一種基于引導濾波的改進重構自適應權重多尺度Retinex算法,既可以有效增強圖像,也能保留原圖像的內(nèi)在信息。為了更好地保留圖像的色彩信息,選用顏色恢復函數(shù)對圖像進行色彩恢復處理,避免了色彩失真現(xiàn)象。
經(jīng)過主觀視覺觀測、客觀質量評估和基于統(tǒng)計的圖像質量評價方法對本算法進行分析,統(tǒng)計分析結果顯示,本算法對低照度彩色圖像的增強效果優(yōu)于傳統(tǒng)的兩種多尺度Retinex算法,且算法運算時間大大縮短,提高了算法的實時性。
參考文獻:
[1]JANG I S,LEE T H,HA H G,et al.Adaptive color enhancement based on multi-scaled retinex using local contrast of the input image[C]//International Symposium on Optomechatronic Technologies(ISOT),IEEE,2010:1-6.
[2]ROHINSON P,ROODT Y,NEL A.Adaptive multi-scale retinex algorithm for contrast enhancement of real world scenes[C]//The Proceedings of Twenty-Third Annual Symposium of the Pattern Recognition Association of South Africa,Pretoria,South Africa,2012.
[3]JANG C Y,HYUN J,CHO S,et al.Adaptive selection of weights in multi-scale retinex using illumination and object edges[C]//IPCV,2012.
[4]JANG C Y,LIM J H,KIM Y H.A fast multi-scale retinex algorithm using dominant SSR in weights selection[C]//International SoC Design Conference(ISOCC),IEEE,2012:37-40.
[5]LIN H N,SHI Z W.Multi-scale retinex improvement for nighttime image enhancement [J].Optik,2014,125:7143-7148.
[6]LI J.Application of image enhancement method for digital images based on Retinex theory [J].Optik,2013,124:5986-5988.
[7]寇興元.基于Retinex理論的圖像增強算法研究[D].沈陽:沈陽航空航天大學,2015.
[8]邵振峰,白云,周熙然.改進多尺度Retinex理論的低照度遙感影像增強方法[J].武漢大學學報,2015,40(1):32-39.
[9]肖創(chuàng)柏,趙宏宇,禹晶.基于引導濾波的Retinex快速夜間彩色圖像增強技術[J].北京工業(yè)大學學報,2013,39(12):1868-1873.
[10]方帥,楊靜榮,曹洋,等.圖像引導濾波的局部多尺度Retinex算法[J].中國圖象圖形學報,2012,17(7):748-755.
[11]汪榮貴,張新龍,張漩,等.基于Retinex理論的壓縮域圖像增強方法研究[J].計算機研究與發(fā)展,2011,48(2):259-270.