基于色彩空間分解的低照度圖像增強(qiáng)方法

王鵬 宋存利 紀(jì)守用

摘要：針對(duì)低照度圖像增強(qiáng)問題，提出一種基于色彩空間分解的圖像增強(qiáng)算法。為了實(shí)現(xiàn)圖像亮度和色彩的解耦合，將圖像進(jìn)行空間轉(zhuǎn)換；利用中值濾波算法與Retinex算法融合以及基于OTSU處理的自適應(yīng)局部直方圖均衡化，分別實(shí)現(xiàn)了亮度分量的增強(qiáng)和飽和度分量的校正。分層圖像合成、圖像降噪處理和色彩空間的轉(zhuǎn)換，確保增強(qiáng)圖像色彩的均勻和清晰度的提高。實(shí)驗(yàn)結(jié)果與其他幾種經(jīng)典算法相比較，算法獲得的增強(qiáng)圖像細(xì)節(jié)方面更為豐富，圖像的清晰度更高。

關(guān)鍵詞：圖像增強(qiáng)；Retinex；中值濾波；直方圖均衡化

中圖分類號(hào)：TP391.4文獻(xiàn)標(biāo)志碼：A文章編號(hào)：1008-1739（2021）06-68-6

基金項(xiàng)目：人工智能四川省重點(diǎn)實(shí)驗(yàn)室開放基金項(xiàng)目（2020RYJ04），遼寧省自然科學(xué)基金資助項(xiàng)目（20180551020），遼寧省教育廳資助項(xiàng)目（JDL2019011）。

0引言

經(jīng)典的圖像增強(qiáng)技術(shù)分為頻率域法和空間域法，頻率域法[1-3]主要用于去除或減弱噪聲并有效增強(qiáng)細(xì)節(jié)，算法復(fù)雜度低、效率高；空間域法[4-6]主要是依據(jù)圖像像素建立數(shù)學(xué)模型，算法通過對(duì)不同屬性的像素操作進(jìn)而實(shí)現(xiàn)圖像增強(qiáng)。

1971年，Land等人[7]提出Retinex算法，指出物體的反射情況決定了視覺系統(tǒng)對(duì)物體色彩的感知結(jié)果。2014年Li等[8]提出了一種基于加權(quán)引導(dǎo)濾波的Retinex算法，將權(quán)重設(shè)置為自適應(yīng)因子，從而降低噪聲，改善圖像的清晰度和平滑程度。但從效果來看，圖像細(xì)節(jié)對(duì)比度不高，降噪效果也不明顯。2016年，為了更有效地在可變光照條件下進(jìn)行人臉識(shí)別，杜明等人[9]提出根據(jù)頻率原理，將圖像信息分為高頻和低頻兩部分，并結(jié)合單尺度Retinex算法各自進(jìn)行處理。2017年，Guo等人[10]為了有效改善低亮度圖像的圖像質(zhì)量，使用加權(quán)L1范數(shù)正則化代替原有Retinex算法中照度分量的估計(jì)，該方法對(duì)圖像亮度有較大提升。2018年Jie等人[11]將引導(dǎo)濾波與Retinex算法結(jié)合，采用迭代多尺度的方法對(duì)存在光照缺陷圖像增強(qiáng)。Hu Feng等人[12]設(shè)計(jì)了一種基于模擬多曝光融合的微光圖像增強(qiáng)方法，將Retinex算法模型和形態(tài)學(xué)相結(jié)合，通過構(gòu)建一種新的補(bǔ)償函數(shù)，調(diào)整圖像細(xì)節(jié)，解決圖像光暈等現(xiàn)象，降低了圖像的失真率。張晨等人[13]為了更好地增強(qiáng)含有大塊面積天空區(qū)域的圖像，通過獲取具有魯棒性更加好的大氣光取值，采用Retinex結(jié)合修正的四叉樹算法，使圖像擁有更好的視覺效果。2020年Li等人[14]提出卷積神經(jīng)網(wǎng)絡(luò)與四叉樹分解結(jié)合的方式針對(duì)特定場景的圖像進(jìn)行降噪處理。

以上方法均從不同角度對(duì)圖像進(jìn)行了增強(qiáng)，但是由于圖像光照分布不均，高光區(qū)域受算法處理影響小，容易導(dǎo)致圖像明暗邊緣突出以及色彩扭曲等問題，且高光區(qū)域細(xì)節(jié)沒有得到明顯改善。

針對(duì)以上低照度圖像問題，設(shè)計(jì)了一種新的處理方法。首先，通過對(duì)色彩空間的轉(zhuǎn)換，避免了算法對(duì)圖像調(diào)整亮度對(duì)色彩的干擾。其次，采用中值濾波來代替原有的高斯濾波，在進(jìn)行Retinex算法對(duì)圖像亮度處理時(shí)，可以更好地保留圖像的邊緣信息，減少失真現(xiàn)象的發(fā)生。最后，設(shè)計(jì)了基于OTSU處理的自適應(yīng)限制對(duì)比度的局部直方圖均衡化算法，對(duì)圖像的色彩進(jìn)行自適應(yīng)調(diào)整，并將設(shè)計(jì)的低照度圖像增強(qiáng)算法和其他的圖像算法進(jìn)行實(shí)驗(yàn)對(duì)比及分析。

1算法設(shè)計(jì)和原理

1.1 HSV色彩空間轉(zhuǎn)換

在進(jìn)行增強(qiáng)算法之前，將圖像從空間轉(zhuǎn)換到空間，色彩空間的轉(zhuǎn)換可以更好地保留原圖像的色彩結(jié)構(gòu)，減少對(duì)色彩關(guān)系的破壞，將轉(zhuǎn)換完的圖像進(jìn)行解耦合，然后分別對(duì)亮度空間和飽和度空間進(jìn)行增強(qiáng)和校正。

傳統(tǒng)的Retinex在進(jìn)行照度估計(jì)時(shí)往往只考慮到了中心像素的影響，這樣會(huì)較明顯地模糊邊緣，導(dǎo)致色彩失真、光暈泛白等一系列問題，鑒于中值濾波具有色彩及邊緣信息保留好的優(yōu)勢，采用中值濾波[16]來替代高斯濾波。卷積核的大小會(huì)影響濾波算法對(duì)圖像的噪聲抑制效果以及失真情況，為了使圖像對(duì)比結(jié)果更加清晰，經(jīng)反復(fù)實(shí)驗(yàn)比對(duì)，采用5*5大小的卷積核最能凸顯差別效果。

不同濾波采用5*5大小的卷積核對(duì)經(jīng)典的lena圖像進(jìn)行處理，結(jié)果如圖1所示。對(duì)處理后的圖像的亮度、對(duì)比度、信息熵和平均梯度等屬性進(jìn)行比較，結(jié)果如表1所示。

對(duì)表1中數(shù)據(jù)進(jìn)行分析，在5*5大小的卷積核條件下，經(jīng)中值濾波器處理的圖像、亮度、對(duì)比度均優(yōu)于經(jīng)高斯濾波器處理的圖像，說明中值濾波能夠在去除噪聲時(shí)，更多地保留色彩信息。信息熵反應(yīng)了邊緣信息的數(shù)量，平均梯度對(duì)應(yīng)了圖像的清晰度，經(jīng)中值濾波處理后的圖像相比于其他2種對(duì)比濾波，模糊程度輕微、邊緣保留較好、效率更高。

改進(jìn)的Retinex算法主要是將高斯濾波函數(shù)替換為中值濾波函數(shù)，通過圖像解耦得到亮度通道圖像和（ ， ）中值濾波模板（ ， ），聯(lián)合式（7）可得到反射分量表達(dá)式：

將算法處理得到的圖像進(jìn)行非局部均值降噪得到的圖像轉(zhuǎn)換回色彩空間，作為最終的圖像輸出。

1.7算法整體流程

算法流程圖如圖2所示，步驟如下：

①輸入圖像進(jìn)行色彩空間轉(zhuǎn)換并進(jìn)行解耦，通過式（1）～（4）的計(jì)算，得到色調(diào)空?qǐng)D像、飽和度空間圖像和亮度空間圖像。

②采用基于中值濾波模板改進(jìn)的Retinex算法進(jìn)行處理，將亮度空間圖像帶入式（8）得到處理后的圖像；

③飽和度圖像采用OTSU處理，如式（9）～（10）所示，得到最佳閾值。將最佳閾值飽和度圖像帶入公式（11）～（13）進(jìn)行自適應(yīng)的局部直方圖進(jìn)行處理，最終得到飽和度空間增強(qiáng)圖像。

④將增強(qiáng)校正后的飽和度空間圖像、亮度空間圖像以及色調(diào)空間圖像按照式（14）合并，依據(jù)式（15）～（16）對(duì)合成后的圖像進(jìn)行非局部均值降噪處理，最后轉(zhuǎn)換到空間進(jìn)行圖像輸出。

2仿真實(shí)驗(yàn)

2.1對(duì)比方法及參數(shù)設(shè)計(jì)

實(shí)驗(yàn)環(huán)境采用Inter i5處理器、Window7系統(tǒng)、內(nèi)存大小為 4 GB的計(jì)算機(jī)，使用Python編程語言，使用的編程軟件是Py charm，函數(shù)庫使用了opencv，numpy，math等。

為了更好地評(píng)價(jià)算法的性能指標(biāo)，對(duì)比算法的優(yōu)劣性，在選取的低照度圖像進(jìn)行對(duì)比算法實(shí)驗(yàn)，實(shí)驗(yàn)參數(shù)設(shè)計(jì)及方法如表2所示。

2.2主觀評(píng)價(jià)

本文選用了ExDARK數(shù)據(jù)集中的低照?qǐng)D進(jìn)行實(shí)驗(yàn)，共計(jì)7 363張圖像，因文章篇幅有限，本文選取3組亮度不同、視野較好的圖片作為評(píng)價(jià)展示，分別是bike，square，entrance。

第1組的實(shí)驗(yàn)結(jié)果圖如圖3所示。圖3（原圖）為原始圖片，圖像較暗，光源來自于路燈和遠(yuǎn)處車輛的燈光，圖像中的指示牌和自行車都無法看清。經(jīng)過SSR增強(qiáng)算法后，圖像亮度增加，紋理細(xì)節(jié)突出，但是顏色失真大，視覺效果較差；MSR增強(qiáng)算法與SSR增強(qiáng)算法相比亮度再度有所提升，圖像的信息比較明顯，近處的物體較為明顯，但是整體顏色失真，清晰度低。經(jīng)MSRCR算法處理后的圖像亮度適中，明暗差有所減小，清晰度較好；MSRCP算法增強(qiáng)后，圖像的亮度信息提高，但色彩失真嚴(yán)重，景深加重，無法判讀物體原有色彩；HE算法處理后，亮度信息與Retinex類算法相比略有降低，但對(duì)比度和清晰度較好，細(xì)節(jié)清晰；直方圖規(guī)范化處理亮度和色彩都略有提升，色彩和亮度比例和諧，但是整體提升不多。Gamma校正后的圖像亮度與原圖相比有所改善，但視覺系統(tǒng)還是難以分辨圖像中的景物圖；本文設(shè)計(jì)算法增強(qiáng)后的圖像，遠(yuǎn)處的地鐵、天上的紅日和LED燈牌信息清晰可見，車道線和道路邊沿更加清楚，亮度、對(duì)比度相比原圖有效提升，信息也有很好的顯示，并且細(xì)節(jié)清晰。

第2組的實(shí)驗(yàn)結(jié)果圖如圖4所示。圖4（原圖）中主要光源來自場地?zé)艄猓瑘龅刂械袼芎腿宋餆o法看清；經(jīng)過SSR增強(qiáng)算法后，亮度改善不明顯，近景的自行車和路邊信息明顯，但遠(yuǎn)景中燈光區(qū)域出現(xiàn)光暈等噪聲；MSR增強(qiáng)算法中圖像亮度顯著提高，對(duì)比度提升，圖像產(chǎn)生了色彩失真，視覺效果一般；經(jīng)MSRCR處理后的圖像亮度、對(duì)比度和紋理細(xì)節(jié)都有明顯增強(qiáng)，MSRCP算法增強(qiáng)的圖像亮度是所有對(duì)比算法中提升最多的，但是由于色彩與亮度比例關(guān)系，導(dǎo)致色彩失真嚴(yán)重。經(jīng)過HE算法增強(qiáng)的圖像亮度提升，建筑物信息能夠完整顯示，基礎(chǔ)設(shè)施等細(xì)節(jié)清晰，但是天空中噪聲很多，影響整體感覺；直方圖規(guī)范化、Gamma校正亮度對(duì)比度均有所提升，但幅度不大，色彩與亮度比例更加接近真實(shí)物體。經(jīng)本文設(shè)計(jì)算法處理后的圖像各項(xiàng)屬性均有明顯提升，圖像細(xì)節(jié)清晰，更加有利于進(jìn)行圖像的進(jìn)一步處理。

第3組的實(shí)驗(yàn)結(jié)果圖如圖5所示。由這一組圖片可以明顯感受到算法增強(qiáng)。圖5（原圖）光源來自路燈，圖片信息識(shí)別困難，黑暗區(qū)域中建筑物的信息無法顯示；SSR算法增強(qiáng)的圖像，雖然能使整體明亮一些，但是不能使黑暗區(qū)域中的信息更好地顯示，并且顯得有些假白，不是十分自然；圖像經(jīng)過MSR算法處理，亮度均有所提升，但圖像中的物體出現(xiàn)虛化，影響判斷；MSRCP算法處理的圖像亮度過高，導(dǎo)致顏色出現(xiàn)失真；HE算法增強(qiáng)的圖像，由于像素點(diǎn)對(duì)中心像素點(diǎn)依賴度過高，雖然亮度對(duì)比度提升，但是局部色彩強(qiáng)度過大，偏離圖像原有結(jié)構(gòu)；本文設(shè)計(jì)算法呈現(xiàn)的效果較為自然，細(xì)節(jié)信息明顯，門廊上的字母也都可以看清，層次感分明。

本文設(shè)計(jì)算法針對(duì)不同類型的低光照?qǐng)D像均能發(fā)揮穩(wěn)定的功效，增強(qiáng)后的圖片十分自然，并且細(xì)節(jié)效果展示充分。

[11] ZHANG J，ZHOU P，ZHANG Q.Low-Light Image Enhancement Based on Iterative Multi-Scale Guided Filter Retinex[J]. Journal of Graphics， 2018，39（1）：1-11.

[12] ZILING S，F(xiàn)ENG H U. Low-light Image Enhancement Method Based on Simulating Multi-exposure Fusion[J]. Journal of Computer Applications， 2019，39（6）：1804-1809.

[13]張晨，楊燕.基于融合與高斯加權(quán)暗通道的單幅圖像去霧算法[J].光子學(xué)報(bào)，2019，48（1）：152-160.

[14] LI Zhihui，GUI Bian，ZHEN Tong， et al. Grain Depot Image Dehazing via Quadtree Decomposition and Convolutional Neural Networks[J]. Alexandria Engineering Journal， 2020，59（3）：1463-1472.

[15]秦緒佳，王慧玲，杜軼誠，等.HSV色彩空間的Retinex結(jié)構(gòu)光圖像增強(qiáng)算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)， 2013，25（4）：488-493.

[16] ZHANG Z F，WEI H，TAN B W. An Improved Wavelet Threshold Denoising Method[J]. Study on Optical Communications， 2018（2）：75-78.

[17] BHANDARI A K， KUMAR I V. A Context Sensitive Energy Thresholding Based 3D Otsu Function for Image Segmentation Using Human Learning Optimization[J]. Applied Soft Computing，2019，82：1-10.

[18]楊茂祥.低照度環(huán)境下彩色圖像增強(qiáng)算法研究[D].南京：南京郵電大學(xué)，2019.

[19]蔡玉芳，陳桃艷，王玨，等.基于自適應(yīng)濾波系數(shù)的非局部均值計(jì)算機(jī)層析成像的圖像降噪方法[J].光學(xué)學(xué)報(bào)，2020， 40（7）：44-52.

[20] AGAIAN S S， SILVER B，PANETTA K A .Transform Coefficient Histogram-based Image Enhancement Algorithms Using Contrast Entropy[J]. IEEE Transactions on Image Processing， 2007，16（3）：741-758.