改進Retinex與多圖像融合算法用于低照度圖像增強

翟海祥，何嘉奇，王正家，景嘉寶，陳文重

改進Retinex與多圖像融合算法用于低照度圖像增強

翟海祥1,2，何嘉奇1,2，王正家1,2，景嘉寶1,2，陳文重1,2

（1. 湖北工業大學 機械工程學院，湖北 武漢 4130068；2. 現代制造質量工程湖北省重點實驗室，湖北 武漢 430068）

為了解決低照度圖像在圖像增強過程中圖像質量不佳、對比度不高等問題，本文提出改進Retinex與多圖像融合算法用于低照度圖像增強。首先將待處理圖像轉換到HSV色彩空間，并設定閾值對其V通道分量進行亮度調節，然后轉換到RGB色彩空間，將其拷貝3份，對第一份進行直方圖均衡化，中值濾波處理；對第2份進行自動亮度調節，雙邊濾波處理；對第3份進行改進的Retinex算法處理，采用高斯濾波、雙邊濾波作為其環繞函數，估計圖像照明分量，最后輸出反射圖。將處理后的3份圖像轉到HSV色彩空間，對其分量進行多圖像融合，、分量沿用第2份圖像分量值，最后將融合后的圖像由HSV轉為RGB色彩空間，輸出處理后的圖像。實驗結果表明，本文提出的算法在增強低照度圖像的同時，還可抑制圖像噪聲，同時具有良好的保邊性，且細節明顯。

低照度；圖像增強；Retinex；雙邊濾波；圖像分量融合；HSV色彩空間

0 引言

隨著光學和計算機技術的快速發展，圖像設備不斷更新迭代。圖像中往往包含眾多信息，因此生活中各種視覺系統廣泛應用，如電子監控設備、計算機視覺、衛星遙感、視頻監控、醫學影像等[1-2]。但是，由于光照不足，拍攝的圖像通常偏暗、對比度不強和圖像細節難以識別，降低人眼視覺效果，同時也不利于計算機等視覺設備的正常使用。因此，需要對采集的低照度圖像進行增強處理，從而使得圖像具有較高對比度。如今，圖像增強技術成為熱門學科廣受科研人員研究[3]。

近年，主流的方法有：基于直方圖均衡化方法、基于Retinex理論方法、基于圖像取反增強方法以及基于卷積神經網絡的增強方法。如直方圖均衡化處理，主要是將圖像灰度映射到更多的灰度級上，從而實現對圖像對比度的增強，但直接處理會導致圖像細節丟失。基于SSR（single_scale Retinex）單尺度[4]算法是美國物理學家Edwin. H. Land在1997年提出的，通過對照明圖估計從而得到更好的對比度和細節特征。由于單尺度Retinex在圖像增強同時會造成細節丟失，隨后提出多尺度[5]Retinex（multi-scale Retinex, MSR）和帶顏色恢復的MSR（multi-scale Retinex with color restoration, MSRCR）增強后的色彩失真度小，但仍然會出現局部欠增強或過增強現象。基于圖像取反的方法，借用He[6]暗通道先驗原理，對圖像進行反轉操作，從而實現對圖像增強。基于卷積神經網絡的增強方法需要搭建網絡模型[7]，且訓練復雜，落地要求高。常用的圖像增強算法還有，伽馬變換[8]，線性拉伸等，其效果并不盡人意。隨后，Fu[9]等人提出基于圖像融合的弱光照增強方法，可以使得圖像的對比度和亮度同時得到增強，不足之處在于圖像在燈光區域增強過程中會有過曝現象，造成圖像局部細節模糊。

基于此，本文提出改進Retinex與多圖像融合算法，通過對圖像進行直方圖均衡化、自適應亮度調節以及改進的Retinex處理，將處理后的圖像進行通道融合處理，可將各部分處理后的清晰特征保留下來，最后將處理后的圖像轉到RGB色彩空間，從而實現對低照度圖像的增強。

1 相關理論

1.1 HSV色彩模型

HSV（hue, saturation, value）由A. R. Smith在1978年創建的色彩空間[10]，也叫六角錐體模型（hexcone model）。此色彩模型按照色彩、深淺、明暗來描述圖像。其中，為圖像色彩，為圖像深淺、＝0時，只有灰度，為圖像明暗，代表圖像的明亮大小。RGB是常用的色彩空間[11]，該色彩空間表明，每一種顏色都可以由（Red）、（green）、（Blue）3種基色混合而成，這兩種模型轉換公式如下：

式中：、、代表彩色圖像三通道，相比較RGB模型，HSV模型更接近人眼視覺效果，且在該模型上處理時各通道之間的影響較小。

1.2 直方圖均衡化

采用查表直方圖均衡化進行圖像拉伸[12]，無論是圖像質量還是處理時間都有一定的優化和提高。通過直方圖均衡化增強圖像對比度，將直方圖中非零項的最低值設置為0，最高值設置為255，中間值灰度級拉伸變換，最后輸出增強后的圖像。

首先統計圖像像素在每個灰度級上出現的概率，如式(4)所示：

式中：()是灰度級出現的次數；是圖像中總的灰度數；是歸一化到[0,1]，那么對應的累計概率函數為：

式(5)中：是累計歸一化直方圖。

1.3 自適應調節

將圖像中所有像素出現的次數依次統計出來，每個像素出現的頻率，即每個像素出現的次數除以總的像素個數，并繪制該像素出現的頻率圖，就構成了灰度直方圖。如圖1所示，為低照度圖像，如圖2所示，為圖1的灰度直方圖。由圖2所示可以看出，3個通道的像素值大多數分布在0～30之間，因此圖像呈現出較暗狀態。其主要原因是像素之間的差別較小，單純的亮度調節并不能拉開像素灰度級的差距，所以需要進行對比度調整，即在調大像素值的同時增加像素值間的間隔，這樣可以提高圖像的對比度，自適應判斷公式如式(6)所示：

1.4 Retinex理論

Retinex理論表明，物質本身的顏色取決于其對波長的反射能力，除受反射光強度的絕對值外，同時不受非均勻光照的影響，且具有一致性，故Retinex以顏色一致性為基礎。傳統的非線性、線性僅增強物體的某一類特征，而該理論可在動態范圍壓縮、邊緣提高和顏色不變等方面進行調節，使得圖像能夠進行自適應增強。

由該理論可知，人眼對物質亮度的感知受環境的照明和物質表面對照射光的反射共同決定，可表示為：

式中：(,)為采集或接收到的圖像信號；(,)為環境光的照射分量；(,)為具有圖像細節的目標物體反射分量。

如圖3所示，為Retinex對數閾值融合照明估計，其可在動態范圍內壓縮、邊緣提高和顏色不變等方面進行平衡調節，具有良好的自適應效果。

圖3 Retinex對數閾值融合照明估計

一般把空間平滑圖像作為照射圖像假設估計，(,)為待處理圖像，(,)為反射圖像，(,)為亮度圖像，由此可得到單尺度Retinex算法，公式為：

式中：(,)為輸出圖像；*為卷積運算符；(,)為中心環繞函數，其可以表示為：

式中：表示高斯環繞尺度；是一個尺度，它的取值必須滿足一下條件：

綜上可知，本文將SSR算法中的卷積比作對空間的照度圖像的計算，然后計算圖像中像素點與該像素點區域的加權平均作為估計圖像中照度，并去除估計后的圖像照度，最后使圖像中物體的反射屬性進行保留，實現增強的效果。單尺度SSR算法實現步驟如下所示。

第一步：讀入圖(,)，將圖像每個像素由整數轉到浮點數（若為灰度圖像直接轉換，若為彩色圖分別分通道轉換）；

第二步：輸入尺度，積分轉為求和，進一步確定參數；

第三步：計算照度分量(,)，若為彩色圖，三通道均有r＝(,)；

第四步：將(,)從對數閾轉換到實數閾得到輸出圖像(,)；

第五步：對(,)線性拉伸，并以對應的格式輸出。

MSR[13]是在SSR算法上進一步演化發展而來的，此算法的優點是在進行壓縮的同時，還可兼顧圖像高保真度和圖像的動態范圍。與此同時，在一定條件下，MSR能夠實現圖像色彩增強、顏色不變性、局部動態壓縮或全局動態壓縮，也適用于X光圖像增強。

式(12)中：代表環繞函數的個數，當取值為1時，MSR轉變為SSR。一般來說，取值為3時，可使SSR同時兼有高、中、低3個不同尺度的優點，即：

實驗結果表明，c分別取15，80，120可以得到較好的增強效果。

2 改進的Retinex算法及圖像融合

2.1 雙邊濾波

雙邊濾波[14]作為非線性濾波器的一種，有較強的保邊、降噪、平滑能力。與其他濾波相似，雙邊濾波也是采用加權平均的方式，用周邊像素亮度值的加權代表某個像素的強度。不同之處在于雙邊濾波不僅考慮像素的歐式距離，還考慮像素范數閾的差異，同時兼顧這兩個權重，數學表達式如下：

式(14)中：(,)為雙邊濾波后的像素灰度值；(,)為待處理圖像像素點的灰度值；(,,)為采用加權的高斯函數計算得出的新灰度值；(,)是以點(,)為中心的像素點灰度值取值范圍。

2.2 改進的Retinex算法

如式(10)所示，Retinex的傳統算法中，高斯函數的尺度因子決定了圖像增強效果，局限性明顯。基于此，改進的Retinex算法被提出為了進行光照估計，在本文算法中，將高斯濾波和雙邊濾波作為中心環繞函數，分別與輸入的待處理圖像進行卷積運算，從而估計出入射分量。然后將估計出入射分量進行加權融合，融合后的入射分量，既可以保持圖像的平滑度，提高圖像對比度，還可較好保留圖像邊緣信息，達到濾波效果，增強算法構建流程如圖4所示，步驟如下。

1）首先將待處理圖像轉換到HSV色彩空間，并設定閾值對其通道分量進行亮度調節，然后轉換到RGB色彩空間，將處理的圖像拷貝3份，對第一份進行直方圖均衡化處理，將圖像灰度級進行拉伸，實驗結果表明，處理后圖像會有一些孤立的噪聲點出現，因此，本文對處理后的圖像進行中值濾波處理，消除圖像中存在的噪聲點。

2）對第二份進行自動亮度調節，首先計算圖像分量的亮度值，將計算后的亮度值與設定閾值進行比較，本文值設定為125，分量像素值大于125，圖像亮度足夠，不做處理；像素值小于125，亮度不夠，需要進行亮度增強操作，由圖2可知，3個通道的像素值大多數分布在0～30之間，本文將落在0.1～0.9之間的像素值拉伸到0～255，去掉分位之外的值，然后對處理后的圖像進行雙邊濾波處理，突出圖像邊緣信息。

3）對第三份進行改進的Retinex算法處理，用高斯濾波、雙邊濾波作為其環繞函數，分別估計圖像照明分量，最后輸出反射圖。

最后將處理后的3份圖像轉到HSV色彩空間，對其分量進行多圖像融合，、分量用第二份圖像分量值，最后將融合后的圖像由HSV轉到RGB色彩空間，輸出處理后的圖像。

圖4 增強算法構建流程圖

3 實驗結果與分析

為測試本文算法對弱光圖像增強的效果，實驗環境配置：英特爾(R) Core(TM) i5-6500處理器@ 3.20GHz，Windows10操作系統，8G環境下的Pycharm軟件，解釋器Anaconda Python3.7。分別與無暗光的Label圖像以及傳統的SSR算法、MSR算法、伽馬變換[15]、Fu[9]等算法進行效果對比，如圖5所示。

圖5 弱光圖像增強結果對比實驗圖

3.1 主觀分析

圖5中，第一列為不同場景下的Label圖（即原圖所對應的無暗光圖），第二列為該場景下對應的暗光圖，可以看出既有室內也有室外圖。從第三列起往右依次為SSR算法、MSR算法、伽馬變換、Fu的算法以及本文算法處理后所對應的圖像，其中SSR算法與MSR算法處理后圖像整體曝光，圖像泛白，失真明顯，圖像細節損失嚴重，在遠景天空區域，暗光增強效果不明顯。伽馬變換拉伸了圖像對比度，但整體圖像仍然偏暗，且在天空區域出現色彩失真現象。Fu的算法，處理后圖像整體較亮，但是對比度降低，對于高亮區域變得模糊，如圖5中矩形框區域，Fu的算法對燈光區域處理后出現過曝現象，同時增強后的圖像會引入噪聲，圖像視覺效果降低。本文算法，不僅提高了圖像的亮度，而且保留了圖像的細節，對比度明顯。對于天空區域幾乎沒有出現失真現象，同時增強后的圖像噪聲也較少，能夠實現較好的弱光圖像增強。

3.2 客觀分析

主觀評價易受外界因素影響，為客觀驗證[16]算法，本文從3方面進行。

1）峰值信噪比（peak signal to noise ratio，PSNR）是常用來衡量圖像變化的程度，PSNR越大，說明圖像差異越小，失真度越低，圖像質量越高，如公式(15)所示。

式中：表示圖像的等級數，通常取為255；(,)為初始圖像；(,)為處理后的圖像；、作為圖像的行列數，經過對比前后，大小不變。

2）結構相似性（structural similarity index measure，SSIM）通過對比處理前后圖像之間差別進行質量評估，通過對圖像的對比度、結構信息以及亮度三者的乘積作為綜合評判，該值越大說明處理效果越好。為了方便敘述，假設處理前圖像為，處理后圖像為。

圖像亮度對比如公式(16)：

圖像對比度比較如公式(17)：

結構相似性比較如公式(18)：

式(16)、(17)、(18)中：，為圖像像素平均值；為兩幅圖像標準差；1、2、3為常數，主要為了防止分母取0的情況。一般取1＝(1×)2，2＝(2×)2，3＝2/2,t通常設定1為0.01，2為0.03，為255。

3）信息熵（information entropy, IE）指圖像涵蓋的信息量，該值越大，圖像細節越豐富，層次及結構就越清晰，圖像質量越高。如公式(19)所示：

式(19)中：為圖像像素灰度等級，通常＝28－1，()是圖像中某點灰度值時，圖像在該點出現的概率。

選取圖5中Label 1、Label 5圖，對其進行客觀對比分析（如表1和表2所示）。

表1 Label 1圖像增強質量評價

表2 Label 5圖像增強質量評價

由表1、2可知，本文算法峰值信噪比、結構相似性以及信息熵明顯大于其他算法。另外Label圖所在列，為與暗光圖像對應的無暗光圖像運行獲得的。可以看出PSNR，SSIM值比較低的，證明暗光圖與無暗光圖的差別較大。但IE值明顯高于其他項，證明各種算法處理后與無暗光圖像對比還有一定的差距，但經過本文算法處理后的圖像，IE值比較接近無暗光圖像獲得IE值。由此可知，經本文算法處理后的圖像，圖像對比度提高，亮度增加，失真小，同時圖像細節清晰和顏色失真問題，證明本文算法的有效性。

4 結論

針對低照度圖像增強過程中圖像質量不佳、圖像偏暗等問題，本文提出改進Retinex與多圖像融合算法。對拷貝的3份圖像進行分別操作，第一份采用直方圖處理，拉伸了圖像的灰度等級，提高了暗光圖像的亮度。同時采用中值濾波，消除了圖像中的孤立噪聲點；對于第二份圖像進行閾值拉伸處理，均勻的提高圖像亮度；第三份采用改進的SSR算法處理，保留了圖像的邊緣信息。最后將3份圖像融合，實驗結果表明，經過本文算法處理的圖像，主觀色彩明顯，自然度，對比度以及亮度都明顯提高。客觀上，PSNR、SSIM以及IE較其他算法都有較大提升，且經過本文算法處理后的圖像，IE值最接近真實無暗光圖像，表明本文算法在對弱光圖像增強方面具有不錯的效果。

[1] 閆保中, 韓旭東, 何偉. 基于Retinex理論改進的低照度圖像增強算法[J]. 應用科技, 2020, 47(5): 74-78.

YAN Baozhong, HAN Xudong, HE Wei. Improved low illumination image enhancement algorithm based on Retinex theory[J]., 2020, 47(5): 74-78.

[2] 牟琦, 魏妍妍, 李姣, 等. 改進的Retinex低照度圖像增強算法研究[J].哈爾濱工程大學學報, 2018, 39(12): 2001-2010.

MOU Qi, WEI Yanyan, LI Jiao, et al. Research on improved Retinex low illumination image enhancement algorithm[J]., 2018, 39(12): 2001-2010.

[3] 韓夢妍, 李良榮, 蔣凱. 基于光照圖估計的Retinex低照度圖像增強算法研究[J/OL]. [2020-07-28]. 計算機工程, http://www.ecice06.com/ CN/ 10.19678/j.issn.1000-3428.0059224.

HAN Mengyan, LI Liangrong, JIANG Kai. Research on Retinex low illumination image enhancement algorithm based on illumination map estimation[J/OL]. [2020-07-28]., http://www. ecice06. com/ CN/10.19678/j.issn.1000-3428.0059224.

[4] 趙馨宇, 黃福珍. 基于雙通道先驗和光照圖引導濾波的圖像增強[J]. 激光與光電子學進展, 2021, 58(8): 53-62.

ZHAO Xinyu, HUANG Fuzhen. Image enhancement based on dual channel a priori and illumination guided filtering[J]., 2021, 58(8): 53-62.

[5] 劉明珠, 蘇桃宇, 王依寧. 壓擴多尺度Retinex圖像增強算法研究[J].哈爾濱理工大學學報, 2020, 25(5): 93-99.

LIU Mingzhu, SU Taoyu, WANG Yining. Research on companding multiscale Retinex image enhancement algorithm[J]., 2020, 25(5): 93-99.

[6] SUN J, HE K, TANG X. Single Image Haze Removal Using Dark Channel Priors: U.S. Patent 8,340,461[P]. 2012-12-25.

[7] CHEN C, CHEN Q, XU J, et al. Learning to See in the Dark [C/OL][2018-05-04]//(CVPR), https://arxiv.org/abs/1805.01934.

[8] 李斯娜, 明道洋. 小波變換在圖像去噪中的應用[J]. 科技信息, 2013(18): 253.

LI SinA, MING Daoyang. Application of wavelet transform in image denoising [J].2013(18): 253.

[9] FU X Y, ZENG D L, HUANG Y, et al. A fusion-based enhancing method for weakly illuminated images[J]., 2016, 129: 82-96.

[10] 秦緒佳, 王慧玲, 杜軼誠, 等. HSV色彩空間的Retinex結構光圖像增強算法[J]. 計算機輔助設計與圖形學學報, 2013(4): 488-493.

QIN Xujia, WANG Huiling, DU Yicheng, et al. Retinex structured light image enhancement algorithm in HSV color space[J]., 2013(4): 488-493.

[11] 楊振亞, 王勇, 楊振東, 等. RGB顏色空間的矢量-角度距離色差公式[J]. 計算機工程與應用, 2010(6): 154-156.

YANG Zhenya, WANG Yong, YANG Zhendong, et al. Vector angle distance color difference formula of RGB color space[J]., 2010(6): 154-156.

[12] 武治國, 王延杰. 一種基于直方圖非線性變換的圖像對比度增強方法[J]. 光子學報, 2010, 39(4): 755-758.

WU Zhiguo, WANG Yanjie. An image contrast enhancement method based on histogram nonlinear transformation[J]., 2010, 39(4): 755-758.

[13] 孫抗, 汪渤, 周志強, 等. 基于雙邊濾波的實時圖像去霧技術研究[J]. 北京理工大學學報, 2011(7): 810-813.

SUN Kang, WANG Bo, ZHOU Zhiqiang, et al. Research on real-time image defogging technology based on bilateral filtering[J]., 2011(7): 810-813.

[14] 張亞飛. 基于冪次變換和MSR的光照不均圖像增強[J].電腦知識與技術, 2012, 8(22): 5456-5458.

ZHANG Yafei. Uneven illumination image enhancement based on power transform and MSR[J]., 2012, 8 (22): 5456-5458.

[15] 楊先鳳, 李小蘭, 貴紅軍. 改進的自適應伽馬變換圖像增強算法仿真[J]. 計算機仿真, 2020, 37(5): 246-250.

YANG Xianfeng, LI Xiaolan, GUI Hongjun. Simulation of improved adaptive gamma transform image enhancement algorithm[J]., 2020, 37 (5): 246-250.

[16] 郭璠, 蔡自興. 圖像去霧算法清晰化效果客觀評價方法[J]. 自動化學報, 2012, 38(9): 1410-1419.

GUO Xuan, CAI Zixing. Objective evaluation method of image defogging algorithm clarity effect[J]., 2012, 38 (9): 1410-1419.

Improved Retinex and Multi-Image Fusion Algorithm for Low Illumination Image Enhancement

ZHAI Haixiang1,2，HE Jiaqi1,2，WANG Zhengjia1,2，JING Jiabao1,2，CHEN Wenzhong1,2

(1.,,430068,; 2.,430068,)

To solve the problems of poor image quality and low contrast in low-illumination image enhancement, this study proposes an improved Retinex and multi-image fusion algorithm for low -illumination image enhancement. First, the image to be processed is converted to the HSV color space, and the brightness of the V-channel component is adjusted by setting a threshold. Then, it is converted to the RGB color space, and three copies are made. Histogram equalization and median filtering are performed for the first part; the second part is processed by automatic brightness adjustment and bilateral filtering; the third part is processed by an improved Retinex algorithm, which uses Gaussian filtering and bilateral filtering as its surround function to estimate the illumination component of the image, and outputs the reflection image. The three processed images are transferred to the HSV color space, and thecomponent is fused. Theandcomponents follow the values of the second image component. Finally, the fused image is converted from the HSV to RGB color space, and the processed image is output. The experimental results show that the proposed algorithm not only enhances the low-illumination image but also suppresses the image noise. Furthermore, it exhibits good edge preservation and obvious details.

low illumination, image enhancement, Retinex, bilateral filtering, image component fusion, HSV color space

TP391.41

A

1001-8891(2021)10-0987-07

2021-01-06；

2021-03-03.

翟海祥（1994-），男，碩士研究生，主要從事嵌入式圖像、機器視覺方面的研究。E-mail：3026871256@qq.com。

王正家（1970-）男，博士，副教授，碩士生導師，主要從事電機智能控制、智能裝備與儀器方面的研究。E-mail：276318532@qq.com。

國家自然科學基金（51275158）。