基于模擬多曝光融合的低照度圖像增強方法

司馬紫菱 胡峰

摘 要：針對部分低照度圖像整體亮度偏暗、對比度差和視覺信息偏弱等問題，提出一種基于模擬多曝光融合的低照度圖像增強方法。首先，利用改進的變分Retinex模型和形態學的結合產生基準圖來保證曝光圖像集中的主體信息;其次，結合Sigmoid函數和伽馬矯正構造新的光照補償歸一化函數，同時提出了一種基于高斯引導濾波的反銳化掩模算法，用于調整基準圖的細節;最后，分別從亮度、色調和曝光率設計曝光圖集的加權值，通過多尺度融合得到最終增強結果，有效地避免了增強結果中的光暈和顏色失真。在不同的公開數據集上的實驗結果表明，與傳統的低照度圖像增強方法進行相比，所提方法降低了亮度失真率，提升了視覺信息保真度。該方法能夠有效地保留視覺信息，有利于實現低照度圖像增強的實時性應用。

關鍵詞：低照度圖像;Retinex理論;曝光融合;細節調整;圖像增強

中圖分類號： TP391.41圖像識別及其裝置

文獻標志碼：A

Abstract： Aiming at the problems of low luminance， low contrast and poor visual information， a low-light image enhancement method based on simulating multi-exposure fusion was proposed. Firstly， the improved variational Retinex model and morphology were combined to generate the reference map to ensure the subject information in the exposed image set. Then， a new illumination compensation normalization function was constructed by combining Sigmoid function and gamma correction. At the same time， an unsharp masking algorithm based on Gaussian guided filtering was proposed to adjust the details of the reference map. Finally， the weighted values of exposed image set were designed from luminance， chromatic information and exposure rate respectively， and the final enhancement result was obtained through multi-scale fusion with effective avoidance of halo phenomenon and color distortion. The experimental results on different public datasets show that， compared with the traditional low-light image enhancement method， the proposed method has reduced the lightness distortion rate and increased the visual information fidelity. The proposed method can effectively preserve visual information， which is conducive to the real-time application of low-light image enhancement.

Key words： low-light image; Retinex theory; exposure fusion; detail adjustment; image enhancement

0 引言

隨著科技的進步與發展，圖像采集的方式越來越豐富，人們對圖像的質量要求也越來越高。然而圖像在獲取的過程會受到很多因素的影響，特殊光照環境下，光學成像設備因為光照不均勻，從而可能使獲得的圖像曝光不均勻、場景細節損失、弱小目標識別不清。由于拍攝設備的動態范圍是有限度的，如果僅僅調整設備曝光率，還是不能解決某些區域出現過度曝光或者過度飽和等問題。從圖1可以看出，隨著曝光率的增加，原來曝光不足的區域趨向于正常顯示，而原來正常的區域趨向于過度曝光，導致無法正常顯示區域信息。針對這個問題，學者們進行了大量研究。目前主流的方法主要分為兩類：基于直方圖增強和基于Retinex圖像增強[1]。基于直方圖的方法通過修改直方圖的分布來增強圖像，該方法因為簡單有效而被廣泛應用于各個領域，然而該方法對噪聲敏感，在其改變圖像亮度的同時可能出現過度增強的現象。近年來圍繞這一問題，學者們提出了一系列優化算法。Lee等[2]通過尋找二維直方圖分層之間的差異性提出了一種新的對比度增強算法;Celik等[3]嘗試尋找一個最大灰度差來重新映射直方圖;Gu等[4]將質量評估模型應用于直方圖參數的優化中，有效地處理了過度增強的問題。但這些方法關注的是對比度增強，并沒有充分利用圖像的真實亮度，存在過度增強或者未被增強的風險。

基于Retinex的方法將圖像看作是由光照分量和反射分量構成。傳統的Retinex方法通過對光照分量的估計和移除，將反射分量看作是最后的增強結果[5-6]，但是往往會出現增強結果不自然和過度增強等問題。Wang等[7]設計了亮度濾波器對亮度進行估計，然后使用雙對數變換修整亮度，但是不能很好地處理細節。王小明等[8]提出了利用快速二維卷積和多尺度連續估計的算法，降低了多尺度Retinex算法的運算復雜度，但該方法可能會因為光照分量的結構性導致部分增強區域失去自然性。Fu等[9]通過最大后驗概率來估計光照分量和反射分量，將兩者進行伽馬校正后重新調整圖像，得到最后的增強結果，雖然增強效果較為理想，但仍會在紋理豐富的區域丟失細節信息。

上述方法可以獲得較好的主觀質量，但這些結果并不能準確地反映場景的真實信息。因此，基于單幅低照度圖像的增強仍然是一個具有挑戰性的問題。為了改善上述情況，基于Retinex的圖像增強方法，本文提出了一種基于模擬多曝光融合的低照度圖像增強方法，基本框架如圖2所示。

1）首先將原來的低照度圖像由RGB（Red，Green，Blue）顏色模式轉化為HSV（Hue，Saturation，Value）模式，然后將HSV圖像的V通道進行變分Retinex和形態學操作，得到變分增強后的基準圖E1。

2）將變分增強后的基準圖E1通過Sigmoid函數和伽馬矯正構造新的歸一化函數來實現圖像的光照補償，并得到基準圖E2。

3）再通過基于高斯引導濾波的反銳化掩模算法對基準圖E1進行細節調整，得到調整后的基準圖E3。

4）將三幅基準圖E1、E2、E3基于圖像的亮度、曝光率和色調設計三幅曝光圖的加權值，為曝光良好的像素分配較大的權值，曝光不足的像素分配較小的權值，得到圖像集W1、W2、W3。

5）最后將加權后的圖像集和基準圖像集通過多尺度融合的方式結合，實現最后的增強，輸出增強后的圖像。

1 基于變分Retinex的增強方法

在模擬曝光之前，需要確定曝光圖像的數量。為了同時兼顧圖像的亮度和細節信息，本文選擇三幅曝光圖像，其中一幅為基準圖像，另外兩幅曝光圖是在基準圖E1的基礎上，分別基于細節和亮度調整而產生。所以基準圖E1是整個曝光圖集的核心，E1的估計不足將會嚴重影響著其余兩幅圖的內容調整。Retinex理論是基于人眼視覺系統所提出的圖像增強理論，因此基于Retinex理論產生基準圖，其數學模擬如下：

5 結語

針對低照度圖像，本文提出了一種基于模擬多曝光融合的圖像增強方法。首先，利用形態學和改進的變分模型產生曝光圖像集的基準圖，以此保證增強結果的主體信息;為了模擬多曝光，分別以亮度和細節為目的，在基準圖的基礎上產生另外兩幅曝光圖;然后，分別基于亮度、曝光度和色調設計曝光圖集的加權值，為曝光良好的像素分配較大的權值，為曝光不足的區域分配較小的權值;最后，采取多尺度融合圖像集的方式，避免增強結果中的光暈，得到了最終增強的圖像。將本文的方法和已有的低照度圖像增強方法在四個公開的數據集上進行測試對比，實驗結果表明，本文的方法具有較小的亮度失真和對比度失真，能夠有效地保留圖像本身的視覺信息。但是因為本文采取了交替求解策略，迭代次數增加了算法的復雜度，因此在接下來的工作中，如何提高算法的效率將是下一步的研究重點。

參考文獻 （References）

[1] YUE H J， YANG J Y， SUN X Y， et al. Contrast enhancement based on intrinsic image decomposition [J]. IEEE Transactions on Image Processing， 2017， 26（8）： 3981-3994.

[2] LEE C， LEE C， KIM C S. Contrast enhancement based on layered difference representation of 2D histograms [J]. IEEE Transactions on Image Processing， 2013， 22（12）： 5372-5384.

[3] CELIK T， TJAHJADI T. Contextual and variational contrast enhancement [J]. IEEE Transactions on Image Processing， 2011， 20（12）： 3431-3441.

[4] GU K， ZHAI G T， LIN W S， et al. The analysis of image contrast： from quality assessment to automatic enhancement [J]. IEEE Transactions on Cybernetics， 2016， 46（1）： 284-297.

[5] JOBSON D J， RAHMAN Z， WOODELL G A. Properties and performance of a center/surround Retinex [J]. IEEE Transactions on Image Processing， 1997， 6（3）： 451-462.

[6] 劉茜，盧心紅，李象霖.基于多尺度Retinex的自適應圖像增強方法[J].計算機應用，2009，29（8）：2077-2079.（LIU Q， LU X H， LI X L. Adaptive image enhancement method based on multi-scale Retinex algorithm [J].Journal of Computer Applications， 2009， 29（8）： 2077-2079.）

[7] WANG S H， ZHENG J， HU H M， et al. Naturalness preserved enhancement algorithm for non-uniform illumination images [J]. IEEE Transactions on Image Processing， 2013， 22（9）： 3538-3548.

[8] 王小明，黃昶，李全彬，等.改進的多尺度Retinex圖像增強算法[J].計算機應用，2010，30（8）：2091-2093.（WANG X M， HUANG C， LI Q B， et al. Improved multi-scale Retinex image enhancement algorithm [J]. Journal of Computer Applications， 2010， 30（8）： 2091-2093.）

[9] FU X Y， LIAO Y H， ZENG D L， et al. A probabilistic method for image enhancement with simultaneous illumination and reflectance estimation [J]. IEEE Transactions on Image Processing， 2015， 24（12）： 4965-4977.

[10] WANG Y F， WANG H Y， YIN C L， et al. Biologically inspired image enhancement based on Retinex [J]. Neurocomputing， 2016， 177（C）： 373-384.

[11] GUO X J， LI Y， LING H B. LIME： low-light image enhancement via illumination map estimation [J]. IEEE Transactions on Image Processing， 2017， 26（2）： 982-993.

[12] FU X Y， ZENG D L， HUANG Y， et al. A weighted variational model for simultaneous reflectance and illumination estimation [C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2016： 2782-2790.

[13] KIMMEL R， ELAD M， SHAKED D， et al. A variational framework for Retinex [J]. International Journal of Computer Vision， 2003， 52（1）： 7-23.

[14] GOLDSTEIN T， OSHER S. The split bregman method for L1-regularized problems [J]. SIAM Journal on Imaging Sciences， 2009， 2（2）： 323-343.

[15] DENG G. A generalized unsharp masking algorithm [J]. IEEE Transactions on Image Processing， 2011， 20（5）： 1249-1261.

[16] ANCUTI C O， ANCUTI C. Single image dehazing by multi-scale fusion [J]. IEEE Transactions on Image Processing， 2013， 22（8）： 3271- 3282.

[17] ANCUTI C O， ANCUTI C， de VLEESCHOUWER C， et al. Single-scale fusion： an effective approach to merging images [J]. IEEE Transactions on Image Processing， 2017， 26（1）： 65-78.

[18] ANCUTI C， ANCUTI C O， HABER T， et al. Enhancing underwater images and videos by fusion [C]// Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2012： 81-88.

[19] ANCUTI C O， ANCUTI C， BEKAERT P. Enhancing by saliency-guided decolorization [C]// CVPR 2011： Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2011： 257-264.

[20] CHOI L K， YOU J， BOVIK A C. Referenceless prediction of perceptual fog density and perceptual image defogging [J]. IEEE Transactions on Image Processing， 2015， 24（11）： 3888-3901.

[21] JOBSON D J， RAHMAN Z， WOODELL G A. A multiscale Retinex for bridging the gap between color images and the human observation of scenes [J]. IEEE Transactions on Image Processing， 1997， 6（7）： 965-976.

[22] XU H T， ZHAI G Z， WU X L， et al. Generalized equalization model for image enhancement [J]. IEEE Transactions on Multimedia， 2014， 16（1）： 68-82.

[23] SHAN Q， JIA J Y， BROWN M S. Globally optimized linear windowed tone mapping [J]. IEEE transactions on Visualization and Computer Graphics， 2010， 16（4）： 663-675.

[24] YING Z Q， LI G， REN Y R， et al. A new image contrast enhancement algorithm using exposure fusion framework [C]// CAIP 2017： Proceedings of the 2017 International Conference on Computer Analysis of Images and Patterns， LNCS 10425. Cham： Springer， 2017： 36-46.

[25] LI M D， LIU J Y， YANG W H， et al. Structure-revealing low-light image enhancement via robust Retinex model [J]. IEEE Transactions on Image Processing， 2018， 27（6）： 2828-2841.

[26] MA K， ZENG K， WANG Z. Perceptual quality assessment for multi-exposure image fusion [J]. IEEE Transactions on Image Processing， 2015， 24（11）： 3345- 3356.

[27] SHEIKH H R， BOVIK A C. Image information and visual quality [J]. IEEE Transactions on Image Processing， 2006， 15（2）： 430-444.

[28] LI Z G， ZHENG J H， ZHU Z J， et al. Weighted guided image filtering [J]. IEEE Transactions on Image Processing， 2015， 24（1）： 120-129.

[29] AYDIN T O， MANTIUK R， MYSZKOWSKI K， et al. Dynamic range independent image quality assessment [C]// SIGGRAPH 2008： Proceedings of the 2008 ACM SIGGRAPH. New York： ACM， 2008： Article No. 69.

[30] WANG Q H， FU X Y， ZHANG X P， et al. A fusion-based method for single backlit image enhancement [C]// ICIP 2016： Proceedings of the 2016 IEEE International Conference on Image Processing. Piscataway， NJ： IEEE， 2016： 4077-4081.

[31] YING Z Q， LI G， REN Y R， et al. A new low-light image enhancement algorithm using camera response model [C]// Proceedings of the 2017 IEEE International Conference on Computer Vision Workshop. Piscataway， NJ： IEEE， 2017： 3015-3022.

[32] 王晨，湯心溢，高思莉.基于人眼視覺的紅外圖像增強算法研究[J].激光與紅外，2017，47（1）：114-118.（WANG C， TANG X Y， GAO S L. Infrared image enhancement algorithm based on human vision [J]. Laser and Infrared， 2017， 47（1）： 114-118.）