基于深度卷積神經網絡的低照度圖像增強方法

摘" 要：低照度條件下的圖像細節和紋理難以分辨，導致信息丟失嚴重，傳統增強方法需要大量人工調參、效率低且增強后細節不突出。為解決這一問題，提出一種基于卷積神經網絡（CNN）的低照度圖像增強模型，其通過數據驅動的網絡結構自動學習低照度圖像的分解與增強，并通過端到端訓練更新模型參數。模型包括分解網絡、光照調整網絡和降噪模塊，并在分解網絡和光照調整網絡中加入卷積塊注意力模塊（CBAM），以更全面地捕獲圖像中的重要信息。模型首先通過分解網絡將圖像分解為光照分量和反射分量，然后分別輸入光照調整網絡和降噪模塊進行處理，最后重建得到增強后的圖像。實驗結果表明，與其他增強算法相比，該方法能更有效地提升低照度圖像的對比度和紋理細節，提供更清晰可靠的圖像質量。

關鍵詞：低照度圖像；圖像增強；卷積神經網絡；CBAM注意力機制

中圖分類號：TP391" " 文獻標識碼：A" " 文章編號：2096-4706（2024）21-0050-07

Low Illumination Image Enhancement Method Based on Deep Convolutional Neural Networks

XU Jun， RONG Shuchang， LI Mo， LIU Xuan， LIU Zhaohan， WU Zhen

（China University of Mining and Technology-Beijing， Beijing" 100083， China）

Abstract： The image details and textures under low illumination conditions are difficult to distinguish， resulting in serious information loss. The traditional enhancement method requires a lot of manual adjustment for parameters， low efficiency and no prominent details after enhancement. To solve this problem， a low illumination image enhancement model based on Convolutional Neural Networks （CNN） is proposed. It automatically learns the decomposition and enhancement of low illumination image through a data-driven network structure， and updates model parameters by end-to-end training. This model includes modules of decomposition network， illumination adjustment network and noise reduction， and Convolutional Block Attention Module （CBAM） is added to the decomposition network and the illumination adjustment network， to capture important information in the image more comprehensively. This model firstly decomposes the image into the illumination component and the reflection component by the decomposition network， and then inputs the illumination adjustment network and noise reduction module respectively for processing， and finally reconstructs to obtain the enhanced image. The experimental results demonstrate that compared to other common enhancement algorithms， this method effectively improves the contrast and texture details of low illumination image， providing clearer and more reliable image quality.

Keywords： low illumination image; image enhancement; CNN; CBAM

0" 引" 言

隨著信息化和智能化的發展，圖像和視頻采集系統被廣泛應用于各個領域。然而，在低照度環境中獲取的圖像和視頻數據常常存在照度低、細節紋理丟失等問題[1-2]，這些低質量圖像不僅直接影響后續任務的分析與決策，同時也限制了相關計算機視覺任務的開展。因此，研究低照度圖像增強方法具有十分重要的意義。

傳統低照度圖像增強方法大致包括基于直方圖均衡化[3]的方法（Histogram Equalization， HE）、基于Retinex理論的方法和[4]基于去霧算法的圖像增強方法。基于直方圖均衡化的方法是通過重新分配圖像的像素值，從而增加圖像的對比度使圖像更加清晰[5]。Retinex理論認為觀察到的圖像由反射分量和光照分量構成，實現低照度圖像增強就是通過估計出光照分量后并消除，直接將最后獲取的反射分量作為圖像增強后的結果。然而這種方法可能丟失了光照分量中的信息，代表方法有早期出現的單尺度Retinex算法SSR[6]、多尺度Retinex算法MSR[7]以及LIME[8]等經典算法。基于去霧算法的低照度圖像增強算法則是認為在某些情況下，低照度和霧氣可能在視覺上產生相似的效果[9]，如Dong等[10]提出的用于低照度視頻增強的方法。這些傳統增強方法雖然在低照度圖像增強領域取得了一定成效，但普遍存在增強過程中可能引入噪聲、對比度失衡和魯棒性差等缺點，使得在不同場景下的低照度圖像增強效果難以保持一致。

基于深度學習的增強方法通過數據驅動的方式端到端地訓練深度學習網絡，自動學習圖像中的復雜特征和映射關系。如Lore等[11]利用基于堆疊深度自動編碼器的技術實現提高圖像對比度和降低噪聲含量，但由于編碼器對輸入圖像的大小要求較高且參數較多，因此在多場景下圖像增強效果不佳。Tao等[12]使用卷積神經網絡進行圖像特征提取，但在多尺度特征上細節有所丟失。Wang等[13]基于照度先驗提出的GLADNet網絡在增強圖像清晰度方面有所欠缺。Shi等[14]提出的雙分支卷積神經網絡RetinexNet雖然能有效提升圖像對比度，但存在顏色失真的問題。Guo等[15]提出的基于零參考深度曲線估計的增強方法Zero-DCE，雖然避免了訓練時需要的配對數據，給復雜環境下的圖像增強帶來了便利，但增強后的圖像存在過曝光現象且未考慮增強后的噪聲問題。

綜合考慮以上因素，本文提出了一種適用于復雜環境的低照度圖像增強方法。該方法通過深度卷積神經網絡（Convolutional Neural Network， CNN），將輸入的低照度圖像通過分解網絡解耦為光照分量和反射分量，然后分別對光照分量進行修正，反射分量進行降噪處理，最后通過Retinex約束進行圖像重建，得到增強后的圖像。該方法克服了現有方法中需要大量調參、增強后細節丟失、邊緣模糊、增強后噪聲未處理等缺點。

1" 相關理論

1.1" Retinex理論

Retinex理論是Land提出的一種關于視覺感知的理論，該理論認為人眼接收到的圖像S（x，y）是由光照圖I（x，y）和反射圖R（x，y）組成，如式（1）和圖1所示。前者反映了光源的位置、強度以及光線在場景中的傳播情況，后者反映了光在物體表面的散射和吸收情況。

（1）

1.2" CBAM卷積注意力模塊

CBAM（Convolutional Block Attention Module）是一種強大的深度學習模塊，用于增強CNN在圖像處理任務中的表征能力[16]。其核心結構包括通道注意力模塊和空間注意力模塊，如圖2所示，兩者共同作用以提升網絡對圖像內重要信息的關注度。

通道注意力模塊通過學習每個通道的權重，動態調整通道的重要性，以更有效地捕捉不同通道之間的關聯信息，提高圖像語義特征的提取能力。與傳統的全局池化操作相比，通道注意力機制能更細粒度地調整通道的權重，使網絡更關注圖像中的重要特征。空間注意力模塊則通過學習每個空間位置的權重，使網絡能更準確地聚焦于圖像中的關鍵區域，有助于在處理復雜場景時抑制光照不均勻和陰影等影響，提高對圖像細節的捕捉能力。

2" 模型結構

本文提出了一種基于深度卷積神經網絡的低照度圖像增強模型，旨在有效解決低照度圖像質量下降的問題。整體網絡結構如圖3所示，該模型由三個關鍵模塊組成：分解網絡（DecomNet）、光照調整網絡（Illumination Adjustment Net）和反射降噪模塊（Reflection Denoise Module）。低照度圖像首先輸入分解網絡，生成光照分量預測圖和反射分量預測圖。接著光照分量預測圖經過光照調整網絡進行光照修正，同時反射分量預測圖經過反射降噪模塊進行降噪處理。通過這種深度學習實現的圖像分解和修復流程，能夠有效消除圖像噪聲，增強關鍵細節，從而提供更清晰可靠的圖像。這種方法不僅適用于多種低照度場景，而且避免了傳統方法中煩瑣的人工調參問題。

2.1" 分解網絡

分解網絡（DecomNet）旨在將低照度圖像分解成反射分量和光照分量，網絡結構如圖4所示。網絡輸入層采用空洞卷積，有效擴大了感受野，有助于更好地考慮輸入圖像的上下文信息[17]。為了增強網絡對細節和結構信息的捕捉能力，特征圖先經過CBAM注意力模塊處理，生成注意力權重分配后的特征圖，再分別輸入反射預測網絡和光照預測網絡中。

反射預測網絡采用U-Net結構[18]中的encode-decode結構，以減少輸入輸出間的信息損失。并在每步跳躍連接前先接入CBAM模塊，進一步提升網絡對全局和局部信息的利用能力。光照預測網絡則由4層Conv3×3+LeakyReLU以及1層Conv1×1組成。最后，分解網絡的輸出通過Sigmoid層映射，將反射分量R和光照分量I的預測值限制在[0，1]的取值范圍內。

該網絡的損失函數設計LDecom：

（2）

式中，λrec、λr、λis分別為重建損失系數、反射分量一致性損失系數、光照平滑損失系數。

重建損失函數λrec（Reconstruction Loss），是關于Retinex理論的具體表現，約束了模型在分解前后的光照分量和反射分量盡可能保持一致，具體形式為式（3）：

（3）

根據Retinex理論可知，R（x，y）為物體的反射分量理論上只由物體本身的性質決定，與外界環境無關，因此在輸入的低照度/正常照度礦井圖像對中，低照度圖像經過分解網絡輸出后的反射分量Rlow與正常照度圖像的反射分量Rnormal應保持一致，因此設置了反射一致性損失Lir（Reflection Consistency Loss）用于約束反射分量的一致性：

（4）

光照平滑損失函數Lis（Illumination Smoothness Loss），約束了模型在訓練時在保持圖像整體具有光滑性的同時又不大量丟失局部細節，具體形式如式（5）：

（5）

式中，?為x方向和y方向的梯度，‖?‖1為l1損失，λg為梯度平衡系數，⊙為按元素逐乘。

分解網絡的初始學習率設置為10-3，訓練總次數Epoch為100，訓練時的Loss曲線如圖5所示，由圖可知當訓練次數為75時網絡達到收斂狀態，網絡損失趨于穩定。

2.2" 降噪模塊

由于采集設備、環境等因素的影響，低照度圖像常受到大量噪聲的干擾，導致圖像失真、質量下降，以及細節丟失和對比度減弱。分解網絡損失函數的約束使得反射分量不僅增強了圖像的大部分細節，同時還可能加強了原始輸入圖像中的噪聲。因此，為了提升增強后圖像的質量，本文選擇采用經典的BM3D（Block Matching 3D Filtering）降噪算法對反射分量進行有效處理。

BM3D算法為一種經典的圖像降噪方法，具體算法流程如圖6所示，通過將圖像分塊、尋找相似塊、進行三維變換和聚類，最終合并相似塊并進行逆變換，實現圖像降噪。該算法在去噪效果和適用性上表現優異，能有效去除多種類型的噪聲[19]，同時保留圖像細節，提高圖像質量。

2.3" 光照調整網絡

通過分解網絡得到的低照度圖像的光照分量 具有較低的亮度且細節不夠突出等問題，因此需要設計光照調整網絡（Illumination Adjustment Net）來對特征圖中的暗區域進行調整和修正，光照調整網絡結構如圖7所示。

為了更好地處理整個圖像上不均勻反射圖恢復，光照調整網絡需要引入了反射圖的引導和參考[20]。因此，調整網絡的輸入層同時引入了Ilow和Rlow，將其拼接后經過1層Conv3×3+ReLU的卷積層進行特征整合，然后輸入編解碼網絡中，在編碼過程的下采樣過程中，為了進一步減少信息損失，采用跨步卷積替代最大池化操作。最后由1層Conv3×3的卷積層輸出增強后的光照分量。這一結構的設計旨在有效提升低照度圖像的亮度，并突顯細節，從而改善整體的圖像質量。

為使增強后的圖像與正常照度的參考圖像在光照分量上保持一致性，并在保留主體結構的同時盡可能保留更多的細節信息，設計了光照調整損失函數LAdjust：

（6）

（7）

（8）

式中，λie、λis分別為光照一致損失系數，平滑損失系數，‖?‖2為l2損失。

3" 實驗設置與結果分析

3.1" 數據集選擇

本文方法采用LOL-v2-real數據集作為評估基準。LOL-v2-real數據集是通過調整ISO和曝光時間從真實場景采集而來，包含了多個復雜場景，如室內、室外街道、房屋等。該數據集包含689對用于訓練的低光照和對應的正常光照圖像，以及100對用于測試的圖像對。這些圖像對提供了豐富多樣的場景，涵蓋了在真實環境中拍攝的低照度圖像及其對應的正常光照圖像，從而能夠全面評估本文方法在復雜場景下的增強效果。

3.2" 訓練細節及評價指標

為提高模型的泛化能力及降低過擬合風險，對輸入數據首先進行隨機旋轉、翻轉和縮放等數據增強操作后選取patch size為48的像素塊輸入分解網絡和光照調整網絡中訓練，選取的批處理大小為16，初始學習率為10-3。實驗環境為NVIDIA RTX 3050 GPU和TensorFlow 2的深度學習開源框架，并采用Adam優化器對網絡進行優化。

實驗采用了峰值信噪比（PSNR）和結構相似性指數（SSIM）兩個指標客觀評價模型對煤礦低照度圖像增強效果。PSNR用于衡量圖像重建與原始圖像之間的相似程度，數值越高表示重建圖像質量越高；而SSIM則用于評估圖像結構的相似性，其數值在0到1之間，越接近1表示重建圖像與原始圖像的結構越相似。這兩個指標能夠客觀地評價模型對低照度圖像的增強效果。

3.3" 實驗結果與分析

為進一步說明本文方法的有效性，將本文提出的低照度圖像增強方法與其他常見算法進行了對比實驗，所對比的算法包括RetinexNet算法、GLADNet算法、LIME算法、MSR算法、NPE算法、DONG算法。評價分為主觀評價和客觀評價兩個部分，主觀評價根據增強后的效果圖的清晰度、對比度和細節保留程度等進行評價，客觀評價則采用評價指標量化圖像增強效果。

3.3.1 圖像增強效果圖對比分析

圖8展示了部分圖像增強效果圖結果。從左到右依次展示了LOL-v2-real數據集中的低照度輸入圖像和對應的正常照度參考圖像，以及經過RetinexNet、GLADNet、LIME、MSR、NPE、DONG算法和本文提出的方法增強后的效果圖。

通過仔細觀察和視覺分析可以發現各算法在圖像增強后的效果存在明顯差異。RetinexNet雖然能夠顯著提升亮度，但增強后的圖像存在顏色失真、噪點多和邊緣模糊等問題。GLADNet增強后的圖像同樣出現了顏色失真，并且對比度提升不夠明顯。MSR、NPE和DONG算法雖然能夠提升圖像對比度但丟失圖像細節，導致圖像清晰度下降。LIME在增強圖像視覺效果增強上具有良好效果，但在圖像強光區域出現過度增強的現象。相較之下，本文提出的算法在保留圖像細節的同時成功抑制了噪聲，呈現出更為清晰、自然的圖像效果。

3.3.2" 客觀評價指標分析

為客觀評價本文方法的有效性，表1列出了和其他算法的實驗結果，分析實驗數據可知，本文所提出的方法在PSNR和SSIM指標上比所對比的各算法均有優勢，PSNR值相較RetinexNet、GLADNet、LIME、MSR、NPE、DONG算法分別提升11.9%、13.3%、16.7%、71.4%、15.4%、15.9%，SSIM值分別提升21.2%、5.5%、36.9%、89.9%、55.9%、49.8%，說明本文方法在還原圖像細節、減少失真以及保留圖像結構和內容一致性方面均表現出色。

3.3.3" 消融實驗分析

為了驗證本文所提出的圖像增強模型中深度神經網絡與CBAM注意力模塊的融合的有效性，以及BM3D降噪模塊在低照度圖像增強任務中的必要性，進行了如下相關消融實驗。

圖9所示的增強效果圖以及表2中的數據分別對應缺少CBAM注意力模塊、缺少BM3D降噪模塊和二者均缺少的實驗結果。通過對效果圖和實驗數據的分析可以看出，當網絡缺少CBAM注意力模塊時，PSNR值下降8.6%，SSIM值下降2.1%，模型對圖像中的細節提取能力以及光照分布的感知能力都有所下降。同樣地，缺少BM3D降噪模塊時，PSNR值下降22.9%，SSIM值下降29.3%，導致模型對增強后的噪聲無法有效抑制。因此可以得出在整個圖像增強框架中，CBAM模塊通過提供更強的感知力和對細節的關注，有助于改善圖像的整體質量，而BM3D降噪模塊則在噪聲抑制方面發揮關鍵作用，確保最終增強的圖像清晰、細節豐富，消融實驗結果進一步證明了這些結構在網絡中的必要性和有效性。

4" 結" 論

本文針對煤礦低照度圖像增強任務，提出了一種基于深度卷積神經網絡的低照度圖像增強模型。該模型的雙分支結構對應于Retinex理論中的光照分量和反射分量，分別對光照分量進行修正并對反射分量進行降噪。通過在分解網絡和光照調整網絡中引入CBAM卷積注意力模塊，增強了分解網絡對圖像細節和結構信息的捕捉效果，并強化了光照調整網絡對圖像光照信息的感知能力。實驗結果表明，與其他經典增強算法相比，本文提出的方法在多場景的低照度圖像增強任務中表現出顯著優勢。該方法不僅在提高圖像清晰度方面表現優異，而且在抑制增強后噪聲和提升圖像紋理細節方面均取得了良好效果。

參考文獻：

[1] 劉壽鑫，龍偉，李炎炎，等.基于HSV色彩空間的低照度圖像增強 [J].計算機工程與設計，2021，42（9）：2552-2560.

[2] 劉健，郭瀟，徐鑫龍，等.基于Retinex理論的低照度圖像增強技術 [J].火力與指揮控制，2019，44（9）：139-143.

[3]趙麗.基于直方圖均衡的夜間圖像增強算法研究 [D].蘭州：蘭州大學，2018.

[4] LAND E H，MCCANN J J. Lightness and Retinex Theory [J].Journal of the Optical Society of America，1971，61（1）：11-11.

[5] 劉燕君，劉奇.基于同態濾波與直方圖均衡化的超聲圖像增強 [J].中國組織工程研究與臨床康復，2011，15（48）：9031-9034.

[6] JOBSON D J，RAHMAN Z，WOODELL G A. Properties and Performance of a Center/Surround Retinex [J].IEEE Transactions on Image Processing，1997，6（3）：451-462.

[7] JOBSON D J，RAHMAN Z，WOODELL G A. A multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes [J].IEEE Transactions on Image Processing，1997，6（7）：965-976.

[8] GUO X J，LI Y，LING H B. LIME： Low-Light Image Enhancement Via Illumination Map Estimation [J].IEEE Transactions on Image Processing，2017，26（2）：982-993.

[9] 余春艷，徐小丹，林暉翔，等.應用霧天退化模型的低照度圖像增強 [J].中國圖象圖形學報，2017，22（9）：1194-1205.

[10] DONG X，WANG G，PANG Y，et al. Fast Efficient Algorithm for Enhancement of Low Lighting Video [C]//2011 IEEE International Conference on Multimedia and Expo.Barcelona：IEEE，2011：1-6.

[11] LORE K G，AKINTAYO A，SARKAR S. LLNet： A Deep Autoencoder Approach to Natural Low-light Image Enhancement [J].Pattern Recognit，2017，61：650-662.

[12] TAO L，ZHU C，XIANG G Q，et al. LLCNN： A Convolutional Neural Network for Low-light Image Enhancement [C]//2017 IEEE Visual Communications and Image Processing （VCIP）.St.Petersburg：IEEE，2017：1-4.

[13] WANG W J，WEI C，YANG W H，et al. GLADNet： Low-Light Enhancement Network with Global Awareness [C]//2018 13th IEEE International Conference on Automatic Face amp; Gesture Recognition （FG 2018）.Xi'an：IEEE，2018：751-755.

[14] SHI Y M，WU X P，ZHU M. Three-channel Retinex Decomposition for Low-light Image Enhancement [C]//7th International Symposium on Advances in Electrical， Electronics and Computer Engineering （ISAEECE 2022）.Xishuangbanna：SPIE，2022，12294：1-7.

[15] GUO C L，LI Y C，GUO J C，et al. Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement [C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Seattle：IEEE，2020：1777-1786.

[16] 張宸嘉，朱磊，俞璐.卷積神經網絡中的注意力機制綜述 [J].計算機工程與應用，2021，57（20）：64-72.

[17] 趙永強，饒元，董世鵬，等.深度學習目標檢測方法綜述 [J].中國圖象圖形學報，2020，25（4）：629-654.

[18] 江澤濤，覃露露.一種基于U-Net生成對抗網絡的低照度圖像增強方法 [J].電子學報，2020，48（2）：258-264.

[19] 李明.低照度圖像增強技術的研究及實現 [D].南京：南京郵電大學，2016.

[20] 王滿利，張航，李佳悅，等.基于深度神經網絡的煤礦井下低光照圖像增強算法 [J].煤炭科學技術，2023，51（9）：231-241.

作者簡介：徐俊（2003—），男，漢族，江西南昌人，本科在讀，研究方向：深度學習、計算機視覺。

基金項目：中國礦業大學（北京）大學生創新訓練項目（202304070，202414021）