基于深度學習的低光照圖像增強研究綜述

摘 要：低光照圖像增強的目的是優化在光線不足的環境中捕獲的圖像，提升其亮度和對比度。目前，深度學習在低光照圖像增強領域已成為主要方法，因此，有必要對基于深度學習的方法進行綜述。首先，將傳統低光照圖像增強方法進行分類，并分析與總結其優缺點。接著，重點介紹基于深度學習的方法，將其分為有監督和無監督兩大類，分別總結其優缺點，隨后總結應用在深度學習下的損失函數。其次，對常用的數據集和評價指標進行簡要總結，使用信息熵對傳統方法進行量化比較，采用峰值信噪比和結構相似性對基于深度學習的方法進行客觀評價。最后，總結目前方法存在的不足，并對未來的研究方向進行展望。

關鍵詞：低光照圖像增強；深度學習；有監督；特征提??；無監督

中圖分類號：TP391"" 文獻標志碼：A"" 文章編號：1001-3695（2025）01-003-0019-09

doi： 10.19734/j.issn.1001-3695.2024.06.0176

Review of low light image enhancement based on deep learning

Abstract： The aim of low-light image enhancement is to optimize images captured in low-light environments by improving their brightness and contrast. Currently， deep learning has become the main method in the field of low-light image enhancement， necessitating a review of deep learning-based methods. First， this paper classified traditional methods of low-light image enhancement and analyzed and summarized their advantages and disadvantages. Then， this paper focused on deep learning-based methods， classified them into supervised and unsupervised categories， and summarized their respective advantages and disadvantages. This paper also summarized the loss functions applied in deep learning approaches. Next， this paper briefly summarized the commonly used datasets and evaluation metrics， using information entropy to quantitatively compare traditional me-thods， and employing peak signal-to-noise ratio and structural similarity to objectively evaluate deep learning-based methods. Finally， this paper summarized the shortcomings of current methods and prospect future research directions.

Key words：low-light image enhancement; deep learning; supervised; feature extraction; unsupervised

0 引言

圖像是信息傳遞的關鍵媒介。然而，在夜間或光照不足的環境中拍攝的圖像通常存在亮度差、噪聲多和對比度低等問題。這些問題尤其會對視覺任務產生負面影響，如目標檢測、人臉識別、自動駕駛以及智能安防等［1］。因此，提升低光照下圖像的質量具有重要意義。低光照圖像增強的目的是提高圖像亮度、保留更多細節、減少噪聲以及消除干擾信息等［2］。提升低光照環境下圖像的質量通常有硬件和軟件兩種解決策略［3］。硬件方面，通過提升相機傳感器的靈敏度和優化傳感器與處理器之間的協同工作來改善圖像質量。但這種方法成本較高，因此軟件解決方案逐漸成為低光照圖像增強領域的主流。軟件方法主要分為傳統方法和基于深度學習的方法。傳統方法通過像素值的映射來增強低光照圖像的對比度，但存在增強效果不足的問題。在深度學習方法中，分為有監督學習和無監督學習兩大類。有監督方法通過網絡學習低光照圖像與正常光照圖像之間的映射關系，從而提升低光照圖像的質量。而無監督學習方法則通過挖掘正常光照圖像與低光照圖像之間的內在聯系來增強圖像。

總體而言，低光照圖像增強已成為當前研究的熱點，涉及方法也日益多樣化。盡管該領域取得了一定進展，但仍有諸多挑戰亟待克服。因此，對目前采用的低光照圖像增強方法進行歸納總結和分析顯得尤為必要。低光照圖像增強方法總結如圖1所示。

1 傳統的增強方法

傳統的低光照圖像增強方法通?？蓺w為基于分布映射的和基于模型優化的方法兩大類。

在低光照圖像增強傳統方法中，基于分布映射的方法涵蓋了一系列技術，包括直方圖均衡化［4～7］、伽馬校正［8～10］以及色調映射［11～13］。他們的核心在于調整圖像的像素值分布，以達到增強圖像視覺效果的目的。直方圖均衡化通過重新分配像素強度來增強圖像的全局或局部對比度。伽馬校正通過非線性變換圖像的灰度值來提升亮度和對比度。色調映射通過改善動態范圍來優化圖像的亮度和對比度，包括全局和局部兩種方法。全局色調映射不考慮原始圖像中像素的位置，通過計算全局平均亮度和最大亮度值來調整像素的亮度值。局部映射算法在原始圖像中不同的區域采用不同的轉換函數。

基于模型優化的圖像增強方法側重于建立和優化數學模型來描述圖像的特性和退化過程，其主要包括Retinex算法［14～19］和暗通道先驗［20～22］。Retinex算法是一種基于光照和反射率分離的模型，它通過估計圖像的光照分量來增強低光照條件下的圖像。暗通道先驗則是根據一個圖像至少存在一些區域沒有被光照或者光照很弱，而這些區域在圖像中表現為暗通道，利用暗通道來估計全局大氣光并恢復圖像的細節。通過估計圖像中的散射光和透射光的比例，進而分離出原始圖像的顏色和結構。

上述傳統增強方法的應用及對比分析如表1所示。傳統的低光照圖像增強方法雖然在提升圖像質量方面取得了一定的成效，但仍存在一些局限：

a）在增強圖像過程中會在暗區域增加噪聲；

b）在提高亮度和對比度的過程中，會犧牲圖像的細節信息和紋理信息；

c）無法充分擴展圖像的動態范圍，導致高光區域細節丟失。

2 基于深度學習的增強方法

隨著計算機硬件的發展，深度學習開始在計算機視覺領域得到廣泛應用［23］。借此技術浪潮，研究者們開始探索將深度學習應用于低光照圖像增強問題。深度學習技術在低光照圖像增強任務中主要采用有監督學習和無監督學習兩種策略。

2.1 有監督的方法

基于有監督的低光照圖像增強方法，網絡通過學習正常光照與低光照之間的映射關系來增強圖像。

Lore等人［24］第一個提出基于深度學習的低光照圖像增強神經網絡LLNet，開創了使用端到端網絡進行低光照圖像增強的新方法。該方法通過一個堆疊稀疏去噪自編碼器來增強亮度和去噪，雖然提升了圖像亮度，但恢復后的圖像出現大量偽影?；赗etinex理論，Park等人［25］結合堆疊自編碼器和卷積自編碼器來實現增強。使用堆疊自編碼器壓縮圖像特征平滑照明分量，使用卷積自編碼器處理2D圖像信息來減少亮度增強過程中的噪聲。文獻［24，25］都考慮到了噪聲問題，但他們增強亮度的能力較弱。針對此問題，Chen等人［26］提出了Retinex-Net網絡，該網絡由兩個子網絡組成。其中分解子網絡負責將成對圖像分解為光照分量和反射分量；另一個增強子網絡則用于調整照明效果，對分離出低光照圖像的光照分量和反射分量合并進行增強得到處理后的光照分量。此外，采用了平均絕對損失（mean absolute loss，L1 loss）作為結構感知平滑損失函數來對深度圖像分解進行約束，同時結合多尺度照明調整策略，來確保全局照明的一致性和局部光照的細節處理，其網絡結構如圖2所示。盡管Retinex-Net能夠提升低光照圖像的亮度，但是會出現偽影和細節丟失問題。為了解決這種問題，Zhang等人［27］提出了KinD網絡模型。其使用均方誤差損失（mean squared error loss，MSE Loss）作為圖像內容保真度損失來減少恢復后的圖像與正常光照圖像的光照一致；使用結構相似指數損失（structu-ral similarity index measure loss，SSIM Loss）作為結構相似性損失來保證輸出圖像與正常光照圖像的結構相似；定義平滑一致性損失來減少與目標圖像之間的差距，從而提高低光照圖像的質量。但KinD在增強圖像的過程中會出現過曝的問題，因此文獻［28］在原先KinD的基礎上提出了KinD++神經網絡。該網絡在KinD的基礎上引入了多尺度照明注意力機制和數據對齊策略，使處理后的低光照圖像具有更高的視覺質量。Wang等人［29］使用具有跳躍鏈接的編碼器-解碼器來生成照明的全局先驗知識來提取圖像中的細節信息。文獻［30］通過模擬低光照與正常曝光圖像之間的一對多網絡LLFlow，通過條件歸一化流來模擬正常曝光圖像的條件分布，從而約束增強圖像的流形，由Retinex理論啟發的照明不變顏色圖作為低光照圖像增強任務的先驗，豐富顏色飽和度的同時減少了色彩失真。

上述方法在網絡設計上考慮到了噪聲對圖像質量的影響，但是沒有很好解決圖像的細節丟失。為了解決細節丟失問題，Cai等人［31］提出了SICE網絡模型，利用Retinex理論將低光照圖像分解為光照圖和反射圖，同時對兩者進行增強。其網絡架構由兩部分組成，第一部分特征提取網絡分為U-Net分支［32］和殘差網絡分支，具有較大感受野的U-Net網絡提取圖像的特征來提高對比度，殘差網絡分支學習并保留更多的細節特征，第二部分對增強后的結果進行合并。損失函數采用L1 loss約束訓練過程中產生的偽影，采用MSE loss來減少增強后的光照圖存在的噪聲和增強模型的魯棒性，采用定義的DSSIM損失來使增強后的圖像與正常光照圖像保持一致的結構，其網絡結構如圖3所示。Yang等人［33］提出將兩個CNN網絡用于圖像增強。網絡分別由高動態范圍網絡和低動態范圍網絡組成，采用色調映射的方式保留細節信息，基于MSE loss設計的損失函數來衡量目標圖像與正常光照圖像差異的平衡。當用戶希望圖像具有不一樣的色調風格時，單一網絡模型難以滿足要求。基于這種問題，Ko等人［34］提出了IceNet，通過用戶給出全局亮度控制參數來估計出像素級的伽馬校正圖，進而滿足用戶的需求。

盡管現有方法在提升圖像質量方面取得了進展，但卻普遍存在泛化能力不足的問題。針對這種問題，Wu等人［35］提出了URetinex-Net網絡模型，該模型在Retinex理論的基礎上使用迭代增強來優化結果，以此來實現噪聲的抑制和細節的保留。進一步地，文獻［36］提出了一種結合語義信息來實現低光照的圖像增強。使用轉置注意力機制來獲得注意力圖改造圖像特征，結合語義引導的顏色直方圖損失和對抗損失來保持色彩一致性和更自然的紋理。Hai等人［37］認為，僅在空間域提取信息而忽略頻域中的豐富信息，可能會對圖像質量產生不利影響。因此，在光照恢復子網絡中，通過應用傅里葉變換和復數域卷積來提取圖像在頻域中的信息。通過結合頻域信息與空間域信息，顯著提高了低光照圖像的質量。Liu等人［38］提出了名為RAUNA的神經網絡。其網絡通過引入一個自監督微調策略來使網絡自動地調整最佳的超參數，同時網絡學習全局-局部的亮度信息來提升圖像亮度。雖然圖像的亮度得到了增強，但是卻產生了偽影。因此，Li等人［39］設計了一個輕量級亮度感知金字塔網絡，通過并行的粗特征提取和亮度感知細化，以及輔助子網絡來學習亮度映射。利用通道分割策略和對比注意力機制，使網絡能夠提取并融合多尺度特征，并通過漸進式亮度調整，可以有效地恢復圖像的自然色彩和細節。

Xu等人［40］提出了一種基于頻率分解和增強的網絡，使用注意力上下文編碼來自適應地對低頻信息中的噪聲進行去除，接著再對高頻信息進行保留來增強細節，使用多尺度的頻率特征處理進行噪聲抑制和細節保留來避免噪聲對圖像的影響。Wang等人［41］提出了一種漸進式Retinex網絡，通過相互加強的策略來感知低光照圖像中的光照和噪聲。使用兩個全點卷積網絡，分別對環境光和圖像噪聲的統計規律進行建模，并使用基于相機成像模型機制來合成圖像，以生成受光照依賴噪聲影響的彩色圖像。但是，該方法僅僅考慮了像素的統計分布，而忽略了圖像的結構屬性，造成增強后的圖像質量提升不明顯。

文獻［42］創新性地將Retinex理論與Transformer模型相結合，增強后的圖像質量明顯得到提升。為了解決低光照圖像增強在應用場景存在參數量大的問題，Cui等人［43］提出了參數量為90 k的光照自適應Transformer輕量級網絡。該網絡基于一個雙分支的Transformer模型，包括使用像素級局部分支和全局信號處理分支，并在局部分支中使用深度卷積代替自注意力機制來實現輕量化。Brateanu等人［44］提出了一種名為LYT-Net輕量級網絡，其參數量僅為45 k，采用雙路徑的方法，分別處理色度和亮度。通過在亮度層和色度層應用多頭自注意力來實現網絡對圖像特征的提取?；謴秃蟮膱D像與目標圖像在內容上保持一致對圖像質量有著重要的作用，文獻［45］設計了一種可學習的光照過濾器來縮減不同光照條件之間的光照風格差異，以特征圖計算的Gram矩陣作為輸入，來從圖像的整體風格中提取光照風格相關的信息，從而減少圖像內容信息上的損失。

有監督的學習要求成對的正常光照和低光照圖像數據集來訓練。網絡通過學習正常光照圖像的特征來映射到低光照圖像上，以此實現低光照圖像的增強。現有基于有監督學習方法的優缺點匯總在表2中。盡管這些方法在恢復效果上表現出色，但它們也存在一些局限性，具體缺點概述如下：

a）依賴成對的數據集進行訓練，但成對的數據集難以在短時間內獲?。?/p>

b）有監督的學習嚴重依賴于數據集中包含的圖像，導致泛化能力不足。

2.2 無監督的方法

為了解決有監督學習依賴成對數據集進行訓練的局限，研究者們提出了無須成對數據集訓練的無監督學習方法。這些方法能夠在缺乏配對訓練樣本的情況下有效地進行圖像增強任務。

文獻［46］提出了一種通過零參考深度曲線估計的網絡，采用迭代優化局部亮度調節來改善低光照圖像，網絡包含7個具有對稱跳躍連接的卷積層，將圖像分割為多個子區域并使用迭代優化逐步地獲得高階曲線，接著采用無參考的損失函數來估計增強圖像的質量，其網絡結構如圖4所示。接著，Li等人［47］在文獻［46］的基礎上進行了改進，提出了Zero-DCE++網絡模型。這一模型以僅有10 k的網絡參數量，極大地提高了在終端設備上應用低光照圖像增強的可行性。Zero-DCE++不僅保持了原模型的性能，還實現了更快的處理速度。Zhu等人［48］提出了RRDNet網絡模型，旨在擴大圖像對比度的同時抑制噪聲。其由三個子網絡組成，這些子網絡分別將輸入圖像分解為反射率圖、光照圖和噪聲圖。通過迭代最小化損失函數來更新網絡權重，另外該模型無須依賴先驗知識來進行訓練。大多數現有方法都是在RGB顏色空間進行增強圖像，Jiang等人［49］提出了一種基于Retinex理論的深度自規范低光照圖像增強的無監督方法，其通過將輸入圖像顏色空間轉換到HSV色彩空間中，并將其分解為色調、飽和度和亮度三分量。設計了一種新穎的隨機亮度擾動方法，結合原始亮度和擾動后的亮度通過卷積神經網絡來估計相同的反射率。通過特定設計的反射一致性、曝光控制損失、光照平滑損失和空間結構損失來組成損失函數估計出光照分量的反射率，將色調、飽和度和反射率進行拼接來合成最后的增強圖像。大多數現有方法沒有考慮到圖像中的全局結構和局部細節紋理對圖像的質量有著重要的作用。因此，Xu等人［50］提出一種新的方法STANet，其通過尺度輪廓圖引導濾波器將圖像分解為結構分量和紋理分量，在結構子網絡中，借鑒了U-Net［32］網絡，并在下采樣階段融入了殘差鏈接，以此增強網絡對全局特征的捕捉能力。對于紋理子網絡，通過一個無下采樣操作的網絡，以保留圖像細節。采用通道注意力機制和空間注意力機制來構造混合子網絡，應用殘差學習來生成最終的增強圖像。

為了利用生成對抗網絡在生成圖像方面的能力，研究者們開始將其應用于低光照圖像增強領域。基于生成式對抗網絡，Jiang等人［51］提出了EnlightenGAN網絡模型，其生成器是由注意力機制引導U-Net網絡［32］，共包含8個卷積塊，每個卷積塊由2個卷積核為3×3的卷積層所組成，結合全局-局部鑒別器來區分真實與偽造圖像，以解決增強后的圖像出現局部過曝或欠曝問題，創新性地加入局部判別器來指導生成器生成更真實的偽圖像，采用VGG-16［52］的改進損失來作為自特征保留損失，使圖像內容特征在增強前后保持不變，其網絡結構如圖5所示。雖然圖像質量得到提升，但卻存在著色偏問題。Fu等人［53］提出了一種基于生成式對抗網絡的低光照圖像增強網絡LE-GAN，網絡使用空間照明注意力機制和全局照明注意力機制來提取圖像特征，使用L1 loss作為特性不變損失來解決增強圖像的過曝問題。Wang等人［54］提出了MAGAN網絡模型，通過混合注意力模塊來模擬低光照圖像像素與特征之間的關系，從而在增強低光照圖像的同時去除噪聲。Zheng等人［55］通過將網絡學習低光照圖像中的語義退化感知引導來提升低光照圖像的質量。Liang等人［56］基于Retinex理論和神經網絡的生成能力提出了一種新的方法，使用自監督去噪層根據照明強度自適應地調整空間變化特性，通過一個可微的直方圖平衡損失，最大化地增強圖像的質量。Yu等人［57］提出了一種新的生成式對抗網絡，該網絡的生成器包含殘差層、混合注意力層和并行擴張卷積層，用于提取圖像特征，并使用一種改進的像素損失函數來約束網絡學習低光照圖像的信息。Zhen等人［58］提出了一種循環生成注意力對抗網絡，通過引入一種新的注意力層來區別相應特征的重要性，使用特定的風格區域損失函數來消除噪聲對圖像的影響，使用新的歸一化函數來指導網絡恢復細節信息。Ma等人［59］提出了SCI網絡模型，該網絡基于Retinex理論，提出了一個自校準模塊，通過權重共享來加速不同階段結果的收斂，結合保真度損失和平滑損失組成無監督損失函數來提升模型的泛化性。

無監督學習方法擺脫了對成對低光照和正常光照圖像數據集的依賴，通過挖掘低光照圖像和正常光照圖像之間的內在關系來進行增強，而不是依賴于圖像的直接映射。通過結合前沿的網絡架構、損失函數和優化策略，無監督學習能夠在無須成對數據集的情況下提高低光照圖像的質量。但無監督學習方法也存在著一些缺點，比如增強后的圖像存在偽影和細節缺失等問題［60］。無監督學習方法總結如表3所示。

基于上述方法，對從有監督到無監督的低光照圖像增強方法進行分析和總結。有監督的方法網絡學習正常光照圖像的特征，并將其特征映射到低光照圖像上，其核心在于特征提取。而無監督的方法則著眼于探索低光照圖像與正常光照圖像之間的內在聯系，以此來增強低光照圖像，其中關鍵在于巧妙設計的損失函數，用以最小化增強圖像與原始低光照圖像之間的差異。

2.3 損失函數

損失函數在基于深度學習的低光照圖像增強模型中起著至關重要的作用。損失函數通過衡量模型輸出與真實圖像之間存在的差異，指導模型在訓練過程中的不斷優化。在低光照圖像增強任務中，損失函數的選擇和設計直接影響到模型對圖像細節的恢復能力和整體質量的提升。基于深度學習的低光照圖像增強領域中常用到的損失函數包括平均絕對損失（mean absolute loss，L1 loss）、結構相似指數損失（structural similarity index measure loss，SSIM loss）、平滑度損失（smoothness loss）、顏色損失（color constancy loss）、感知損失（perceptual loss）、曝光損失（exposure loss）、均方誤差損失（mean squared error loss，MSE loss）、對抗損失（adversarial loss）［61］和總變差損失（total variation loss）［62］。

a）L1 loss用于衡量模型輸出與真實圖像之間的平均絕對誤差。在低光照圖像增強中，平均絕對損失有助于減少增強圖像與真實圖像之間的誤差并且使模型具有較強的魯棒性。其計算公式如下：

其中：N是樣本數量或圖像中的像素總數;Oi和Ii分別表述的是模型預測的第i個值和實際的第i個值。

b）SSIM loss是一種衡量恢復后的圖像與正常光照圖像在亮度、對比度和結構信息上的差異，能夠較好地反映人眼對圖像質量的感知。其計算公式如下：

其中：μI和μJ分別是圖像I和J的亮度均值;σI和σJ分別是圖像I和J的對比度標準差;σIJ是圖像I和J的亮度協方差;c1和c2為很小的常數。

c）平滑度損失是一種正則化損失，鼓勵生成的圖像具有平滑的區域，保持與正常圖像的局部光滑特性相一致。其計算公式如下：

其中：N是迭代次數;Δx和Δy分別代表圖像在水平和垂直方向上的梯度值;img代表的是一張圖像。

d）顏色損失用于糾正輸出圖像中的潛在色偏，用于保證和正常光照圖像之間的色彩一致，盡可能避免色調失真的問題。其計算公式如下：

其中：Jp表述的是增強圖像中p通道的平均值;（p，q）表述的是一對顏色通道。

e）感知損失是一種基于神經網絡特征的損失函數，用來增強結果圖像與正常光照圖像在高層特征圖上的差異，以此度量圖像的相似性，特征表示通常是從ImageNet數據集上預訓練的VGG［52］網絡中提取。其計算公式如下：

其中：CjHjWj表述的是第j層特征圖的大小;G和I分別表述的是正常光照圖像和增強后的圖像;φ表述的是VGG網絡。

f）曝光損失基于圖像的亮度統計，用來調整圖像的亮度或曝光水平，抑制曝光較差的區域。其計算公式如下：

其中：M表述的是分塊區域的個數;out_imgk表述的是在第k塊區域上的平均強度值；E=0.6。

g）MSE loss測量模型預測值與實際值之間差異的平方平均值，可用于圖像的亮度調整。其計算公式如下：

其中：N是樣本數量或圖像中的像素總數;Oi表述的是模型預測的第i個值;Ii表述的是實際的第i個值。

h）對抗損失［61］訓練一個判別器網絡來判斷生成圖像的真假，同時訓練一個生成器來欺騙判別器，有助于生成器學習如何生成在視覺上與真實圖像不可區分的增強圖像，從而提高增強圖像的質量。其計算公式為

i）總變差損失［62］是一種正則化損失，用來鼓勵生成的圖像具有較小的像素級梯度，從而減少噪聲并保持圖像的平滑性。其計算公式如下：

其中：I表述的是輸入圖像;（x，y）表述的是圖像中像素的位置;I（x+1，y）與I（x，y+1）分別表述的是圖像在水平和垂直方向上相鄰像素的位置。

3 數據集及評價標準

3.1 數據集

網絡的學習能力與訓練數據集之間有著至關重要的關系。低光照圖像增強常用的配對數據集有LOL［26］、SID［63］、LSRW［37］、SICE［31］、DRV［64］和MIT-Adobe FiveK［65］。常用的無配對數據集有HDR［66］、Exclusive Dark［67］。常用的數據集總結如表4所示。

a）LOL［26］由500對弱光和正常光圖像組成，分為485對訓練圖像和15對驗證圖像。圖像的分辨率為400×600。

b）SID［63］包含了5 094張短曝光原始圖像，及其對應的長曝光參考圖像。數據集包含了室內和室外的圖像，其中室外場景照度在0.2～5 lux，室內場景照度在0.03～0.3 lux，短曝光時間設定為1/30～1/10 s。

c）LSRW［37］將低光照下的ISO固定為50，正常光照條件下固定為100。LSRW一共有5 650對圖像，5 600對用于訓練，50對用于評估。

d）SICE［31］包含589個高分辨率圖像，總共包含4 413張圖像。其中的參考圖像使用13種多曝光圖像融合技術和基于堆疊的高動態范圍成像算法得來。

e）DRV［64］被用于在低光照下的視頻處理研究。使用Sony RX100 VI相機進行拍攝，其包含202個靜態原始視頻，其中每個視頻都有相應的長時間曝光的真實圖像，包含室內和室外場景。視頻圖像的分辨率為3 672×5 496。

f）MIT-Adobe FiveK［65］有5 000張RAW格式的原始圖像及分別由五個專業人員經過修飾后的圖像。

g）HDR［66］使用Canon EOS-5D Mark III相機以RAW格式捕獲圖像，分辨率為5 760×3 840，為了減少靜態圖像集中的潛在錯位，其所有圖像被下采樣到1 500×1 000。

h）ExDARK［67］包含7 363張低光照圖像，涵蓋12個目標類別。

3.2 評價指標

3.2.1 主觀評價

當對恢復后的圖像進行主觀評價時，會組織一些評價者來對增強后的圖像進行打分，通過打分的高低體現增強后圖像的質量。由于評價者可能會對圖像有著不同的偏好，所以會影響評價的好壞，僅僅用主觀評價不足以對增強后圖像進行評判。

3.2.2 客觀評價

對低光照圖像增強的客觀評價是使用定量的圖像質量評價指標來衡量增強后的效果。常見的客觀評價有：均方誤差（mean squared error，MSE）、峰值信噪比（peak signal to noise ration，PSNR）、結構相似性（structural similarity，SSIM）和信息熵（information entropy，IE）。

a）均方誤差計算原始圖像與增強圖像之間的像素強度差異平方的平均值來評估增強的效果，其值越小，說明圖像越相似。MSE的計算公式如下：

其中：M和N代表圖像的長和寬;I（i， j）和K（i， j）分別代表的是處理后的圖像和原始圖像。

b）峰值信噪比是基于MSE計算得來的，用來衡量原始圖像與處理后的圖像之間的質量差異。其值越高，表示圖像的質量越好，失真越小。其計算公式如下：

其中：MAXI當像素值大小為0～255時取值為255，當像素值大小為0～1時其值為1。

c）結構相似一致性是用于衡量兩個圖像之間相似度的指標。其值的范圍為-1～1，其中1表示兩張圖像完全相同，其值越高越反映處理后的圖像與原始圖像在結構上越相似。SSIM的公式如下：

其中：μx是x的平均值;σ2x是x的方差;μy是y的平均值;σ2y是y的方差;σxy是x和y的協方差;c1和c2為很小的常數。

d）信息熵表示圖像的信息量，其值越大，信息越豐富。其中公式如下：

其中：X為一個事件；P（x）為該事件發生的概率。

4 低光照圖像增強方法性能對比

4.1 傳統的低光照圖像增強方法性能對比

在傳統的低光照圖像增強方法性能對比中，采用LOL驗證集［26］下的同一張低光照圖像來測試，并使用信息熵對增強后的圖像進行量化比較，結果如圖6所示。基于信息熵評價指標對各個傳統的低光照圖像增強方法進行對比分析，結果如表5所示。其中基于Retinex算法的IE值最高，其值為6.871，明顯比其他傳統算法要好。

其中傳統方法中，直方圖均衡化的IE值最小，為5.406?；赗etinex算法的IE值最高，為6.871，相比于直方圖均衡化提高了27.09%?；诎低ǖ老闰灥腎E值為6.668，相比于直方圖均衡化提高了23.34%。基于伽馬校正的IE值為6.521，相比于直方圖均衡化提高了20.62%?；谏{映射的IE值為6.818，相比于直方圖均衡化提高了26.11%。總的來說，基于Retinex算法的IE值最高的原因主要是因為Retinex理論結合了顏色的恒常性，處理后的圖像含有更多的信息。

4.2 基于深度學習的低光照圖像增強方法對比

基于深度學習的增強方法使用GPU NVIDIA 3070在LOL驗證集［26］上進行測試。使用PSNR和SSIM評價指標來衡量增強的效果，PSNR越高，說明恢復后的圖像質量越高；SSIM越接近于1，說明恢復后的圖像與參考圖像的結構越相似。以上基于深度學習方法的定量比較如表6所示。其中文獻［42］的PSNR和SSIM的值最大，PSNR和SSIM分別為28.486 9和0.937 4。其通過將Retinex理論與Transformer模型相結合，使恢復后圖像質量更符合人類視覺效果。為了更好地比較基于深度學習下增強的效果，在LOL驗證集［26］上選擇一張低光照圖像進行視覺比較。采用文獻［24，26，37，42，51，53］分別代表基于有監督和無監督下的低光照圖像增強方法進行展示，如圖7所示。

其中圖7（a）為LOL驗證集［26］中的一張低光照圖像；圖（b）的PSNR=17.278 4、SSIM=0.852 0；圖（c）的PSNR=17.684 5、SSIM=0.634 4；圖（d）的PSNR=20.309 1、SSIM=0.848 8；圖（e）的PSNR=29.143 2、SSIM=0.911 9；圖（f）的PSNR=20.187 2、SSIM=0.794 1；圖（g）的PSNR=28.448 5、SSIM=0.908 0?？偟膩碚f，文獻［42］在量化結果比較上PSNR和SSIM的結果在6種方法中為最高，視覺質量也是最佳。

5 結束語

本文分析與總結了低光照圖像增強領域中的傳統方法和基于深度學習方法。首先，簡要概述了低光照圖像增強中傳統方法的優缺點。其次，將基于深度學習方法分為有監督和無監督兩大類，并分別概述了它們的優勢與不足，同時總結基于深度學習下低光照圖像增強中常用的損失函數。之后介紹了該領域中常用的數據集和評價指標，并通過信息熵（IE）對傳統方法進行了定量比較，使用峰值信噪比（PSNR）和結構相似性（SSIM）對基于深度學習的方法進行了客觀評估。通過深入閱讀文獻，得出現有低光照圖像增強領域中的方法在圖像細節保留、色彩還原以及噪聲抑制方面存在不足。分析當前低光照圖像增強技術所面臨的挑戰，未來研究可在以下方向進行深入探索。

1）提高低光照圖像增強算法的魯棒性和自適應能力

傳統監督學習方法依賴于成對的數據集進行訓練，這不僅限制了它們的應用范圍，還可能引發過擬合的問題。相比之下，zero-shot學習［46～48，68］在真實場景中具有更強的魯棒性。這種學習范式不要求成對的訓練數據，而是通過精心設計的損失函數和網絡架構來增強模型的泛化能力和魯棒性。因此，zero-shot學習無疑是一個充滿潛力且值得深入研究的領域。

2）輕量化的網絡模型設計

當前，基于深度學習方法中的網絡模型參數量較大，對于硬件設備要求較高，這些問題不利于實現圖像的實時增強。輕量化的網絡模型設計更符合應用在一些移動設備。一些輕量級網絡模型的提出為實時低光照圖像增強的實現提供了可能［69， 70］。文獻［71］證明了實時圖像增強的可能性。因此，輕量化的模型設計也是低光照圖像增強的熱點研究方向。

3）使用特定任務評價指標

低光照圖像增強中常用到的評價指標雖然能在一定程度上反映圖像質量，但其評估標準存在一定的局限性。比如，難以量化恢復后的圖像存在的噪聲和偽影的程度，僅通過肉眼判斷難以具有說服性，對后續的圖像任務造成一定的影響。因此，開發更準確和特定任務的評價指標也是未來低光照圖像增強領域的一個研究方向。

參考文獻：

［1］馬龍， 馬騰宇， 劉日升. 低光照圖像增強算法綜述［J］. 中國圖象圖形學報， 2022， 27（5）： 1392-409. （Ma Long， Ma Tengyu， Liu Risheng. The review of low-light image enhancement［J］. Journal of Image and Graphics， 2022， 27（5）： 1392-409.）

［2］彭大鑫， 甄彤， 李智慧. 低光照圖像增強研究方法綜述［J］. 計算機工程與應用， 2023， 59（18）： 14-27. （Peng Daxin， Zhen Tong， Li Zhihui. Survey of research methods for low light image enhancement［J］. Computer Engineering and Applications， 2023， 59（18）： 14-27.）

［3］Wang Wencheng， Wu Xiaojin， Yuan Xiaohui， et al. An experiment-based review of low-light image enhancement methods［J］. IEEE Access， 2020， 8： 87884-87917.

［4］Jhne B. Digital image processing［M］. Cham： Springer， 2005.

［5］Dale-Jones R， Tjahjadi T. A study and modification of the local histogram equalization algorithm［J］. Pattern Recognition， 1993， 26（9）： 1373-1381.

［6］Rao B S. Dynamic histogram equalization for contrast enhancement for digital images［J］. Applied Soft Computing， 2020， 89： 106114.

［7］康利娟， 陳先橋. 基于多級直方圖形狀分割的圖像對比度增強技術［J］. 計算機應用與軟件， 2022， 39（3）： 207-212， 321. （Kang Lijuan， Chen Xianqiao. Image contrast enhancement technology based on multi-level histogram shape segmentation［J］. Journal of Computer Applications and Software， 2022， 39（3）： 207-212， 321.）

［8］Li Changli， Tang Shiqiang， Yan Jingwen， et al. Low-light image enhancement via pair of complementary gamma functions by fusion［J］. IEEE Access， 2020， 8： 169887-169896.

［9］Li Xiangsheng， Liu Manlu， Ling Qiang. Pixel-wise gamma correction mapping for low-light image enhancement［J］. IEEE Trans on Circuits and Systems for Video Technology， 2023， 34（2）： 681-694.

［10］Jeon J J， Park J Y， Eom I K. Low-light image enhancement using gamma correction prior in mixed color spaces［J］. Pattern Recognition， 2024， 146： 110001.

［11］Ok J， Lee C. HDR tone mapping algorithm based on difference compression with adaptive reference values［J］. Journal of Visual Communication and Image Representation， 2017， 43（C）： 61-76.

［12］趙海法， 朱榮， 杜長青. 全局色調映射和局部對比度處理相結合的圖像增強算法［J］. 武漢大學學報： 理學版， 2020， 66（6）： 597-604. （Zhao Haifa， Zhu Rong， Du Changqing. Image enhancement algorithm combining global tone mapping and local contrast processing［J］. Journal of Wuhan University： Science Edition， 2020， 66（6）： 597-604.）

［13］馮維， 劉紅帝， 吳貴銘， 等. 基于顏色校正模型的梯度域自適應色調映射算法［J］. 激光與光電子學進展， 2020， 57（8）： 77-83. （Feng Wei， Liu Hongdi， Wu Guiming， et al. Gradient domain adaptive tone mapping algorithm based on color correction model［J］. Laser and Optoelectronics Progress， 2020， 57（8）： 77-83.）

［14］Land E H， McCann J J. Lightness and retinex theory［J］. Josa， 1971， 61（1）： 1-11.

［15］沈豐， 趙宇明. 基于實時Retinex與雙邊濾波的圖像增強算法［J］. 計算機應用與軟件， 2009， 26（11）： 234-238， 258. （Shen Feng， Zhao Yuming. Image enhancement algorithm based on real-time Retinex and bilateral filtering［J］. Journal of Computer Applications and Software， 2009， 26（11）： 234-238， 258.）

［16］田會娟， 蔡敏鵬， 關濤， 等. 基于YCbCr顏色空間的Retinex低照度圖像增強方法研究［J］. 光子學報， 2020， 49（2）： 173-184. （Tian Huijuan， Cai Minpeng， Guan Tao， et al. Low-light image enhancement method using Retinex method based on YCbCr color space［J］. Acta Photonica Sinica， 2020， 49（2）： 173-184.）

［17］孫峰， 李博， 高紫俊， 等. 一種基于Retinex理論礦井下圖像增強算法［J］. 大連工業大學學報， 2023， 42（2）： 151-156. （Sun Feng， Li Bo， Gao Zijun， et al. A mine image enhancement algorithm based on Retinex theory［J］. Journal of Dalian Polytechnic University， 2023， 42（2）： 151-156.）

［18］Jobson D J， Rahman Z， Woodell G A. Properties and performance of a center/surround Retinex［J］. IEEE Trans on Image Processing， 1997， 6： 451-462.

［19］Rahman Z， Jobson D J， Woodell G A. Multi-scale retinex for color image enhancement［C］// Proc of the 3rd IEEE International Confe-rence on Image Processing. Piscataway， NJ： IEEE Press， 1996： 1003-1006.

［20］Dong Xuan， Pang Yi， Wen Jiangtao. Fast efficient algorithm for enhancement of low lighting video ［C］// Proc of IEEE International Conference on Multimedia and Expo. Piscataway， NJ： IEEE Press， 2011： 1-6.

［21］劉洋， 潘靜， 龐彥偉. 一種基于暗原色先驗的低照度視頻增強算法［J］. 電子測量技術， 2013， 36（10）： 55-57， 77. （Liu Yang， Pan Jing， Pang Yanwei. Low lighting video enhancement algorithm based on dark channel prior［J］. Electronic Measurement Technology， 2013， 36（10）： 55-57， 77.）

［22］Li Dan， Shi Hanqin， Wang Hongdong， et al. Image enhancement method based on dark channel prior［C］// Proc of International Conference on Computer Engineering and Artificial Intelligence. Pisca-taway， NJ： IEEE Press， 2022： 200-204.

［23］LeCun Y， Bengio Y， Hinton G. Deep learning［J］. Nature， 2015， 521（7553）： 436-444.

［24］Lore K G， Akintayo A， Sarkar S. LLNet： a deep autoencoder app-roach to natural low-light image enhancement［J］. Pattern Recognition， 2017， 61： 650-662.

［25］Park S， Yu S， Kim M， et al. Dual autoencoder network for Retinex-based low-light image enhancement［J］. IEEE Access， 2018， 6： 22084-22093.

［26］Chen Wei， Wang Wenjing， Yang Wenhan， et al. Deep Retinex decomposition for low-light enhancement ［EB/OL］. （2018-08-14）. https：//arxiv.org/abs/1808.04560.

［27］Zhang Yonghua， Zhang Jiawan， Guo Xiaojie. Kindling the darkness： a practical low-light image enhancer［C］// Proc of the 27th ACM International Conference on Multimedia. New York： ACM Press， 2019： 1632-1640.

［28］Zhang Yonghua， Guo Xiaojie， Ma Jiayi， et al. Beyond brightening low-light images［J］. International Journal of Computer Vision， 2021， 129： 1013-1037.

［29］Wang Wenjing， Wei Chen， Yang Wenhan， et al. GLADNet： low-light enhancement network with global awareness［C］// Proc of the 13th IEEE International Conference on Automatic Face amp; Gesture Recognition. Piscataway， NJ： IEEE Press， 2018： 751-755.

［30］Wang Yufei， Wan Renjie， Yang Wenhan， et al. Low-light image enhancement with normalizing flow［C］// Proc of AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2022： 2604-2612.

［31］Cai Jianrui， Gu Shuhang， Zhang Lei. Learning a deep single image contrast enhancer from multi-exposure images［J］. IEEE Trans on Image Processing， 2018， 27（4）： 2049-2062.

［32］Ronneberger O， Fischer P， Brox T. U-Net： convolutional networks for biomedical image segmentation［C］// Proc of the 18th Medical Image Computing and Computer-Assisted Intervention. Cham： Springer， 2015： 234-241.

［33］Yang Xin， Xu Ke， Song Yibing， et al. Image correction via deep reciprocating HDR transformation［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2018： 1798-1807.

［34］Ko K， Kim C S. IceNet for interactive contrast enhancement［J］. IEEE Access， 2021， 9： 168342-168354.

［35］Wu Wenhui， Weng Jian， Zhang Pingping， et al. Uretinex-Net： Retinex-based deep unfolding network for low-light image enhancement［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2022： 5901-5910.

［36］Wu Yuhui， Pan Chen， Wang Guoqing， et al. Learning semantic-aware knowledge guidance for low-light image enhancement［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Re-cognition. Piscataway， NJ： IEEE Press， 2023： 1662-1671.

［37］Hai Jiang， Xuan Zhu， Yang Ren， et al. R2RNet： low-light image enhancement via real-low to real-normal network［J］. Journal of Visual Communication and Image Representation， 2023， 90： 103712.

［38］Liu Xinyi， Xie Qi， Zhao Qian， et al. Low-light image enhancement by Retinex-based algorithm unrolling and adjustment［J/OL］. IEEE Trans on Neural Networks and Learning Systems. （2023-07-06）. https：//doi.org/10.1109/TNNLS.2023.3289626.

［39］Li Jiaqian， Li Juncheng， Fang Faming， et al. Luminance-aware pyramid network for low-light image enhancement［J］. IEEE Trans on Multimedia， 2020， 23： 3153-3165.

［40］Xu Ke， Yang Xin， Yin Baocai， et al. Learning to restore low-light images via decomposition-and-enhancement［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2020： 2281-2290.

［41］Wang Yang， Cao Yang， Zha Zhengjun， et al. Progressive Retinex： mutually reinforced illumination-noise perception network for low-light image enhancement［C］// Proc of the 27th ACM International Confe-rence on Multimedia. New York： ACM Press， 2019： 2015-2023.

［42］Cai Yuanhao， Bian Hao， Lin Jing， et al. RetinexFormer： one-stage Retinex-based Transformer for low-light image enhancement［C］// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway， NJ： IEEE Press， 2023： 12504-12513.

［43］Cui Ziteng， Li Kunchang， Gu Lin， et al. You only need 90k parameters to adapt light： a light weight transformer for image enhancement and exposure correction ［EB/OL］. （2022-05-30）. https：//arxiv. org/abs/2205.14871.

［44］Brateanu A， Balmez R， Avram A， et al. LYT-NET： lightweight YUV Transformer-based network for low-light image enhancement［EB/OL］. （2024-01-16）. https：//arxiv.org/abs/2401.15204.

［45］羅俊， 宣士斌， 劉家林. 噪聲指導下過濾光照風格實現低光照場景的語義分割［J］. 計算機應用研究， 2024， 41（1）： 314-320. （Luo Jun， Xuan Shibin， Liu Jialin. Filtering illumination style under guidance of noise to achieve semantic segmentation of low-light scenes［J］. Application Research of Computers， 2024， 41（1）： 314-320.）

［46］Guo Chunle， Li Chongyi， Guo Jichang， et al. Zero-reference deep curve estimation for low-light image enhancement［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Rcognition. Piscataway， NJ： IEEE Press， 2020： 1780-1789.

［47］Li Chongyi， Guo Chunle， Loy C C. Learning to enhance low-light ima-ge via zero-reference deep curve estimation［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2021， 44（8）： 4225-4238.

［48］Zhu Anqi， Zhang Lin， Shen Ying， et al. Zero-shot restoration of underexposed images via robust Retinex decomposition［C］// Proc of IEEE International Conference on Multimedia and Expo. Piscataway， NJ： IEEE Press， 2020： 1-6.

［49］Jiang Zhuqing， Li Haotian， Liu Liangjie， et al. A switched view of Retinex： deep self-regularized low-light image enhancement ［J］. Neurocomputing， 2021， 454： 361-372.

［50］Xu Kai， Chen Huaian， Xu Chunmei， et al. Structure-texture aware network for low-light image enhancement［J］. IEEE Trans on Circuits and Systems for Video Technology， 2022， 32（8）： 4983-4996.

［51］Jiang Yifan， Gong Xinyu， Liu Ding， et al. EnlightenGAN： deep light enhancement without paired supervision［J］. IEEE Trans on Image Processing， 2021， 30： 2340-2349.

［52］Simonyan K， Zisserman A. Very deep convolutional networks for large-scale image recognition ［EB/OL］. （2014-09-04）. https：//arxiv.org/abs/1409.1556.

［53］Fu Ying， Hong Yang， Chen Linwei， et al. LE-GAN： unsupervised low-light image enhancement network using attention module and identity invariant loss［J］. Knowledge-Based Systems， 2022， 240： 108010.

［54］Wang Renjun， Jiang Bin， Yang Chao， et al. MAGAN： unsupervised low-light image enhancement guided by mixed-attention［J］. Big Data Mining and Analytics， 2022， 5（2）： 110-119.

［55］Zheng Naishan， Huang Jie， Zhou Man， et al. Learning semantic degradation-aware guidance for recognition-driven unsupervised low-light image enhancement［C］// Proc of AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2023： 3678-3686.

［56］Liang Jinxiu， Xu Yong， Quan Yuhui， et al. Self-supervised low-light image enhancement using discrepant untrained network priors［J］. IEEE Trans on Circuits and Systems for Video Technology， 2022， 32（11）： 7332-7345.

［57］Yu Wenshuo， Zhao Liquan， Zhong Tie. Unsupervised low-light image enhancement based on generative adversarial network［J］. Entropy， 2023， 25（6）： 932.

［58］Zhen Tong， Peng Daxin， Li Zhihui. Cyclic generative attention-adversarial network for low-light image enhancement［J］. Sensors， 2023， 23（15）： 6990.

［59］Ma Long， Ma Tengyu， Liu Risheng， et al. Toward fast， flexible， and robust low-light image enhancement［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2022： 5637-5646.

［60］Mukherjee S， Agarwala A， Agarwala R. A review on generative adversarial networks［J/OL］. Machine Learning and Internet of Things for Societal Issues. （2022-02-25）. https：//doi.org/10.1007/978-981-16-5090-1_1.

［61］Goodfellow I， Pouget-Abadie J， Mirza M， et al. Generative adversarial networks［J］. Communications of the ACM， 2020， 63（11）： 139-144.

［62］Chan S H， Khoshabeh R， Gibson K B， et al. An augmented Lagrangian method for total variation video restoration［J］. IEEE Trans on Image Processing， 2011， 20（11）： 3097-3111.

［63］Chen Chen， Chen Qifeng， Xu Jia， et al. Learning to see in the dark［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2018： 3291-3300.

［64］Chen Chen， Chen Qifeng， Do M N， et al. Seeing motion in the dark［C］// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway， NJ： IEEE Press， 2019： 3185-3194.

［65］Bychkovsky V， Paris S， Chan E， et al. Learning photographic global tonal adjustment with a database of input/output image pairs［C］// Proc of Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2011： 97-104.

［66］Kalantari N K， Ramamoorthi R. Deep high dynamic range imaging of dynamic scenes［J］. ACM Trans Graph， 2017， 36（4）： 144：1-144： 12.

［67］Loh Y P， Chan C S. Getting to know low-light images with the exclusively dark dataset［J］. Computer Vision and Image Understan-ding， 2019， 178： 30-42.

［68］Liu Risheng， Ma Long， Zhang Jiaao， et al. Retinex-inspired unrol-ling with cooperative prior architecture search for low-light image enhancement［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2021： 10561-10570.

［69］Howard A G， Zhu Menglong， Chen Bo， et al. MobileNets： efficient convolutional neural networks for mobile vision applications［EB/OL］. （2017-04-17）. https：//arxiv.org/abs/1704.04861.

［70］Sandler M， Howard A， Zhu Menglong， et al. MobileNetv2： inverted residuals and linear bottlenecks［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2018： 4510-4520.

［71］Sun Long， Liu Zhenbing， Sun Xiyan， et al. Lightweight image super-resolution via weighted multi-scale residual network［J］. IEEE/CAA Journal of Automatica Sinica， 2021， 8（7）： 1271-1280.