基于Retinex理論的全卷積網絡低光圖像增強方法

余雅琪，楊夢龍

（四川大學 空天科學與工程學院，四川 成都 610065）

0 引 言

在圖像拍攝過程中所存在的光照不足會嚴重影響圖像的對比度和亮度，并且會有一定的噪聲和偽像存在；解決低光圖像的這一系列降質現象并將低光圖像轉變為高質量的普通光圖像有助于一些高層視覺任務的執行，如：圖像識別、目標檢測、語義分割等；同時能夠在一些實際應用中提升智能系統的性能，如：自動駕駛、視覺導航等，因此解決低光圖像增強的問題十分有必要。

過去的幾十年里，眾多學者已經做了大量關于低光圖像增強的研究，這些研究主要可以分為兩種類型：傳統方法和基于深度學習的方法。其中傳統方法主要包括基于直方圖均衡化的方法和基于Retinex 理論的方法。基于直方圖均衡化的方法通過改變圖像的直方圖來改變圖像中各像素的灰度來增強圖像的對比度，例如亮度保持直方圖均衡化（BBHE）、對比度限制自適應直方圖均衡化（CLAHE）等；Retinex理論假定人類觀察到的彩色圖像可以分解為照度圖（I）和反射圖（R），其中反射圖是圖像的內在屬性，不可更改；Retinex 理論通過更改照度圖中像素的動態范圍以達到增強對比度的目的，如單尺度Retinex（SSR）利用高斯濾波器來平滑生成的照度圖；多尺度Retinex（MSRCR）在單尺度Retinex 的基礎上進行改進，利用了多尺度高斯濾波器并對色彩進行了恢復；SRIE提出一種加權變分模型以同時估計反射圖和照度圖；LIME通過一種加權振動模型來獲得所估計的具有先驗假設的照度圖，并利用BM3D作為后續的去噪操作。雖然這些方法能夠在一定程度上增強圖像對比度，但是受到模型分解能力的限制，增強后的結果往往不盡人意。

近十年來，深度學習在計算機視覺領域得到了廣泛應用，并取得了非常優異的效果；眾多優異的方法，如深度卷積神經網絡、GAN 等，已經被廣泛應用于各種場景，包括圖像去霧、圖像超分辨率、圖像去噪等；同樣，這些方法也大量應用于解決低光圖像增強問題。LLNet提出了一種堆疊稀疏自編碼器用于增強圖像對比度并進行去噪；Retinex-Net將Retinex 理論與深度卷積神經網絡相結合來估計和調整照度圖，以提升圖像對比度，并利用BM3D進行后處理以實現去噪；KinD同樣基于Retinex理論設計了一個用于解決低光圖像增強問題的深度卷積神經網絡，并設置了Restoration-Net 作為網絡的去噪后處理部分；Wang等人設計了一種新的深度增亮網絡（DLN）來將低光圖像增強問題轉化為殘差問題；Guo等人提出了一種輕量級的圖像增強網絡Zero-DCE，將圖像增強問題轉換為曲線估計問題；除了深度卷積神經網絡，還有一些基GAN 的方法，Jiang等人提出了用于低光圖像增強的網絡EnlightenGAN，并且第一次采用了不成對圖像進行訓練；Chen等人也提出了一種改進雙向GANs 的非配對學習圖像增強方法。總的來說，先前的低光圖像增強方法大多只關注于對比度增強方面，受到模型性能的影響沒有很恰當地提升圖像的對比度，會造成一定的過增強/欠增強現象，而且沒有考慮增強后的噪聲放大問題，或者是采用后處理操作來實現去噪，最終沒有得到令人滿意的增強效果。

本文提出一種全新的低光圖像增強網絡，包含DecomNet、DenoiseNet 和RelightNet 三個子網絡；DecomNet引入殘差模塊，將輸入的圖像分解為光照圖和反射圖；DenoiseNet 將DecomNet 所分解得到的照度圖和反射圖作為輸入，將圖像進行傅里葉變換，得到去噪后的反射圖；RelightNet將光照圖和去噪后的反射圖作為輸入，通過全卷積神經網絡得到最終的增強結果。通過精心的網絡設計和損失函數配置，該方法不僅能恰當地增強圖像的對比度，同時還能實現噪聲抑制。

在低光圖像增強任務中的另一個難點在于缺少大規模的真實低光/普通光圖像對數據集，為了解決這個問題，收集了公開可用的低光/普通光圖像對數據集組合成一個大規模數據集用作網絡訓練。

1 方法介紹

在這一部分，基于Retinex 圖像分解理論提出了一種全新的全卷積網絡用于解決低光圖像增強問題，很大程度解決了先前的過增強、欠增強和增強后的噪聲放大問題。本節將會介紹提出的方法的具體細節，包括整體網絡結構、子網絡（DecomNet、DenoiseNet、RelightNet）結構、損失函數設置以及實驗細節，構、損失函數設置以及實驗細節。

1.1 網絡結構

提出了一種全新的全卷積網絡，包含三個子網絡，DecomNet、DenoiseNet 和RelightNet，如圖1所示，展示了提出的全卷積網絡架構，其中DecomNet 基于Retinex 理論將輸入圖像分解為光照圖和反射圖；DenoiseNet 用于抑制反射圖中的噪聲；RelightNet 將DecomNet 和DenoiseNet 的輸出結果作為網絡輸入，增強分解后所得到的光照圖的對比度和亮度，以解決低光條件下所造成的低對比度、低亮度問題，最后根據Retinex 理論，將去噪后的反射圖和增強后的光照圖相乘得到最終的處理結果。

圖1 網絡結構

1.1.1 分解網絡

殘差組件已經在眾多計算機視覺任務中得到廣泛應用，且取得了非常優異的成果；得益于其跳躍連接結構，殘差組件可以使深度神經網絡在訓練中更容易優化，并且在訓練過程中不會產生梯度消失現象，因此受到殘差學習的啟發，使用了多個殘差組件構成DecomNet，防止網絡過擬合，得到更好的分解結果。

DecomNet 包含6 個步長為1 的3×3 卷積層，且每個卷積層的輸入輸出特征圖大小保持一致；利用跳躍連接結構，將第-1 個卷積層和第個卷積層的輸出結果結合起來作為第+1 個卷積層的輸入（=2，…，5），每個卷積層后都跟隨著LeakyReLU 激活函數，DecomNet 的具體網絡結構如圖2所示。

圖2 DecomNet 網絡結構

DecomNet 的輸入為低光圖像和普通光圖像，輸出結果分別是低光圖像和普通光圖像的照度圖（/）和反射圖（/），但是其他基于Retinex 理論的方法在分解過程中并沒有抑制反射圖中所包含的噪聲，這會使得最后的增強結果受到反射圖中存在的噪聲的影響（如圖4中LIME和Retinex-Net的增強結果）。DecomNet對普通光圖像分解后得到的照度圖和反射圖并不參與后續的訓練，僅僅只是為低光圖像的分解提供參考。

1.1.2 去噪網絡

為了抑制分解后的照度圖和反射圖噪聲，DenoiseNet 將DecomNet 對低光圖像分解后得到反射圖作為輸入，基于傅里葉變換，用Complex conv 構建了一個ResUnet 結構，在頻域內對噪聲進行抑制。DenoiseNet 先將輸入圖像進行兩個步長為1 的3×3 卷積操作，經過特征提取后，再將圖像進行傅里葉變換與逆變換來達到噪聲抑制的效果，最終得到去噪后的分解結果圖。

1.1.3 增強網絡

U-Net網絡得益于其出色的結構設計，在大量的計算機視覺任務中取得了非常優異的成績；在低光圖像處理領域，也有大量的網絡都采用了U-Net 網絡作為其網絡主體或其中的一部分。但是U-Net 在特征提取階段用了多個最大池化層，但是最大池化層并不具備平移不變性，并會導致大量的特征信息丟失，因此該作者采用了跨步卷積來代替池化層，雖然會略微增加網絡參數，但也使得精度有所提升。受到這一點的啟發，文章采用了跨步為2的2×2卷積層來代替U-Net網絡中的最大池化層，這樣有利于網絡學習到更豐富的特征信息并保持平移不變性，可以使得網絡能更好地提升反射圖的對比度；還充分結合了多尺度融合的思想，將擴展階段中每個反卷積層的輸出相融合以減少特征信息的丟失；在表3中也驗證了RelightNet 結構設置的優越性。

RelightNet 基于ResUnet 構建，采用了deep-narrow 結構，提升了原始ResUnet 的網絡深度。RelightNet 中包含7 個卷積模塊，每個卷積模塊包含4 個步長為1 的3×3 卷積層以保持前后特征圖大小一致；前三個卷積模塊后都跟隨一個步長為2 的2×2 卷積層以執行下采樣操作；后三個卷積模塊后都跟隨一個步長為2 的2×2 反卷積層以執行上采樣操作；隨后利用多尺度融合的思想，將第7 個卷積模塊的輸出與前三個反卷積層的輸出相結合作為下一層卷積層的輸入，這樣能夠最大程度的結合上下文信息，減少特征信息的丟失；最后經過一個步長為1 的3×3 卷積層來得到增強后的照度圖，RelightNet 中每個卷積模塊后都跟隨著ReLU 激活函數。RelightNet 結構如圖3所示。

圖3 RelighNet 網絡結構

1.2 損失函數

由于DecomNet、DenoiseNet和RelightNet是分別訓練的，因此整個損失函數包含三個部分：分解損失?、去噪損失?和增強損失?。

分解損失：與Retinex-Net相似，分解損失包含四個組成部分：重構損失?、反射一致性損失?、照度平滑損失?和感知損失?，如公式（1），其中λ和為平衡反射一致性和照度平滑度的系數；

由于普通光照圖像所分解出的光照圖和反射圖可以用作訓練過程中低光圖像分解的參考，因此利用?損失函數來表示重構損失，使模型分解出來的反射分量和光照分量能夠盡可能重建出對應的原圖，如公式（3）；

根據Retinex 圖像分解理論，反射分量與光照無關，因此成對的低光圖像和正常光照圖像的反射分量應該盡可能一致，所以引入反射一致性損失來實現這一目的，如公式（4）；由光照的先驗知識可知，自然圖像的光照應該是平滑的，屬于低頻信息，這一點在數學上反映為圖像中每個像素點的橫向與縱向梯度都不能過大。所以對反射分量求梯度來給光照分量的梯度圖分配權重，使得反射分量上較為平滑的區域對應到光照分量上同樣也應該盡可能平滑。因此引入照度平滑損失?來保證和對應的分量相匹配，如公式（5）；

感知損失將真實圖片卷積得到的feature 與生成圖片卷積得到的feature 做比較，使得高層信息（內容和全局結構）接近，以便分解出的結果更加符合人眼視覺，如公式（6），其中，表示損失網絡，C、H、W表示第層的特征圖的大小。

去噪損失：為了使去噪后的圖像更加接近原圖，在去噪過程中，采用了傅里葉變換損失?和細節表達損失?來獲取更多的圖像細節，如公式（7）；

其中，傅里葉變換損失采用了?損失，在保證傅里葉變換前后圖像結構不變的同時獲得盡可能好的噪聲抑制效果；細節表達損失采用了SSIM 損失以獲得更好的細節表達能力，盡可能地使得去噪后和反射圖和DecomNet 分解出的網絡圖在結構上保持一致，如公式（8），SSIM 損失的作用也在表3中得以體現；

增強損失：為了使得增強結果更加逼近普通光圖像，在增強損失中也采用了重構損失?、和結構相似度損失?來獲得更好的細節表達能力，如公式（9），其中重構損失去噪損失中保持一致，都是為了保證反射圖R 和照度圖I 能夠重建出相應的原圖；

由于人眼對于圖像的視覺認知是從圖像的整體結構出發的，所以引入了結構相似度損失，使得增強后的圖像在視覺效果上更為真實自然，如公式（10）。

2 實驗結果與分析

為了驗證所提出方法的優越性，通過大量的實驗來評估所提出的方法，并與現存的方法進行比較，包括：MF、Dong、NPE、MSRCR、SRIE、Retinex-Net、Lighten-Net以及EnlightenGAN。總的來說，共進行了三個部分的實驗：

（1）在一些公開的低光圖像數據集上對所提出的方法與一些現存的state-of-the-art 方法進行了定性與定量比較；

（2）展示了對真實的低光照圖像的增強結果，并進行了主觀視覺評價實驗；

（3）進行了一系列的消融實驗來驗證所提出的方法的優越性。

2.1 訓練數據集與評估度量

訓練數據集：由于在真實條件下拍攝成對的低光/普通光圖像對十分困難，現存的真實低光/普通光圖像對數據集包括LOL 數據集和SID 數據集，但是這兩個數據集所包含的數量不足以支持深度神經網絡的訓練，因此，實驗的訓練集采用的是用華為P40 Pro 手機拍攝的真實場景下的圖像，通過調整手機拍攝參數，總共拍攝了2 450 對圖片，拍攝場景包含學校、宿舍、建筑物、餐廳、球場等多種場地。

評估度量：為了更好地定量評估所提出方法的性能，采用峰值信噪比（PSNR）、結構相似性（SSIM）以及自然圖像質量評估（NIQE）來進行定量評估。

2.2 實驗實施細節

網絡是基于PyTorch 實現的，使用提出的合成圖像數據集在一個Nvidia GTX1080Ti GPU 上訓練了50 個周期；使用ADAM 優化器進行訓練，初始學習率設置為?=0.000 1，在訓練過程中所使用的batch size=4，patch size=96×96，實驗中設置的λ、和均為0.1，和為3。

2.3 真實圖像數據集對比實驗

為驗證所提出的方法，在六個公開數據集上進行性能評估，包括：LOL、LIME、DICM、NPE、MEF、VV2。

LOL 數據集通過改變相機的曝光時間以及ISO 捕獲了500 對真實低光/普通光圖像對，是現存的僅有的兩個真實低光/普通光圖像對數據集，在LOL 數據集訓練集的500對圖像上將該方法與其他現存方法進行了比較，結果如表1所示。

表1 在LOL 數據集上的PSNR/SSIM 對比

從表1可以看出，該方法相較于現存的State-of-art 方法在LOL 數據集上的性能表現更加優異，相較于監督學習中的最優方法Retinex-Net（PSNR 提升了0.791 8 dB，SSIM提升了0.268 6）以及無監督學習中的最優方法EnlightenGAN（PSNR 提升了0.791 8 dB，SSIM 提升了0.087 9）。

此外，該結果具有更好的對比度、更清晰的細節以及更好的噪聲抑制能力，視覺效果如圖4所示，前兩行為LOL數據集上的測試結果，其中（a）為輸入低光圖像，（b）至（h）為不同方法的處理結果；后兩行為VV 數據集上的測試結果；

圖4 不同方法在LOL 數據集和VV 數據集上的增強結果

從圖4中可以看出，一些傳統的方法（如SRIE、NPE等）會有一定程度的增強不足，其他基于Retinex 理論的方法（如LIME、Retinex-Net等）會模糊細節并放大噪聲，該方法所生成的增強結果不僅能增強局部和全局對比度、有更好的細節展示并且能很好地抑制噪聲。

LIME、DICM、NPE、MEF、VV2 是常用的低光圖像增強方法測試基準數據集，其中僅包含低光圖像，無法使用PSNR 和SSIM 來對增強結果進行定量評估；因此采用無參考圖像質量評估NIQE 來對增強后的結果進行定量評估，對比結果如表2所示。

表2 在MEF，LIME，NPE，VV，DICM 數據集上的NIQE 對比

2.4 真實低光圖像對比實驗

真實低光圖像增強：使用HUAWEI P40 Pro 手機專業拍照功能拍攝了10 張真實的低光圖像并在收集的真實低光圖像上進行評估；利用該方法和現存的方法對所收集的低光圖像進行增強，視覺效果如圖5所示，其中（a）為輸入低光圖像，（b）至（h）為不同方法的處理結果。

從圖5中可以看出，該方法不僅能夠更好地增強圖像的對比度，并且在噪聲抑制與細節保留上有更好的效果，增強后的結果更加真實，相比之下，其他基于Retinex 理論的方法（如LIME、Retinex-Net）會產生不同程度的噪聲放大與細節模糊，其他基于深度學習的方法（如Lighten-Net、EnlightenGAN）會生成過增強或欠增強的結果。

圖5 不同方法對真實低光圖像的增強結果

主觀視覺評價：邀請了20 位在參與者對所收集的真實低光圖像利用不同方法增強后的結果進行評價，并要求他們對增強后的圖像的對比度、細節保留、噪聲抑制以及色彩方面進行綜合打分，分數從1（最差）-5（最好），如圖6所示，展示了分數的分布，該方法獲得了更優秀的分數，由此證明該方法能夠獲得更令人滿意的人眼視覺效果。

圖6 主觀視覺評價分數分布結果

2.5 消融實驗

在這一部分，在LOL 數據集上對方法中的不同組成部分進行了定量評估，如表3所示。

表3 模型不同組成部分在LOL 數據集上的性能評估

Decom-Net 卷積層數量：當DecomNet 的卷積層數量減少時會獲得更高的PSNR 值，但SSIM 值會有所降低（如表3第1 行）；卷積層數量逐漸增加時，PSNR 值和SSIM 值都會有所下降，模型性能將會降低（如表3第2、3 行）；有研究表明，SSIM 值越高的模型能夠在去噪和對比度增強上取得更好的均衡，因此選擇8 層卷積層做為DecomNet的默認設置。

損失函數：將DecomNet 的損失函數換為MSE 損失后整體性能將會降低，將RelightNet 中的SSIM 損失函數去掉后，SSIM 值也會有所降低（如表3第4、5 行）；這證明了在損失函數設置方面的合理性。

DenoiseNet 網絡合理性：將DenoiseNet 去掉后，整體性能明顯下降（如表3第7 行），證明了DenoiseNet 的必要性和合理性。

RelightNet網絡架構：將RelightNet換為U-Net網絡后，整體性能有明顯下降（如表3第6 行），證明了RelightNet的優越性。

3 結 論

本文提出了一種全新的全卷積網絡用于解決低光圖像增強問題；所提出的網絡包含DecomNet、DenoiseNet 和RelightNet 三個子網絡，DecomNet 能夠將低光圖像分解為光照圖和反射圖，DecomNet 能夠抑制反射圖中的噪聲，RelightNet 能夠恰當地提升光照圖的對比度，最后的增強結果在對比度、亮度、色彩、噪聲和偽像抑制上表現十分優異。在多個真實低光圖像數據集上的實驗結果也表明該方法能夠恰當地提升圖像對比度并抑制噪聲，取得了最優的PSNR 和SSIM 值，相較于其他State-of-art 的方法有很大優勢；同時在真實世界低光圖像上的增強結果也表明，該方法能夠生成更真實、更自然的增強結果；通過主觀視覺評價實驗也說明該方法所生成的增強圖像更符合人類的視覺感知，獲得了最高的參與者評分；在消融實驗中也充分表明網絡結構設置的合理性與優越性。未來的研究中，將進一步從網絡結構、損失函數等方面進行優化，探索效果更好的低光圖像增強方法，并將該方法運用于更高層的視覺任務中，如低光環境下的目標檢測、人臉識別等。