















摘 "要: 現有的弱光圖像增強方法大多存在色彩失真,去噪效果不佳,嚴重依賴成對數據集進行訓練等問題。針對上述問題,提出一種基于生成對抗網絡的弱光圖像增強方法。該模型分為生成器和判別器兩部分,生成器部分使用添加EMA注意力的改進UNet網絡進行圖像增強,判別器部分采用包括顏色判別器、灰度判別器和多尺度判別器的多分支判別器進行融合判別圖像的真實性。實驗結果表明,文中方法在公開數據集上取得了優異的效果,在PSNR、SSIM、NIQE、BRISQUE等多項評價指標上有了顯著提升,進一步證明了所提方法的有效性和魯棒性。
關鍵詞: 弱光圖像; 無監督學習; 生成器; 判別器; 注意力機制; 圖像增強
中圖分類號: TN911.73?34; TP391 " " " " " " " " 文獻標識碼: A " " " " " " " " " "文章編號: 1004?373X(2024)15?0053?07
Low?light image enhancement method based on generative adversarial network
WU Ji1, DING Bing1, DING Jie2
(1. College of Electrical and Power Engineering, Taiyuan University of Technology, Taiyuan 030024, China;
2. School of Integrated Circuits and Electronics, Beijing Institute of Technology, Beijing 100081, China)
Abstract: Most of the existing low?light image enhancement methods suffer from issues such as color distortion, poor denoising performance, and heavy reliance on paired training datasets. To overcome these challenges, a low?light image enhancement method based on generative adversarial network is proposed. The proposed model comprises two parts, named a generator and a discriminator. In the former part, the improved UNet network with integrated EMA (efficient multi?scale attention) is used to enhance the image, while in the later part, the multi?branch discriminator including color discriminator, grayscale discriminator and multi?scale discriminator is used to fuse and judge the authenticity of the image. The experimental results show that the proposed method achieves excellent results on public datasets, and shows significant improvements in evaluation indexes such as PSNR (peak signal?to?noise ratio), SSIM (structural similarity index measure), NIQE (natural image quality evaluator) and BRISQUE (blind/referenceless image spatial quality evaluator), which further proves the effectiveness and robustness of the proposed method.
Keywords: low?light image; unsupervised learning; generator; discriminator; attention mechanism; image enhancement
0 "引 "言
弱光環境下拍攝的圖像經常會出現色彩失真、細節丟失、噪聲過大等問題[1],這對于圖像增強和計算機視覺應用來說是一個巨大的挑戰。早期的方法以灰度變換[2]、直方圖均衡化[3]和Retinex法[4]為代表,主要是通過調整圖像的亮度和對比度來改善圖像質量。雖然以上方法取得了一定的效果,但這種簡單的調整往往會導致圖像中的細節丟失和過度增強,使增強后的圖像缺乏細節和清晰度,從而降低圖像的質量,并且傳統的弱光圖像增強方法需要進行大量的計算處理,實時性較差。近年來,隨著深度學習技術的快速發展,基于深度學習的相關增強方法[5?12],尤其是基于Retinex的方法[5?9]取得了大量的成果。但這些方法都屬于有監督學習的方法,其訓練嚴重依賴配對的數據集,但配對數據集的收集往往難以實現。有監督學習的方法常容易導致模型的增強效果限定在特定的數據集內容里,不利于現實場景的應用。
為了解決配對數據集的問題,無監督學習的圖像增強方法被廣泛提出[13?19],而基于生成對抗網絡的方法發展最快、技術最成熟[13?18]。生成對抗網絡中的生成器和判別器相互競爭并不斷優化自己的能力,從而不依賴于配對的圖像數據集。文獻[13]提出了CycleGAN,該方法在圖像轉換方面表現較出色,但在弱光增強方面,生成圖像的細節和紋理往往會變得模糊,出現顏色偏差和失真等現象,轉換后的圖像效果不夠自然。為了解決上述問題,文獻[14]引入了層分解網絡和光效應抑制網絡,并利用GAN的形式對編碼器進行訓練,但是該方法增強效果不穩定,泛化性不佳。文獻[15]提出的EnlightenGAN創造性地引入了全局?局部判別器,在泛化性能方面較以前的方法有了很大提升。但EnlightenGAN在處理復雜紋理和結構的圖像時,尤其是畫面中存在閃光燈、多個光源等情況時,增強效果可能就會大打折扣。該方法在面對過度曝光或欠曝光的圖像時,常常無法準確地還原真實的圖像效果。
針對上述問題,本文提出了一種基于生成對抗網絡的弱光圖像增強算法。本文所做的貢獻主要有以下兩點。
1) 針對現有大多數弱光增強方法嚴重依賴成對數據集的問題,提出了一種新的基于生成對抗網絡的弱光圖像增強方法,該方法克服了對成對數據集的依賴性。在生成器階段改進了UNet網絡的結構設計,提高了上下圖信息的利用率,使網絡可以更好地學習弱光圖像的細節信息和特征,并引入了EMA注意力,通過平均指數的方式動態調整圖像中各區域的重要性,進一步提高網絡提取圖像信息的能力。
2) 本文設計了一個多分支判別器,能夠從灰度、顏色和多尺度三個方面融合來判別圖像,可以更全面地評估整個圖像的質量。引入了聯合損失函數指導網絡的訓練,通過將生成器損失和判別器損失結合起來,對生成器的訓練進行優化。
1 "本文方法
本文方法由生成器和判別器兩部分組成。生成器部分使用添加EMA注意力的UNet網絡進行圖像增強,判別器部分采用包括灰度判別器、顏色判別器和多尺度判別器的多分支判別器進行融合來判別圖像的真實性。在接下來的小節中將介紹生成器和判別器的具體網絡設計及損失函數。
1.1 "生成器
本節借鑒了UNet網絡[20]的結構設計,UNet的U形網絡結構可以捕捉不同尺度的特征,更好地恢復細節信息。跳躍連接能夠更好地利用上下文信息進行圖像增強,避免邊界信息的損失,但仍然存在一定的信息傳遞限制,會導致較遠處的上下文信息難以有效利用。因此,本文設計的生成器將UNet網絡中的10個卷積塊縮減為8個卷積塊,卷積塊由2個3×3的卷積層、Mish激活層和最大池化層三部分組成。在上采樣階段,將標準反卷積層替換為一個轉置卷積層和一個卷積層。為了提高網絡提取圖像信息的能力,在網絡中增加了EMA注意力模塊[21]。EMA注意力通過平均指數的方式對圖像中各區域重要性進行動態調整,從而使得網絡進一步關注重要信息,更好地處理圖像信息,提高模型的魯棒性和泛化能力。生成器網絡結構示意圖如圖1所示。
1.2 "判別器
EnlightenGAN網絡中的全局判別器從整個圖像中去學習,導致它很難處理高分辨率圖像。而局部判別器只關注輸入圖像的一部分,會使其無法全面地評估整個圖像的質量。為了更全面地判別生成圖像的真實性,本部分設計了由灰度判別器、顏色判別器和多尺度判別器三部分構成的多分支判別器。
第一部分是灰度判別器。它的作用是評估生成的灰度圖像的真實性,可以幫助生成器學習并捕捉灰度圖像的細節。通過灰度判別器,生成器不僅要關注圖像內容的生成,還要確保生成灰度圖像在亮度、紋理等方面與真實圖像一致。本文采用公式(1)將彩色圖像轉換為灰度圖。
[Gray=0.299×R+0.587×G+0.114×B] (1)
式中:[Gray]為灰度值;[R]為紅色通道值,[G]為綠色通道值,[B]為藍色通道值,三個通道值的取值范圍是0~255。
灰度判別器采用三個以LeakyReLU作為激活函數的3×3卷積層,接一個全連接層,最后使用Sigmoid函數將輸出值約束在0~1之間。灰度判別器網絡如圖2所示。
第二部分是顏色判別器。由于灰度判別器輸入和輸出都是灰度圖像,無法充分利用圖像中的色彩特征,容易導致信息丟失,并且不能處理空間亮度的變化關系。因此本文引入了顏色判別器,它會分析圖像的色彩分布、亮度、對比度等特征,并負責判斷生成器生成圖像的顏色是否真實,促使生成圖像的顏色與真實圖像一致。本文選用大小為5×5的濾波器進行均值濾波,合成最終的模糊RGB圖像。
由于彩色圖像相比灰度圖像具有更加豐富的色彩信息和亮度特征,因此顏色判別器對灰度判別器網絡做出改進,將3個3×3卷積層替換為5個3×3卷積層,從而可以更好地提取特征信息。顏色判別器網絡如圖3所示。
第三部分是多尺度判別器。傳統的對抗網絡使用單尺度判別器評估生成圖像的真實性,但是其只能關注圖像的特定尺度,容易受到局部細節影響。而本文引入的多尺度判別器可以評估不同尺度上的圖像特征,獲取更豐富的圖像信息。本文通過對輸入圖像進行不同的尺度變換得到最終的多尺度圖像,共包含3個不同尺度的特征圖,其大小分別為600×400、450×300、360×240。本文構建的多尺度判別器借鑒顏色判別器的網絡結構,將卷積層的第一層、第三層、第五層后的LeakyReLU激活函數分別替換為Sigmoid函數進行二元分類。多尺度判別器網絡如圖4所示。
1.3 "損失函數
本文采用以下幾種聯合損失函數來指導網絡的訓練過程,使得生成器可以提高生成圖像的質量,并增強判別器的能力。
對抗損失函數為:
[LWGAN?GP=Εx~pdataDx-Εx~prDx+λΕx~px?xDx2-12 "] (2)
式中:[pdata]為數據分布;[pr]為模型分布;[λ]為權重系數,一般設為10。
灰度一致性損失函數為:
[Lidt=Εx~pdata(x)GXxgray-Ggrayxgray1] (3)
式中:[GX]為生成圖像的灰度圖;[Ggray]為真實圖像的灰度圖。
像素損失函數為:
[Lpix=1Nn=1Nxfn-xrealn1] (4)
式中:[N]為圖像的像素;[n]為當前位置的像素;[xfn]為融合后的圖像;[xrealn]為參考圖像。
自特征保留損失函數為:
[LSFK=1wi,j?Hi,jx=1wi,jy=1Hi,jθi,jx-θi,jGx2] (5)
式中:[x]為輸入的弱光圖像;[Gx]為生成網絡的輸出圖像;[θi,j]為提取的特征圖;[wi,j]和[Hi,j]為提取的特征圖尺寸。
因此,網絡的總損失函數為:
[Ltotal=LWGAN?GP+λ1Lidt+λ2Lpix+λ3LSFK] (6)
為了平衡各項損失函數,加入權重因子進行調節。根據經驗,將[λ1]的值設置為5,[λ2]的值設置為0.5,[λ3]的值設置為2。
2 "實驗過程與結果分析
2.1 "實驗環境與數據集介紹
本文實驗在Ubuntu 18.04操作系統下進行網絡訓練并測試,計算機CPU配置為Intel[?] Xeon[?] Silver 4210R,GPU配置為Nvidia GTX 3090。實驗框架是基于Python 3.8環境的Pytorch 1.10.1,同時配備有CUDA 11.1環境。在訓練過程中,網絡的學習率設置為0.000 1,Batch size設置為2,采用Adam作為優化器,一共訓練了100輪。隨機選取LOL?L數據集中的100張弱光圖像、EnlightenGAN中的914張弱光圖像和1 016張不成對的正常光圖像作為訓練集。將DICM[22]、LIME[23]、MEF[24]、NPE[25]、VV[26]和LOL?L?test中的30組作為測試集,所有圖像的大小統一調整為600×400。
2.2 "評價指標
本文采用全參考指標:峰值信噪比(PSNR)、結構相似性(SSIM)和無參考指標:自然圖像質量評價指標(NIQE)、圖像感知質量指標(PI)、基于圖像空間域的無參考質量評價指標(BRISQUE)、神經圖像評估(NIMA)對實驗進行評估。
PSNR是通過計算待測圖像與參考圖像之間像素誤差的全局大小來衡量圖像質量好壞的。它的值越大,表明圖像質量越好。SSIM可以衡量兩張圖像之間的相似程度,從而評價圖像的清晰度和失真程度,SSIM的取值介于0~1之間,越接近1說明圖像質量越好。NIQE主要是針對自然圖像設計,適用范圍較廣泛,它的值越小,表明圖像質量越好。PI是一種針對彩色圖像的無參考圖像質量評價指標,PI數值越低,表示圖像質量越好。BRISQUE是基于圖像空間域的無參考圖像質量評價指標,具有較高的準確性和穩定性,它的分值越低越好。NIMA是對圖像生成評分直方圖并進行比較,得分越高則代表圖像質量越好。
2.3 "多分支判別器特征提取對比
為了進一步區分多分支判別器的作用,將不同判別器對圖像的特征提取進行可視化。判別器特征提取對比結果如圖5所示,可以看出不同判別器的作用范圍差異很大。
灰度判別器主要用來捕捉灰度圖像的細節,顏色判別器可以分析圖像的色彩特征,多尺度判別器則更多體現在圖像內容的輪廓上。
2.4 "對比實驗
為了驗證本文所提方法的有效性,將本文方法和較經典的CycleGAN、EnlightenGAN、URetinex?Net、Zero?DCE、LLFLOW、文獻[14]方法等六種方法進行對比驗證,并從主觀和客觀兩個方面分析實驗結果。
不同弱光增強方法在測試集上的對比實驗如圖6~圖11所示。可以發現本文方法和其余六種方法都能夠在一定程度上實現弱光增強,但是每種方法都有自己的缺點。由圖6b)~圖11b)可以看出,CycleGAN相較于其他方法的增強效果最差,不能有效恢復圖像本來的色彩。這是因為CycleGAN主要作用是圖像轉換,雖然其可以在一定程度上應用于弱光增強,但容易受到亮度范圍的限制,導致增強后的圖像難以恢復細節,并且會產生一些不自然的結果。
如圖6c)所示,圖像出現了亮度不足的情況,右側的小草幾乎沒有被恢復出來,圖7c)、圖8c)和圖10c)圖像亮度整體偏暗,輪廓不清晰,細節模糊,導致視覺效果較差。在圖9c)中,增強后的圖像整體偏綠,綠樹的還原效果較生硬,甚至亭子也被渲染成了綠色。在圖11c)中,圖像出現了局部過曝現象,人臉完全看不清。文獻[14]方法在不同的場景下既出現了增強過暗現象,又出現了過曝現象,表明其效果不穩定,泛化性較差。
從圖6d)和圖8d)中可以看出,圖像的顏色恢復存在嚴重的失真,增強結果放大了噪聲,圖像效果較模糊。在圖9d)中,增強圖像的色彩整體較暗,丟失了部分細節,中部的燈籠恢復效果不明顯。EnlightenGAN在大多數場景下色彩控制較好,能有效還原圖像紋理信息,但是也存在顏色失真和細節丟失現象,去噪效果不佳。
如圖6e)和圖8e)所示,圖像恢復的色彩不真實,存在過度增強現象,圖像視覺效果不符合人眼特性。在圖11e)中,圖中人物的臉部被過度曝光。整體而言,URetinex?Net能夠有效地提高圖像的亮度和對比度,并具有很強的魯棒性,但在處理局部高光圖像時容易有過曝問題。
由圖6f)可以看出,增強后的圖像整體偏黃,并且全局都存在噪聲,噪點控制效果較差。在圖7f)、圖9f)和圖10f)中,圖像都出現了過曝現象,圖像色彩過于艷麗,不符合人的觀感。Zero?DCE在圖像細節恢復方面效果不錯,但對于層次不分明的圖像容易放大圖像噪聲,在不同場景中經常會過度增強圖像的亮度。
從圖7g)和圖10g)中可以看出,圖像恢復效果過于黯淡,圖像的很多內容和細節都沒有顯示出來,圖11g)中的人物臉部同樣出現了過曝情況。LLFLOW對圖像的亮度增強效果明顯,能有效增強對比度,但圖像效果常常看起來不自然,更像人工合成的圖像,而不是自然界的真實圖像。
由圖6~圖11可以看出,本文方法在增強圖像亮度方面與LLFLOW有相似的效果,但是對于圖像細節的恢復明顯好于后者。由圖8h)可以看出,本文方法對于圖像中路燈區域的恢復效果更加真實,在圖9h)中,無論是亭子和池塘的色彩還原還是燈籠區域,本文方法在圖像亮度、對比度、細節保持和清晰度等方面的主觀視覺效果較其他方法都更優。本文算法同樣有不足之處,如圖6h)中的右側輪子區域和圖7h)中的天空區域都出現了過度增強現象,一定程度上影響了圖像效果。但本文方法在整體上控制的較好,視覺觀感是所有方法中最好的,與參考圖像最為接近。在大部分情況下,能做到圖像紋理、細節和色彩等方面的還原,更加兼顧整體和局部的視覺效果,并且具有良好的泛化性。
除主觀視覺評價外,本文采用更加嚴謹的客觀指標來評估所提方法的性能。為了最大限度保證準確性,在不同的數據集中分別計算各自方法的指標平均值。實驗結果如表1~表6所示,表中加粗字體表示結果最好。
表1顯示了不同方法在成對測試數據集LOL?L上的實驗結果。本文所提方法在SSIM、PI、BRISQUE和NIMA四項指標中獲得了最佳值,與次優方法相比,SSIM、PI、BRISQUE和NIMA分別提升了4.9%、15%、11.2%和10%。本文提出的方法能夠在客觀指標下取得優異的結果,相比其他方法展現出了更大的優勢,進而表明本文方法的增強效果達到了比較高的水平。
不同方法在非成對數據集DICM、LIME、MEF、NPE和VV的實驗對比結果如表2~表6所示。
由表2~表6可以看出:本文方法在DICM數據集中,NIQE、NIMA和MUSIQ獲得了最佳值;在LIME數據集中,NIQE、BRISQUE和MUSIQ獲得了最佳值;在MEF數據集中,PI、BRISQUE、NIMA和MUSIQ獲得了最佳值;在NPE數據集,NIQE、PI和NIMA獲得了最佳值;在VV數據集中,NIQE、PI和MUSIQ獲得了最佳值。整體而言,和同類方法相比,本文方法雖然不是在每項指標中都能達到最佳,但在大多數情況下都能獲得比其他方法更好的分值,最終結果較為均衡。
3 "結 "語
為了進一步提高弱光圖像的增強效果,本文提出了一種基于生成對抗網絡的無監督弱光圖像增強方法。本文的圖像增強網絡分為生成器和判別器兩個部分,在生成器中改進了UNet網絡的結構,并將EMA注意力嵌入生成網絡中,提高了圖像特征的提取能力。在判別器中設計了一個多分支判別器,能夠從灰度、顏色和多尺度三個方面判別更多的圖像細節信息。最后,采用聯合損失函數進一步約束圖像結構,提高生成圖像質量。本文所提方法與多種先進方法在6個公開數據集中進行了主觀和客觀比較,實驗結果表明,本文方法不僅能夠有效提高弱光圖像的亮度,而且在恢復圖像細節信息、去噪等方面也具有一定的優勢,并進一步證明了本文方法的有效性和魯棒性。
注:本文通訊作者為丁潔。
參考文獻
[1] 徐少平,陳孝國,李芬,等.采用兩階段混合策略實現的低照度圖像增強算法[J].電子學報,2021,49(11):2166?2170.
[2] SRINIVAS K, BHANDARI A K. Low light image enhancement with adaptive sigmoid transfer function [J]. IET image processing, 2020, 14(4): 668?678.
[3] PIZER S M, AMBURN E P, AUSTIN J D, et al. Adaptive histogram equalization and its variations [J]. Computer vision, graphics, and image processing, 1987, 39(3): 355?368.
[4] LAND E H. The retinex theory of color vision [J]. Scientific American, 1977, 237(6): 108?128.
[5] WEI C, WANG W J, YANG W H, et al. Deep retinex decomposition for low?light enhancement [EB/OL]. [2018?08?14]. https://arxiv.org/abs/1808.04560v1.
[6] ZHANG Y H, ZHANG J W, GUO X J. Kindling the darkness: A practical low?light image enhancer [C]// Proceedings of the 27th ACM International Conference on Multimedia. New York: IEEE, 2019: 1632?1640.
[7] ZHANG Y H, GUO X J, MA J Y, et al. Beyond brightening low?light images [J]. International journal of computer vision, 2021, 129(4): 1013?1037.
[8] LORE K G, AKINTAYO A, SARKAR S. LLNet: A deep autoencoder approach to natural low?light image enhancement [J]. Pattern recognition, 2017, 61: 650?662.
[9] WU W H, WENG P, WANG J, et al. URetinex?Net: Retinex?based deep unfolding network for low?light image enhancement [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2022: 5891?5900.
[10] MA L, MA T Y, LIU R S, et al. Toward fast, flexible, and robust low?light image enhancement [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2022: 5627?5636.
[11] WANG Y F, WAN R J, YANG W H, et al. Low?light image enhancement with normalizing flow [C]// Proceedings of the AAAI Conference on Artificial Intelligence. [S.l.]: AAAI, 2020: 2604?2612.
[12] WANG T, ZHANG K H, SHEN T R, et al. Ultra?high?definition low?light image enhancement: A benchmark and transformer?based method [C]// Proceedings of the AAAI Conference on Artificial Intelligence. [S.l.]: AAAI, 2023: 2654?2662.
[13] NI Z K, YANG W H, WANG H L, et al. Cycle?interactive generative adversarial network for robust unsupervised low?light enhancement [C]// Proceedings of the 30th ACM International Conference on Multimedia. New York: ACM, 2022: 1484?1492.
[14] JIN Y Y, YANG W H, TAN R T. Unsupervised night image enhancement: When layer decomposition meets light?effects suppression [C]// European Conference on Computer Vision. Heidelberg, Germany: Springer, 2022: 404?421.
[15] JIANG Y F, GONG X Y, LIU D, et al. EnlightenGAN: Deep light enhancement without paired supervision [J]. IEEE transactions on image processing, 2021, 30: 2340?2349.
[16] JIANG Q P, MAO Y D, CONG R M, et al. Unsupervised decomposition and correction network for low?light image enhancement [J]. IEEE transactions on intelligent transportation systems, 2022, 23(10): 19440?19455.
[17] FU Y, HONG Y, CHEN L W, et al. LE?GAN: Unsupervised low?light image enhancement network using attention module and identity invariant loss [J]. Knowledge?based systems, 2022, 240: 108010.
[18] WANG R J, JIANG B, YANG C, et al. MAGAN: Unsupervised low?light image enhancement guided by mixed?attention [J]. Big data mining and analytics, 2022, 5(2): 110?119.
[19] GUO C L, LI C Y, GUO J C, et al. Zero?reference deep curve estimation for low?light image enhancement [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2020: 1777?1786.
[20] RONNEBERGER O, FISCHER P, BROX T. U?Net: Convolutional networks for biomedical image segmentation [C]// Proceedings of the 18th International Conference on Medical Image Computing and Computer?assisted Intervention. Heidelberg, Germany: Springer, 2015: 234?241.
[21] OUYANG D L, HE S, ZHANG G Z, et al. Efficient multi?scale attention module with cross?spatial learning [C]// 2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). New York: IEEE, 2023: 1?5.
[22] LEE Chulwoo, LEE Chul, KIM C S. Contrast enhancement based on layered difference representation of 2D histograms [J]. IEEE transactions on image processing, 2013, 22(12): 5372?5384.
[23] GUO X J, LI Y, LING H B. Low?light image enhancement via illumination map estimation [J]. IEEE transactions on image processing, 2017, 26(2): 982?993.
[24] LEE Chulwoo, LEE Chul, LEE Y Y, et al. Power?constrained contrast enhancement for emissive displays based on histogram equalization [J]. IEEE transactions on image processing, 2011, 21(1): 80?93.
[25] WANG S H, ZHENG J, HU H M, et al. Naturalness preserved enhancement algorithm for non?uniform illumination images [J]. IEEE transactions on image processing, 2013, 22(9): 3538?3548.
[26] VONIKAKIS V, ANDREADIS I, GASTERATOS A. Fast centre surround contrast modification [J]. IET image processing, 2008, 2(1): 19?34.
作者簡介:武 "霽(1997—),男,山西汾陽人,碩士研究生,研究方向為圖像增強和深度學習。
丁 "冰(1995—),女,山西臨猗人,碩士,助教,研究方向為計算機視覺與分布式優化。
丁 "潔(1986—),女,山西臨猗人,博士,副教授,研究方向為計算機視覺、新型半導體器件建模與仿真。