基于生成對抗網絡的自然場景低照度增強模型

楊瑞君，秦晉京，程燕

（1.上海應用技術大學計算機科學與信息工程學院，上海 201418；2.華東政法大學刑事法學院， 上海 201620）

0 引言

圖像低照度增強（LLIE）一直是計算機底層視覺領域備受關注且具有挑戰性的研究課題之一。低照度圖像通常在弱光、夜間、逆光等照明不佳的場景下拍攝，相比于正常照度的圖像，它們普遍存在特征退化現象，不僅影響美學觀感，而且難以保證物體識別檢測、語義分割等視覺任務的精度。LLIE 技術可以通過對圖像質量的改善來有效解決這些問題，因此，該技術在手機攝影、智能監控、自動駕駛等領域具有廣闊的應用前景。

近年來，隨著深度學習理論的逐漸成熟，相關模型在LLIE 領域也開始占據主流。基于深度學習的模型按照不同的學習策略主要分為4 類，即有監督、半監督、無監督和零樣本學習。不同學習策略的劃分取決于模型損失函數對正常照度參考圖像的依賴程度。

基于有監督學習的模型在訓練過程中往往需要低照度輸入圖像和正常照度參考圖像之間完全配對的訓練數據集，通過約束模型輸出與參考圖像間的特征距離來引導模型訓練。在基于有監督學習的相關工作中：LLNet［1］利用對稀疏去噪編碼器的疊加實現了端到端的增強；MBLLEN［2］通過將網絡分解為特征提取、特征增強和特征融合模塊，實現了更好的增強性能；Retinex-Net［3］結合了傳統Retinex 理論［4］，學習低照度圖像與正常光照圖像之間反射分量和照明分量的對應關系并以此對低照度圖像進行重構；KinD［5］充分考慮不同程度和形式的退化問題，將模型分為圖層分解、反射率恢復和光照度調整3 個子網絡，并且允許用戶自定義地設置光照增強程度。總體而言，有監督學習的模型設計難度較低，且訓練過程較為穩定。

然而，由于當前針對LLIE 的完全配對數據集獲取難度較大，樣本數量往往不多或嚴重依賴于人工合成，因此它們對于現實世界很難有較為客觀的反映，對有監督學習模型的實際訓練效果形成了制約。為了解決這一問題，越來越多的無監督和零樣本學習模型被提出。與有監督學習相比，基于無監督學習的模型在訓練過程中只需要隨機非配對的正常照度參考圖像，如EnlightenGAN［6］利用生成對抗網絡（GAN）產生對抗損失來實現無監督學習過程，同時利用自正則化注意力機制給圖像中的較暗區域賦予更高權值，進一步提高了增強效果。基于零樣本學習的模型在訓練過程中則不需要任何參考圖像，如Zero-DCE［7］提出一個無參考的綜合性損失函數，并將學習過程簡化為估計圖像的高階亮度曲線。隨后，Zero-DCE++［8］利用深度可分離卷積和優化的曲線學習過程，使得模型更加快速和輕量化。RUAS［9］受到Retinex 理論的啟發，提出一種合作的雙層搜索策略，在無參考條件下發現低照度增強任務所需的光照估計和噪聲去除架構。URetinex-Net［10］隱式學習低照度圖像的先驗知識，然后擬合先驗知識的展開優化模塊，同時實現了噪聲抑制和照度增強。總體而言，無監督和零樣本學習的模型訓練過程較為靈活，不容易受到數據集的制約，普遍具有更強的遷移泛化能力。

除此之外，也有研究人員同時利用有監督和無監督學習的優勢，提出基于半監督學習的增強模型，如DRBN［11］首先在有監督學習下恢復增強圖像的線性波段表示，然后基于無監督對抗學習的方式對這些波段進行重組，獲得了改進的波段從而實現了增強圖像的高保真。然而，該模型依然依賴于配對數據集。

雖然上述研究普遍取得了有效的增強效果，但是仍有以下不足：1）自然場景下的低照度圖像包括夜景、逆光等多種不同形式，現有模型往往欠缺對這一問題的綜合考量；2）圖像的光照特征容易與圖像的紋理色彩等特征產生糾纏，現有模型在增強的過程中往往不可避免地造成了圖像原有特征的丟失或扭曲，同時還容易引入額外的噪聲。

本文利用無監督學習的策略，基于生成對抗網絡，提出一種移位窗口自注意力機制和卷積相結合的低照度增強模型LSC-GAN。在生成器網絡中，利用光照一致性損失構建全局-局部照明學習（GLIE）模塊，專注于對光照有關特征的學習。通過原圖特征保留塊（OFR-Block）將GLIE 的輸出特征與原圖的淺層特征相融合并進行通道注意力加強，以更好地兼顧光照增強和原圖特征保留，同時抑制噪聲。在GLIE 內部通過引入移位窗口自注意力機制和多尺度空洞卷積，加強對全局特征的場景級學習同時保證光照的局部平滑特性。此外，引入對抗損失實現對照度增強效果的監督，引入感知損失和像素損失實現對原圖特征保留的監督。

1 相關理論

1.1 生成對抗網絡

生成對抗網絡［12］是一個強大的模型范式，廣泛應用于圖像增強和生成類任務。具體而言，生成對抗網絡是通過生成器和判別器相互博弈的過程，促使生成器的生成結果越來越接近真實圖片的分布，最終使得判別器無法辨別生成器生成的假圖片和真實圖片。生成對抗網絡優化過程的目標函數為：

其中：V表示生成器G和判別器D的最終優化目標；E 表示數學期望；x表示真實數據來源；z表示生成器網絡的輸入；G（z）表示經過生成器G得到的生成數據；D表示判別器產生的對抗損失。

生成對抗網絡在低照度增強及其聯合任務中應用十分多樣化，除上文提到的EnlightenGAN［6］采用生成對抗網絡實現無監督學習外，還有如ARD-GAN［13］利用DnCNN 去噪網絡構建判別器，實現了圖像的降噪功能。一種基于局部生成對抗網絡的水下低照度增強模型［14］利用局部判別器，同時計算生成器輸出圖像與正常照度圖像之間的回歸損失和分類損失，促進生成器生成局部更加真實的圖像。與EnlightenGAN類似，本文提出的LSC-GAN 也是通過生成對抗網絡實現無監督學習，同時在模型結構和損失函數上進行改進，以實現更好的原圖特征保留效果。

1.2 移位窗口自注意力機制

移位窗口自注意力機制（Swin Transformer）［15］是一種用于計算機視覺領域的Transformer技術，其基本結構是一個集成化的模塊，通過將圖像劃分為不同的窗口來分別計算自注意力，然后利用移位策略實現不同窗口的特征交互，可以在有限的計算成本下實現對圖像全局信息的建模。

如圖1 所示，Swin Transformer 模塊由正則化層（LN）、窗口多頭自注意力（W-MSA）、移位窗口多頭自注意力（SW-MSA）、多層感知機（MLP）和殘差連接組成。其中，LN 的主要作用是進行批量正則化，對輸入數據進行歸一化處理，從而保證輸入層數據分布的規則性。W-MSA 和SW-MSA 分別在原窗口和移位窗口內進行自注意力計算，該計算可表示為：

圖1 移位窗口自注意力塊的基本結構Fig.1 Basic structure of Swin Transformer block

其中：Q代表查詢矩陣；K代表鍵矩陣；V代表值矩陣；d代表查詢矩陣或鍵矩陣的維度；B代表位置矩陣；Softmax 表示激活函數。通過自注意力的計算，可以得到參與運算的每個像素之間的相互關系，從而實現全局感知。此外，查詢矩陣Q還可以做線性變換，得到多個查詢以捕獲多頭自注意力，從而使得圖像特征提取更加多樣。在本文提出的LSC-GAN 中利用該機制實現GLIE 中的全局場景級特征學習。

2 LSC-GAN 模型設計

LSC-GAN 整體由生成器和判別器部分構成，其中：生成器網絡主要由淺層特征提取、GLIE 和OFRBlock 構成，在測試階段獨立完成低照度增強任務；判別器網絡引入基于全局和局部特征提取的相對判別器［7］，在訓練階段通過非配對的正常照度參考圖像產生對抗損失從而指導生成器學習，以構建無監督學習過程。

2.1 生成器整體結構

根據Retinex 理論，圖像由照明分量和反射分量組成，其中反射分量反映物體的固有屬性，不隨照明條件的變化而變化，人眼對于圖片的觀察效果取決于照明分量和反射分量之積，這個過程可表示為：

其中：I(x,y)表示原圖；R(x,y)表示反射分量；L(x,y)表示照明分量。

在低照度圖像中L(x,y)較小，從而導致圖像整體觀感不佳，該理論側面反映了光照特征的相對獨立性，因此，低照度增強任務在理想狀態下無須對光照無關特征進行學習，然而，如何區分光照有關特征和無關特征是一個具有挑戰性的難題。為解決這一問題并提高對抗訓練的穩定性，本文模型采用類似于在線蒸餾思想［16］中學生網絡通過教師網絡的輸出信息進行優化的方式。在在線蒸餾中，較為輕量的學生網絡通過與體量較大的教師網絡之間建立損失函數的約束，進而由教師網絡指導學生網絡優化自身權值，達到訓練學生網絡的目的，最終，采用輕量的學生網絡代替教師網絡從而實現模型壓縮的效果。在本文模型中，如圖2 所示，先將原始低照度圖像通過標準3×3 卷積進行淺層特征提取，其中一條分支進入GLIE，得到照明輸出圖，通過損失函數約束照明輸出圖和生成器最終輸出圖之間灰度圖像素值的一致性，將該損失函數命名為光照一致性損失。光照一致性損失使得GLIE 更加專注于對光照有關特征的學習，而與光照增強無關的特征則通過跨層連接繞過GLIE，從而更好地平衡照度增強和原圖特征保留之間的關系。與在線蒸餾不同的是，由于GLIE獨立照明輸出的主要目的在于光照特征分離而不是模型壓縮，其本身的特征提取并不完整，因此，不作為一個獨立的學生網絡，而是將輸出的特征層與光照增強無關的淺層特征層在OFR-Block 中進行融合加強，得到生成器的最終輸出。對光照無關淺層特征直接融合的優勢在于：一方面降低生成器最終輸出對自然圖像的擬合難度，同時減少對GLIE 的過度依賴，提高對抗學習的穩定性；另一方面不對GLIE的輸出進行像素級的嚴格約束，可以提高GLIE 訓練的靈活性，減少潛在的過擬合風險。

圖2 生成器網絡結構Fig.2 Generator network structure

2.2 全局-局部照明學習模塊GLIE

如圖2 所示，GLIE 的主體分別由全局特征提取網絡（GIE-Net）和局部特征聚合塊（LIE-Block）組成，為有效利用平均池化和最大池化在提取全局和局部特征方面的優勢，同時提高模型的抗過擬合能力，分別在GIE-Net 和LIE-Block 之前進行一次自適應平均池化和最大池化。自適應過程可以將不同輸入尺寸的圖像變換到固定尺寸，對于移位窗口自注意力塊而言，固定的輸入尺寸是有必要的。在此之后，通過GIE-Net 和LIE-Block 完成特征提取并對兩者進行相加，經自適應上采樣后恢復到原圖像尺寸，最后通過卷積層特征提取后得到GLIE 的輸出。

2.2.1 全局特征提取網絡GIE-Net

低照度增強任務通常需要應對不同的低照度場景，因此，基于全局感受野的場景級學習至關重要。GIE-Net 通過改進的基于移位窗口自注意力的U 形網絡（Swin-Unet）［17］來實現場景級學習，采用級聯的移位窗口自注意力塊（STB）代替傳統U-Net 中的卷積結構，在每次下采樣和上采樣之前提取全局特征。

如圖3 所示，首先利用Embedding 將圖像劃分為非重疊窗口（Patch），并轉化為一維嵌入式向量，經過級聯STB 實現不同窗口的交互以提取全局特征，然后通過Patch Marging［15］的方式進行下采樣。每下采樣一次，特征圖的尺寸大小即變為原來的1/2，同時通道數變為原來的2 倍。經過數次下采樣后到達瓶頸層，此時圖片的尺寸最小，通道數最豐富，能夠提取到更多類型的深層特征。在上采樣階段，與同尺寸的下采樣特征層建立連接，以恢復丟失的淺層特征，在最后一次上采樣后將Patch 恢復為與輸入分辨率相同的二維特征圖，得到GIE-Net 的輸出。為平衡計算代價和模型性能，將下采樣的次數設為3，每次移位窗口自注意力塊的級聯個數設為2，每個自注意力塊中的自注意力頭數設為2。為減少原始Swin-Unet 中Expanding 上采樣［17］容易導致的棋盤偽影問題，用PS（PixelShuffle）［18］和雙三次插值（Bicubic）的雙分支結構（如圖4 所示）來代替Expanding 上采樣，以保持更自然的增強效果。

圖3 GIE-Net 網絡結構Fig.3 GIE-Net network structure

圖4 雙線性上采樣結構Fig.4 Bilinear upsampling structure

2.2.2 局部特征聚合塊LIE-Block

GIE-Net 側重于對全局特征的提取，其對局部特征的提取不足，不能很好地保持光照特征的局部平滑特性。為了與全局信息實現互補，受廣泛應用于圖像分割任務的ASPP［19］的啟發，本文構建較輕量的LIE-Block 以有效提取各個尺度的局部信息。如圖5所示，首先將輸入特征按照通道進行平均分配，形成不同的并行分支，每個分支分別利用擴張率不同的空洞卷積（在本文模型中擴張率分別為1、2、4、8）提取不同尺度下的局部特征，利用LReLU 激活函數增強非線性特征擬合能力，隨后對不同的分支特征按通道進行拼接，恢復輸入特征圖的通道數，通過標準3×3 卷積進一步進行特征融合，最后與GIE-Net 相連，實現對光照平滑信息的補充。

圖5 LIE-Block 網絡結構Fig.5 LIE-Block network structure

2.3 原圖特征保留塊OFR-Block

如圖6 所示，在OFR-Block 內部首先對淺層特征圖與照明調整之后的特征圖按通道進行拼接，由于下采樣的緣故，照明學習模塊的輸出特征圖有潛在的細節損失問題，因此，對拼接后的特征圖通過普通的殘差塊（Res Block）進行初步的特征提取，然后利用通道注意力機制進行加強。從廣泛的去噪任務中得到啟發，本文通道注意力采用與SE 模塊［20］相同的方式，首先使用全局平均池化（GAP），將空間特征壓縮為一個全局特征值，然后利用2 層全連接層（FC）建立所有通道間的特征關系，得到不同通道的重要性權值，使用Sigmoid 激活函數將權值歸一化到0～1的區間，最后進行Scale 操作將該值與原圖中相應通道的每個像素進行相乘，使得重要的通道權值得到增強，含有不良特征的通道權值得到減弱，從而起到抑制噪聲的作用。

圖6 OFR-Block 網絡結構Fig.6 OFR-Block network structure

2.4 損失函數

本文模型的損失函數由判別器部分和生成器部分構成，為了對圖像的亮度增強和特征保留過程進行有效監督，判別器采用簡單對抗損失，生成器則采用聯合損失函數，該聯合損失表示為：

其中：w0、w1、w2和w3分別為各個組成部分的權值。各個損失函數具體構成分別如下：

1）光照一致性損失。該損失保持GLIE 模塊輸出圖和生成器最終輸出圖之間的光照差異，引導GLIE 專注于光照有關特征的學習，計算公式為：

其中：LGray表示GLIE 模塊照明輸出圖的像素灰度均值；GGray表示生成器輸出圖的像素灰度均值。

2）對抗損失。該損失利用生成對抗網絡進行對抗學習，以引導生成器實現光照增強，其中的判別器損失計算公式為：

其中：E 表示數學期望；DRa表示相對判別器產生的損失；D表示最小二乘GAN［21］產生的損失；xr、xf分別表示從真實圖片和生成圖片中的采樣，在本文實驗中，分別從真實圖片（Preal）、生成圖片（Pfake）、真實圖片切片（Prealpatches）和生成圖片切片（Pfakepatches）中計算累加損失，以更好地兼顧全局和局部光照強度的一致性。

與判別器損失形式類似，生成器對抗損失計算公式為：

3）感知損失。該損失利用VGG 模型［22］特征提取過程對像素強度的不敏感性，對低照度原圖和增強圖像進行建模，從而在不影響照度增強過程的情況下監督兩者之間的特征距離以實現增強圖像對原圖特征的保留。感知損失計算公式為：

其中：IL表示原始的低照度圖像；G(IL)表示生成器增強后的輸出圖像；Φ表示預訓練的VGG 模型特征圖；i表示第i個池化層；j表示第i個池化層后的第j個卷積層；W和H表示特征圖的維數。

4）像素損失。為彌補感知損失對細節監督的不足，同時保證照度增強的強度，以較小的權值限制低照度原圖和增強圖像之間的像素距離，抑制圖像在照度增強過程中噪聲偽影的擴大。像素損失計算公式為：

其中：T表示像素的總個數；表示原始低照度圖像的像素點；表示生成器輸出圖像的像素點。

3 實驗結果與分析

3.1 實驗設計

3.1.1 訓練數據集

本文模型對文獻［6］的訓練數據集進行微調，最終使用914 張低光照和1 016 張正常光照圖像，這些圖像既有人工合成也有真實拍攝的，且沒有任何的配對，在訓練過程中對低照度圖像和正常光照圖像進行隨機組合，并分別輸入生成器和判別器中產生對抗損失來引導模型訓練。

3.1.2 測試數據集

本文選擇DICM［23］、LIME［24］、MEF［25］和NPE［26］等4 個無參考自然低照度圖像數據集，共99 張，并分數據集進行測試，其中包含各種分辨率下的夜景、逆光等增強難度較大的低照度圖像，以此來充分驗證本文模型在不同自然環境下的泛化性。

3.1.3 實驗環境及參數設置

本次實驗所使用的操作系統為Ubuntu18.04，GPU 配置為Nvidia RTX 3060（6 GB），使用PyTorch深度學習框架構建網絡模型并進行訓練。在網絡訓練過程中，將訓練圖像的大小統一裁剪為512×512 像素，epoch 個數設為120，batch size 設為2，初始學習率設為0.000 1，在前60 個epoch 學習率保持不變，然后隨著epoch 的增加學習率線性衰減到0，在訓練全程使用Adam 優化器進行網絡參數優化。本文模型的損失函數參數設置如表1 所示。

表1 損失函數的參數設置Table 1 Parameter settings of loss function

3.2 對比實驗

為充分驗證本文所提LSC-GAN（LG）的先進性，將其與當前主流模型Retinex-Net（RN）［3］、EnlightenGAN（EG）［6］、Zero-DCE++（ZD）［8］、RUAS（RU）［9］、URetinex-Net（UN）［10］分別進行定性比較和定量比較。其中，除了Retinex-Net 是有監督模型外，其余都是無監督或零樣本學習模型（包括本文模型）。為保證對比實驗的公平性，各個模型都遵照原論文提供的訓練流程和參數設置，并使用相同規模的訓練數據集和完全統一的測試數據集，其余實驗條件也保持一致。

3.2.1 評估指標

由于本次實驗使用的測試數據集沒有配對的正常光照圖像作為參考，因此采用基于無參考的圖像質量評估指標，具體如下：

1）自然圖像質量評估指標（NIQE）［27］。NIQE 是一個完全無參考的圖像質量評估指標，其原理是提取測試圖像的多元高斯特征模型，然后統計其與指定高質量自然圖像中提取到的特征模型之間的距離，從而得到對測試圖像的質量評估。NIQE 計算公式如下：

其中：v1、v2和Σ1、Σ2分別表示自然圖像和增強圖像高斯分布模型的均值向量和協方差矩陣。當NIQE指標越小時，表明測試圖像越接近指定的高質量自然圖像。

由于正常光照圖像理論上可以呈現更加豐富的信息，從而擁有更高的自然質量，因此NIQE 指標可以作為圖像照明恢復強度和自然保持度的有效參考。

2）亮度順序誤差（LOE）［28］。NIQE 缺乏對低照度原圖的參考和光照增強正確性的衡量，因此，引入LOE 指標。LOE 通過對原始低照度圖像和增強圖像中的亮度順序進行統計比較，可以有效反映圖像增強過程中存在的局部亮度異常和噪聲偽影放大等問題，該指標越小，表明對低照度原圖的光照順序保留度越好。LOE 計算公式如下：

其中：m和n分別表示圖像的高和寬；RD 表示相對亮度階差。RD 表達式為：

其中：L和Le分別表示低照度原圖和增強圖像中RGB 顏色通道的最大值；xor 表示異或運算。

3.2.2 定性比較

從測試數據集中選取9 張較為典型的低照度圖像，將其大體上分為逆光、夜景和高頻信息豐富3 類圖像，并以此分別進行主觀對比。從圖7～圖9 可以看出（彩色效果見《計算機工程》官網HTML 版）：RU 和UN 由于光照增強相對不正確導致原圖特征發生較大偏移，在所有的逆光場景［（1）行～（6）行］中都出現了天空過曝的現象，其中RU 在夜景［（8）行］和高頻信息豐富［（9）行］中也存在同樣問題；ZD 的色溫與原圖有顯著差異，整體存在泛白現象，在夜景［（8）行］中尤為明顯；EG 容易出現局部異常色彩和噪點現象，例如在逆光場景［（2）行和（3）行］中，天空分別出現了異常的紫色色塊和綠色色斑，在夜景［（7）行、（8）行］的夜空中出現大量噪點，在高頻信息豐富的場景［（9）行］中樹葉出現了泛黃現象；RN 整體存在紋理失真和色彩飽和度過高的問題，此外在逆光場景［（1）行、（4）行］和夜景［（8）行］中還出現了嚴重的偏色問題；本文提出的LG 模型整體增強效果比較真實自然，在不同場景中的亮度增強和原特征保留上都能達到較為良好的水平，沒有出現顯著的紋理失真和色彩偏移現象。

圖7 逆光場景下的實驗效果Fig.7 Experimental effects under backlit scenes

為了更全面地評估各模型的綜合性能，從上述圖像中隨機選取一些特征復雜的區域放大裁剪進行細節對比，并將裁剪區域在低照度原圖中框出。由于RU 模型整體效果不佳，因此在細節對比實驗中將其剔除。如圖10 所示，本文模型在有效實現照度增強的同時，對原圖的細節保留和噪聲抑制效果也較好，并且在不同低照度場景下都可以獲得觀感較為舒適的增強效果。

圖10 細節對比實驗結果Fig.10 Details comparison experiment results

3.2.3 定量比較

為了更進一步地量化評估模型性能，在所有測試數據集上對不同模型分別通過NIQE 和LOE 指標進行客觀對比，結果如表2 所示，其中每個數據集中2 個指標的前3 名分別用加粗、斜體和下劃線表示。由于不同數據集圖像數量不同，因此用ALL 表示全部測試數據的加權平均值。

從表2 可以看出，本文LG 模型的2 個指標在所有數據集中都取得了前3 名的水平。具體地，從數據集來看，LG 在NPE 上優勢更加明顯，2 個指標均優于對比模型；從評價指標來看，LG 模型則在LOE上優勢更加明顯，在LIME、MEF、NPE 這3 個數據集上相比其他對比模型都取得了更好的結果。

3.2.4 綜合分析

由于基于NIQE 的盲圖像質量評估結果與實際觀感存在一定差異，且不完全符合低照度增強的任務目標，因此NIQE 僅作大致參考。如表2 所示，本文LG 模型和ZD 模型、EG 模型在該指標上表現相對較好。然而，結合定性比較結果可知，ZD 和EG對原圖的保留效果都不佳，其中，ZD 的色溫相比原圖偏移明顯，尤其是在缺乏自然光照的夜景圖像中，EG 則容易出現局部色彩異常和顯著噪點偽影現象。此外，由于ZD 和EG 都沒有考慮噪聲抑制因素，因此LOE 指標明顯較差，相反，本文LG 模型與UN 模型則在該指標上優勢明顯。然而，在定性比較中，UN 在部分場景中有顯著的整體過曝問題，實際觀感較差。綜上，本文提出的LG 模型主觀效果真實自然，可在不同場景中有效實現照度增強，且對低照度原圖的特征保留度高，2 個評估指標結果在不同測試數據集上也較為穩健，具有較強的實用性。

3.3 消融實驗

為了驗證本文模型主要組成部分的有效性，對模型進行消融實驗，具體地，分別減去光照一致性損失函數（LEXP）、全局特征提取網絡（GIE-Net）和局部特征聚合塊（LIE-Block），對模型進行重新測試，其他實驗條件和參數設置保持不變。圖11 所示為隨機一張測試圖像分別在輸入圖、無LEXP、無LIE-Block、無GIE-Net 和完整模型下的結果。由圖11 可見：無LEXP會導致模型難以兼顧照度增強和原圖特征保留，照度提升明顯不足；無LIE-Block會導致模型維持局部光照平滑性的能力不足，造成方塊狀的處理邊界，不符合對原圖特征的保留原則和客觀物理規律；無GIE-Net 會導致模型缺乏對場景級別的感知，圖像容易出現局部過度增強的現象。

圖11 消融實驗結果Fig.11 Results of ablation experiment

為了進一步驗證模型各個部分對整體性能的影響，對消融后的模型進行定量比較。從表3 可以看出：對于NIQE 指標而言，在缺少任意組成部分后該指標均出現下滑，證明本文模型結構的完整性對維持圖像自然質量有顯著作用；對于LOE 指標而言，無LIE-Block、無GIE-Net 都會導致該指標出現下滑，雖然無LEXP的情況會導致LOE 出現小幅提升，但是此時照明學習模塊（GLIE）未能得到有效訓練，所產生的圖像與原圖過度相似，顯然與低照度增強的任務目標不符。相比之下，完整模型兼具更好的增強效果和更高的自然圖像質量。

表3 消融后的模型對比結果Table 3 Comparison results of models after ablation

4 結束語

當前基于深度學習的低照度增強方法在自然場景下無法很好地兼顧照度增強和原圖特征保留效果，且對多場景的適應性通常不佳，為此，本文提出一種基于生成對抗網絡的低照度增強模型LSCGAN。通過光照一致性損失構建照明學習模塊，更好地實現照度增強和原圖特征保留；在照明學習模塊內部結合全局特征提取網絡和局部特征聚合塊，同時實現場景級學習和光照平滑保持；通過原圖特征保留塊進行特征融合和通道注意力加強，實現噪聲抑制效果；利用聯合損失函數實現對上述學習過程的有效監督。實驗結果表明，LSC-GAN 模型在有效實現照度增強的同時，對低照度原圖的特征保留效果也較好，與當前主流模型相比具有一定的優勢。下一步將著力于簡化模型結構，同時探索更加有效的自然低照度圖像增強評估方式，從而更全面地量化增強效果。