復合殘差網絡在低照度圖像增強中的技術研究

王興瑞，樸 燕，王雨墨

（長春理工大學 電子信息工程學院，吉林 長春 130022）

1 引 言

隨著國內外成像技術的發展，多模態圖像可通過各種成像設備獲取，但在暗環境下，如夜間或缺乏足量光照時，成像設備采集的圖像質量退化嚴重，且圖像出現對比度低、噪聲干擾大、顏色失真等情況，對于后續視覺任務（包括目標檢測與識別、目標跟蹤、場景分割和關鍵信息提取等）造成巨大干擾。因此，國內外學者對圖像增強開展了廣泛的研究，其主要有3 種方法：（1）基 于 直 方 圖 均 衡 化（HE）的 方 法。Zuiderveld 等 人［1］提 出 了 對 比 度 受 限 的 自 適 應直方圖均衡化方法，Ibrahim［2］提出了一種保持亮度的動態直方圖均衡化算法。（2）以Retinex理論［3］為基礎的方法。如Jobson 等人提出的單尺 度Retinex（SSR）［4］算 法，多 尺 度Retinex（MSR）［5］算法，以及Retinex 的衍 生算法aMSRCR 和MSRCP 等。黃慧等人［6］在Retinex 基礎上添加了平滑聚類操作對圖像做層次分離。馮維等［7］利用最小二乘濾波對多幅圖像融合以得到增強圖像。王衛星和趙恒［8］通過改進Retinex 并引入引導濾波對霧霾交通圖像進行增強。（3）基于深度學習的方法。Cheng 等人［9］提出了深度融合網絡（Deep Fusion Network，DFN）來增強圖像。該算法雖有效提高了亮度，但在高亮和極暗的區 域 出 現 了 偽 影。Guo 等 人［10］提 出 了 一 種LIME 算法，該算法首先分離RGB 通道并分別找到像素最大值，用具體像素值作為指標來單獨估計各通道各個像素的光照，然后對初始光照圖進行結構細化后作為最終光照圖。該算法在亮度提升方面有很大提高，但算法有時會出現圖像失真、圖像主觀感受不自然的情況。Li［11］等 人 提 出 了LightenNet 網 絡，該 網 絡 以 低 照圖為輸入，輸出其光照圖，再根據Retinex 理論計算增強圖像。該算法亮度增強明顯，但存在過曝光現象。除此之外，還有許多基于深度學習的低光照圖像增強算法［12-15］。

本文提出了一種基于注意力模型和復合殘差網絡的CNN 模型進行低照度圖像增強。該方法首先對原始圖像進行色彩空間的轉換（RGBHSV），然后通過神經網絡對亮度分量V進行增強，最后通過色彩空間的轉換（HSV-RGB）得到增強圖像。實驗結果表明，本文算法在保持人主觀感受的基礎上大幅提高了亮度與對比度，而且圖像細節豐富，色彩自然，在主觀評價與客觀指標上均有很大提高。

2 增強算法實現

為了獲取圖像的深層特征，通常加深網絡的深度與寬度，但這會引發網絡梯度更新時的梯度消失等問題，使得網絡學習能力下降。為了避免上述問題，本文設計了一個復合殘差模塊用來解決提高網絡深度后產生的副作用。

2.1 網絡架構

網絡整體架構如圖1 所示，網絡包括3 個部分：淺層特征提取部分、深層特征提取部分、圖像重建部分。

圖1 本文網絡整體結構Fig.1 Overall network structure of this paper

淺層特征提取：本文首先對圖像進行色彩空間轉換（RGB-HSV），然后單獨對亮度分量V進行訓練，轉換公式如下：

淺層特征提取模塊是一個多分支結構，不同感受野的圖像特征可以由多尺寸卷積核卷積得到。卷積層后添加ReLU 層，ReLU 函數可以使輸入特征圖稀疏化，對特征圖不同層次特征的挖掘有顯著作用，計算公式為：

由于CNN 是一種參數量和感受野相關、交互與輸入內容無關的操作，而自注意力是一種參數量與感受野無關、交互與輸入內容相關的操作，且圖像的淺層特征信息往往能表征到圖像輪廓等關鍵信息，因此在模塊每個卷積層后引入CBAM［16］注意力模塊，使網絡對圖像中的某些關鍵特征信息加強學習或者對某些不重要特征信息減少學習強度。淺層特征提取部分的計算公式為：

其 中：XL-1為 前 層 特 征 映 射，Wl為 卷 積 核，bl為偏置，F為激活函數ReLU，XL為模塊輸出的特征映射。在模塊后通過Concatenate 層將多分支輸出的64 個特征圖進行通道拼接用于后續任務。

深層特征提取：形狀、顏色、紋理、空間關系等由淺層特征提取模塊提取，深層特征提取模塊（Composite residual module，CRM）則用于提取圖像的高級語義特征（抽象特征）。模塊使用復合殘差模塊與卷積塊交替串聯構成。圖2 是復合殘差模塊的結構。

圖2 復合殘差模塊Fig.2 Composite residual module

復合殘差模塊主要由3 個殘差單元組成。在復合殘差模塊中使用殘差連接，殘差連接會增大特征信息傳播的流暢度，殘差結構不僅能保證特征圖的輸出表達能力，而且在保證輸出特征圖不變的同時，提高網絡感受野。此外模塊借鑒Inception 結 構［17］的 思 想，使 用 多 個1×1 卷 積 提 高網絡的表達能力。

殘差單元（Residual Unit）結構如圖3 所示。其使用多個卷積層+BN 層+ReLU 層的結構，單元兩邊使用1×1 卷積提高進行輸入和輸出的特征融合，單元中心使用3×3 卷積進行特征深層次提取，同時在單元外部使用融合了1×1 卷積和BN 層的殘差連接以保證輸出到輸入的梯度回傳的流暢性。

圖3 殘差單元Fig.3 Residual unit

圖像重建：圖像重建模塊將圖像的特征信息從特征空間映射到圖像空間，模塊如圖4 所示。模塊采用一個3×3×1 的卷積層用作圖像重建，模塊輸出的特征圖就是增強后的V通道。

圖4 圖像重建模塊Fig.4 Image reconstruction module

2.2 損失函數

本文損失函數使用深度學習領域常用的基于像素值的損失函數均方誤差損失（MSE），其公式表示為：

其 中：y?i為 觀 測 值，yi為 真 實 值，i為 函 數y的 索引。對圖像求MSE，公式為：

其中I、K為兩幅單通道圖像。

單獨使用MSE 損失雖會提高圖像亮度，但會造成圖像邊緣模糊，圖像細節難以把控，因此，本文在使用MSE 的基礎上添加了結構相似性損失（SSIM）來對圖像細節部分做優化。SSIM 可以衡量圖像間的相似性，公式為：

其中：X和Y是輸入的兩張圖像，μx和μy表示X和Y的平均值；δ2x和δ2y表示X和Y的方差；δxy表示X和Y的協方差，C1和C2是防止分母為0 的常數。本文總損失函數為：

其中，λ1和λ2為MSE 損失和SSIM 損失的權重。

3 實驗準備

3.1 數據集制作

自然環境下的低照度圖像與配準正常照度圖像數據量稀少，為保證網絡訓練性能，本文選取了LOL［18］數據集中的1 000 對配準好的圖像，并對LOL 數據集中的圖像隨機進行翻轉、平移與旋轉變換將圖像數量擴充至15 000 張。本文訓練集、驗證集、測試集圖像數量比重為8∶1∶1，使用12 000 對配準圖像進行訓練，1 500 對圖像進行驗證，1 500 對圖像進行測試。本文將原始數據集384×384 的圖像尺寸統一縮放至128×128 大小進行訓練。

3.2 實驗環境

本文在微軟Windows10 系統上完成所有實驗，通過Nvidia RTX3060 顯卡對網絡加速訓練，采用Python 編程語言并通過谷歌的TensorFlow深度學習框架的高階API Keras 來實現網絡的搭建。為確定λ1和λ2取何值時效果最好，本文進行了數次實驗，圖5 和表1 展示了部分實驗結果，圖中0.9-0.1 表 示λ1為0.9、λ2為0.1 的 實 驗 情 況，0.1-0.9 和0.7-0.3 同理。最終確定當總損失中的λ1為0.7，λ2為0.3 時模型效果最好。

表1 圖5 評價指標對比Tab.1 Comparison of evaluation indicators in Fig.5

圖5 損失權重的不同對實驗結果的影響Fig.5 Influence of different loss weights on experimental results

本文批大小batch_size 設置為8，訓練批次epoch 設為80。本文優化器采用深度學習算法中最著名的Adam，學習率使用分批衰減策略，學習率初值為0.001，每20 個epoch 衰減5 倍。學習率衰減策略前期可以加速網絡訓練，使網絡快速擬合，后期可以使網絡不斷逼近梯度最小值的地方，提高模型精度。

3.3 評價指標選取

為了證明本算法的有效性，本文與現有的主流低照度圖像增強算法進行對比實驗，包括直方圖 均 衡 化、aMSRCR、MSRCP、LIME 算 法 和LightenNet（LNet）算法，并通過對增強圖像的主觀視覺評價和客觀指標分析對各個算法的增強效果進行對比，在客觀評價指標的選取上采用峰值信噪比（PSNR）、SSIM、MSE、圖像均值和圖像標準差，PSNR 公式為：

其中MAXI表示圖像顏色的最大值。

圖像均值是表征圖像亮度大小的物理量，其值越大，亮度越高。公式為：

其中：I為圖像，i，j為像素位置索引。

圖像標準差表征圖像灰度的離散程度，其值越大，圖像質量越好。公式為：

4 實驗結果

4.1 合成低照度圖像實驗結果

為了驗證本文網絡在人工合成低照度圖像［14］上的效果，本文對WATERLOO［19］數據集中的1 000 張圖像進行像素值的指數變換，通過人工的方式對圖像亮度降低，指數變換公式如下：

其中：y為輸出像素值、x為輸入像素值a為變化幅 度。本 文 對a選 擇1.05、1.1、1.15、1.2 四 種值。實驗結果如圖6 所示。

圖6 在合成低照度圖像上的視覺主觀對比。（a）船舶；（b）室內場景；（c）飛機；（d）公交車；（e）過山車。Fig.6 Visual subjective contrast on synthetic low illumination images.（a）Ship；（b）Indoor scenes；（c）Airplane；（d）Bus；（e）Roller coaste.

直觀上看，直方圖均衡化的方法對亮度提升不明顯，且在部分區域出現顏色失真；aMSRCR算法增強效果優于HE，且對比度良好，但圖像局部出現了顏色失真，如圖6（b）中花瓶與路面失真較大，且在圖6（c）的飛機圖中，路面出現了玫紅色；MSRCP 算法過曝光現象明顯，圖像整體泛白且圖像信息丟失嚴重，如圖6（e）中的過山車；LIME 算法對圖像的紋理方面保持得很好，但圖像亮度增強不夠；LNet 算法增強效果不錯，圖像細節方面保持得也很好，但與MSRCP 算法類似，在圖像局部出現過曝光，如圖6（c）左上角路面處；整體來看，本文所提算法不僅在亮度和對比度方面有很大提高，而且避免了過曝光現象，且圖像細節部分保持很好，顏色失真現象也沒有發生。

在WATERLOO 數據集中，因為是合成的低照度圖像，所以存在參考圖像（正常照度圖像），因此本文使用PSNR、SSIM、MSE 三種有參考的圖像質量評價指標客觀評價各算法效果。

由表2 數據可知，本文算法在各項指標上，總體均優于其他算法，LNet 算法的評價指標與本文算法接近，但仍有差距。本文算法使得增強后的圖像有用信息更豐富，圖像更自然，部分圖像增強效果甚至超越原圖，如圖6（d）中公交車左側的墻體區域，增強結果比配準圖更清晰，這也是導致圖6（d）中本文指標不高的原因。因此圖像增強質量要從主觀和客觀兩方面綜合評判。

表2 圖6 中各個圖像客觀評價指標對比Tab.2 Comparison of objective evaluation indexes of each image in Fig.6

4.2 真實低照度圖像實驗結果

為驗證算法在自然情況下的低照度圖像增強 效 果，本 文 選 取 了LOL 數 據 集 和Exdark［20］數據集中的圖片進行測試，LOL 數據集實驗結果如圖7 所示。

實驗結果顯示，HE 方法對于圖像亮度的提升仍不足；aMSRCR 算法出現顏色失真，如鐘表圖亮度增強后出現了紫色；MSRCP 算法過曝光現象嚴重，如樹木圖；LIME 算法增強效果與HE相近，但圖像細節保持較好；LNet 算法整體增強效果明顯，但在某些區域增強效果欠佳。

表3 是圖7 中各個圖像的客觀評價指標對比。由表3 中數據可知，本文算法整體數值均優于其他算法，但在雕塑2 指標上，可以看出本文算法數值指標不高，這是由于算法對低照度圖像的增強效果甚至超過了正常光照圖，在原圖中的偏暗區域也能被很好地增強，這也凸顯了網絡的強大提升能力。

表3 圖7 中各個圖像客觀評價指標對比Tab.3 Comparison of objective evaluation indexes of each image in Fig.7

圖7 LOL 數據集中真實低照度圖像視覺主觀對比。（a）雕塑1；（b）鐘表；（c）房屋；（d）雕塑2；（e）樹木。Fig.7 Visual subjective comparison of real low illumination images in LOL dataset.（a）Sculpture 1；（b）Clock；（c）House；（d）Sculpture 2；（e）Trees.

圖8 顯示了在Exdark 數據集上的實驗結果。直觀上看，aMSRCR 和MSRCP 兩種算法顏色失真嚴重，如aMSRCR 和MSRCP 算法在龍舟上的增強結果出現了紫色像素塊，MSRCP 算法在城堡中出現了過曝光；HE 算法在處理夜間低光照圖像上效果良好，但亮度仍得不到有效提高；LIME 算法增強效果顯著，但在某些圖像上出現噪聲，如馬路圖像中的天空區域多了許多噪聲；LNet 算法增強后的圖像依然有豐富的細節，但在某些區域的增強效果上出現退火情況，如城堡中的窗戶亮度不增反降；本文算法在處理夜間低光照圖像方面依然有巨大優勢。

由于夜間真實環境的低照度圖像沒有與之配準的正常光照圖像，因此選用無參考的圖像質量評價指標圖像均值和圖像標準差進行客觀評價。

表4 為圖8 中各個增強圖像的客觀評價指標。從表4 中數據可以得知，本文算法圖像均值和圖像標準差優于HE、LIME 和LNet。雖然aMSRCR 和MSRCP 的指標優于本文算法，但這是因為這兩種算法引入了許多高像素值的噪聲，且發生過曝光現象，因此其不可作為評判依據。

表4 圖8 中各個圖像客觀評價指標對比Tab.4 Comparison of objective evaluation indexes of each image in Fig.8

圖8 Exdark 數據集中真實低照度圖像視覺主觀對比。（a）龍舟；（b）城堡；（c）人；（d）馬路；（e）房間。Fig.8 Visual subjective comparison of real low illumination images in Exdark dataset.（a）Dragon boat；（b）Castle；（c）People；（d）Road；（e）Room.

4.3 算法執行時間對比

為進一步證明網絡性能，從LOL、Exdark 數據集中各抽取300 張圖像，計算各個算法對這些圖像的平均處理時長，表5 給出了各算法具體執行時間。

表5 各算法平均運行時間對比Tab.5 Comparison of average running time of each algorithm

從表5 中數據得知，本文算法所用時間多于傳統方法中的HE 和以Retinex 理論為基礎的算法，少于LIME 和LNet 算法。從文中實驗可說明，傳統方法容易出現過曝光和顏色失真等問題，而圖像增強要在保證圖像不降質的前提下減少算法執行時間。

5 結 論

為了解決當前低照度圖像增強算法中出現的各種問題，如偽影、顏色失真、亮度提升不明顯等，本文提出了一種基于CBAM 和復合殘差網絡相結合的算法，通過多尺度卷積層提取不同感受野的圖像特征，并緊跟CBAM 模塊增強網絡對重要信息的關注度，此外使用復合殘差網絡進行圖像深層特征的提取，最后通過一個卷積核個數為1的卷積層將圖像的特征信息從特征空間映射到圖像空間，構建出增強后的圖像。實驗結果表明，本文與其他低照度圖像增強的主流算法對比，圖像亮度有了明顯的提升，在顏色方面與原圖更為接近，并保留了圖像更多的紋理細節，且算法復雜度更低，所需時間成本也更低，符合生產生活需求。