結合多分支結構和U-net的低照度圖像增強

衛依雪，周冬明，王長城，李 淼

云南大學 信息學院，昆明 650504

隨著計算機視覺領域[1-2]的發展，攜帶著豐富信息的高質量圖像無論是在日常生活還是科學研究中都有著巨大的研究潛力。但是，由于不同的光照條件、周圍的噪聲等原因，圖像質量高低不一，嚴重影響了人們判別圖片中的信息，從而引起不必要的沖突和結果。尤其是在黑暗條件下，人們難以識別攝像頭捕捉到的圖像信息，而且智能系統很大程度上也依賴于高質量的輸入圖像，為了解決這個問題，本文就低照度圖像問題進行了研究。

在此之前，大量的傳統算法已經被提出。其中直方圖均衡化算法[3-4]就可以很好地提高圖像的對比度，但同時也會增加圖像的噪聲。還有暗通道先驗算法[5]早期一般被用于圖像去霧，后來有人將低照度圖像的各個像素進行反轉，即將低照度圖像轉換為帶霧圖像，再利用暗通道先驗算法進行去霧，再反轉，間接地實現了圖像增強。此外，基于Retinex理論[6]的算法引入了反射分量和光照分量的概念，這些算法[7-14]在提升亮度的同時，也保留了圖像細節，但遺憾的是色彩恢復得不夠完善，最終導致增強后的圖像不真實。隨著深度學習的發展，很多研究人員開始嘗試利用深度學習算法去解決圖像增強問題，比較經典的是利用卷積神經網絡的方法[15-17]，其代替了人工設計特征提取的方法來實現圖像增強。但是神經網絡結構的性能非常依賴于網絡的深度，而網絡層數的增加會引起退化現象和梯度下降，從而導致深層網絡并不能實現理想的訓練效果。此外，深度卷積網絡的池化層擴大了特征提取的感受野，雖然提高了網絡性能，但同時也更容易造成信息細節的丟失。因此，本文引入了基于多分支結構的深度殘差網絡[18]和U-net[19]。多分支結構使網絡更加快速有效。深度殘差網絡不僅能解決網絡結構飽和問題，還能提高圖像特征提取能力。而U-net是一種編碼-解碼網絡，能在特征提取時逐步減小空間維度，可以更好地恢復出圖像細節。

本文提出的基于多分支結構和U-net結合的低照度圖像增強算法有以下三點貢獻：

（1）本文提出了一種新穎的端到端的低照度圖像增強網絡，可以應用于多種場景，計算速度和準確率也都有所提升。此網絡還結合了多分支網絡和U-net進行特征提取，取得了不錯的結果。

（2）本文的方法在噪聲抑制、對比度增強等方面有著較好的效果，能夠有效地減少噪聲的影響。

（3）本文使用大量的實驗來證明所提出模型的有效性，且使用了很多優秀的方法來進行對比，并且從定性和定量的角度分析對比結果，取得了滿意的效果。總體來說，本文提出的方法在各方面很大程度上優于現有的算法。

1 相關工作

主要介紹與低照度圖像增強相關的算法。在深度學習被廣泛應用之前，一般都使用傳統算法去解決低照度圖像的問題，例如低通濾波器可以去噪，高通濾波器可以增加清晰度。

傳統算法可以分為二大類，第一類是基于直方圖均衡化的方法，這類方法理論并不復雜且易于實現。利用直方圖還可以很直觀地看出圖像的一些統計信息，了解圖像的各個部分亮度值以及是否存在曝光不足或者曝光過度的情況，再對不同灰度級進行相應擴展或縮減，從而得到清晰的圖像。其中Kong等提出了動態直方圖均衡化算法（DHE）[3]，該算法對太亮或太暗的圖像都非常有效。Ibrahim等提出了保持亮度的動態直方圖均衡化算法（BPDHE）[4]。但直方圖均衡化的方法只適用于對比度較低的圖像中，所以此方法在某些程度上存在一定的缺陷。

第二類是基于Retinex理論[6]的方法，其原理是將圖像分為照明分量和反射分量兩部分，恢復出圖像原本的細節信息，同時估計和增強照明圖，最后融合兩張圖像達到增強的效果。其中，單尺度Retinex算法（SSR）[7]是將高斯函數和圖像卷積近似表示反射分量。而多尺度Retinex算法（MSR）[8]是對SSR的改進，它使用了不同尺度的高斯濾波，再對濾波結果進行加權平均來近似估計照明圖像。而帶顏色的多尺度Retinex算法（MSRCR）[9]則是在MSR的基礎上又添加了顏色恢復因子，以解決圖像失真等問題，使其更接近真實場景。此外，很多結合了Retinex理論和其他理論的算法也陸續被提出，例如SRIE[10]采用了一種補償方法，以彌補對數域梯度過度放大的暗部區域。LIME[11]是通過估計亮度分量，利用反向算法直接得到反射分量。Dong等[12]提出的方法，首先要對圖像進行反演，然后再利用去霧算法進行圖像增強。MF[13]提出了多曝光融合算法，找到最佳曝光率，使對比度和亮度增強得更加精確。NPE[14]利用Retinex理論和log雙邊轉換使光照分量映射更加接近自然色。總的來說，基于Retinex理論的傳統算法雖然取得了很大的進步，但是仍然存在著色彩混亂、噪聲大等問題。

隨著深度學習算法的日漸成熟，低級視覺任務慢慢開始融合深度學習的優點。其中，RetinexNet[15]結合了Retinex理論和深度學習，其增強后的圖像質量明顯提高，色彩也更加豐富，但是仍然有很大的提升空間。LLNet[16]利用深度自編碼器同時進行圖像對比度的增強和去噪。而將CNN與傳統算法結合起來的LLCNN[17]，則是利用不同的內核去過濾暗的圖像，然后將多尺度特征圖結合在一起生成最終的圖像，因此它能比較好地保留原始圖像的特征和紋理。MBLLEN[20]把不同層次的特征提取和融合應用到了低照度圖像增強上，增強效果更加明顯。KIND[21]在基于RetinexNet算法的分解和重建結構上進行了優化，增加了調節網絡，有效地實現了連續調節光亮圖的機制。ALIE[22]是對MBLLEN的改進，在增強圖像亮度和對比度的同時，運用注意力機制進行了去噪，并且擴展了數據集。LIEDHN[23]提出了空間變體RNN，而且引入了對抗判別損失，對圖像細節和邊緣部分都進行了很好的增強。此外，基于深度學習的圖像增強算法都需要成對的低光照圖像數據集進行訓練，但是公開且全面的低光照數據集少之又少。LSD[24]就提供了一個新的思路，其利用相機的短曝光和長曝光收集了raw格式的成對低光照圖像數據集。而Jiang等提出的EnlightenGAN[25]則另辟蹊徑，其利用全局-局部鑒別器和自正則注意力機制使網絡架構不需要成對圖像數據集的訓練，更能適應真實世界的大多數情況，所能應用到的領域也更是廣泛，但是GAN難訓練，在訓練過程中容易出現梯度消失和梯度爆炸等問題。

在現有的方法中，直方圖均衡化方法雖然能夠較好地提升圖像的亮度和對比度，但是在細節和色彩方面的恢復并不完善；基于Retinex理論的方法由于需要將圖像分解成光照分量和反射分量，因此許多網絡往往被設計成非端到端，并且現有的方法對光照分量的估計并不理想。此外，基于深度學習的方法大多在細節方面恢復的不夠充分，仍有比較大的提升空間。

綜合考慮到現有方法的優點和缺點，本文探索出了一種基于多分支結構和U-net結合的方法，首先利用了殘差網絡對輸入圖像進行特征提取，然后利用了不同深度和結構的U-net網絡對提取到的任意兩個特征進行增強，最后進行融合得到最終增強后的圖像。

2 主要方法

2.1 模型結構

本文提出的模型是基于多分支結構設計的算法框架，其主要是由特征提取和圖像增強兩部分組成，模型的輸入為低光照圖像，輸出為同尺寸增強后的清晰圖像。具體內容如圖1所示。

圖1 算法框架圖Fig.1 Algorithm frame diagram

特征提取部分使用了3個殘差元（RESBLOCK），每個殘差元堆疊了兩個卷積層，其中第一個卷積層的輸入是原始低光照圖像經過Relu函數處理之后的圖像，Relu函數可以使輸入的原始圖像更加稀疏化，從而能夠更好地挖掘不同層次的特征。每個卷積層使用的都是3×3大小的卷積核、步長為1、標準差為0.02、Relu激活函數。接著，把每個殘差元提取出來的特征進行交叉合并。

圖像增強部分分為了3個支路，EM1支路采用比較淺的U-net對第一個殘差元和第二個殘差元交叉合并得到的特征進行增強。EM2支路利用的是比EM1支路要更深1倍U-net來對第一個殘差元和第三個殘差元交叉合并得到的特征進行增強。EM3支路上使用的U-net網絡深度雖然與EM2一樣，但在結構上進行了一些改進，同樣地，EM3支路對第二個殘差元和第三個殘差元交叉合并得到的特征進行增強，其詳細說明如下。

本文所提出的圖像增強網絡EM1支路的U-net具體結構如圖2所示，其采用卷積核尺寸為3×3和LRelu非線性激活函數的卷積層，核數分別為32、64、128、64、32。最大池化層的核尺寸為2×2，步長為2。上采樣階段經歷了與下采樣階段同樣數量的反卷積操作，而且通過跳躍連接將上下采樣層的特征映射進行拼接，防止下采樣層提取到的特征丟失，這使得U-net更加準確，得到增強后的圖像具有更多的細節信息。EM2支路的具體結構如圖3所示，它與EM1支路的區別在于層數，其卷積層的核數分別為32、64、128、256、512、128、64、32。EM3支路相較于EM2來說，層數未改變，但對U-net的結構進行了優化，經歷兩個卷積層后再進入最大池化層，同樣經歷兩個卷積層后再進入上采樣，其核數分別為32、32、64、64、128、128、64、64、32、32，其具體結構如圖4所示。

圖2 EM1網絡結構圖Fig.2 EM1 branch network structure

圖3 EM2網絡結構圖Fig.3 EM2 branch network structure

圖4 EM3網絡結構圖Fig.4 EM3 branch network structure

2.2 損失函數

在訓練神經網絡的時候，想要輸出圖像和真實圖像越來越接近，于是通過損失函數來實現這一目標。為了在定性和定量上提高圖像質量，使用常用的誤差度量已經不能體現圖像在各個方面的優化程度。通過各方面的綜合，本文最后確定使用三個損失函數，分別是，結構性相似損失（SSIM）、均方誤差（MSE）和梯度損失（grad）。其計算公式如下：

結構性相似性損失函數LossSSIM指的是整體視覺效果，用來衡量真實圖像和使用本文算法增強后的圖像之間的差異性，旨在改善輸出圖像的視覺質量。

式中，μx和μy分別是x和y的平均值，σ2x和σ2y分別是x和y的方差，σxy是x和y的協方差，C1=(k1L)2和C2=(k2L)2是常數，用來保證損失函數的穩定，防止分母為0。其中k1=0.01,k2=0.03。

均方誤差是目標變量和預測值的差值平方和的均值。均方誤差損失函數會放大最大誤差和最小誤差之間的差距，而且均方誤差損失函數對異常點非常敏感。

在訓練網絡的時候，如果只使用均方誤差損失函數，很容易陷入到局部最優解中，所以，本文還引入了梯度損失。

式中，?表示的是梯度算子，其包含二維圖像的兩個維度方向。通過對梯度信息的優化，極大地保留了分解圖的邊緣信息和平滑一致性。?x和?y分別表示水平和垂直方向的一階導數運算符。

3 實驗評價

通過大量的實驗，對本文提出的算法進行了評價和驗證，并與現有的方法進行了比較。利用LOL-dataset數據集對一些比較有代表性且較新的方法進行了測試，并和本文方法進行了不同指標間的比較。最后，對本文建議的算法結構框架進行了消融實驗。

3.1 實現細節和數據集

本文實驗使用的是Tensorflow1.15的開源框架在Windows10，Intel i7 9700kF3.6 GHz，16 GB RAM，Nvidia 2070s GPU平臺上完成的。本文設置學習率參數為1E-4的Adam優化算法對模型進行優化。損失函數的權重參數設置為：α=1,β=1,γ=1，網絡訓練次數為2 000次。其損失隨迭代的收斂曲線如圖5所示。

圖5 訓練損失曲線Fig.5 Training loss curve

由于真實的低光照圖像的數據集很難成對捕捉，所以本文使用了RETINEX方法中構建的LOL-dataset和MBLLEN方法中構建的MBLLEN-dataset。LOL-dataset數據集是第一個通過改變曝光時間獲取低光照-正常光圖像成對數據集，該數據集包含485對低光照和正常光照訓練圖像，和15張低照度測試圖像。MBLLEN-dataset數據集包含了16 925張訓練的成對低光照-正常光圖片和144張成對的測試圖像，其實驗結果如3.4節所示。

3.2 LOL-dataset實驗結果

本文方法與經典的算法和現階段主流的算法均做了比較，對比傳統算法有MSRCR[9]、SRIE[10]、LIME[11]、DONG[12]、MF[13]、NPE[14]以及基于深度學習的RETINEX[15]、MBLLEN[20]、KIND[21]等算法，LOL-dataset測試集的實驗對比結果如圖6所示。

由圖6可以看出，SRIE方法在亮度上就沒有達到一個很好的增強效果。MF方法比SRIE要有一定的提升，但是仍然沒有恢復到正常圖像的亮度。DONG方法的亮度主觀效果要比MF提升很多，但是在細節處理方面又有很大的欠缺。LIME方法在一定程度上解決了DONG方法的邊緣細節問題，但在色彩保留方面又有所缺失。MSRCR方法增強出來的圖像有點過曝，真實度也有待提高。RETINEX算法的色彩更加豐富，但是整體效果較混亂，噪音過多，主觀視覺效果不理想。KIND算法部分區域增強得非常好，但是對比度過高，部分區域有偽影。NPE算法、MBLLEN算法與本文提出的算法在主觀效果來看比較相似，都很大程度上改善了低照度圖像，但在細節方面本文算法增強的圖像更勝一籌。更詳細的對比結果圖如圖7所示。

圖6 LOL測試集實驗結果對比Fig.6 Comparison of experimental results of LOL test set

在圖7中，設有三組圖像，前兩行是“DOLL”圖片，中間是“BOWLING”圖像，最后兩行是“POOL”圖像。其中每組圖像的第一張是低光照圖像，第二個是真實圖像，后面依次是MSRCR方法[9]、SRIE方法[10]、LIME方法[11]、DONG方法[12]、MF方法[13]、NPE方法[14]、RETINEX方法[15]、MBLLEN方法[20]、KIND方法[21]和本文所提出的方法增強后的圖像。

圖7 LOL測試集實驗結果細節對比Fig.7 Comparison of LOL test set experimental results in details

通過比較，在“DOLL”圖片中，首先儲物柜中衣服顏色真實還原度和層次分明度，其次床上放的玩偶的顏色真實度和視覺感官程度，本文提出的算法相比來說都會更好一些，且墻上懸掛的牌匾的反光層次也更真實一些。在“BOWLING”圖片中，首先地板上的倒影，其次暗處保齡球的擺放，本文提出的算法都更為清晰。在“POOL”圖片中，首先墻上的時間表以及水中的映射，其次窗邊盆栽植物的顏色恢復以及葉片輪廓的邊緣結構，還有窗戶外的景色，本文算法的分辨率都會更高一些，主觀效果都會更好一些。

3.3 LOL-dataset性能評估

本文使用大量的數據集去測試提出的方法，除了主觀視覺的效果外，還采用了幾種圖像質量客觀性指標去評估。

首先，本文將真實圖像作為參考圖像，基于像素統計基礎的質量評價指標有峰值信噪比（PSNR）[26]、信噪比（SNR），通過計算待測圖像和真實圖像對應像素點灰度值之間的差異，從而分析增強后的圖像質量。PSNR值或SNR值越大，表明待測圖像的失真越小，圖像質量越好。基于信息論基礎的質量評價指標為視覺信息保真度（VIF）[27]、信息保真度準則（IFC）[28]，由于互信息被廣泛用來評價圖像質量，所以本文通過計算待測圖像與真實圖像之間的互信息來衡量圖像的質量。VIF的值和IFC的值越大，表示細節信息沒有丟失，保留得更好。基于結構信息基礎的質量評價指標為結構相似性（SSIM）[29]，它改進了PSNR的缺點，可以很好地擬合人眼視覺的系統特性。SSIM的值越大，人眼感知特性效果越好，圖像質量越可靠，實現起來也比較簡單。

其次，本文還選擇了兩個基于無監督學習無參考的圖像質量評價指標，自然圖像質量評價（NIQE）[30]和亮度順序誤差（LOE）[14]，直接計算增強后圖像的視覺質量。LOE的值或NIQE的值越小，即表示被測圖像越接近真實圖像。

在LOL-datasets數據集上進行了測試，表1、2、3分別為圖7中三張圖片的客觀指標，其中黑色加粗表示最優結果。

表1是“DOLL”圖像的評價指標對比，由表可以看出，本文算法增強后的DOLL圖像的PSNR和SSIM指標遠遠大于其他算法，而SNR、NIQE、LOE的值與MBLLEN比較接近，但效果稍有提高，VIF和IFC的值各算法間相差都不太大，但本文的方法仍然是最優的。

表1 DOLL圖像評價指標對比Table 1 Comparison of DOLL image evaluation index

表2是“BOWLING”圖像的評價指標對比，通過分析可以看出，本文增強后的“BOWLING”圖像在不同的度量標準下的效果都優于其他所有的方法。而且如圖7所示，主觀效果也更加符合人眼感官特性，很明顯可以看出本文算法增強的圖像比其他幾種方法更真實。

表2 BOWLING圖像評價指標對比Table 2 Comparison of BOWLING image evaluation index

表3是“POOL”圖像的評價指標對比，由這些表可以看出，本文的方法產生的結果在所有的情況下都是最好的，通過其他數據集的測試也證明了這一點。

表3 POOL圖像評價指標對比Table 3 Comparison of POOL image evaluation index

3.4 MBLLEN-dataset實驗結果及性能評估

由于空間限制，本文只挑選了MBLLEN[20]和KIND[21]與本文算法進行對比。而且利用了PSNR和SSIM兩個客觀指標更加驗證了本文算法的有效性，其結果如表4所示。其測試集的實驗結果對比如圖8所示。

表4 MBLLEN-dataset測試圖像評價指標對比Table 4 Comparison of MBLLEN-dataset test image evaluation index

由表4可知，本文算法在7張圖片中的客觀評價指標都是最優的，而且比MBLLEN和KIND算法增強的結果要優秀很多。

而從圖8中可以看出，“COMPUTER”的低光照圖像偏綠，所以由MBLLEN和KIND算法得到的清晰圖像也偏綠，而本文算法增強出來的圖像發白，最真實且清晰。“BEDROOM”圖像各個算法增強的結果很相似，但是在白沙發扶手的細節方面，本文算法更勝一籌。“PARLOR”圖像中的顏色比較豐富，由此可以對比出本文算法在顏色恢復方面比MBLLEN和KIND要好很多。在“TV”和“OUTDOOR”圖像中，躺在沙發上的人和在拍照的人所穿衣服的藍色，本文算法恢復得非常真實，效果最好。從“CANTEEN”圖像中的人臉細節表明，本文算法在增強圖像的整體亮度和對比度的同時，細節恢復得也特別好，而MBLLEN和KIND算法增強后的圖像中人臉模糊且噪聲太大。最后還選擇了一張黑白圖像進行測試，“RESTAURANT”圖像的測試結果更加清晰地表明本文算法在細節恢復方面的優勢。

圖8 MBLLEN測試集實驗結果對比Fig.8 Comparison of experimental results of MBLLEN test set

3.5 消融研究

在本節中，對本文提出的網絡模型的各個部分進行了消融研究。

首先對特征提取部分進行了消融實驗，通過圖9可以看出去掉殘差塊之后，特征提取能力明顯下降，最后增強出來的圖像細節比較模糊，噪聲大，部分圖像中還有黑影的存在。

圖9 去掉殘差的消融實驗對比結果Fig.9 Contrast results of ablation experiments with residual removed

由表5可以看出，本文的方法在大多數圖像下的效果仍然是最好的，唯一不是最好的是SOFA圖像，那是因為SOFA的真實圖像偏暗，導致PSNR和SSIM的值偏小。而本文的消融實驗大多排在第二，僅次于本文提出的算法，說明本文提出的框架結構還是較為完美。

表5 去掉殘差的消融實驗的圖像評價指標對比Table 5 Contrast of image evaluation indexes of ablation experiments with residual removed

把SOFA圖像中效果較好的幾個方法經過放大以對比細節如圖10所示，可以發現本文算法增強后的圖像中毛絨玩具的絨毛根根分明，紅色毛線的輪廓也更為清晰，顏色更為鮮艷。而KIND和MBLLEN算法的毛絨玩具和紅色毛線都非常模糊，細節信息缺失較多。本文的消融實驗比KIND和MBLLEN的細節處理要好很多，但是在亮度和對比度上不及本文的算法。

圖10 SOFA圖像細節對比Fig.10 Comparison of SOFA image in details

其次去掉了梯度損失函數，結果如圖11所示。如果單獨研究消融出來的圖像，可以發現其整體效果還是較理想的。亮度、對比度都有所提升，細節也恢復得不錯，但是和真實圖像差別較大。

圖11 去掉grad損失函數的消融實驗對比結果Fig.11 Comparison results of ablation experiments with grad loss function removed

通過表6更直觀地可以看出，去掉梯度損失函數的消融實驗的PSNR和SSIM雖然比大多數算法更優秀，但仍然沒有本文的方法好。其中“WARDROBE”和“DESK”圖像的PSNR低于MBLLEN和KIND，是因為“WARDROBE”真實圖像中的衣服偏舊、顏色偏暗，而增強后的圖像中的衣服顏色更加鮮艷。“DESK”真實圖像中的墨水盒上的字體不清晰，右上角角落由于背光偏暗，而增強后的圖像中的墨水盒上的字體非常清晰，所有角落甚至桌板亮度都明顯增強。因此導致PSNR偏小，具體的細節對比如圖12所示。

圖12 WARDROBE和DESK圖像細節對比Fig.12 Comparison of WARDROBE and DESK image in details

表6 去掉grad損失函數的消融實驗評價指標對比Table 6 Comparison of evaluation indexes of ablation experiment of grad loss function removed

綜上所述，采用本文提出的結構框架和損失函數訓練的網絡勝過其他網絡，且具有較好的增強效果。

4 結束語

本文提出了一種新的解決低照度圖像增強的方法，并且取得了較好的效果。在對現有的圖像增強算法的研究中發現很多網絡不僅結構復雜，而且細節恢復得還不理想。于是，為了提升整個網絡的計算速率和準確性，本文引入了多分支結構。而深度殘差網絡和U-net可以更好地提取圖像的紋理特征，恢復出邊緣細節。在不同的數據集上進行了測試，大量的實驗結果表明，無論是在圖像的主觀效果還是客觀指標方面，本文的算法都優于現有的大多數圖像增強算法。此外，為了使本文所提出的方法應用更加廣泛，考慮到擴大數據集和優化損失函數，這將是后續工作。