改進零參考深度曲線低照度圖像增強算法

陳從平,張 力,江高勇,凌 陽,戴國洪

(1.常州大學 機械與軌道交通學院,江蘇 常州 213164;2.常州大學 材料科學與工程學院,江蘇 常州 213164)

0 引言

低照度環境下獲得的圖像會包含較高的噪聲，且圖像存在對比度低，色彩還原不正確，細節丟失等問題，不僅會影響視覺觀感，也給后續圖像處理帶來困難，尤其在機器視覺在線識別、檢測、測量等應用場合，所獲取的低照度圖像因其質量退化會嚴重影響應用精度，因而需要對低照度圖像增強。

目前圖像增強方法主要有直方圖均衡化及其改進算法、Retinex及其改進算法，基于深度學習的圖像增強方法等。其中，王智奇等人[1]提出的基于同態濾波和直方圖均衡化的圖像增強算法，在頻域通過一種單參數的濾波算法，校正了光照，之后通過自適應直方圖均衡化算法對HSV色彩空間的調整，提高圖像對比度，該方法雖抑制了圖像的噪聲，提高了亮度，但圖像暗部像素信息丟失嚴重，導致圖像信息熵下降；為此，王利娟等人[2]提出了一種基于加權直方圖均衡化彩色圖像增強算法，通過增加權重參數實現自適應調節圖像像素信息，該方法較好的保留了圖像的像素信息，但亮度信息恢復不足。趙征鵬等人[3]提出的改進的Retinex低照度圖像清晰化算法，將低照度圖像從RGB 通道轉換到HSV通道，對飽和度分量進行拉伸，對亮度分量進行基于BLPF的改進Retinex增強，該方法注重提高圖像的對比度和亮度，而忽略了噪聲對于圖像細節的影響，甚至放大了噪聲。翟海祥等人[4-6]提出的改進Retinex算法雖然在一定程度上降低了圖像增強后噪聲的影響，但在亮度和色彩信息恢復方面仍存在問題。Ignatov等人[7]提出了一種基于GAN的圖像增強方法，通過學習一對內容相同而照度不同圖像之間的映射關系來得到增強圖像，取得了較好的效果，但成對的圖像較少，圖像數據集獲取困難。因此，Kobyshev等人[8]在前者基礎上改進，提出了一種基于GAN的網絡模型WESPE，該模型不需要輸入圖像內容上的對應，而是通過學習低照度與正常圖像之間的照度映射關系來增強圖像，該方法雖然降低了數據集的獲取難度，但其對圖像增強的效果比Ignatov等人的方法差。

近年來，弱監督學習被廣泛應用在圖像增強領域，它不需要輸入圖像內容上的一致，只需圖像數據集中包含不同照度的圖像，降低了數據集的獲取難度。CHUN LeGuo等人[9]提出了基于零參考深度曲線的弱監督圖像增強方法Zero-Reference Deep Curve Estimation(Zero-DCE)。它利用卷積網絡構建一個輕量級的深度曲線網絡Deep Curve Estimation Network(DCE-Net)來訓練像素級的高階光增強曲線Light-Enhancement Curve-s(LE-curves)，通過LE-curves對低照度圖像像素的動態范圍調整來增強圖像，增強效果優于Kobyshev和Ignatov等人的方法。但由于它是逐像素對低照度圖像調整的，因此計算量較大，又因其網絡的損失函數固定且網絡較淺，在非均勻、低照度情況下對圖像增強效果較差。

本文旨在改進Zero-DCE，通過使用輕量化網絡MobileNetV2[10]改進其網絡結構，在增加網絡深度，增強網絡學習能力的同時降低了計算復雜度；通過將空間一致性損失值與輸入圖像的尺寸相關聯，統一了不同尺寸圖像的增強效果，將顏色一致損失，照明平滑損失值與輸入圖像的類型相關聯，使其在非均勻、低照度情況下達到更好的增強效果；通過使用對稱式的卷積結構，對LE-curves訓練前后的圖像進行處理，解決了圖像增強計算量過大的問題。

1 Zero-DCE

1.1 DCE-Net與LE-curves

DCE-Net網絡如圖1所示，其由7個卷積層通過對稱連接組成簡單的卷積網絡，每層由32個大小為的卷積核組成。通過輸入低照度圖像，經過DCE-Net網絡訓練，后經迭代獲得一組高階的最佳擬合LE-curves，用于調整圖像每一像素的動態范圍，從而將低照度圖像增強到其正常光照的水平。

圖1 深度曲線估計網絡

Zero-DCE提出了一種能夠自動將低照度圖像映射到其正常光照的LE-curves，并滿足以下條件：1)增強圖像的每個像素值歸一化后在的數值范圍內；2)曲線是單調的；3)形式簡單，并在梯度反向傳播過程中可微分，即：

LE(I(x);α)=I(x)+αI(x)(1-I(x))

(1)

其中:x為像素坐標，LE(I(x);α)為輸入I(x)增強后的值，α∈[-1,1]為可訓練的曲線參數，用于調整LE-curves的幅度，并控制曝光。LE-curves分別作用于RGB三通道，更好的保留圖像原有的色彩，并降低飽和度過高的風險。式(1)可按式(2)進行迭代以提高增強效果：

LEn(x)=LEn-1(x)+An(x)LEn-1(x)(1-LEn-1(x))

(2)

其中:n為迭代次數，An是與輸入圖像尺寸相同的參數圖。設局部區域中的像素具有相同的強度和相同的調整曲線。

1.2 零參考損失函數

零參考深度曲線低照度圖像增強算法通過提出可微分的零參考損失函數用來評估增強圖像的質量，實現了在DCE-Net中零參考學習。零參考損失函數包含空間一致性損失函數、曝光控制損失函數、顏色恒定性損失函數和照明平滑度損失函數。其中， 通過空間一致性損失函數Lspa可控制增強后的圖像與輸入的低照度圖像在空間上保持一致性：

(3)

其中:K是局部區域的個數，Ω(i)是以區域I為中心的四鄰域，Y為增強后圖像局部區域像素的平均強度值，I為輸入圖像中局部區域像素的平均強度值。

通過曝光損失函數Lexp來控制圖像中曝光不足的部分：

(4)

其中:M為不重疊部分區域的個數,Y是增強圖像中部分區域的像素平均強度值，E為正常曝光水平像素的強度值[11-12]。

每個傳感器通道中的顏色在整個圖像上平均值為灰色[13]。通過制定顏色恒定性損失函數Lcol來校正增強后的圖像中可能存在的顏色偏差，此損失分別作用于彩色圖像的3個通道：

Lcol=Σ?(p,q)∈ε(Jp-Jq)2,ε={(R,G),(R,B),(G,B)}

(5)

其中:Jp表示增強圖像中p通道像素值的平均強度值，(p,q)為一對通道。

通過照明平滑度損失函數LtvA以保持相鄰像素之間的單調性關系，使圖像亮度平滑：

(6)

其中:N為迭代次數，▽x和▽y分別表示水平和垂直梯度運算。

2 改進算法

原DCE-Net由七個卷積層組成簡單的CNN,網絡層數較淺，雖然在一定程度上降低了網絡訓練的成本，但較淺的網絡學習能力有限，導致對光線復雜的圖像增強效果差。而若過度地增加網絡深度，易使網絡過擬合且浪費大量的計算資源。MobileNetV2 輕量化網絡的優勢在于將普通卷積替換為深度可分離卷積，同時加入了線性瓶頸和倒殘差結構來避免信息損失。極大降低模型參數量和計算量，提高了模型精度，增強了網絡的泛化能力。本文將輕量化網絡MobileNetV2與DCE-Net融合并優化參數：將深度可分離卷積和點卷積替換掉傳統卷積，使得減少網絡模型計算復雜度的同時保證模型精確性。

2.1 MobileNetV2-DCE

與傳統卷積方式不同，深度可分離卷積是一種可分解的卷積操作，其可以分解為深度卷積和點卷積兩種更小的卷積，其中，深度卷積通過在各個輸入通道使用不同類型的卷積核，相比標準卷積將卷積核作用在全部的輸入通道的方式，其卷積效率明顯提升；逐點卷積與普通卷積相同，但其卷積核大小始終為1×1。融合深度可分離卷積后的輕量化深度曲線估計網絡(MobileNetV2-DCE)結構，它包含11個卷積層，具有對稱跳躍式連接，每層均使用大小為3×3的卷積核。

本文通過將MobileNetV2[15]的瓶頸層擴張系數t的圍限制在1～6，而不是原本的固定值6，實現了較好的控制網絡規模，使得網絡結構更加靈活，避免了因為固定的擴張系數導致瓶頸層輸出通道可能過多，使得網絡計算量過大和參數增加過快的情況出現。圖2為本文的MobileNetV2的瓶頸結構。

圖3 改進網絡參數圖

圖2 改進的MobileNetV2的瓶頸結構

圖3展示了MobileNetV2-DCE的詳細網絡結構和參數設置。它包含11個卷積層，具有對稱跳躍式連接，每層均使用大小為 的卷積核。其中Conv_1，Conv_10由64個卷積核構成，Conv_2，Conv_9由128個卷積核構成，Conv_3，Conv_7，Conv_4，Conv_8由256個卷積核構成，Conv_5，Conv_6由512個的卷積核構成，第11個卷積層由24個卷積核和Linear激活函數構成且步長為1，它為迭代生成曲線參數映射，每次迭代需要3個3通道的曲線參數映射(即RGB通道)，當輸入為灰度圖像時將只計算一個通道的值。其中，第零層為下采樣層，不參與圖像的特征提取，僅控制輸入MobileNetV2-DCE圖像大小的一致性。生成LE-curves后，利用和第零層具有相同大小卷積核的反卷積結構，將高階曲線特征圖映射到輸入圖像的大小，使得LE-curves可直接作用于輸入圖像。此對稱式卷積結構避免了過度卷積使得原圖細節丟失，也解決了原算法增強大尺寸低照度圖像計算量過大的問題。

從Conv_1到Conv_11為MobileNetV2-DCE的11個卷積層， Conv_12卷積層用于獲取更多圖像參數特征。考慮到深度可分離卷積DW(Depth-wise)卷積只能用于提取特征，沒有改變通道數的能力。在前一層通道數較少的情況下，DW卷積只能在有限的低維空間提取有限的圖像特征，容易過擬合，導致網絡學習效果差。而點卷積PW(Point-wise)能夠提升通道數，使得DW卷積能夠在相對高維的空間提取特征，提高特征的提取率和效果。因此本文通過在Conv_1,Conv_3,Conv_4,Conv_6,Conv_7,Conv_9層中搭配使用DW-PW的卷積方式，改善了特征的提取效果。并且本文通過在Conv_2, Conv_5, Conv_8, Conv_9, Conv_10層用PW-DW-PW的卷積方式，在提升高低為空間特征提取的同時，避免了在PW卷積降維后使用ReLU6激活函數破壞特征。

2.2 改進零參考損失函數

圖像經下采樣卷積后尺寸減少，卷積后圖像的每一像素值對于原圖像像素值是在卷積核作用下加權的結果，故每一像素值所占權重減小。且不同大小的卷積核會導致不同的增強效果，因此本文將空間一致性損失函數式(3)更改如下，統一了不同尺寸圖像的增強效果。

(7)

其中:d為卷積核的大小。

通過將式(3)按式(8)修改，降低了卷積后單個像素值對空間一致性損失函數的影響。同時通過引入參數d，將卷積核的大小考慮進空間一致性損失內，避免了因為采用不同大小卷積核而導致的效果差異。

卷積后的圖像，整體圖像的灰度級并未改變，因此本文保留式(4)曝光控制損失函數的定義。同時CHUN LeGuo等人[9]在實驗中發現通過將E設置在[0.4，0.7]內，無明顯性能差異，因此本文將E設置為中間值0.6。曝光控制損函數為:

(8)

為了更好的適應復雜色彩圖像下的細節還原與不同圖像數據輸入，經實驗后本文將顏色不變損失調整為：

Lcol=∑?(p,q)∈ε(Jp-Jq)c，ε={(R,G),(R,B),(G,B)}

(9)

其中:C∈[0,3]為控制參數，通過控制C的大小，能夠更好的還原復雜彩色圖像的細節；而對于灰度圖像，調節C的取值，可以在圖像灰度值大小和細節還原上達到更好的平衡。p和q在灰度圖像中變成同一像素點。

考慮到增強后的圖像的應用場合，如目標檢測，圖像識別等，需要更多的細節紋理信息。因此通過將照明平滑度損失改為可調的如下，以適應不同的任務需求。

(10)

其中:t為可調參數，經實驗后，本文將其限制在(1,3]。

總的損失可表示為：

Ltotal=Lspa+Lexp+WcolLcol+WtvALtvA

(11)

其中:Wcol和WtvA是損失權重參數。

在MobileNetV2-DCE網絡訓練的過程中，通過網格搜索法來確定各損失函數中的可調參數的值，并將搜索的步長設置為0.2，達到消耗計算資源與增強效果上的平衡。

3 實驗結果及分析

實驗在Inter(R)Core(TM) i9-9900k CPU @3.6 GHz，內存為32 GB，顯卡為Nvidia RTX 2080Ti，操作系統為Windows10教育版(中文)的平臺上進行。本文算法以及對比算法均采用Python編程實現，編程軟件PyCharm采用Community2021.2版本。實驗所用的圖像數據集選取LOL(Low-Light Dataset)，它由500個低照度和正常光照圖像對組成。

3.1 實驗驗證與分析

3.1.1 增強效果一致性實驗

本文通過對比同一圖像的不同尺寸樣本在增強前后差異，來驗證改進后空間一致性函數對不同尺寸圖像增強效果的一致性，如圖4所示。

圖4 不同尺寸圖像的增強效果對比

其中，a(1)為像素的圖像，a(2)為像素的圖像，其內容相同。b(1)和b(2)分別為a(1)和a(2)在MobileNet-DCE + 式(3)增強后的圖像，c(1)和c(2) 分別為a(1)和a(2)在MobileNet-DCE + 式(7)增強后的圖像。表1更直觀的展示了空間一致性損失函數改進前后圖像增強效果的差異。

表1 改進前后各樣本增強效果對比

改進前b(1)和b(2)在信息熵、峰值信噪比(PSNR)和對比度差的絕對值分別為0.099 2，0.168 9，0.000 7，改進后c(1)和c(2)在信息熵、PSNR和對比度差的絕對值分別為0.021,0.001 3,0.000 2。對不同尺寸增強效果的差異性在3個參數化評價指標上分別降低了78.8%,99.2%,71.4%。表明了改進后的空間一致性函數對不同尺寸圖像增強效果的一致性要優于改進前。

3.1.2 計算復雜度實驗

本文通過使用MobileNetV2輕量化網絡 Zero-DCE進行優化，將深度可分離卷積和點卷積替換掉傳統卷積，減少網絡模型計算復雜度，按式(12)計算深度卷積與普通卷積在計算量上的比值：

(12)

其中:DK×DK為卷積核的尺寸，M為輸入通道大小，N為輸出通道大小，DF為特征圖的高和寬。輸入特征圖尺寸為DF×DF×M，輸出特征圖尺寸為DF×DF×N，輸入與輸出特征圖尺寸一致。當DK=3，M=512，N=512，DF=14時，表2為普通卷積與深度可分離卷積的計算量對比。深度可分離卷積相較于普通卷積每層計算加法減少約88.7%,參數量減少約88.6%。

表2 普通卷積與深度可分離卷積的計算量對比

訓練時結合遷移學習[14]技術對MobileNetV2-DCE模型進行訓練，預先加載在LOL(low light dataset)數據集上訓練好的DCE模型權重作為MobileNetV2-DCE模型前4層的初始值，模型后6層參數進行隨機初始化。DCE模型訓練時占用顯存為2 783 M，本文算法模型訓練時占用顯存為367 M，顯存占用減少約88.6%。

3.2 可視化分析

從公開低照度圖像數據集LOL數據集中選取四幅低照度圖像，數據集包含500個低光和正常光圖像對組成，圖像分辨率為400×600。選用直方圖均衡化算法[16-18]，多尺度Retinex圖像增強算法[19-22]，零參考深度曲線低照度圖像增強算法(以下簡稱深度曲線算法)和本文算法在圖像增強可視化效果上進行對比，可視化結果如圖5所示。

圖5 各算法圖像增強可視化效果對比

由圖6所示，本文選取了四幅不同照度的低照度圖像，從樣本一到樣本四圖像的照度依次提升。樣本一為室內書房圖。該圖像整體色彩單一，以黑白為主色調，場景最簡單，主要考察各個算法對圖像整體照度的還原情況。可以明顯看出直方圖均衡化算法存色彩嚴重偏移,失真問題，而多尺度Retinex過度的增強了圖像對比度，使得圖像噪點較多，也存在較為嚴重的偏色，深度曲線算法較多尺度Retinex算法整體色彩還原準確，但整體畫面亮度不足，本文算法整體明亮,墻壁、空調、書畫容易觀察到,包含的信息更多,亮度也更好。

樣本二為低照度廚房圖。該圖像整體色彩單一，場景簡單，但廚具部分在原圖中幾乎消失不可見，和暗光環境融為一體，主要考察各個算法對圖像暗部照度的還原情況。可以明顯看出直方圖均衡化算法依然存在嚴重的偏色問題,圖像整體偏暗，灶臺細節未能還原,多尺度Retinex 算法亮度提升不錯，但也增加了過多的噪點，深度曲線算法雖然改善了圖片視覺效果,整體符合人眼特性顏色還原較為準確,但整體仍偏暗,細節顯示不夠清晰，本文算法顏色還原較好，圖像整體亮度適中，灶臺暗部細節得到還原。

樣本三為家具圖。該圖色彩簡單，場景較為簡單，照度相較于樣本一和樣本二有所提升，但家具上的紋理較為復雜，主要考察各個算法對圖像暗部細節與色彩的還原情況。可以明顯看出直方圖均衡化算法依然偏色,噪聲很大,多尺度Retinex 算法,強調了局部,整體細節沒有顯示，且圖像曝光度過高，出現了光暈，深度曲線算法圖像色彩和細節得到還原，但亮度過低，部分暗部區域增強效果不明顯，細節沒有還原，本文算法整體亮度提高,色彩和細節也被體現出來，但在這幅圖像中存在少許偏色。

樣本四為桌面的一角。該圖色彩復雜，場景復雜，但照度相對較好一些，主要考察各個算法對圖像暗部細節與色彩的還原情況。可以明顯看出直方圖均衡化算法處理后圖像中間亮度提高，邊緣較暗，整體亮度不足,視覺效果不佳,對于多尺度Retinex算法,玩偶和其他物品細節有所體現,但亮度過于增強導致圖像泛白，色彩退化嚴重，深度曲線算法色彩還原較好，但亮度過暗，雖保留了玩偶色彩但部分暗部細節丟失，而本文算法在色彩和亮度上的到了折中的表現，即色彩還原校準，亮度增強合適，暗部細節也得到了還原。

總之，算法一(直方圖均衡化算法)顏色信息恢復不準確，其增強的樣本一和二顏色整體偏綠，而算法二(多尺度Retinex)過度的增強了圖像對比度，導致其增強的樣本二和三噪點較多。算法三(深度曲線算法)較多尺度Retinex算法色彩還原準確，但整體畫面亮度不足，其增強的樣本在亮度信息上恢復不準確。經本文算法增強后的樣本整體明亮, 包含的信息更多,亮度信息也更好，例如樣本一中的墻壁、空調顏色信息恢復準確,樣本三中凳子的暗部細節和樣本四中毛絨玩具的顏色都得到了較好的恢復。

3.3 參數化分析

采用信息熵、PSNR和對比度3個參數化評價指標將本文算法與另3種算法進行對比，處理對象依然為圖6所述四類樣本。圖6直觀的展示了本文改進算法在信息熵，PSNR和對比度上較直方圖均衡化算法，多尺度Retinex和深度曲線算法的優勢。

圖6 各算法圖像增強后信息熵、PSNR、對比度的值

為了更直觀的比較本文算法較其他3種算法在信息熵，PSNR和對比度上的數值提升，表3計算了4種算法在四類樣本上的平均增強效果。

表3 各算法增強效果在四類樣本上的平均值

由表3可以看出,本文算法在信息熵，PSNR和對比度比3個重要評價指標上都優于其他3種算法。其中，本文算法較深度曲線算法信息熵提高了0.860 8，表明本文算法處理后的結果還原了原圖像更多的信息；峰值信噪比提高了3.430 4，表明降噪明顯；對比度提高了0.002 9,表明整體圖像更清晰。本文算法較好的還原了低照度圖像的丟失的細節，色彩，亮度，說明了本文對原有深度曲線算法改進的有效性。

3.4 增強圖像在目標檢測中的表現

本文選取了兩幅待檢測的低照度圖像，分別用直方圖均衡化算法、多尺度Retinex算法、深度曲線算法和本文算法對其增強，通過在不同增強算法下檢測出的目標個數的差異來評價增強算法的優劣。目標檢測算法采用YOLOV3，訓練集選用VOC2007數據集，目標檢測結果如圖7。

圖7 各算法圖像增強后目標檢測效果

表4列出了樣本五和六在YOLOV3目標檢測算法下檢測出的目標數。

表4 各算法檢測出的目標數

圖7可以看出,樣本五中的手機、鬧鐘等小物體和樣本六中馬路邊緣的行人，遠處的車輛因圖像亮度較低，且包含較多的噪點，未能被檢測出，經各算法增強后目標檢測數均得到提高，而本文算法檢測出的目標數優于其他3種算法，說明了本文算法在實際應用中的優勢。

4 結束語

本文基于零參考深度曲線網絡改進的低照度圖像增強算法。通過使用輕量化網絡MobileNetV2改進其網絡結構，在增加網絡深度、增強網絡學習能力的同時降低了計算復雜度；通過改進損失函數，使其在峰值信噪比、對比度上和信息熵上達到了更好的增強效果；通過使用對稱式的卷積結構，使其在面對大尺寸低照度圖像時也能有較好的表現，對比分析實驗證了本文對原算法改進的有效性。