基于明度分量的Retinex-Net 圖像增強改進方法*

張航瑛 王雪琦 王華英 曹良才?

1) (清華大學精密儀器系,精密測試技術與儀器國家重點實驗室,北京 100084)

2) (河北工程大學數理科學與工程學院,邯鄲 056038)

1 引言

現代生活工作中,人們無可避免會在低照度條件下獲取圖像.從原始的低照度圖像中,很難直觀地提取有效信息,不僅影響視覺效果而且對后續使用造成困難[1].因此低照度條件下的圖像增強技術一直是圖像算法中的一個具有挑戰性的問題[2-5].

Retinex 理論是一類有效的低照度圖像增強方法,該理論是依據成像過程而建立起來的圖像增強模型[6-8].基于顏色感知的一致性假設,Retinex 理論在圖像增強技術中發揮著重要作用[9].Retinex理論的早期嘗試有單尺度Retinex 算法(single scale Retinex,SSR)[10]和多尺度Retinex 算法(multi scale Retinex,MSR)[11].SSR 算法通過高斯濾波器將光照圖像約束為一個平滑函數,MSR 算法則通過多尺度高斯濾波器約束擴展了SSR 算法的功能.隨后,帶有色彩恢復的多尺度Retinex 算法(multi scale Retinex with color restoration,MSRCR)[12]被提出,使得該類算法得到了更為廣泛的關注.近年來,與經典算法相結合的各種派生算法相繼被提出[13-15].例如,Kwon 等[16]提出了一種基于視覺亮度函數的多尺度亮度自適應變換,用于增強渲染圖像的對比度和飽和度.Yang 等[17]利用雙邊濾波通過轉變色彩空間估計出光照圖像,實現了亮度的增強.Wang 等[18]提出了一種針對非均勻照明保持自然性的增強算法,一定程度上保持了圖像的自然性,但是亮度增強不明顯.Fu 等[19]提出一種加權變分模型來同時估計反射圖像和照明圖像,然后通過調整亮度來生成增強圖像.Guo 等[20]通過使用先驗結構來細化估計光照圖像,結合相應的反射圖像得到最終的增強結果.然而,許多實驗結果表明,上述基于 Retinex 理論的圖像增強方法仍然存在“光暈偽影”、圖像過度增強和計算效率低等缺陷[18-22].

近年來,隨著深度學習算法的進步,低照度圖像增強也實現了深度處理[23-25].Lore 等[26]提出一種使用深度自編碼器學習完成低照度圖像增強的方法,證明了基于合成數據訓練的堆疊稀疏去噪自編碼器可以同時實現對比度增強和圖像去噪.Wang等[27]利用全局光照感知和細節網絡對原始光照情況進行估計,利用原始圖像對細節進行補充,實現了低照度圖像增強.He 等[28]依據U-Net 網絡,利用照明保護的方式來抑制過曝光及亮度增強不足的區域.Wei 等[29]利用光照一致性假設結合全變分約束理論,設計出一種深度卷積神經網絡Retinex-Net,依據Retinex 原理把圖像分解為反射圖和照明圖,利用增強網絡提高低照度圖像照明圖的亮度,最后進行用元素級相乘得到最終的增強圖像.然而上述基于RGB 色彩空間模型實現的圖像增強,在RGB 三原色相關性的影響下,增強圖像時容易出現色彩失真的現象[30-32].

為了解決網絡算法中RGB 三原色之間相關性引起的色彩失真問題,本文以Retinex-Net 算法為例,提出了一種在HSV 色彩空間進行的Retinex網絡改進方法.該方法首先把低照度RGB 圖像轉換到HSV 色彩空間,然后利用Retinex 分解網絡對明度分量進行分解增強后,將HSV 色彩空間轉換回RGB 色彩空間,最后采用小波變換圖像融合技術,與原始低照度圖像進行融合,消除初始增強圖像中的過曝光現象.為簡潔起見,下文簡稱所提方法為ARN(advanced Retinex-net)方法.

2 改進的Retinex 網絡方法

2.1 HSV 色彩空間和算法整體結構

基于人眼對視覺的感知,在HSV 色彩空間中顏色由色相(hue,H),飽和度(saturation,S),明度(value,V)分量共同決定,3 個分量相互獨立,可以對各色彩分量進行單獨的提取與變換.而在RGB 色彩空間中紅綠藍3 個分量相互耦合在一起,Retinex-Net 方法直接對RGB 圖像進行增強處理破壞了各顏色通道之間的相互關系,致使色彩失真.在處理低照度圖像時,本文提出僅對明度分量進行增強,這有利于在色彩增強過程中保持原本圖像的色彩信息,同時降低圖像信息處理的數據量與復雜性,增加了訓練結果的可靠性.所以本文首先把低照度圖像轉換到HSV 色彩空間,(1)式為RGB 色彩空間轉化到HSV 色彩空間的轉化公式:

式中,R,G,B分別表示RGB 色彩空間中紅綠藍三通道各像素點的數值,Mmax和Mmin分別表示紅綠藍三通道中的最大值與最小值.

Retinex 理論的數學表達式為

式中,S代表觀測圖像,I代表照明圖像分量,R代表物體反射圖像分量.如圖1(a) 所示,Retinex 理論認為人類所觀測的圖像由照明分布情況和物體對光的反射情況組合決定,并且物體對光的反射能力是物體本身的固有屬性,其不隨光照條件的變化而改變.這里對Retinex 的算術思想進行一個簡單的介紹,在對(2)式進行對數變換后,可以得到

基于對數的算術性質,通過對

進行簡單變形即可求出反射圖像分量,整個流程如圖1(b)所示.

圖1 (a) Retinex 成像理論模型;(b) Retinex 算術思想簡介Fig.1.(a) Retinex imaging theoretical model;(b) arithmetic ideas of Retinex algorithm.

圖2 為本文所提算法的結構框架,其中分解網絡依據Retinex 理論,在V分量上進行低照度圖像到正常照度圖像之間的映射關系學習,把低照度圖像的V分量分解為反射圖像和照明圖像2 個分量.增強網絡利用低照度圖像V分量和分解后得到的圖像分量進行亮度增強,網絡采用端到端的訓練方式.為了保持H分量,S分量與V分量的尺寸一致性,本文采用最近鄰點插值的方式提高H分量與S分量的分辨率.

圖2 改進的Retinex 網絡增強算法流程圖Fig.2.Flow chart of the advanced Retinex network enhancement algorithm.

2.2 Retinex 分解網絡改進

分解網絡采用類似于Retinex-Net 的分解網絡架構設計[29],依據Retinex 原理進行圖像分解,為了使文章表述更簡明清晰,下文中如無特殊說明,所提低照度圖像與正常照度圖像均代指低照度圖像與正常照度圖像的V分量.依據低照度圖像和正常照度圖像具有一致的反射圖像分量,以及照明圖像分量在平滑的同時需要保留一定的邊緣結構,把圖像分解為2 個部分,分別是V分量的反射圖像和V分量的照明圖像.分解網絡包含7 個卷積層,依次提取圖像特征信息,最后得到反射圖像分量和照明圖像分量,表1 為分解網絡的具體結構框架.

表1 V 分量分解網絡結構Table 1.V-component decomposition network structure.

分解網絡同時對低照度圖像和正常照度圖像進行分解,由于低照度圖像和正常照度圖像的2 個圖像分量均可以用來重新構建圖像V分量,因此重構損失函數可表示為

式中,Rlow和Rnormal分別表示低照度圖像和正常照度圖像的反射圖像分量,Ilow和Inormal分別表示低照度圖像和正常照度圖像的照明圖像分量,Vlow和Vnormal分別表示低照度圖像V分量和正常照度圖像V分量,λij表示對應重構圖像的權重信息.

依據低照度圖像和正常照度圖像具有一致的反射率,構造反射一致性損失函數如(10)式所示:

照明圖像在紋理細節方面應該保持平滑,在物體邊緣部分應該保持一定的結構特性.總變分模型(total variation,TV)在計算圖像梯度方面應用廣泛,作為損失函數能夠約束圖像保持平滑,在此基礎上,對圖像結構劇烈變化的邊緣區域,應用反射圖像分量的變分模型并增加照明圖像分量的變分模型權重,最終得到的光照平滑損失函數如(7)式所示:

式中,?包含了水平和豎直2 個方向的偏導數,λg表示了結構感知系數.最后分解網絡的總損失函數為上述幾種損失函數的加權總和:

式中,λir和λis分別表示了平滑損失和重構損失的權重信息.

2.3 Retinex 增強網絡改進

增強網絡通過1 個編碼與解碼的整體框架來實現,整體為1 個U 型網絡結構,利用低照度圖像信息及反射圖像分量和照明圖像分量,通過1 個端到端的神經網絡框架,實現低照度圖像到正常照度圖像的映射,表2 為增強網絡的具體結構框架.同上,下文中如無特殊說明,所提初步增強圖像與正常照度圖像均代指初步增強圖像與正常照度圖像的V分量.為了提高圖像整體的清晰度,恢復圖像的細節信息,首先用上采樣函數對圖像進行上采樣提高分辨率,再經過逐層下采樣得到圖像的全局分布信息,在上采樣過程中,引入了對應鏡像塊,使全局上下文信息保持一致,并使用最近鄰點插值的方法增大分辨率.經過1 個1×1 的卷積層來連接所有特征,最后用1 個3×3 的卷積層來重構圖像的V分量.其中out3 up,de1 up,de2 up,de1 r,de2 r 分別為out3,de1,de2,de1,de2 利用最近鄰點插值方法增大分辨率之后的圖像,使同一層網絡的輸入端有相同的分辨率.

表2 V 分量增強網絡結構Table 2.V-component enhancement network structure.

增強網絡的損失函數包含2 個部分,其中初步增強圖像理應與正常照度圖像在V分量上具有一定的結構相似性,因此,這里選用結構相似性作為損失函數來判斷2 個圖像的相似程度:

式中,μx和μy代表了初步增強圖像和正常照度圖像的均值,σx和σy代表了初步增強圖像和正常照度圖像的方差,為避免分母為0,C1和C2是2 個極小的常數,分別取0.012和0.032.

利用初步增強圖像和正常照度圖像的一致性構建另外1 個損失函數為

式中,Vnew表示初步增強圖像的V分量,Vhigh-normal表示正常照度圖像的V分量.則增強網絡的總損失函數為

式中λs表示權重信息,本文中取1,得到增強后的V分量.

2.4 圖像融合

將HSV 色彩空間轉回RGB 色彩空間,得到初步增強的RGB 圖像后,本文采用小波變換融合的方法來抑制過曝光現象.二維小波變換是在行和列上依次進行一維小波變換,分別為低低、低高、高低、高高頻段,在下一層分解中低低頻段再次被分解.采用sym4 函數作為小波基函數,sym4 函數源自Symlet 的函數系,是一組近似對稱的緊支正交小波函數,在保留Daubechies 小波系優勢的同時,具有較好的正則性,即該小波作為稀疏基所引入的光滑誤差很小,使得信號重構過程比較光滑,同時具有對稱性,從而在處理圖像信號時避免失真問題.sym4 函數作為沒有具體的表達式的小波基函數,如圖3 所示為sym4 函數的尺度函數(scale function)和3 個小波函數(wavelet function)的示意圖.

小波變換有可以把圖像分解為不同頻段的優勢,對不同頻段的圖像信息分別進行融合處理[33]:

為本文采用的高頻信息(high frequency,HF)和低頻信息(low frequency,LF)融合方式與過曝光區域所占比例(ratio,R)的關系,通過融合方法能夠實現圖像信息互補,去除融合前模糊不清的區域.

3 實驗結果分析

為驗證所提ARN 算法的效果,本文選取了MSRCR[12],自適應伽馬校正(automatic gamma correction,Auto GC)[30],Retinex-Net[29]算法作為對比算法,從主觀視覺效果和客觀評價指標2 個方面進行了驗證分析.需要說明的是,本文ARN 算法中選用了與Retinex-Net 算法一致的數據訓練集(low light paired dataset,LOL)[29].

3.1 主觀評價

在主觀視覺效果方面,如圖4 所示,自上而下選取了6 組不同場景的圖像,其中第1、第2 組是自然景觀圖像,第3、第4 組是人文街景圖像,第5、第6 組是室內場景圖像.從左到右各列依次為原始低照度圖像,MSRCR 算法,Auto GC 算法,Retinex-Net 算法和ARN 算法的增強效果圖.

從圖4 中的結果可以看出,MSRCR 算法增強圖像的整體清晰度不佳,而且在圖像色彩保持上也存在一定缺陷,很多物體的顏色都偏向白色,有明顯的褪色現象.Auto GC 算法在提升圖像亮度方面效果不足,以至不能恢復出圖像中更多的信息.Retinex-Net 算法的增強圖像中色彩明顯失真,部分圖像有明顯的油墨感.本文所提的ARN 算法增強效果則更加可靠,整體視覺效果也更加自然真實.

圖5 為圖4 中圖像局部放大的效果圖.從圖中可進一步看出MSRCR 算法得到的結果亮度提升明顯,但是由于缺少一致性約束,增強圖像的亮度無法與原始圖像保持一致的亮度分布特征,部分區域出現亮度失真,例如圖像中光源區域和天空區域.Auto GC 算法在圖像對比度提升方面表現不夠,存在一定的色差問題,導致圖像整體色彩感暗淡,而且有明顯的細節丟失問題.Retinex-Net 算法沒有考慮到紅綠藍三通道之間的相關性,增強過程中無法保持色彩自然性,而且在圖像邊緣部分出現細節增強過度現象,造成偽影的存在.本文所提的ARN 算法相比其他方法借助HSV 色彩空間的優勢,在保持結構的同時,保留了圖像原本的大部分信息,最大程度地避免了色彩失真.

圖4 不同算法對比效果圖Fig.4.Comparison of different algorithms.

圖5 不同算法增強效果局部放大圖Fig.5.Local enlarged view of the enhancement effect of different algorithms.

3.2 客觀評價

在客觀評價指標方面,本文選取了NIQE 值(natural image quality evaluator,NIQE)[34],信息熵(entropy),標準差(standard deviation,SD)3 個常用的無參考指標作為圖像質量客觀評價的標準.其中,NIQE 值是提取圖像中的自然特征擬合成1 個多元的高斯模型,利用這一模型對圖像進行評價,本質上是衡量1 張待測圖像在多元分布上的差異,NIQE 值越小代表圖像有更好的視覺效果,更加符合人眼的視覺習慣.信息熵是從信息論角度反映圖像信息豐富程度的一種度量方式,是圖像信息量的1 個統計指標,信息熵越大表示圖像攜帶的信息量越豐富,質量也越好.標準差是圖像對比度的衡量指標,暗弱圖像的對比度比正常照度圖像的對比度會低很多.

表3 為6 組圖像的NIQE,信息熵和標準差3 組無參考指標的數值結果.同時,為增加計算結果的可靠性,本文計算了6 組圖像的各個指標的均值,如圖6 所示為各評價指標均值的對比變化情況.從表3 和圖6 中可以注意到,與MSRCR 算法相比,本文所提ARN 算法的NIQE 值平均降低了29.60%,信息熵平均提高了12.00%,標準差平均提升了52.71%;與Auto GC 算法相比,本文所提ARN 算法的NIQE 值平均降低了25.43%,信息熵平均提升了14.88%,標準差平均提升了34.05%;與Retinex-Net 算法相比,本文所提ARN 算法的NIQE 值平均降低了19.49%,信息熵平均提高了3.84%,標準差平均提升了41.35%.綜上,通過3 個客觀評價指標的比對,可以得出結論,本文所提ARN 算法在提升原始低照度圖像的對比度,保持圖像細節信息和更加自然真實的增強圖像視覺效果等方面具有明顯優勢.

表3 不同圖像的客觀評價指標Table 3.Objective evaluation metrics for different images.

圖6 不同方法圖像評價指標的均值變化情況Fig.6.Changes in mean values of image evaluation metrics for different methods.

4 總結

為了解決低照度條件下圖像可見度差和色彩失真等問題,本文提出了一種改進的Retinex 網絡方法.所提方法首先對RGB 圖像進行HSV 色彩空間變換,利用Retinex 分解網絡僅針對HSV 色彩空間中的明度分量進行分解增強,并通過上采樣操作增大明度分量的分辨率.然后對色相分量和飽和度分量,運用最近鄰插值增大其分辨率,結合增強的明度分量轉換回RGB 空間,得到初始增強圖像.最后采用小波變換圖像融合技術,與原始低照度圖像進行融合,消除初始增強圖像中的過曝光現象.通過實驗分析表明,本文所提算法在低照度圖像亮度增強與色彩恢復方面具有明顯優勢.特別是與原Retinex 網絡方法相比,NIQE 值平均下降了19.49%,圖像標準差平均增加了41.35%.今后還將繼續優化算法,進一步提高算法對紋理細節等方面的保持能力.