基于明亮通道先驗和Retinex 模型的弱光照圖像增強網絡*

顧振飛陳 燦陳 勇孔令民趙 冉

(1.南京信息職業技術學院網絡與通信學院，江蘇 南京 210023；2.南京龍淵微電子科技有限公司，江蘇 南京 210000；3.南京郵電大學物聯網學院，江蘇 南京 210003；4.中國人民解放軍94826 部隊，上海 200020)

在弱光照環境下采集的圖像易于呈現紋理模糊、色彩失真、信噪比下降和對比度不足等負面效應，而上述效應嚴重干擾了機器視覺系統對被測物體的特征提取，從而導致模式識別、目標定位、視覺測量與檢測等主流應用的有效性大幅下降[1-3]。因此，對弱光照圖像進行增強處理，使其具備與在理想光照條件下所采集的清晰圖像相似的主觀視覺特征和客觀評價指標，已經成為機器視覺領域的研究熱點之一，具有一定的理論研究與實際應用價值。

Retinex 模型[4]是弱光照圖像增強領域的重要理論基礎之一，即圖像可以被建模為入射光分量和反射特性分量乘積的形式，且物體的真實色彩不受入射光照干擾而具有恒常性。當前，基于Retinex 模型的弱光照圖像增強處理核心流程基本相似，即首先估計出弱光照圖像的入射光分量圖，進而依據模型在弱光照圖像中剝離入射光分量，并以抽取出的圖像反射特性分量圖作為增強后的弱光照圖像。據此可知，基于Retinex 模型的弱光照圖像增強方法的核心之處在于對弱光照圖像的入射光分量進行準確估計。然而，針對圖像入射光分量的估計問題，研究者通常僅利用了入射光的空間平滑性假設，但單一的約束條件必然導致此類欠定問題的估計結果缺乏魯棒性[5]。針對上述缺陷，基于Retinex 模型的改進策略[6-8]被相繼提出，如提高濾波層級并通過考慮各色彩通道分量之間的比例關系以提高增強效果的色彩保真性，但此類策略并不能實質約束光照分量的自由度，因而無法完全避免局部失效問題。通過以能量泛函形式表達Retinex 模型，變分Retinex 模型[5]可以引入更多的圖像統計規律作為附加約束條件對入射光分量進行估計，并將入射光分量的估計轉化為二次規劃問題進行求解。基于變分Retinex 模型，文獻[9]因引入了多種面向梯度分量的圖像先驗知識而具備了較好的紋理細節增強能力，文獻[10]利用圖像結構先驗對所估計出的圖像入射光分量進行約束，可以實現保持細節恢復能力的同時大幅改善增強后圖像的邊緣結構。然而，約束條件增多必然導致模型復雜度增加，并進而導致相關增強方法受制于較高的計算復雜度[11]。總體而言，Retinex 模型復雜度低但卻因難以有效約束模型參數的自由度而導致難以對入射光分量進行準確估計，變分Retinex 模型能夠通過增加模型約束項來提高估計準確率，但較高的計算復雜度使得相關增強方法普遍缺乏實時性。

近年來，隨著機器學習技術的快速發展，卷積神經網絡已經被引入了機器視覺領域，如模式識別、霧霾圖像增強、圖像超分辨率等。在弱光照圖像增強領域，文獻[12]結合了Retinex 模型和卷積神經網絡提出了LNET，該方法利用卷積神經網絡估計弱光照圖像所對應的入射光分量圖，并使用導向濾波對估計結果進行優化處理。文獻[13]依據Retinex理論，使用卷積神經網絡對弱光照圖像的入射光分量圖進行調整，并進而利用模型得到增強后的圖像。文獻[14]利用了基于卷積神經網絡的圖像去噪框架，提出了一種基于深度自編碼器的從低光圖像中識別信號特征并自適應增亮圖像的方法，證明了堆疊稀疏去噪自編碼器可以通過自主學習對弱光照圖像進行增強處理。文獻[15]提出了一種基于雙向生成對抗網絡的框架，該方法可以賦予輸入圖像給定的特征，因此也具備了弱光照圖像增強能力。上述方法中，結合圖像增強模型和卷積神經網絡的方法通常具有較好的增強能力，但對入射光分量圖的后期優化處理一定程度上增加相關方法的計算復雜度，而不涉及圖像增強模型的方法則受制于復雜的前期預處理或增強力度不足。

據此，本文結合明亮通道先驗和Retinex 模型，提出了一種弱光照圖像增強網絡。相較于現有方法，所提方法結合Retinex 模型基本定義和圖像先驗知識進行弱光照圖像入射光分量估計，克服了單純依據空間平滑性假設所導致的弱魯棒性；通過對入射光分量進行多尺度估計再基于卷積神經網絡進行融合的方式進一步提高了魯棒性。

1 背景知識

1.1 基于明亮通道先驗的Retinex 入射光分量估計

Retinex 模型[4]具有較為簡潔的數學表達，即依據該模型可以將待增強弱光照圖像分解為入射光分量圖和反射光分量圖的乘積形式，具體如下所示:

式中:I是待增強弱光照圖像，L和R分別是I所對應的入射光分量圖和反射光分量圖。

文獻[16]提出的明亮通道先驗表明:在理想光照條件下所采集的清晰圖像中的像素在以其為中心的圖像鄰域中至少存在一個像素的某色彩通道的強度等于(或接近)為1，其數學表達形式如下:

式中:IHD是在理想光照條件下所采集的清晰圖像，c∈{R，G，B}是圖像的RGB 色彩通道索引，Ω(x，y)是以像素(x，y)為中心的圖像鄰域。

基于Retinex 模型和明亮通道先驗的基本定義，反射光分量圖R可以被視為增強后的圖像，因而其必然符合明亮通道先驗，以及入射光分量必然具有一定的局部相似性，文獻[19]給出了入射光分量的估計方法如下:

1.2 研究動機分析

通過對公式(3)的觀察可知，基于明亮通道先驗和Retinex 模型，可以對弱光照圖像的入射光分量圖進行快速估計。然而，公式(3)的有效性需要明亮通道先驗和入射光分量的局部相似性在相同的鄰域半徑下同時成立，因而其有效性存在一定的不確定性。產生上述不確定性的原因在于:(1)明亮通道先驗如需成立，則需要確保圖像中的每個像素在其一定范圍的鄰域中存在至少一個像素的某色彩通道的強度近似為1，因而鄰域Ω(x，y)的尺度越大則明亮通道先驗的魯棒性越好；(2)入射光分量的局部相似性如需成立，則需要大幅抑制鄰域Ω(x，y)的尺度，因為入射光照在較大范圍內必然難以保證一致性。據此可知，基于公式(3)的弱光照圖像的入射光分量圖估計準確性取決于鄰域半徑，而真實圖像中入射光照的復雜性勢必導致無法確定出適用于所有圖像的鄰域半徑。

為驗證上述推論，在圖1 中選取一幅弱光照圖像，在鄰域半徑3 至30 時分別利用公式(3)對其入射光分量圖進行快速估計，并依據文獻[19]方法獲得增強效果。通過對圖1 的觀察可以發現，在不同的鄰域半徑下，弱光照圖像的增強效果之間存在較大差異，當鄰域半徑較小時，僅有入射光分量的局部相似性條件得以滿足，因此增強效果獲得了較強的紋理增強效果，而在明亮通道先驗條件不能充分滿足的區域卻導致了嚴重的色偏和光暈偽影。當鄰域半徑較大時，僅有明亮通道先驗條件得以滿足，因此增強效果獲得了較好的色彩保真性，但因入射光分量的局部相似性條件未能充分滿足而導致了增強力度顯著不足。

圖1 不同鄰域半徑時基于明亮通道先驗的Retinex 方法增強效果對比圖

2 基于明亮通道先驗和Retinex 模型的弱光照圖像增強網絡

基于上述分析，本文設計了一個端到端的網絡框架，該網絡的作用是激活輸入的待增強弱光照圖像，并直接輸出增強后的弱光照圖像。如圖2 所示，網絡架構由3 個子模塊組成，包括入射光分量多尺度估計模塊、多尺度入射光分量融合模塊和增強效果生成模塊。其中，入射光分量多尺度估計模塊將在不同的鄰域半徑下對輸入的待增強弱光照圖像進行入射光分量估計，并將其作為輸入傳遞至多尺度入射光分量融合模塊；入射光分量融合模塊將其學習的清晰圖像的基本特征映射到入射光分量估計結果中，將融合后的入射光分量圖作為增強效果生成模塊的輸入；增強效果生成模塊基于Retinex 模型，該模塊將依據輸入的入射光分量圖對待增強弱光照圖像進行逐像素的像素強度調節，并輸出反射光分量圖作為增強后的弱光照圖像。

圖2 網絡結構框圖

2.1 入射光分量多尺度估計模塊

基于公式(3)對弱光照圖像進行入射光分量圖估計具有計算復雜度低的優勢，但估計結果的有效性取決于鄰域半徑選擇的準確性，而圖像中入射光照的復雜性決定了并不存在一個適用于所有圖像的鄰域半徑。針對相似的問題，文獻[17]使用實驗方法大致確定出了實用性較好的鄰域半徑范圍，但并不能實質上解決上述問題。

因此，本文在設計入射光分量多尺度估計模塊時采用了一種綜合利用不同鄰域半徑下入射光分量估計結果中的有效增益的策略。依據上述思路，針對輸入的待增強弱光照圖像，自鄰域半徑3 起，逐次遞增鄰域半徑1，直至鄰域半徑30 截止，共進行28次入射光分量估計，并將估計結果分別傳遞至多尺度入射光分量融合模塊。

2.2 多尺度入射光分量融合模塊

將28 次入射光分量估計結果獨立作為各層分量輸入多尺度入射光分量融合模塊后，通過下式獲得融合后的入射光分量圖:

式中:Li=1，…，28表示作為各層獨立分量的28 次入射光分量估計結果，Wi=1，…，28是各層獨立分量所對應的融合權重。基于公式(4)，設計多尺度入射光分量融合模塊如圖3 所示。多尺度入射光分量融合模塊由多個自適應權重融合模塊組成，每個模塊由2 個卷積層組成，分別采用Relu 和Softmax 作為激活函數。為了進一步增強自適應性，該網絡在卷積層采用可變卷積[20]取代了傳統卷積。多尺度入射光分量融合模塊在訓練后能夠學習到在理想光照條件下所采集的清晰圖像的基本特征，并將學習到的清晰圖像特征映射到入射光分量多尺度估計模塊所傳遞來的入射光分量多尺度估計結果中，并最終生成入射光分量圖。

圖3 多尺度入射光分量融合模塊結構圖

2.3 增強效果生成模塊

增強效果生成模塊基于Retinex 模型設計，該模塊的主要作用是依據入射光分量圖對待增強弱光照圖像進行逐像素式的強度調節，從而生成弱光照圖像的反射光分量圖。相較于文獻[18]，本文所提方法僅需對入射光分量圖進行一般性的邊緣保持平滑處理，也可以直接將增強效果生成模塊所生成的反射光分量圖視為增強后的弱光照圖像，有效避免了由人為假設或圖像先驗知識所引入的特定圖像特征。

3 實驗結果與分析

由于沒有專門針對弱光照圖像增強的標準數據集，本文利用文獻[18]的方法構建包含3 000 個樣本的數據集。將數據集隨機劃分為訓練集(80%)，驗證集(10%)和測試集(10%)。由于GPU 顯存的限制，批量大小設置為32。采用均方誤差作為損失函數；采用Adam 優化器來訓練網絡框架；遍歷數設置為5 000；學習率設置為0.000 1。實驗硬件環境為:NVIDIA Titan XP GPU；軟件環境為:Tensorflow 2.0。為驗證本方法的有效性和魯棒性，將本文方法與以下現有主流方法進行定性和定量對比:自適應直方圖均衡類的文獻[21]方法、基于多尺度Retinex模型的文獻[6]方法、基于先驗知識的文獻[19]方法、基于全變分Retinex 模型的文獻[10]方法。

3.1 客觀比較

客觀實驗采用了3 個廣泛使用的客觀評價指標，包括新增可見邊緣比e、對比度恢復質量r和圖像清晰度D。由文獻[22]可知，新增可見邊緣比可以測量增強后圖像中出現的新增邊緣的比率，對比度恢復質量驗證了增強后圖像的平均能見度提升度。由文獻[23]可知，圖像清晰度可以測量基于人眼視覺特征的圖像可視性。通常，新增可見邊緣比和對比度恢復質量的數值越高，對應增強方法的效果越好；而圖像清晰度的數值越低表示圖像清晰度越高。客觀比較實驗并基于測試集展開，本文所提方法和上述四類對比方法針對測試集所取得的客觀評價指標平均值如表1 所示。

表1 客觀實驗結果

綜合新增可見邊緣比e和對比度恢復質量r均值可知，本文所提方法具有較好的紋理細節增強能力，且不會為了獲得較高紋理增強結果而產生一定的噪聲放大效應。此外，本文所提方法未產生顯著的色彩偏離現象，因此對比度恢復質量具有較好的可信度。由圖像清晰度D可知，本文所提方法在圖像可視性增強方面具有一定的比較優勢，而這一點也和主觀比較的結果是一致的。由文獻[23]可知，圖像清晰度值能夠以較為接近人眼視覺效果的方式綜合判斷圖像的清晰度增強效果，因此上述結果證明本文所提方法能夠將學習到的清晰度圖像特征映射到最終的增強效果中。

3.2 主觀比較

受篇幅限制，從測試結果中挑選了四幅具有挑戰性的弱光照圖像的實驗主觀對比用于展示，具體如圖4 至圖7 所示。通過對比可以發現，改進的直方圖均衡類增強方法仍然具有一定的結構盲目性而呈現出了弱魯棒性，圖4 和圖7 因全局光照較弱而均未得到有效增強，僅有圖5 和圖6 因自身具有一定的動態調整范圍而具備了一定的增強效果；基于多尺度Retinex 模型的增強方法需要提取并利用待增強圖像中原有的各層頻域分量，因而在處理頻域分量層次豐富的圖像(如圖4)時具有一定優勢，但在處理頻域分量相對較為單一的圖像(如圖7)時增強力度不足且易于引入模糊現象；文獻[19]方法基于單尺度明亮通道先驗而魯棒性不足，因而在明亮通道先驗在特定的鄰域半徑內失效的圖像時明顯效果不佳(如圖4)，且后續的各項優化處理易于產生噪聲放大現象(見圖6 和圖7 的增強效果)；文獻[10]方法基于變分Retinex 模型大幅提高了光照分量的估計準確性，整體增強效果較好，但無法完全抑制過曝光和色偏現象(如圖4 有局部過曝，圖5 整體偏紅而圖6 偏藍)。相較而言，本文所提方法具有更好的紋理細節增強效果和色彩保真度，且未出現過曝光、過增強或光暈偽影等負面視覺效應。

圖4 增強效果比較實驗1

圖5 增強效果比較實驗2

圖6 增強效果比較實驗3

圖7 增強效果比較實驗4

為進一步展示本方法的增強效果，選取兩幅典型的弱光照圖像(全局弱光照圖像如圖8(a)所示，局部弱光照圖像如圖9(a)所示)，依據本方法對其進行增強處理，并在圖8 和圖9 的(b)列中展示了相應的增強效果。

通過對比增強前后的圖像可以發現，本方法可以有效提升弱光照圖像的整體視覺效果并恢復其中的紋理細節，消除了因像素強度不足所導致的色彩偏移、對比度不足等負面視覺效應，且未出現局部增強力度不足或過增強現象，以及光暈偽影、邊緣畸變等現象。此外，在圖8 和圖9 的(c)列中展示了增強處理后紅色通道的像素強度增益空間分布(因為綠色和藍色通道的增益與紅色通道基本相似)，通過觀察可以發現本文所提方法能夠有效增強弱光照圖像，并使其呈現出近似清晰圖像的視覺效果。

圖8 全局弱光照圖像及其增強效果

圖9 局部弱光照圖像及其增強效果

4 結論

本文提出了一種基于明亮通道先驗和Retinex模型的弱光照圖像增強網絡。所提方法結合Retinex 模型基本定義和圖像先驗知識進行弱光照圖像入射光分量估計，克服了單純依據空間平滑性假設所導致的弱魯棒性；通過對入射光分量進行多尺度估計，再基于卷積神經網絡進行融合的方式進一步提高了魯棒性。