基于Retinex-Net改進的室外場景低照度圖像增強算法*

魯鑫鑫，張榮芬，劉宇紅，李 寬，韓云杰

（1.貴州大學大數據與信息工程學院，貴陽 550025；2.貴陽信息技術研究院，貴陽 550081）

1 引言

在室外目標檢測過程中，環境光的影響給計算機視覺帶來巨大挑戰。例如在夜間進行室外目標檢測任務時，由于環境光偏暗或光線亮暗不均，采集到的圖片信息亮度不足、包含大量噪聲，致使部分細節無法分辨。這種低照度圖片不僅觀賞質量不佳，也無法給計算機視覺系統提供有效信息，給后續進行的目標檢測、目標追蹤等計算機視覺領域關鍵技術的研究也造成阻礙。因此，對低照度圖像增強技術的研究紛紛出現。目前常見的技術主要有空間域增強和頻率域增強兩種?？臻g域增強技術目前已較為成熟，其中的Retinex理論最為常見。Retinex是基于視網膜與大腦皮層的算法，該理論認為：人眼對于物體表面顏色的感知與物體表面的反射特性相關，不受場景中的光源變化而變化[1]。基于Retinex理論[2]的算法將原始圖像分解為反射圖和光照圖[3]進行處理，將原始圖片中的反射圖作為描述圖片實質的特征圖像，分解后用于消除光照圖像對原始圖像的影響。Retinex算法分為不同種類，較為常見的有：單尺度算法SSR（Single-Scale Retinex)[4]，但其并不能同時兼顧圖像的色彩和細節；多尺度算法MSR（Multi-Scale Retinex)[5]，其在顏色上存在一定程度的失真。帶有顏色恢復的多尺度算法MSRCR（Multi-Scale Retinex with Color Restoration)[6]，但它易于將圖像亮度提升偏高，使結果圖亮度失真。Retinex系列算法對圖片處理是分別對R、G、B三個通道單獨進行，會破壞RGB三通道間的聯系，以致處理后的圖片在顏色方面出現失真。針對存在的問題，基于基礎理論，在此設計一套改進算法，利用HSV空間下V通道分解[7]提高增強圖片的效果。

2 基礎理論與改進

2.1 Retinex模型

Retinex一詞由retina（視網膜）和cortex（皮層）合成而來。該理論認為人眼所觀察到的圖像物體的色彩具有常定性，物體的色彩是由物體自身確定的，與光照強度以及光照色彩無關。原始圖像由反射圖和光照圖相乘所得，以公式表達如下：

式中，L(x,y)為太陽光照的照射分量；R(x,y)為物體自身的反射分量；S(x,y)為成像結果。這一過程對應的物理模型示意圖如圖1所示。

圖1 Retinex物理模型圖

在Retinex模型中，光照分量L是自然場景中光線對人眼觀察物體時所產生的干擾；反射分量R則是由受觀察物體本身特質決定的。

2.2 改進模型

Retinex-Net[8]是一種端到端的可訓練的低亮度圖像增強網絡。該網絡框架由三部分構成，即：分解網絡（Decom-Net）、增強網絡（Enhance-Net）和圖像重建（Reconstruction）。Decom-Net包含兩條共享參數的網絡，分別以低照度圖像和正常光圖像作為輸入，得到低照度圖像和正常光圖像的反射圖和光照圖，最終根據Retinex理論重建正常光照下的圖像。

對Retinex-Net網絡進行改進的方案如下：將原始圖片由RGB空間域轉換到HSV（即色調H、飽和度S、明度V）空間域，對其中的V分量進行處理；將V分量輸入Retinex-Net的分解網絡獲得反射圖和光照圖，對光照圖中光照不足的情況添加注意力機制進行提亮；對反射圖中噪聲偏多的情況用Deam-Net網絡進行去噪；將分別處理過的光照圖和反射圖與原來的H分量和S分量進行圖像融合，最后將融合后的圖片的空間域從HSV轉回RGB后輸出，得到增強后的圖片。改進算法流程如圖2所示。

圖2 改進算法流程圖

3 改進算法實現

3.1 分解網絡改進

對Retinex-Net的分解網絡進行改進，用Leaky ReLu激活函數對ReLU激活函數進行替換[9]。ReLU激活函數針對負數部分會直接將其置0，會造成梯度消失；而Leaky ReLU函數針對負數部分會對其進行f(yi)=aiyi計算，可以杜絕梯度消失的發生。改進后的分解網絡結構如圖3所示。

圖3 Retinex-Net分解網絡改進圖

分解網絡對低照圖與清晰圖片同時進行分解，首先將圖片由RGB空間域轉化為HSV空間域，使用一層Conv從輸入的V分量中提取特征，然后以Leaky ReLU激活函數的5層Conv卷積將提取到的特征映射到反射分量R和光照分量L，最后使用Sigmoid函數將R和L的范圍約束在[0,1]之間。改進模型用Leaky ReLU激活函數替換原模型ReLU激活函數，有助于通過Leaky擴大ReLU函數的范圍。Leaky ReLU激活函數公式表達為：

其中ai是一個固定值，通常為0.01左右。

3.2 增強網絡改進

從分解網絡分解出來的光照圖亮度相對較低，信息量不夠充足，細節也不夠明顯。為確保獲得較為理想的光照圖，需要對獲得的分量圖進行修正。在此對Retinex-Net中的Enhance-Net增強網絡進行改進，在其中添加空間注意力機制以及通道注意力機制，進行細節增強并指導網絡進行光照圖的修正。將光照圖輸入空間注意力模塊之后再輸入通道注意力模塊[10]，與直接將光照圖分別輸入這兩個注意力模塊后再融合相比，資源消耗更少。光照圖通過注意力模塊后生成新的注意力權重再分配特征圖，接著指導修正網絡對光照不足的光照分量圖進行修正。改進后的結構如圖4所示。

圖4 添加注意力機制的改進

空間注意力模塊如圖4上方虛線框所示。假設輸入特征圖為F'，分別經過最大池化和平均池化后得到兩個通道描述。最大池化和平均池化能夠將特征映射的空間信息聚合，接著將兩個通道描述通過一個7×7的卷積降維融合在一起，再通過激活函數得到空間注意力的權重系數MS。最后將輸入的特征圖F與權重系數相乘，即可得到經過空間注意力模塊的輸出，如下式所示：

通道注意力模塊如圖4下方虛線框所示。光照特征圖從空間注意力模塊輸出后進入到通道注意力模塊。輸入特征先分別經過平均池化和最大池化，得到兩個通道描述，再輸入到一個有兩層共享權重的神經網絡。其中激活函數為Leaky ReLU。將輸出的兩個特征相加后再經過一個激活函數，便可得到通道注意力權重系數MC，將其與從空間注意力輸出的特征圖相乘即得到從通道注意力模塊輸出的光照圖，如下式：

綜上所述，空間注意力與通道注意力的總的處理流程可歸納如下式：

3.3 反射圖去噪改進

由于采集設備或外界自然環境等因素的影響，低照度圖像在暗光區域存在大量噪聲，造成圖像信息減少和圖像質量下降。反射分量反映物體特征且包含大量細節信息，因此，為了對反射圖進行更好的處理，更好地去噪和保持細節效果，用Deam-Net網絡[11]對低照度圖的反射圖進行去噪處理。

Deam-Net網絡是一種新穎的端到端可訓練可解釋的深度去噪網絡，是通過可解釋性來設計的網絡。首先，在傳統一致性先驗中引入非線性濾波算子、可靠性矩陣和高維特征變換函數，使用了一種新的自適應一致性先驗（ACP）算法；其次，將ACP項引入最大后驗框架，提出一種基于模型的去噪方法。Deam-Net的具體網絡結構如圖5所示。

圖5 Deam-Net網絡結構圖

Deam-Net網絡主要分為三個部分，分別為特征區域、去噪模型和重構模塊。其中去噪模塊由n個NLO+DEAM模塊組成；NLO由特征編碼模塊FED（Feature Encoding Part)、特征解碼模塊FDP（Feature Decording Part）、雙元素注意力機制DEAM模塊三部分構成。DEAM模塊能起到加權平均的作用，主要作用于跨尺度特征重新校準和交互。

4 實驗與結果分析

實驗環境具體構建為：數據集選用LOL（Low-Light）；CPU為AMD 3900X;GPU為NVIDIA GTX 3090；內存為32GB；操作系統為Ubuntu20.04；編程語言選用Python3.6；開源框架為Pytorch。

所選用LOL數據集[12]是一種能夠滿足網絡對暗圖片增強任務學習的具有正常光照圖和低光照圖成對訓練的數據集。

為驗證基于Retinex-Net改進的算法效果，選取MSRCR與Retinex-Net算法作為對比，從視覺主觀效果與客觀評價指標兩個方面進行分析。為了更清晰的展示出算法效果，同時附上原始圖。

首先從視覺主觀效果方面進行評價，不同算法對比效果圖如圖6所示。選取5組不同場景圖片，其中第一組為室外陽臺場景；第二、三組為室外小區場景；第四、五組為人文街景。從左到右依次為原始低光照圖片、MSRCR算法、Retinex-Net算法以及本改進算法的增強效果圖。

圖6 不同算法增強效果對比

從圖中可以看出，MSRCR算法增強圖像的整體清晰度不足，在圖片顏色保留上也存在一定缺失，諸多物體的色澤泛白，有明顯的褪色現象，視覺效果較差。雖然該算法亮度提升效果顯著，但是由于缺少一致性的約束，增強輸出后圖片的亮度與原始圖片的亮度分布特征無法保持一致，部分區域出現了亮度失真，如圖片中的天空區域。

Retinex-Net算法并未考慮到RGB三通道之間的關聯性，因此導致了算法增強過程中自然的色彩特性無法被保存，圖像邊緣部分陰影的存在即是算法進行細節增強過度所造成的。經過Retinex-Net算法增強的圖片色彩失真顯著，部分圖像存在較為明顯的油墨感。

本改進增強算法處理結果圖整體輪廓清晰，噪點較少，說明反射圖去噪的有效性，光亮提升也具有明顯效果。與其他算法相比，本改進算法增強效果更加可靠，整體視覺效果也更為自然。

基于Retinex-Net改進的低照圖增強算法借助了HSV色彩空間的優勢，在保持結構的同時，保留了圖像原本的大部分信息，最大程度避免了色彩失真，在亮度、顏色、對比度以及自然性方面都達到了更為良好的視覺效果。

為更加全面衡量改進算法的整體性能，在100對低照度圖像集對上進行實驗，采用NIQE（自然圖像品質評價）[13]、SD（標準差）、SSIM（結構相似度）、IQA（圖像質量評價)[14]這四個指標來作為圖片增強效果的客觀評價標準。其中NIQE值越小代表著圖片擁有越好的視覺效果，越適合人眼視覺習慣；SD是圖片對比度的判定標準，主要針對光照強度，正常光照圖片的對比度比光照不足圖片的對比度更高；SSIM為經過增強算法后輸出的圖片與原圖的高亮圖做對比，數值越高說明相似度越高；IQA是針對輸出后增強圖片質量評價，指標越高說明圖片質量越高，圖片增強過程中對圖片造成的損失越小。

不同算法在100張低照度圖像上的各指標的平均值如表1所示。從數據可以看出，改進算法的NIQE平均值與原圖相比降低2.09%，與MSRCR算法相比降低0.51%；對于SD，改進算法較Retinex-Net算法提高17.25%。改進后模型輸出的圖片與原圖的相似度指標提高大于10%，圖片質量在原圖的基礎上也提高了21%。綜上所述，通過四個客觀指標數據的對比，能夠證明，所提出的基于Retinex-Net算法改進的低照度圖像增強算法在光照不足圖片的自然特征屬性、圖像對比度以及保留自然增強的效果等方面均有較為明顯的提高。

表1 各算法100張低照度圖像指標平均值單位：%

5 結束語

研究是在Retinex-Net算法的基礎上加以改進，通過將RGB圖片轉換到HSV色彩空間進行處理，重建后的圖像亮度均勻、細節突出、色彩失真小且真實自然，實現了提高低光照圖像增強效果以及對結果圖像的色彩維護。通過實驗分析，也證明了改進算法在光照不足圖片的亮度增強與色彩恢復等方面的明顯提升，具有很大的實用價值。在后續研究中還將繼續優化算法，進一步提高算法對色彩增強等方面的保持能力。