基于光照圖估計的Retinex 低照度圖像增強算法

韓夢妍，李良榮，蔣 凱

（貴州大學 大數據與信息工程學院，貴陽 550025）

0 概述

在目標檢測、目標跟蹤等計算機視覺領域進行下一步處理的關鍵是有高質量的輸入圖像。但是，在低光照條件下拍攝的圖像通常對比度較低，大量細節難以識別，不但降低了人眼的視覺感知，而且難以滿足更高級的計算機視覺系統中的算法對輸入圖像的要求。因此，低照度圖像增強技術是當前圖像處理和計算機視覺的研究熱點之一。

近年來，低照度圖像增強的常用算法分為直方圖均衡法、基于反轉圖像去霧的方法、基于Retinex的方法以及基于深度學習的增強法4 類。直方圖均衡法通過一種灰度映射使像素均勻地分布在更多的灰度級上，從而提高圖像的對比度。這種灰度映射雖然擴大了像素的動態范圍，但也增大了量化間隔，導致灰度級合并，出現偽輪廓現象，致使圖像細節丟失。基于光照-反射模型的Retinex 理論最早由美國物理學家LAND［1］提出，其核心思想是：反射分量決定物體本質信息，準確估計出光照分量，是實現圖像增強的關鍵步驟。JOBSON 等提出單尺度Retinex（SSR）［2］多尺度Retinex（MSR）［3］以及帶顏色恢復的MSR 算法（MSRCR）［4］。FU 等［5］提出加權變分模型（SRIE），運用一種亮度階次誤差度量，既增強了圖像的細節，又保持了圖像的自然度。DONG 等［6］對低光照圖像進行反轉后，發現非天空區域至少有一個顏色通道具有低強度，類似于有霧圖像，因此將去霧算法應用于反轉的低光圖像以進行圖像增強。LI等［7］提出一種新的結合對比度增強和去噪的低光圖像增強框架，將低光圖像分割成超像素進行自適應降噪，進一步提高了視覺質量。近年來，劉超等［8］提出利用卷積自編碼網絡的方法，該方法運用自建數據訓練集學習圖像特征復原低照度圖像，但增強的圖像在細節及色彩方而有所欠缺。CHEN 等［9］基于FCN 模型結構采用端到端訓練模式，提出了一種在黑暗中也能快速生成清晰的成像系統，此方法直接使用原始傳感器數據，改善了大量的傳統圖像處理流程，但是僅在構建的數據集上表現良好。

本文提出一種基于光照圖估計的Retinex 低照度圖像增強算法，旨在通過估計其光照圖來增強低光圖像。通過找到三顏色通道中每個像素通道的最大值并利用L2范數［10］構建照明圖，利用照明結構細化光照圖，運用基于相對總變差（Relative Total Variation，RTV）形式的改進模型對亮通道進行平滑處理，并提取亮通道的結構圖像。最終對細化光照圖進行自適應Gamma 校正，利用Retinex 模型合成增強圖。

1 基本模型

1.1 Retinex 模型

根據文獻［1］提出的Retinex 模型，一幅給定的圖像可分解為光照圖像和反射圖像，表達式如下：

其中：I(x，y)為原圖像；R(x，y)為反射圖像，其反映物體本身的顏色信息，不受入射光的影響，對應圖像的局部細節和高頻分量；T(x，y)為光照圖像，表示入射光，其大小決定了一幅圖像像素所能達到的動態范圍，對應圖像的全局自然性和低頻信息［11］。由于不易直接獲得反映物體本質信息的反射分量R(x，y)，需要通過估計入射分量T(x，y)來消除其對原始圖像的影響，還原出物體的本來面貌，進而達到圖像增強的目的。因此，對光照圖像的準確估計對還原圖像十分重要。

1.2 相對總變差模型

XU 等［12］在全變差理論的基礎上提出了基于相對總變差模型，該模型可以有效地分解圖像中的結構信息和紋理，并且無需特別指定紋理是否規則或者對稱。構造的目標函數如下：

其中：式（2）中Ip為輸入圖像，Sp為輸出的結構圖像，p為二維圖像像素索引，λ是一個自定義的控制參數，用于控制圖像平滑程度；式（3）中Dx(p)、Dy(p)分別為任意像素點p在x方向和y方向的窗口全變差，即在窗口R(p)內的空間絕對差分，窗口全變差衡量的是圖像區域中結構的強度和顯著性，引入窗口全變差可以強化圖像中的主要結構；式（4）中Lx(p)、Ly(p)捕獲整體空間變化，是像素點在x、y兩個方向的窗口固有變分，含有大量紋理信息區域的窗口固有變差值比含有主要結構邊緣區域要小，所以窗口固有變差成為保留圖像主要結構并去除紋理信息的關鍵；式（5）中g p.q為高斯核函數，函數dist(x，y)用于測量位置x和y之間的空間歐幾里得距離。

2 本文算法

本文算法流程如圖1 所示。

圖1 本文算法流程Fig.1 Algorithm procesdure of this paper

2.1 初始光照圖估計

MAX-RGB 是傳統Retinex 圖像增強所采用的算法，它通過尋找R、G、B 3 個顏色通道的最大值來估計光照分量，但這種估計只能增強全局照明。為了處理非均勻照明，本文首先采取以下初始估計，認為三通道圖像都是共享同一個光照圖：

在低照度情況下，因為局部光照非恒定，所以觀察到的原始圖像的光照分量是變化的。因此，照度較低的區域受相鄰高像素值的影響會導致所估計的照度較高，在亮度相差較大的邊緣處會產生光暈偽影并傳播到MAX-RGB 中。本文利用L2范數來平滑光照分量，定義初始光照圖為：

其中：Ic為R、G、B 通道輸入圖像的顏色分量；‖ ? ‖2表示L2范數。L2范數會產生較小的權重，考慮更多的模型特征，使數據偏移對結果造成較小的影響，從而增強模型的泛化能力，防止過擬合。

2.2 細化光照圖求解

在低照度圖像中，由于光線較暗，圖像主結構的邊界不是很清晰，整體梯度較小，因此很難與周圍的細節部分區分開。為了保證照度分量的整體結構、平滑紋理細節和大小范圍3 個約束條件，本文提出一種基于RTV 的改進模型對初始光照圖進行細化處理，優化的目標函數如下：

其中：Tc是初始光照圖；T是細化光照圖；p為二維圖像像素索引，第1 項為使用L2范數的圖像相似性約束項，考慮初始光照圖Tc與細化后光照圖T之間的保真度，第2 項為梯度約束項，是用于主結構和紋理分離模型的正則項，考慮平滑度；λ是自定義的控制參數，用于平衡第1 項和梯度約束項，λ越大，梯度的相對總變差的權重越大，輸出圖像中的梯度就越稀疏，意味著圖像越平滑，但是過度增加λ也會造成圖像模糊，并且紋理反而保留下來；g p.q與RTV 中所代表的含義相同，是由具有標準偏差σ的高斯核產生，為高斯核函數。

運用式（8）模型，使得梯度約束項可以擬合大范圍的顯著邊緣并提高圖像對比度，將顯著邊緣部分全局銳化，更有利于提取圖像的主要結構。

根據XU 等［12］的描述，在x方向上式（8）可以分解如下：

在y方向上求解類似，將目標函數式（8）分解成非線性項和二次項的形式，最后轉化為矩陣形式：

2.3 Gamma 校正

Gamma 變換通過使用2 個變化參數γ和c來 控制圖像的整體亮度［13］。伽馬函數如下：

其中：Iin表示輸入圖像強度；Iout表示輸出圖像強度；γ和c都用于調整伽馬函數的形狀，在c=1 的情況下，輸入和輸出圖像的值范圍為[0，1]。不同的γ會產生不同的拉伸效果。

經反復實驗，本文改進自適應的Gamma 校正因子［13］，該因子可以較好地校正細化光照圖，使得增強后的圖像視覺效果更佳。校正因子如下：

其中：σ為圖像標準差；μ為圖像均值。

根據得到的γ值對細化光照圖進行伽馬校正：

其中：T為細化光照圖。

2.4 基于Retinex 增強

為避免出現分母為零和增強后的圖像過飽和的情況，基于Retinex 模型，本文加入一個非常小的參數ε（ε=0.001）對低光圖像的光照分量進行非均勻地增強：

3 實驗與結果分析

3.1 本文算法實驗效果

本文所有算法統一在Matlab 軟件平臺下實現，計算機配置是英特爾酷睿i7 4 GHz 處理器、8 GB RAM、Windows 7 操作系統。

經多次實驗，本文算法所采用的自定義控制參數設置為λ=0.03，ε=0.001 時效果最佳。

本文算法處理的步驟及效果如圖2所示。圖2（d）為經過本文改進模型處理后的細化光照圖，它將低光照圖像的主結構完整地提取出來，平滑了不必要的紋理細節，有助于得到高質量增強圖像；圖2（e）提升了光照圖像的亮度，使最后增強結果顏色更加鮮艷自然；圖2（f）為最終得到的增強圖像，圖像對比度及清晰度相較于原始低光圖像明顯提高，圖像細節也較好地保留下來。總之，每個中間步驟都有其自身的重要性，有助于提高視覺質量。

圖2 本文算法各步驟處理的效果Fig.2 Effect of each step in this paper algorithm

3.2 本文算法的有效性驗證

為驗證對RTV 模型改進的有效性，將RTV 算法與本文算法實現的圖像增強效果進行主觀和客觀的對比分析。實驗結果對比如圖3 所示。

圖3 本文算法與基于RTV 模型的對比效果Fig.3 Effect comparison of algorithm in this paper and based on RTV model

處理效果的主客觀評價如下：

1）處理效果的主觀評價

圖3（a）、圖3（d）、圖3（g）、圖3（j）分別為選取的4幅低光照圖像，從圖3 可以看出，經本文算法處理后的視覺效果比RTV 算法的更好。部分細節對比分析如下：圖3（c）是本文算法的處理效果，其調色盤中的各種顏色比圖3（b）RTV 算法的對比度更高，色彩更鮮亮，區分更明顯；對比圖3（f）本文算法的天空部分紫色閃電顏色更加鮮艷，云朵細節更突出，窗戶及燈光的對比度更加明顯；而圖3（i）本文算法的巖石細節更突出；圖3（l）本文算法的路燈照亮路面區域，明暗對比更加明顯等。

2）處理效果的客觀評價

本文選用的5 個客觀評價指標如下：

（1）峰值信噪比（PSNR）［14］。能夠表明增強后的圖像相對于真實正常光照圖像的失真程度，其值越大，說明增強后的圖像質量越高，即失真越少。

（2）結構相似性（SSIM）［15］。是一種衡量兩幅圖像相似度的指標，其值越大，表明增強后的圖像與真實正常光照圖像的結構特征越相似。

（3）色階映射圖像質量評價系數（TMQI）［16］。源于SSIM，是衡量增強圖像的色彩與原始圖像色彩一致性的指標。TMQI 值越大，圖像質量越好。

（4）自然圖像質量評價指標（NIQE）［17］。是一種基于空間自然場景統計（NSS）模型構建的質量感知統計特征集合。NIQE 值越低，說明圖像質量越高，越符合人眼的主觀評價標準。

（5）基于塊的對比度質量指數（PCQI）［18］。是一種基于局部塊的客觀質量評估方法，它能夠生成局部對比度質量圖。PCQI 值越高，增強后的圖像對比度越大，圖像質量更好。

本文算法與RTV 算法處理效果的客觀評價指標如表1 所示。

表1 基于RTV 模型算法與本文算法的客觀評價指標Table 1 Objective evaluation indicators based on RTV model algorithm and this algorithm

從表1可以看出，本文算法處理4幅圖像的PSNR值、SSIM 值、PCQI值、TMQI值和NIQE值均優于RTV模型算法。

3.3 算法對比

為驗證本文算法的性能優勢，仍然用上述4 幅低照度圖像，選用文獻［19］的Retinex-Net、文獻［20］的LIME、文獻［21］的SRIE、文獻［22］的TIAN 等算法分別對其進行增強處理，然后與本文算法處理的效果進行性能評價。

1）實驗結果的主觀評價

本文算法與4 種算法的實驗結果如圖4 所示。

圖4 5 種算法的結果對比Fig.4 Results comparison of five algorithms

從圖4 可以看出，經本文算法增強后的圖像在對比度上有明顯的提升，且圖像還原度高，沒有過度增強或者增強不足的現象，色彩鮮艷自然，其視覺質量較好。

2）實驗結果客觀評價

本文算法與其他4 種算法的5 個客觀評價指標如表2～表6 所示。

表2 不同算法PSNR 值的結果比較Table 2 Result comparison of PSNR values of different algorithms

表3 不同算法SSIM 值的結果比較Table 3 Result comparison of SSIM values of different algorithms

表4 不同算法TMQI 值的結果比較Table 4 Result comparison of SSIM values of different algorithms

表5 不同算法NIQE 值的結果比較Table 5 Result comparison of NIQE values of different algorithms

表6 不同算法PCQI 值的比較結果Table 6 Result comparison of PCQI values of different algorithms

從表2～表6 的分析可以看出，本文算法的5 個指標要好于其他算法。

4 結束語

本文針對低照度圖像的低信噪比、低對比度、低分辨率等問題，提出一種基于光照圖估計的Retinex低照度圖像增強算法。采用L2范數對光照進行近似，并對RTV 模型的梯度約束項進行優化，使得在保留圖像自然性的前提下給出圖像的整體結構，并在MATLAB 仿真實驗中確定適用于低照度圖像的GAMMA 校正因子的取值。經Retinex 模型進行增強后的實驗結果表明，本文算法圖像處理的效果在視覺上及客觀評價指標方面都優于RTV 算法。下一步將對本文算法在單幅低照度圖像增強方面進行優化，減少算法時間復雜度，并應用于視頻處理，以實現硬件系統中的視頻圖像增強處理。