基于光照?qǐng)D估計(jì)的Retinex 低照度圖像增強(qiáng)算法

韓夢(mèng)妍，李良榮，蔣 凱

（貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院，貴陽(yáng) 550025）

0 概述

在目標(biāo)檢測(cè)、目標(biāo)跟蹤等計(jì)算機(jī)視覺(jué)領(lǐng)域進(jìn)行下一步處理的關(guān)鍵是有高質(zhì)量的輸入圖像。但是，在低光照條件下拍攝的圖像通常對(duì)比度較低，大量細(xì)節(jié)難以識(shí)別，不但降低了人眼的視覺(jué)感知，而且難以滿足更高級(jí)的計(jì)算機(jī)視覺(jué)系統(tǒng)中的算法對(duì)輸入圖像的要求。因此，低照度圖像增強(qiáng)技術(shù)是當(dāng)前圖像處理和計(jì)算機(jī)視覺(jué)的研究熱點(diǎn)之一。

近年來(lái)，低照度圖像增強(qiáng)的常用算法分為直方圖均衡法、基于反轉(zhuǎn)圖像去霧的方法、基于Retinex的方法以及基于深度學(xué)習(xí)的增強(qiáng)法4 類(lèi)。直方圖均衡法通過(guò)一種灰度映射使像素均勻地分布在更多的灰度級(jí)上，從而提高圖像的對(duì)比度。這種灰度映射雖然擴(kuò)大了像素的動(dòng)態(tài)范圍，但也增大了量化間隔，導(dǎo)致灰度級(jí)合并，出現(xiàn)偽輪廓現(xiàn)象，致使圖像細(xì)節(jié)丟失。基于光照-反射模型的Retinex 理論最早由美國(guó)物理學(xué)家LAND［1］提出，其核心思想是：反射分量決定物體本質(zhì)信息，準(zhǔn)確估計(jì)出光照分量，是實(shí)現(xiàn)圖像增強(qiáng)的關(guān)鍵步驟。JOBSON 等提出單尺度Retinex（SSR）［2］多尺度Retinex（MSR）［3］以及帶顏色恢復(fù)的MSR 算法（MSRCR）［4］。FU 等［5］提出加權(quán)變分模型（SRIE），運(yùn)用一種亮度階次誤差度量，既增強(qiáng)了圖像的細(xì)節(jié)，又保持了圖像的自然度。DONG 等［6］對(duì)低光照?qǐng)D像進(jìn)行反轉(zhuǎn)后，發(fā)現(xiàn)非天空區(qū)域至少有一個(gè)顏色通道具有低強(qiáng)度，類(lèi)似于有霧圖像，因此將去霧算法應(yīng)用于反轉(zhuǎn)的低光圖像以進(jìn)行圖像增強(qiáng)。LI等［7］提出一種新的結(jié)合對(duì)比度增強(qiáng)和去噪的低光圖像增強(qiáng)框架，將低光圖像分割成超像素進(jìn)行自適應(yīng)降噪，進(jìn)一步提高了視覺(jué)質(zhì)量。近年來(lái)，劉超等［8］提出利用卷積自編碼網(wǎng)絡(luò)的方法，該方法運(yùn)用自建數(shù)據(jù)訓(xùn)練集學(xué)習(xí)圖像特征復(fù)原低照度圖像，但增強(qiáng)的圖像在細(xì)節(jié)及色彩方而有所欠缺。CHEN 等［9］基于FCN 模型結(jié)構(gòu)采用端到端訓(xùn)練模式，提出了一種在黑暗中也能快速生成清晰的成像系統(tǒng)，此方法直接使用原始傳感器數(shù)據(jù)，改善了大量的傳統(tǒng)圖像處理流程，但是僅在構(gòu)建的數(shù)據(jù)集上表現(xiàn)良好。

本文提出一種基于光照?qǐng)D估計(jì)的Retinex 低照度圖像增強(qiáng)算法，旨在通過(guò)估計(jì)其光照?qǐng)D來(lái)增強(qiáng)低光圖像。通過(guò)找到三顏色通道中每個(gè)像素通道的最大值并利用L2范數(shù)［10］構(gòu)建照明圖，利用照明結(jié)構(gòu)細(xì)化光照?qǐng)D，運(yùn)用基于相對(duì)總變差（Relative Total Variation，RTV）形式的改進(jìn)模型對(duì)亮通道進(jìn)行平滑處理，并提取亮通道的結(jié)構(gòu)圖像。最終對(duì)細(xì)化光照?qǐng)D進(jìn)行自適應(yīng)Gamma 校正，利用Retinex 模型合成增強(qiáng)圖。

1 基本模型

1.1 Retinex 模型

根據(jù)文獻(xiàn)［1］提出的Retinex 模型，一幅給定的圖像可分解為光照?qǐng)D像和反射圖像，表達(dá)式如下：

其中：I(x，y)為原圖像；R(x，y)為反射圖像，其反映物體本身的顏色信息，不受入射光的影響，對(duì)應(yīng)圖像的局部細(xì)節(jié)和高頻分量；T(x，y)為光照?qǐng)D像，表示入射光，其大小決定了一幅圖像像素所能達(dá)到的動(dòng)態(tài)范圍，對(duì)應(yīng)圖像的全局自然性和低頻信息［11］。由于不易直接獲得反映物體本質(zhì)信息的反射分量R(x，y)，需要通過(guò)估計(jì)入射分量T(x，y)來(lái)消除其對(duì)原始圖像的影響，還原出物體的本來(lái)面貌，進(jìn)而達(dá)到圖像增強(qiáng)的目的。因此，對(duì)光照?qǐng)D像的準(zhǔn)確估計(jì)對(duì)還原圖像十分重要。

1.2 相對(duì)總變差模型

XU 等［12］在全變差理論的基礎(chǔ)上提出了基于相對(duì)總變差模型，該模型可以有效地分解圖像中的結(jié)構(gòu)信息和紋理，并且無(wú)需特別指定紋理是否規(guī)則或者對(duì)稱。構(gòu)造的目標(biāo)函數(shù)如下：

其中：式（2）中Ip為輸入圖像，Sp為輸出的結(jié)構(gòu)圖像，p為二維圖像像素索引，λ是一個(gè)自定義的控制參數(shù)，用于控制圖像平滑程度；式（3）中Dx(p)、Dy(p)分別為任意像素點(diǎn)p在x方向和y方向的窗口全變差，即在窗口R(p)內(nèi)的空間絕對(duì)差分，窗口全變差衡量的是圖像區(qū)域中結(jié)構(gòu)的強(qiáng)度和顯著性，引入窗口全變差可以強(qiáng)化圖像中的主要結(jié)構(gòu)；式（4）中Lx(p)、Ly(p)捕獲整體空間變化，是像素點(diǎn)在x、y兩個(gè)方向的窗口固有變分，含有大量紋理信息區(qū)域的窗口固有變差值比含有主要結(jié)構(gòu)邊緣區(qū)域要小，所以窗口固有變差成為保留圖像主要結(jié)構(gòu)并去除紋理信息的關(guān)鍵；式（5）中g(shù) p.q為高斯核函數(shù)，函數(shù)dist(x，y)用于測(cè)量位置x和y之間的空間歐幾里得距離。

2 本文算法

本文算法流程如圖1 所示。

圖1 本文算法流程Fig.1 Algorithm procesdure of this paper

2.1 初始光照?qǐng)D估計(jì)

MAX-RGB 是傳統(tǒng)Retinex 圖像增強(qiáng)所采用的算法，它通過(guò)尋找R、G、B 3 個(gè)顏色通道的最大值來(lái)估計(jì)光照分量，但這種估計(jì)只能增強(qiáng)全局照明。為了處理非均勻照明，本文首先采取以下初始估計(jì)，認(rèn)為三通道圖像都是共享同一個(gè)光照?qǐng)D：

在低照度情況下，因?yàn)榫植抗庹辗呛愣?，所以觀察到的原始圖像的光照分量是變化的。因此，照度較低的區(qū)域受相鄰高像素值的影響會(huì)導(dǎo)致所估計(jì)的照度較高，在亮度相差較大的邊緣處會(huì)產(chǎn)生光暈偽影并傳播到MAX-RGB 中。本文利用L2范數(shù)來(lái)平滑光照分量，定義初始光照?qǐng)D為：

其中：Ic為R、G、B 通道輸入圖像的顏色分量；‖ ? ‖2表示L2范數(shù)。L2范數(shù)會(huì)產(chǎn)生較小的權(quán)重，考慮更多的模型特征，使數(shù)據(jù)偏移對(duì)結(jié)果造成較小的影響，從而增強(qiáng)模型的泛化能力，防止過(guò)擬合。

2.2 細(xì)化光照?qǐng)D求解

在低照度圖像中，由于光線較暗，圖像主結(jié)構(gòu)的邊界不是很清晰，整體梯度較小，因此很難與周?chē)募?xì)節(jié)部分區(qū)分開(kāi)。為了保證照度分量的整體結(jié)構(gòu)、平滑紋理細(xì)節(jié)和大小范圍3 個(gè)約束條件，本文提出一種基于RTV 的改進(jìn)模型對(duì)初始光照?qǐng)D進(jìn)行細(xì)化處理，優(yōu)化的目標(biāo)函數(shù)如下：

其中：Tc是初始光照?qǐng)D；T是細(xì)化光照?qǐng)D；p為二維圖像像素索引，第1 項(xiàng)為使用L2范數(shù)的圖像相似性約束項(xiàng)，考慮初始光照?qǐng)DTc與細(xì)化后光照?qǐng)DT之間的保真度，第2 項(xiàng)為梯度約束項(xiàng)，是用于主結(jié)構(gòu)和紋理分離模型的正則項(xiàng)，考慮平滑度；λ是自定義的控制參數(shù)，用于平衡第1 項(xiàng)和梯度約束項(xiàng)，λ越大，梯度的相對(duì)總變差的權(quán)重越大，輸出圖像中的梯度就越稀疏，意味著圖像越平滑，但是過(guò)度增加λ也會(huì)造成圖像模糊，并且紋理反而保留下來(lái)；g p.q與RTV 中所代表的含義相同，是由具有標(biāo)準(zhǔn)偏差σ的高斯核產(chǎn)生，為高斯核函數(shù)。

運(yùn)用式（8）模型，使得梯度約束項(xiàng)可以擬合大范圍的顯著邊緣并提高圖像對(duì)比度，將顯著邊緣部分全局銳化，更有利于提取圖像的主要結(jié)構(gòu)。

根據(jù)XU 等［12］的描述，在x方向上式（8）可以分解如下：

在y方向上求解類(lèi)似，將目標(biāo)函數(shù)式（8）分解成非線性項(xiàng)和二次項(xiàng)的形式，最后轉(zhuǎn)化為矩陣形式：

2.3 Gamma 校正

Gamma 變換通過(guò)使用2 個(gè)變化參數(shù)γ和c來(lái) 控制圖像的整體亮度［13］。伽馬函數(shù)如下：

其中：Iin表示輸入圖像強(qiáng)度；Iout表示輸出圖像強(qiáng)度；γ和c都用于調(diào)整伽馬函數(shù)的形狀，在c=1 的情況下，輸入和輸出圖像的值范圍為[0，1]。不同的γ會(huì)產(chǎn)生不同的拉伸效果。

經(jīng)反復(fù)實(shí)驗(yàn)，本文改進(jìn)自適應(yīng)的Gamma 校正因子［13］，該因子可以較好地校正細(xì)化光照?qǐng)D，使得增強(qiáng)后的圖像視覺(jué)效果更佳。校正因子如下：

其中：σ為圖像標(biāo)準(zhǔn)差；μ為圖像均值。

根據(jù)得到的γ值對(duì)細(xì)化光照?qǐng)D進(jìn)行伽馬校正：

其中：T為細(xì)化光照?qǐng)D。

2.4 基于Retinex 增強(qiáng)

為避免出現(xiàn)分母為零和增強(qiáng)后的圖像過(guò)飽和的情況，基于Retinex 模型，本文加入一個(gè)非常小的參數(shù)ε（ε=0.001）對(duì)低光圖像的光照分量進(jìn)行非均勻地增強(qiáng)：

3 實(shí)驗(yàn)與結(jié)果分析

3.1 本文算法實(shí)驗(yàn)效果

本文所有算法統(tǒng)一在Matlab 軟件平臺(tái)下實(shí)現(xiàn)，計(jì)算機(jī)配置是英特爾酷睿i7 4 GHz 處理器、8 GB RAM、Windows 7 操作系統(tǒng)。

經(jīng)多次實(shí)驗(yàn)，本文算法所采用的自定義控制參數(shù)設(shè)置為λ=0.03，ε=0.001 時(shí)效果最佳。

本文算法處理的步驟及效果如圖2所示。圖2（d）為經(jīng)過(guò)本文改進(jìn)模型處理后的細(xì)化光照?qǐng)D，它將低光照?qǐng)D像的主結(jié)構(gòu)完整地提取出來(lái)，平滑了不必要的紋理細(xì)節(jié)，有助于得到高質(zhì)量增強(qiáng)圖像；圖2（e）提升了光照?qǐng)D像的亮度，使最后增強(qiáng)結(jié)果顏色更加鮮艷自然；圖2（f）為最終得到的增強(qiáng)圖像，圖像對(duì)比度及清晰度相較于原始低光圖像明顯提高，圖像細(xì)節(jié)也較好地保留下來(lái)。總之，每個(gè)中間步驟都有其自身的重要性，有助于提高視覺(jué)質(zhì)量。

圖2 本文算法各步驟處理的效果Fig.2 Effect of each step in this paper algorithm

3.2 本文算法的有效性驗(yàn)證

為驗(yàn)證對(duì)RTV 模型改進(jìn)的有效性，將RTV 算法與本文算法實(shí)現(xiàn)的圖像增強(qiáng)效果進(jìn)行主觀和客觀的對(duì)比分析。實(shí)驗(yàn)結(jié)果對(duì)比如圖3 所示。

圖3 本文算法與基于RTV 模型的對(duì)比效果Fig.3 Effect comparison of algorithm in this paper and based on RTV model

處理效果的主客觀評(píng)價(jià)如下：

1）處理效果的主觀評(píng)價(jià)

圖3（a）、圖3（d）、圖3（g）、圖3（j）分別為選取的4幅低光照?qǐng)D像，從圖3 可以看出，經(jīng)本文算法處理后的視覺(jué)效果比RTV 算法的更好。部分細(xì)節(jié)對(duì)比分析如下：圖3（c）是本文算法的處理效果，其調(diào)色盤(pán)中的各種顏色比圖3（b）RTV 算法的對(duì)比度更高，色彩更鮮亮，區(qū)分更明顯；對(duì)比圖3（f）本文算法的天空部分紫色閃電顏色更加鮮艷，云朵細(xì)節(jié)更突出，窗戶及燈光的對(duì)比度更加明顯；而圖3（i）本文算法的巖石細(xì)節(jié)更突出；圖3（l）本文算法的路燈照亮路面區(qū)域，明暗對(duì)比更加明顯等。

2）處理效果的客觀評(píng)價(jià)

本文選用的5 個(gè)客觀評(píng)價(jià)指標(biāo)如下：

（1）峰值信噪比（PSNR）［14］。能夠表明增強(qiáng)后的圖像相對(duì)于真實(shí)正常光照?qǐng)D像的失真程度，其值越大，說(shuō)明增強(qiáng)后的圖像質(zhì)量越高，即失真越少。

（2）結(jié)構(gòu)相似性（SSIM）［15］。是一種衡量?jī)煞鶊D像相似度的指標(biāo)，其值越大，表明增強(qiáng)后的圖像與真實(shí)正常光照?qǐng)D像的結(jié)構(gòu)特征越相似。

（3）色階映射圖像質(zhì)量評(píng)價(jià)系數(shù)（TMQI）［16］。源于SSIM，是衡量增強(qiáng)圖像的色彩與原始圖像色彩一致性的指標(biāo)。TMQI 值越大，圖像質(zhì)量越好。

（4）自然圖像質(zhì)量評(píng)價(jià)指標(biāo)（NIQE）［17］。是一種基于空間自然場(chǎng)景統(tǒng)計(jì)（NSS）模型構(gòu)建的質(zhì)量感知統(tǒng)計(jì)特征集合。NIQE 值越低，說(shuō)明圖像質(zhì)量越高，越符合人眼的主觀評(píng)價(jià)標(biāo)準(zhǔn)。

（5）基于塊的對(duì)比度質(zhì)量指數(shù)（PCQI）［18］。是一種基于局部塊的客觀質(zhì)量評(píng)估方法，它能夠生成局部對(duì)比度質(zhì)量圖。PCQI 值越高，增強(qiáng)后的圖像對(duì)比度越大，圖像質(zhì)量更好。

本文算法與RTV 算法處理效果的客觀評(píng)價(jià)指標(biāo)如表1 所示。

表1 基于RTV 模型算法與本文算法的客觀評(píng)價(jià)指標(biāo)Table 1 Objective evaluation indicators based on RTV model algorithm and this algorithm

從表1可以看出，本文算法處理4幅圖像的PSNR值、SSIM 值、PCQI值、TMQI值和NIQE值均優(yōu)于RTV模型算法。

3.3 算法對(duì)比

為驗(yàn)證本文算法的性能優(yōu)勢(shì)，仍然用上述4 幅低照度圖像，選用文獻(xiàn)［19］的Retinex-Net、文獻(xiàn)［20］的LIME、文獻(xiàn)［21］的SRIE、文獻(xiàn)［22］的TIAN 等算法分別對(duì)其進(jìn)行增強(qiáng)處理，然后與本文算法處理的效果進(jìn)行性能評(píng)價(jià)。

1）實(shí)驗(yàn)結(jié)果的主觀評(píng)價(jià)

本文算法與4 種算法的實(shí)驗(yàn)結(jié)果如圖4 所示。

圖4 5 種算法的結(jié)果對(duì)比Fig.4 Results comparison of five algorithms

從圖4 可以看出，經(jīng)本文算法增強(qiáng)后的圖像在對(duì)比度上有明顯的提升，且圖像還原度高，沒(méi)有過(guò)度增強(qiáng)或者增強(qiáng)不足的現(xiàn)象，色彩鮮艷自然，其視覺(jué)質(zhì)量較好。

2）實(shí)驗(yàn)結(jié)果客觀評(píng)價(jià)

本文算法與其他4 種算法的5 個(gè)客觀評(píng)價(jià)指標(biāo)如表2～表6 所示。

表2 不同算法PSNR 值的結(jié)果比較Table 2 Result comparison of PSNR values of different algorithms

表3 不同算法SSIM 值的結(jié)果比較Table 3 Result comparison of SSIM values of different algorithms

表4 不同算法TMQI 值的結(jié)果比較Table 4 Result comparison of SSIM values of different algorithms

表5 不同算法NIQE 值的結(jié)果比較Table 5 Result comparison of NIQE values of different algorithms

表6 不同算法PCQI 值的比較結(jié)果Table 6 Result comparison of PCQI values of different algorithms

從表2～表6 的分析可以看出，本文算法的5 個(gè)指標(biāo)要好于其他算法。

4 結(jié)束語(yǔ)

本文針對(duì)低照度圖像的低信噪比、低對(duì)比度、低分辨率等問(wèn)題，提出一種基于光照?qǐng)D估計(jì)的Retinex低照度圖像增強(qiáng)算法。采用L2范數(shù)對(duì)光照進(jìn)行近似，并對(duì)RTV 模型的梯度約束項(xiàng)進(jìn)行優(yōu)化，使得在保留圖像自然性的前提下給出圖像的整體結(jié)構(gòu)，并在MATLAB 仿真實(shí)驗(yàn)中確定適用于低照度圖像的GAMMA 校正因子的取值。經(jīng)Retinex 模型進(jìn)行增強(qiáng)后的實(shí)驗(yàn)結(jié)果表明，本文算法圖像處理的效果在視覺(jué)上及客觀評(píng)價(jià)指標(biāo)方面都優(yōu)于RTV 算法。下一步將對(duì)本文算法在單幅低照度圖像增強(qiáng)方面進(jìn)行優(yōu)化，減少算法時(shí)間復(fù)雜度，并應(yīng)用于視頻處理，以實(shí)現(xiàn)硬件系統(tǒng)中的視頻圖像增強(qiáng)處理。