基于快速亮通雙邊濾波器的Retinex圖像增強算法

魏 赟，歐陽鵬

(上海理工大學 光電信息與計算機工程學院，上海 200093)

1 引 言

隨著技術的發展，生活中信息化的程度越來越高.在生活和自然場景中有大量的非均勻光照、低照度的圖像產生.雖然目前非均勻照明圖像的增強已經得到了廣泛的研究，但對比度增強和圖像自然度的保持往往是很難同時滿足，但這兩者對圖像增強質量都是非常重要的.由于個體的主觀感覺與自然圖像的自然性是密切聯系的，所以一種實用的辦法就是從細節保真度、照明度、色彩感知等方面考慮增強后圖像的自然性.對于非均勻光照、低照度圖像的增強，現在有幾種常用的圖像增強技術：基于直方圖均衡的增強技術、反銳化掩膜增強技術、基于Retinex理論的增強技術.

直方圖均衡是一種簡單且常用的圖像增強技術，假設圖像自身直方圖分布比較均勻，沒有整體考慮到圖像的直方圖的形狀，生硬的將圖像直方圖進行動態拉伸，使其呈現出特定的分布.文獻[1]是一種改進直方圖均衡算法，對整體圖像的亮度進行合理增強和有效保持，并且對圖像的對比度進行限制，防止增強過度導致圖像失真.文獻[2]提出了對比度限制直方圖均衡化，通過限制相似對比度的拉伸來防止對比度的過度增強.上述文獻都是通過限定或者基于某些條件的去拉伸直方圖，并沒有實現極暗區域的亮度增強.文獻[3]詳細介紹了幾種直方圖均衡方法各自的優點和缺點.

反銳化掩膜增強技術一般是通過改善高頻分量來增強圖像[4].增強過程通常是：把一副圖像分解成若干個頻帶，將較大的增強權重因子分配給高頻子帶，最后把所有的頻帶相加得到增強圖像.文獻[5]采用了非線性映射函數，較少某些灰度間的差異，保留灰度范圍.文獻[6]將直方圖均衡化結合使用的一種新的反銳化掩膜濾波技術用于通用圖像，可以最大化圖像的熵，并通過裁剪圖像的直方圖來控制過度增強和增強不足.

基于Retinex增強技術的理論[7]認為圖像的亮度取決于光照環境和物體表面反射率.針對早期增強后的圖像往往會出現對比度、亮度超出范圍導致顏色失真以及視覺效果不自然等問題.典型的算法比如低照度圖像增強算法[8]對每個顏色通道的最大值進行單獨的光照估計，然后在初始光照分量上細化，得到最后的光照分量，最終得到增強后的圖像.文獻[9]利用指數函數和S型曲線函數分別處理多級反射分量和最終照度分量，能夠有效增強圖像邊緣細節和提升圖像整體亮度，避免了色彩偏差和失真的問題.文獻[10]提出多層融合和細節恢復的圖像增強方法，能有效的消除光暈、增強圖像亮度和突出圖像細節.Hsu等人[11]利用Retinex理論和曝光融合技術來增強圖像的對比度，減少低頻分量的變化可能會對某些細節造成抑制影響.

為了進一步的提高非均勻照明圖像的亮度和圖像細節，本文基于快速亮通雙邊濾波提出一種新的Retinex圖像增強算法.與其他增強算法相比，本文根據快速亮通雙邊濾波獲取到的光照分量，在運行時間和處理效果上都有明顯優勢.由于圖像的平均亮度和亮度范圍與圖像質量有密切的關聯性[12]，同時對自然景物的統計已經得到了廣泛研究和應用[13，14]，所以在反映圖像亮度的光照分量上的處理對圖像的增強非常重要.本文對光照分量的增強方法與以往易受到主觀偏好影響的方法有所不同，通過客觀多層亮度先驗映射方法，使光照分量增強結果更加明顯與合理.相較與其他增強算法對反射分量中大量圖像細節的忽視，本文通過多尺度細節提升方法對包含大量細節的反射分量進行細節增強操作，使圖像的細節更加突出，也使最終增強圖像有更好的亮度、對比度、清晰度.

2 快速亮通雙邊濾波器(FBPBF)

雙邊濾波是由Tomasi和Manduchi提出來的一種具有保持邊緣和降噪效果的非線性濾波器[15]，雙邊濾波采用基于高斯分布的加權平均的方法，用某個像素的周邊像素亮度值的加權平均代表該點的強度.

2.1 亮通雙邊濾波器(BPBF)

亮通雙邊濾波(BPBF)是基于雙邊濾波的一種變體[16]，可用于光照分量估計，相比于雙邊濾波，BPBF計算更復雜，但濾波效果更好，對細節的保持更精準.在文獻[16]中，BPBF對圖像V通道的光照分量估計的表達如下：

(1)

其中：f(i)表示HSV色彩空間的V通道；g(i)表示BPBF的輸出；Ω是執行聚合的鄰域.

(2)

其中，高斯空間核φ與單邊高斯范圍核ψ的表達如下：

(3)

(4)

其中：θ與σ分別是各自的標準差，一般而言，標準差越小，平滑的結果越不理想，標準差越大，平滑效果越好.

2.2 亮通雙邊濾波器的離散傅里葉近似變換

與經典雙邊濾波相比，雖然亮通處理效果好，但是處理的時間成本高.在此基礎上本文提出的快速亮通雙邊濾波(FBPBF)針對BPBF在處理時間過長的不足進行改進，通過離散傅里葉近似變換的方法，加快BPBF的處理時間，并且快速亮通雙邊濾波對圖像的邊緣細節和整體圖像細節保留程度也有極大提升.

對BPBF改進的第一步是對式(4)應用離散傅里葉近似變換.但是在對式(4)進行離散傅里葉近似變換之前，還需要通過一個平滑的代理來近似不連續的范圍核.這是因為在式(4)的原點處的跳躍會使傅里葉系數緩慢衰減，進而導致Gibbs現象出現，影響BPBF的改進效果.所以將式(4)最終寫成高斯和階躍函數的乘積.這一步本文使用S型函數，表達如式(5)：

(5)

其中：α>0控制原點處過渡的斜率.

S型函數對式(4)的平滑近似表達如下：

(6)

其中：S型函數平滑對離散傅里葉近似變換前后的影響對比如圖1所示.

圖1 S型函數平滑前后傅里葉近似的比較圖

對式(4)進行平滑近似以后，本文利用文獻[17]提出的離散傅里葉近似變換技術對式(6)的k-項傅里葉近似.但是本文與文獻[17]的一個最大不同是本文討論的目標內核是不對稱的，因此在這個基礎上，本文需要余弦和正弦項.對于某些像素點i而言，式(6)中的參數t可以假定式(2)中的強度差為f(i-j)-f(i).所以如果一幅圖像的動態范圍是{0，R}，則參數t可以是{-R，R}.一般而言，最佳域是由目標內核寬度σ和近似階數來決定的.式(6)的k-項傅立葉近似表達如下式(7)：

(7)

式(7)中與傅里葉級數展開有區別，在式(7)中，分母是2T+1，而不是2T，這是因為本文選擇在離散傅里葉變換之后再建模近似.那么對于固定的階數K，可以通過最小化逼近誤差來確定最佳的T和ck：

(8)

其中這些值出現在式(2)中，所以我們在t∈{-R，R}中比較了式(8)中的目標值和近似值.雖然上文中在{-T，T}上進行了近似，但是在{-R，R}上的測量出現了誤差，不過客觀來說，該誤差是固定的，可以接受的.比如，當σ相對于R而言較小時，ε可以通過T?R來減小(如圖2所示).

圖2 近似誤差ε和最優T*，(R=255，ε=0.0083)

為了簡化運算，可以將式(8)變換為以下表達式：

ε=‖Ac-b‖2

(9)

其中：矩陣A的列為式(7)中t∈{-R，R}復指數的余弦和正弦分量的樣本；c=ck；向量b，其分量是t∈{-R，R}處Ψ(t)的樣本.

由于ε依賴于式(7)中K，T以及系數ck，結合式(9)的表達式，對于固定的K和T，得到：

(10)

給定公差ε，通過上述公式就能找到最小的K，使得e(K)≤ε.可以達到執行最少數量的計算，得到所需精度的要求.

2.3 快速算法

(11)

(12)

其中：ν=2π/(2T+1)，經過上文對BPBF的離散傅里葉近似變換得到FBPBF，圖像處理時間和效率得到明顯提升，可以在更短時間里對待增強圖像進行濾波操作，得到更好的濾波效果，保留更多的圖像細節和整體色彩，為下一步增強圖像亮度、對比度做好前期準備.

3 本文算法

3.1 Retinex理論

Retinex理論是Land等人提出用于模擬人類視覺系統機理的理論.他們在1970年左右發現在不同光照條件下，人眼視覺系統可以產生極其一致的色彩感知，這種特性被稱之為顏色恒常性.目前Retinex理論更多用于對數字圖像的處理.在Retinex理論發展的過程中，多種Retinex模型[18]被提出，多種基于Retinex的圖像增強算法[19]被提出.Retinex理論認為物體自身的顏色不被物體表面反射光強度決定，而是由物體自身對周圍環境光的反射能力決定，所以物體的自身色彩具有一致性，不受到非均勻光照、低光照的影響.

基于Retinex理論的圖像增強算法可以同時保持圖像色彩信息和對圖像相關細節進行有效增強.核心在于通過去除圖像的光照分量得到圖像的反射分量，從而實現了對圖像的增強.把模型簡化，可以將圖像看作是光照分量和反射分量的乘積，表達如下：

I(x，y)=F(x，y)?R(x，y)

(13)

其中：I(x，y)原圖像，F(x，y)表示圖像的光照分量；R(x，y)表示圖像的反射分量，?表示卷積操作.

3.2 算法介紹

本文算法流程如圖3所示，先將輸入圖像轉換值HSV空間，先利用小尺度的FBPBF對V通道進行光照估計，得到小尺度下的光照分量F1和反射分量R1；因為光照分量F1包含了大量的圖像細節特征，所以通過中尺度FBPBF對光照分量F1進行濾波分解得到光照分量F2和反射分量R2；同理通過大尺度FBPBF對光照分量F2進行濾波分解得到光照分量F3和反射分量R3.對光照分量F1，F2，F3采用基于多層亮度先驗映射方法進行光照分量增強；利用多尺度細節增強方法對3個反射分量R1，R2，R3進行細節融合操作提升圖像重要細節.最后基于Retinex理論將增強后的光照分量和反射分量融合得到最終的增強圖像.

圖3 本文算法流程

3.3 基于多層亮度先驗映射方法的光照分量增強

本文的多層亮度先驗的信息是從2156張光照充足的室外圖片中統計得到.這些光照充足的高質量室外圖片滿足人類對高質量圖片的標準，不僅光照充足，而且圖像對比度和清晰度上都有很高的質量.通過式(14)、式(15)，我們可以得出這些圖片光照分量Fi(x，y)的兩個重要屬性：平均亮度La和亮度范圍Lr.

(14)

(15)

其中：M是圖像編號；Ln_a(i)=avg(Fi(x，y))表示對應圖像光照分量的平均亮度；Ln_r(i)=max(Fi(x，y))-min(Fi(x，y))表示對應圖像光照分量的亮度范圍；光照分量的最大值是255；Fi(x，y)的亮度范圍差是[255-Lr，255].

經過多次試驗結果對比，選擇3個尺度大小不同的快速亮通雙邊濾波分別為：r1=5，θ1=5，σ1=5；r2=8，θ2=8，σ2=8；r3=12，θ3=12，σ3=12.通過V通道和3種尺度的FBPBF得到光照分量F1，F2，F3的表達式如下：

F1=IV*LsF2=F1*LmF3=F2*Ll

(16)

其中：F1，F2，F3是對應尺度下的光照分量，Ls，Lm，Ll分別表示小，中，大尺度濾波器.

將F1，F2，F3分別代入式(17)，利用亮度先驗映射方法對每個光照分量估計進行亮度增強，通過式(17)能將亮度區間映射到[255-Lr，255]，表達如下：

(17)

Ui(x，y)=(Fi(x，y))γ

(18)

其中；0<γ<1，Fie(x，y)表示增強后的光照分量.

光照分量增強步驟如下所述：

1)利用式(17)分別對3個光照分量F1，F2，F3進行亮度范圍映射，得到增強后的各個光照分量Fie(x，y).

3.4 基于多尺度細節增強

經過上一節對V通道和各尺度下的光照分量的分解，可以得到3個包含大量細節信息的反射分量R1，R2，R3，表達式如下：

R1=Iv/F1，R2=F1/F2，R3=F2/F3

(19)

為了增強圖像細節效果，提高圖像增強質量，利用多尺度細節增強方法合并3個反射分量，表達如下：

Re=(1-ω1·sgn(R1))×R1+ω1×R2+(1-ω2)×R3

(20)

其中：Re表示增強細節后的反射分量；ω1，ω2是融合權重因子.

基于SSIM中的對比度相似性，ω1，ω2表達如下：

(21)

其中：μ表示圖像的方差.

4 實驗結果與分析

本文選擇偏光照和弱照度圖像進行實驗驗證本文算法的有效性.將本文算法與Guo等人[8]提出的LIME圖像增強算法、文獻[20]、文獻[21]、曝光融合方法(EFF)[22]和進行實驗結果對比.以上算法中涉及的參數均使用相關論文推薦進行設置.實驗平臺使用MatlabR2017a.

4.1 主觀視覺評價

本文選擇偏光照和弱光照圖像來衡量本文算法的有效性.圖4是偏光照條件下的實驗結果對比.從圖4中可以看出5張增強后圖片在圖片亮度上均有所提升.其中，LIME算法增強后的圖片整體色彩對比度偏低，如遠處汽車附近的小草、樹木以及汽車表面油漆整體色彩偏淺；遠處樹木的頂部略有細節丟失.文獻[20]整體對比度增強較為合理；但小女孩頭部區域細節增強略差；汽車玻璃中的樹木枝葉和房屋的亮度增強不夠明顯，細節較為模糊.文獻[21]整體對比度偏強并且物體整體有模糊感，比如小女孩頭發紋理，遠處的草地、樹木枝葉；天空部位的亮度過度增強導致樹木頂部細節丟失.EFF算法使圖像整體出現泛白現象；雖然汽車玻璃部位的亮度增強效果不錯，但樹木枝葉的清晰度略差；遠處的汽車以及樹木的頂部出現細節無法分辨的現象；小女孩頭部的過度增強使頭發顏色和臉部的色彩不夠合理.本文算法在提升圖像整體亮度的同時有效的保持了圖像大多數細節紋理，圖像整體對比度、飽和度、清晰度都有較大提升.對遠處天空部分的亮度進行合理的調整使樹木頂部細節能較好的體現；小女孩頭發紋理細節增強合理，可以明顯看出劉海部分的頭發細節；右側玻璃中樹木枝葉的清晰度以及色彩相較于其他結果有明顯提升，屋頂顏色和墻面顏色未出現過度不合理增強.

圖4 偏光照圖像增強效果對比圖

圖5是弱光照下的實現結果對比.如圖可知，5種算法都對原圖的亮度都進行了明顯增強.尤其是EFF算法，增強的程度最大，但是導致圖像整體泛白，過于明亮，使圖片的對比度降低，破壞了視覺效果.LIME算法對細節處理不夠理想，物體邊緣模糊不夠清晰.文獻[20]中圖像色彩保持不夠好，彩色板的色彩對比度沒有本文的明顯.文獻[21]過度曝光，整體色彩過度增強，不滿足人眼視覺.本文算法增強后的圖像，整體亮度增強合理，圖像的色彩信息基本保持.對比度、飽和度符合人眼視覺，圖像清晰度也明顯優于其他算法.

圖5 弱光照圖像增強效果對比圖

從上面的結果分析可知，本文算法相較于其他算法在亮度、色彩對比度、色彩飽和度、細節保持度、以及清晰度等幾方面的增強都取得合理且良好的效果，整體人眼視覺感受相比也是十分良好.

4.2 客觀質量評價

本文采用結構相似性測量值(Structural Similarity Index Measurement，SSIM)、峰值信噪比(peak signal to ratio，PSNR)、局部標準差平均值(Average Local Standard Deviation，ALSD)以及運行時間4種客觀評價指標來評估圖像增強算法的客觀效果.結構相似性測量值(SSIM)反映兩張圖片整體的相似度，通過計算圖像結構的變化值來體現圖像處理后的失真程度，如果SSIM值越接近 1，則說明處理后的圖像失真程度越小，兩幅圖像越接近.表達式如式(22)所示：

(22)

圖像的 PSNR 值越高，客觀說明圖像不混亂，不失真.計算公式如下：

(23)

其中：maxi表示圖像點顏色的最大數值，MSE表示兩幅圖像的均方誤差.當PSNR越大，表示圖像質量越好.

局部標準差平均值(ALSD)首先將圖像進行分塊(本文中分塊尺寸為 25×25)，使用分塊圖像的標準差平均值作為圖像對比度評價指標.

(24)

(25)

表1展示了圖4，圖5增強結果集的對比結果.由表中數據可知，本文算法SSIM、PSNR以及ALSD客觀評價指標中均是最高結果，客觀表明本文算法不僅能有效的對圖像亮度進行合理且良好的增強，而且對圖像的色彩以及細節方面都有很好的恢復和保持.由于本文是基于快速亮通雙邊濾波，所以在圖像處理時間上的提升非常明顯.綜上所述，客觀評價指標的結果與主觀視覺評價的描述相符.

表1 低照度圖像增強算法客觀評價指標比較

5 總 結

針對不均勻光照和弱光照條件下圖像增強出現的問題，本文提出了一種新的有明顯增強效果的基于快速亮通雙邊濾波的Retinex圖像增強算法.實驗結果表示，本文算法可以在不損失視覺質量的前提下按順序加速過濾，處理時間更快，可以有效的估計圖像的光照分量.在視覺感知和質量度量方面與其他的算法相比具有不錯的競爭力.對增強過程中出現的增強過度、增強不足、對比度低、光暈以及細節模糊等問題有較為明顯的改進，很好的保持了圖像物體細節和邊緣細節，有效增強亮度以及圖像整體對比度.采用快速亮通雙邊濾波器從HSV空間的V通道獲取了圖像的光照分量和反射分量；然后基于高質量圖像的多層亮度先驗映射方法和基于多尺度細節增強方法分別對光照分量和反射分別進行亮度、對比度增強和圖像細節提升.實驗結果表明，本文算法能夠有效的增強圖像亮度和對比度，突出圖像細節，體現了本文算法的優越性.