最大差值圖決策的低照度圖像自適應增強算法

王瑞堯，岳雪亭，周志青，耿則勛

（平頂山學院信息工程學院，河南平頂山467000）

（?通信作者電子郵箱wry0304@126.com）

0 引言

視頻監控圖像設備廣泛應用于公共安全、交通管理以及工業生產等許多領域，清晰的高質量圖像可以為案件偵破、智能交通、安全生產提供強有力的幫助。而在實際獲取圖像過程中，往往會受到多種因素的干擾，尤其是在夜間低照度條件下。由于夜間微弱的環境照明、不均勻的曝光等原因，導致此時捕獲到的圖像往往整體灰度級水平較低，且場景的光照不均勻，表現為當圖像中亮的區域光線過強或暗的區域光照不足時，圖像中的重要細節會被掩蓋，為后續基于圖像的應用帶來困難。因此，對低照度圖像增強的研究具有重要意義。

目前，針對低照度圖像增強已有很多研究成果。如:直方圖均衡的算法、基于Retinex 理論的算法、基于暗通道先驗的算法、伽馬校正的算法等。傳統的直方圖均衡法對整體亮度一致的圖像具有較好的增強效果，但對于照度不均的圖像而言，直方圖均衡法會出現過飽和問題。為解決這一問題，一些自適應或帶有閾值限制、對比度限制的算法被陸續提出［1-5］，但這類算法往往很難確定準確的閾值。基于Retinex 理論的算法中最經典的是單尺度Retinex（Single Scale Retinex，SSR）算法和多尺度Retinex（MultiScale Retinex，MSR）算法，但基于該理論增強后的圖像存在較嚴重的光暈現象，且色彩失真。文獻［6］提出了一種基于雙邊濾波的Retinex 算法，在一定程度上減少了光暈現象，但未完全消除。隨著新理論的發現，一些新的算法也被陸續提出，暗通道先驗理論是He 等［7］提出的一種圖像去霧理論，Dong 等［8］根據低照度圖像的反轉圖和霧天圖像具有一定的相似性，提出了基于暗通道先驗的低照度圖像增強算法，但由于低照度圖像的反轉圖并不完全符合暗通道先驗理論，因此該算法恢復后的圖像整體偏暗且色彩失真。

綜上，低照度圖像增強算法中存在的主要問題是，增強后的結果存在過飽和或者色彩失真，這是因為未充分考慮低照度圖像照度不均的問題。因此，可以通過估計原始圖像的光照分量，對于光照較強的區域適當降低亮度，對于光照較弱的區域適當增強亮度，便可將被掩蓋的細節重現，同時保證色彩不失真。文獻［9］提出的自適應雙向保帶寬對數變換算法和文獻［10］提出和光照不均的自適應增強算法，都是基于此思想，先通過一定的方法估計原始圖像的光照分量，再根據光照分量進行自適應增強，從而消除光照不均對增強效果的影響。但文獻［9］是通過對原始圖像變換后得到變換后圖像的亮度，并非是原始光照分量；文獻［10］中估計光照分量的算法并不準確，提出的增強算法也不適用于低照度圖像。因此，本文提出了一種新的低照度圖像增強算法，主要工作如下:1）提出了最大差值圖像的概念，并將交替引導濾波用于最大差值圖像，實現光照分量的精確估計；2）設計了圖像亮度自適應的伽馬變換，能夠根據圖像的光照分量自適應調整經典伽馬變換參數。實驗結果表明，本文算法在增強暗區細節的同時，能夠有效抑制過亮區域灰度值，對低照度圖像增強具有較好的效果。

1 光照分量估計

在一幅低照度圖像中，圖像的整體灰度值較低，且往往存在多個光源，這給光照分量的估計帶來一定困難。而準確估計出光照分量，是增強低照度圖像視覺效果的關鍵因素。

Retinex 理論指出，一幅圖像由光照分量和反射分量共同構成，可以表示為:

其中:J 為觀測得到的圖像:R 為圖像的反射分量:L 為光照分量。物體本身的顏色由其反射分量決定，與光照分量關系不密切，即物體本身的色彩不受光照非均勻性的影響，故可以通過消除或降低光照分量L，得到的反射分量R即為增強后的結果；而反射分量對應原始觀測圖像的高頻成分，光照分量對應低頻成分，因此可以對原始圖像進行低通濾波得到光照分量L，再通過式（1）即可得到R。

SSR 和MSR 正是基于這種思想，將原始圖像和高斯低通濾波器進行卷積，從而獲取光照分量。但高斯濾波器缺乏邊緣保持能力，因此導致光照分量估計不準。文獻［9］利用引導濾波保邊平滑的功能來獲得光照分量，但引導濾波得到的光照分量又包含過多的細節信息，不符合光照分量對應圖像中低頻成分這一特征。

本文針對低照度圖像提出的估計光照分量新方法是:通過紅綠藍（Red Green Blue，RGB）空間三通道間的最大差值圖獲得初步光照分量，利用交替引導濾波進行校正，從而準確估計出圖像的光照分量。

1.1 最大差值圖

假設一幅低照度圖像為J(x，y)，對式（1）兩端進行對數運算，變換后可得:

對于低照度圖像，尤其是較暗的區域，由于場景中的物體幾 乎 沒 有 反 射 特 性 ，可 認 為 ln R(x，y) ≈0，即ln J(x，y) ≈ln L(x，y)。由于較暗區域的光照分量幾乎為0，即L(x，y) ≈0，為了避免這種情形，可取變換后R、G、B 三通道的最大差值，即

作為ln L(x，y)的估計，最終通過式（4）反變換得到光照分量的初步估計結果:

從圖1 結果可以看出，求取三通道最大差值的方法能夠得到初步的光照分量，且結果圖像中細節信息得到平滑，同時保留了重要邊緣，所得結果與原圖像的光照分布具有高度的一致性。這是因為，對一幅低照度圖像來說，圖像中大部分像素亮度較低，這些像素點在R、G、B 三通道的灰度值都較低，導致三通道間灰度值相差較小，求取最大差值后各個像素的灰度差別也較小，因此具有平滑的效果。

圖1 RGB圖像的最大差值圖Fig.1 Maximum difference image of RGB image

圖2為圖1實驗結果的水平灰度掃描對比。

圖2 原圖和最大差值圖水平灰度掃描對比（圖1的第200行）Fig.2 Horizontal grayscale scanning comparison between original image and maximum difference image（line 200 for Fig.1）

從圖2 可看出:最大差值圖確實具有一定的平滑功能，但并不完全符合原始圖像的光照分布，這是因為，在低照度圖像中同樣存在較亮區域，通過最大差值求取光照分量的原理并不適用高亮區域。因此，可將最大差值圖作為初步的光照分量，但需要進一步的修正。

1.2 光照分量校正

通過上述實驗分析可知，雖然低照度圖像的最大差值圖基本符合光照分量的特征，但依然存在兩點不足:其一，最大差值圖中仍然包含一定的圖像細節，不完全符合光照分量對應圖像中低頻成分這一特征；其二，從圖1 中方框對應區域可以看到，當原圖像中存在強光源時，最大差值圖中對應區域會出現中心暗斑現象，和原始圖像的光照分布不相符，這是因為強光源中心接近白光，其R、G、B 三通道的灰度值接近相等，因此求取最大差值的結果接近于0。為了解決上述問題，本文采用了交替引導濾波的方法對最大差值圖進行校正。

1.2.1 引導濾波

引導濾波由He 等［11］最早提出。引導濾波過程需要滿足兩個條件:一是輸出圖像O 和引導圖像G 要滿足局部線性關系，即

其中:ωk是半徑為s的濾波窗口；中心像素點為k；（ak，bk）為濾波窗口內的局部線性系數；Gi為引導圖中的像素i；Oi為輸出圖像中的像素i。局部線性關系保證了輸出圖像和引導圖像具有梯度一致性（引導濾波的保邊特性來源于此）。

引導濾波的第二個條件，要使得輸出圖像和輸入圖像之間盡可能相似，這里采用了最小二乘法的思想，使下述代價函數E(ak，bk)達到最小值:

其中:E(ak，bk)為窗口ωk的代價函數；G 為引導圖像；I 為輸入圖像；ε為正則化參數。由式（6）可以求得:

其中:|ω|為ωk內的像素個數和為輸入圖像I 和引導圖像G在濾波窗口ωk內的均值；為I在ωk內的方差。得到ak、bk后便可利用式（5）得到濾波窗口內輸出圖像的各個像素值。但是，由于每一個像素i 會被多個濾波窗口包含，這導致同一個像素i 的輸出值Oi在不同濾波窗口中得到不同結果，因此需要對同一像素得到的所有輸出值進行加權平均，即

理論研究以及實驗結果證實，引導濾波在平滑圖像的同時也盡可能地保持了圖像邊緣信息。

1.2.2 交替引導濾波

通過1.2.1 節分析可知，引導濾波可以實現對輸入圖像中細節的平滑，尤其當輸入圖像和引導圖像相同時，可以有效降低細節信息，同時保留邊緣信息。這就解決了最大差值圖中仍然包含一定數量的圖像細節這一問題。本文將最大差值圖同時作為引導圖和輸入圖進行引導濾波，濾波窗口大小為4 × 4。從圖3（b）實驗結果中可以看到，圖像確實得到了進一步平滑，更加符合光照分量的特征。

圖3 光照分量校正過程Fig.3 Light component corrrection process

但是從圖3（b）測試結果中依舊可以看到，圖像中的強光源區域灰度值依舊過低（仍然存在中心暗斑），不符合原圖像光照分布特征。由1.2.1 節分析可知，引導濾波是基于最小二乘法的思想，從而保證引導圖像和輸入圖像間的差別最小化。由于采用最大差值圖同時作為輸入圖和引導圖，所以強光源部分無法得到修正。

通過選擇合適的引導圖和輸入圖再次進行引導濾波可以解決此問題。將原始圖像作為輸入圖，從圖3（b）所示的實驗結果作為引導圖，再次進行引導濾波，從圖3（c）所示的實驗結果表明，強光源區域確實得到了修正。但同時圖像的細節部分也被恢復了一部分，這是因為輸入圖為原始圖像，引導濾波會導致輸出結果向原始圖像靠近，因此在修正強光源部分的同時，一部分細節信息也被恢復，這是不希望看到的。

綜合以上分析，第一次引導濾波使圖像細節信息得到平滑，但強光源部分不符合原圖像的光照分布特征；第二次引導濾波使得強光源部分得到了修正，但細節信息又被恢復了一部分。因此，本文采用交替引導濾波對初始光照分量進行校準，從而獲取圖像的準確光照分量。即采用多次迭代，每次迭代將前次迭代結果和原始圖像交替作為引導圖及輸入圖進行引導濾波:

其中:Gt-1為上次引導濾波的結果；J為輸入圖像；γ為濾波窗口大小；ε 為正則化參數；guidedfilter 為引導濾波函數。迭代的起始為最大差值圖D(x，y)自身引導濾波的結果。

具體過程如圖4所示。交替引導濾波的具體步驟如下:

將最大差值圖D(x，y)同時作為引導圖和輸入圖進行引導濾波，得到的結果D1(x，y)作為輸入圖，用原始圖像J(x，y)作為引導圖再次引導濾波。然后進行如下交替迭代:

步驟1 將前次迭代結果Gn-1作為輸入圖像，原始圖像J(x，y)作為引導圖進行引導濾波；

步驟2 將步驟1結果作為引導圖，原始圖像J(x，y)作為輸入圖像進行引導濾波；

步驟3 根據迭代次數，重復步驟1和步驟2，最終得到的結果Gn即為所求光照分量。

圖4 交替引導濾波過程Fig.4 Alternating guided filtering process

圖3（d）為交替引導濾波后的結果（迭代次數n=5，濾波窗口γ = 4 × 4，正則化參數ε=0.01），可以看到，交替引導濾波后的圖像在保持邊緣的同時，細節部分得到了平滑，同時強光源部分也得到了修正，完全符合原始圖像的光照分布特征。

為了進一步驗證本文算法得到的光照分量效果，分別與多尺度高斯濾波（尺度因子分別為15、80、250）和文獻［10］中的引導濾波兩種獲得光照分量的方法進行比較。

通過圖5～6 實驗結果可以看出，三種方法都能夠提取出光照分量，但相較而言，多尺度高斯濾波方法缺乏邊緣保持能力，尤其是圖像中強光源部分，平滑后體現不出強光源的特征；引導濾波方法得到的光照分量雖然準確，但包含的細節信息過多；而本文方法得到光照分量不僅保持了重要邊緣，同時足夠平滑，可以準確地表示原始圖像的光照分布特征。

圖7 為圖5 中各個圖像的灰度水平掃描曲線（第200 行），從中可看出:高斯濾波的結果中一些重要的邊緣被過度平滑，而引導濾波的結果細節信息過于豐富，只有本文方法在平滑圖像的同時保留了重要邊緣。

圖5 光照分量效果比較1Fig.5 Comparison of light component effect 1

圖6 光照分量效果比較2Fig.6 Comparison of light component effect 2

圖7 圖5的光照分量灰度水平掃描曲線對比Fig.7 Horizontal graylevel scanning curve comparison of illumination components of Fig.5

2 改進的伽馬變換

通過交替引導濾波得到光照分量后，需要根據光照分量對原始圖像進行增強，消除光照不均帶來的影響。本文采用基于伽馬變換的自適應增強算法。

伽馬變換具有改善圖像質量、校正光照分布的功能，且計算簡單，因而應用廣泛。伽馬變換的一般表達式如下:

y =(x + esp)γ（11）其中；x 與y 的取值范圍為［0，1］；esp 為補償系數；γ 為伽馬系數［12］。

通過調整γ 可以改變輸入圖像x 和輸出圖像y 之間的映射關系，如圖8 所示。可以看到:當γ＜1 時，輸入圖像中灰度值較低的部分得到增強；當γ＞1時，灰度值較高的部分受到抑制。多數伽馬變換都是手動設置伽馬系數，為全局變量，對于低照度圖像的增強效果并不理想［13］。

文獻［10，14］中提出了一種自適應伽馬變換，能夠根據光照分量自適應調整伽馬系數γ，從而消除光照不均的影響。但該方法并不適用于低照度圖像，本文在此基礎上對伽馬變換進行了改進，設計了一種適用于低照度圖像的自適應伽馬變換的算法，能夠在增強圖像的同時有效消除低照度圖像中光照不均帶來的影響。具體表達式如下:

其中:P(x，y)為增強后的圖像；J(x，y)為原始輸入圖像；L(x，y)為第1 章得到的光照分量，b 為理想的光照強度，取值范圍為［0，255］。原始圖像的光照分量低于b 的像素應該得到增強，高于b 的像素應該受到抑制，文獻［14］中b 的取值為光照分量的均值。由于低照度圖像平均灰度值較低，若將光照分量的均值作為b 值，會導致大部分像素受到抑制，增強后的圖像整體灰度值會過低，因此經實驗對比后，本文中b的取值為光照分量最大灰度值的1/2。

由圖8 伽馬變換的性質可知，應當在原始圖像光照分量較低（L(x，y) - b ＜0）時，伽馬系數要小于1，使這部分圖像得到增強；當原始圖像光照分量較高(L(x，y) - b ＞0)時，伽馬系數要大于1，使這部分圖像受到抑制。因此a 為一個大于1的值，經過大量實驗后，本文中a 取值為2.2。由于低照度圖像整體對比度較低，為了增強視覺對比度，本文設置了調整系數C，取值為1.2。

圖8 0～1范圍內的伽馬變換示意圖Fig.8 Schematic diagram of Gamma transform in the range of 0-1

圖9 為理想光強b 取值為128（歸一化后為0.5）時本文的自適應伽馬變換曲線，從中可看出:當輸入圖像灰度值低于期望光強b 時，曲線為上凸，輸入圖像經變換后得到增強；在高于期望光強b時曲線為下凹，輸入圖像經變換后受到抑制。

圖9 本文自適應伽馬變換曲線（b的歸一化值為0.5）Fig.9 The proposed adaptive Gamma transform curve（normalized value of b=0.5）

圖10 是對圖1（a）RGB 圖像直接應用式（12）進行自適應伽馬變換前后的直方圖對比，從中可看出:由于本文算法根據亮度自適應調整伽馬系數，因此能有效消除光照不均的影響，使原圖像中過亮的區域得到了抑制，過暗的區域得到了增強，壓縮了圖像的動態范圍。

圖10 本文自適應伽馬變換前后直方圖對比Fig.10 Histogram comparison before and after adaptive Gamma transform proposed in this paper

3 本文算法步驟

本文提出的低照度圖像增強具體算法步驟如下:

1）將原始圖像J(x，y)變換到RGB 域，通過1.1 節中的方法求取最大差值圖D(x，y)；

2）將D(x，y)同時作為輸入圖和引導圖進行引導濾波，得到初步光照分量D1(x，y)；

3）將得到的D1(x，y)和原始圖像J(x，y)分別作為輸入圖像和引導圖像進行交替引導濾波，得到校正后的光照分量L(x，y)；

4）根據得到的光照分量L(x，y)，通過式（12）進行自適應伽馬變換，對原始圖像J(x，y)進行增強，得到最終的結果P(x，y)。

4 實驗與結果分析

為了驗證本文算法的可行性和有效性，本章對多幅像素為600 × 400的低照度圖像，分別從增強的主觀視覺效果及客觀指標參數兩個方面進行分析比較。實驗環境:CPU 為Inter Core i5-7500@3.4 GHz、內存為4 GB、Windows10 操作系統的PC，Matlab2016a軟件實現相關算法。

4.1 主觀評價

針對夜間低照度圖像，分別與伽馬變換、帶色彩恢復的多尺度視網膜增強（Multi-Scale Retinex with Color Restoration，MSRCR）算法、文獻［9］算法和文獻［10］算法進行比較，實驗結果如圖11～13所示。

通過實驗對比可以發現，伽馬變換的算法雖然整體效果較好，但是對于圖像中亮度較高的區域，增強后灰度值變得更大，掩蓋了部分細節信息，如圖11（b）中的車燈以及圖13（b）中的路燈，增強后車燈和路燈的光線使附近的細節信息都被掩蓋；MSRCR 算法得到結果整體對比度較高，但從圖11（c）和圖13（c）實驗結果可以看到，存在較為嚴重的色彩失真、噪聲放大問題，對于亮度較高的區域同樣沒有抑制效果；文獻［9］算法增強后圖像的色彩保持較好，但在圖11（d）中可以看到，對過亮區域的抑制效果不明顯，同時在圖12（d）和圖13（d）中，對過暗區域的增強也不夠；文獻［10］算法增強后的結果確實在一定程度上消除了光照不均帶來的影響，但是增強后的結果整體灰度值較低，亮區域被過度削弱，這是因為文獻［10］算法光照分量估計不準，同時自適應伽馬變換算法并未針對低照度圖像進行優化。本文算法相較其他算法，不僅增強效果好，增強后色彩無失真，最大的優點在于，對于亮度較高的區域具有較好的抑制效果，能夠在增強圖像整體亮度同時，還原出高亮度區域的細節信息，圖11（f）中的車燈和圖13（f）中的路燈效果尤為明顯。

圖11 實驗結果1Fig.11 Experimental result 1

圖12 實驗結果2Fig.12 Experimental result 2

4.2 客觀評價

圖像的平均梯度是圖像清晰度的重要體現，能反映圖像的細節信息；信息熵可以體現圖像所攜帶信息量的多少，表征圖像的復雜程度；標準差可以反映圖像的對比度特征。為了進一步客觀比較不同算法的增強效果，本文選取以上幾個指標作為圖像的客觀質量評價標準。圖11～13 對應的評價數據如表1所示。從表1的指標對比結果可以看出:本文算法在信息熵和平均梯度的對比中結果較好，說明本文算法可以有效恢復圖像細節信息，還原圖像原始信息；但是在標準差的對比中無明顯優勢，這是因為本文算法對亮度值低于期望光強的區域有增強效果，而對亮度值高于期望光強的區域有抑制效果，從而導致和其他算法相比，增強后的整體對比度偏低。但從主觀實驗結果已經看到，實際增強效果要優于其他算法。

表1 各類算法評價指標對比Tab. 1 Comparisons of evaluation indicators of different algorithms

5 結語

針對低照度圖像整體亮度低、光照不均勻等問題，本文提出一種新的圖像增強算法。本文的主要工作包括:提出了通過最大差值圖像結合交替引導濾波的方法估計光照分量；同時提出了針對低照度圖像的自適應伽馬變換。實驗結果表明，本文算法估計的光照分量十分準確，最終增強后的圖像在保證整體效果的同時，能夠有效抑制過亮區域，使結果呈現出更多的圖像細節，增強后的圖像平均梯度提升1 倍以上，信息熵提升14%以上，說明了本文算法的有效性和優越性。但目前的研究缺少對光照分量準確度定量的衡量方法，后續將重點針對這方面進行研究。同時本文算法增強后的圖像整體灰度值偏低，導致結果較暗，在后續研究中，重點考慮在保證目前增強效果的同時，進一步增強圖像亮度。