一種改進的色彩保持低照度圖像增強方法

遆曉光，曲悠楊

(哈爾濱工業大學控制與仿真中心，150080 哈爾濱)

一種改進的色彩保持低照度圖像增強方法

遆曉光，曲悠楊

(哈爾濱工業大學控制與仿真中心，150080 哈爾濱)

針對現有低照度圖像增強方法恢復結果存在的色彩失真問題，采用原用于圖像去霧領域的暗通道先驗方法，提出了一種基于暗通道先驗的低照度圖像增強方法.通過提取圖像的暗通道信息來獲得對應場景的光照強度分布圖;針對暗通道先驗原理導致的白色像素區域暗通道數值計算錯誤的問題，提出了一種通過計算像素的RGB三通道數值差值來判定錯誤區域方法，并給出了具體的錯誤修正方法;為了消除暗通道先驗產生的塊效應，對修改后的光照強度分布圖進行平滑;基于圖像每個像素點光照強度與標準光照強度的比例關系對原圖像的RGB三通道進行放大，實現色彩保持的圖像增強;與現有方法進行實驗對比分析，從恢復結果的色彩失真情況以及峰值信噪比等方面驗證了所提方法的有效性.

低照度圖像增強;暗通道先驗;色彩保持;圖像平滑

在夜間低照度條件下，采集圖像時周圍環境光照條件不佳以及采集圖像設備本身的問題都會對采集的圖像質量產生影響，使得到的圖像整體灰度值和對比度低，感興趣區域難以識別.另外，圖像中的一部分由于獲得光照不足或位于陰影區域導致灰度值較低，與背景融合在一起，使提取出原始圖像中這部分的信息出現困難.因此，增強低照度下圖像的亮度和對比度在民用如智能交通系統、智能安防系統、智能視頻監控等以及軍用中如成像偵察系統和成像制導中都具有重要的應用價值.

目前，已有很多種方法可以用來解決低照度圖像增強問題.如:直方圖均衡法、Retinex方法、MSRCR方法、空域彩色圖像增強方法［1］、梯度域圖像增強方法［2］、仿生彩色圖像增強方法［3］、基于照明-反射模型的同態濾波方法［4］、HDR方法等等.

局部直方圖均衡方法是先將圖像的每個像素的RGB通道按一個固定比例放大，然后以一個窗遍歷整個圖像，并在每個窗內進行直方圖均衡［5］.這種方法不僅運算量大，而且當圖像中同時存在較暗和較亮的區域時圖像增強的效果很差.Retinex方法是將圖像變換到對數域［6］，在對數域將圖像的照射光分量和反射光分量分離開，并根據圖像的反射光分量恢復圖像［7］，這種方法的缺點是很容易造成圖像的色彩失真.MSRCR［8］方法是在Retinex方法的基礎上加入了顏色恢復的功能.但是在實際應用中恢復的顏色參數需要手動調節.HDR方法是對同一場景連續拍攝多幅不同曝光量的圖像，利用每個曝光時間相對應最佳細節的圖像來合成最終的HDR圖像［9］.這種方法在拍攝時需要保持照相器材的穩定，拍攝時間較長，無法應用于實時圖像和視頻增強領域，而且對于全局亮度很低的圖像增強效果較差.

本文提出的改進色彩保持的低照度圖像增強方法，是基于單幅圖像，引入原用于圖像去霧領域的暗通道先驗［10］的思想，可獲得低照度圖像場景的光照強度分布，在增強圖像亮度和對比度的同時可很好地保持圖像色彩信息，具有處理速度快和復原圖像質量高的特點.同時對目前應用于去霧領域的暗通道先驗方法中存在的對于白色區域處理效果差的缺點進行了改進.

1 算法概述

低照度圖像本質上是由于場景光照強度較低產生的.而事實上在大多數低照度圖像中，光照分布不均將導致圖像中出現較亮的區域和較暗的區域，給圖像增強帶來了困難.為了恢復低照度圖像，我們希望放大較暗區域的像素值，保持較亮區域的像素值.這就要先獲得圖像的光照強度分布圖，根據每個像素點不同的光照強度進行不同系數的放大.準確的估計圖像的光照強度分布圖是方法的核心問題，是實現色彩保持的圖像增強的關鍵.在本文中引入原用于去霧領域的暗通道先驗方法來估計場景的光照強度分布，并對暗通道先驗原理中存在的問題進行了改進.

本文提出的色彩保持的低照度圖像增強方法包括以下步驟:

1)輸入圖像，并將其轉換到RGB彩色空間，獲得圖像的RGB三通道圖像;

2)計算圖像的RGB三通道圖像各像素點在RGB通道中的最小值，得到輸入圖像的暗通道圖像;

3)為了解決暗通道先驗原理對白色區域不適用的問題.對圖像中的白色區域進行判定，并修改白色區域像素的暗通道數值，得到初始光照強度分布圖;

4)對修改后的暗通道圖像進行線性平滑，以去除由于暗通道先驗原理產生的分塊效應，得到平滑后的光照強度分布圖;

5)根據像素點在平滑后光照強度圖像上的灰度與期望光照強度的比例關系，對圖像上不同的像素點的RGB三個通道進行增強，完成圖像增強.

2 暗通道圖像的獲得

獲得準確的光照強度分布圖是恢復低照度圖像的關鍵，本文將通過暗通道先驗的方法來獲得圖像光照強度分布圖.

在自然場景中，圖像可以被描述為［10］

其中:I是指觀測到的圖像;J是期望得到的場景的真實輻射值;A是光照強度分布圖;t用來描述光線通過媒介透射到照相機過程中沒有被散射的部分，低照度圖像增強的目標就是從I中復原J、A、t.為了獲得圖像的光照強度圖像，先要提取圖像的暗通道圖像.暗通道先驗是通過對正常光照下戶外圖像的觀察得出的，即在絕大多數非天空的局部區域里，某一些像素總會有至少一個顏色通道具有很低的值.對于一幅圖像I，定義它每個像素點的RGB三通道的最小值構成的圖像為Imin:

對應的暗通道圖像B為

其中:Q(i，j)為以像素I(i，j)為中心大小為N×N的圖像塊，(x，y)為Q(i，j)內的任意像素點.

經觀察得出，除了天空方位，在一片區域中總存在有一個像素的某個通道的數值很低且趨近于0.如果I是自然光照下的戶外圖像，把B稱為圖像I的暗通道圖像，并且把以上觀察得出的經驗性規律稱為暗通道先驗.暗通道值的產生主要有3個因素:

1)汽車、建筑物和城市中玻璃窗戶的陰影，或者是樹葉、樹與巖石等自然景觀的投影;

2)色彩鮮艷的物體或表面，在RGB的3個通道中有些通道的值很低;

3)顏色較暗的物體或者表面，例如灰暗色的樹干和石頭.

總之，自然景物中到處都是陰影或者彩色，這些景物的圖像的暗通道值總是很低的.可以根據這個原理估計低照度條件下的圖像光照強度分布.

根據式(2)、(3)可以獲得低照度圖像I的暗通道圖像B.根據式(1)可得

因為Jdark(i，j)約等于0，故公式(4)等價于

本文不討論雨霧帶來的影響，對于室內和街道等景深基本一致的場景可以認為t是一個不變的常數.故可以獲得低照度圖像的光照強度部分圖 A，即

可知對于圖像I，光照強度分布圖A與暗通道圖像B存在大小為固定系數1-t的比例關系.如何獲得準確的暗通道圖像B將是準確估計圖像光照強度分布的關鍵.由于t會在后續計算中被約去，故不需要進行估計.

3 白色圖像區域暗通道數值的修正

上一節已經獲得了圖像的暗通道圖像，但是在獲得的暗通道圖像中，明顯有一些區域灰度值較高，不符合暗通道圖像與光照強度分布圖成固定比例的情況，這將造成圖像光照分布圖的估計錯誤.為了獲得準確的暗通道圖像，在這一節將對這些區域進行研究，并提出判定和修改暗通道數值的方法.

3.1 白色區域的定義

實驗中發現暗通道先驗原理對于絕大部分的顏色區域都是適用的，但是由于白色像素的RGB三通道數值比例大致為1∶1∶1，白色區域的像素的RGB三通道強度值非常接近，并不存在1個明顯的數值接近0的通道.所以暗通道先驗原理對于圖像中的一些白色區域，如白色的墻壁、白色的物體等并不適用，這就會導致獲得的白色區域的暗通道圖像出現錯誤.而暗通道圖像的數值的不準確就會導致光照強度分布圖的估計錯誤，從而影響低照度圖像增強質量，這就需要對圖像中的白色區域進行判定，并對白色區域對應的暗通道圖像的數值進行修正.

在圖1為原圖像與其所對應的初始暗通道圖像，圖1(b)所示的白圈內的區域即為暗通道圖像中暗通道數值被誤判的區域.在原圖中，顯然白圈圈出的區域和其附近區域的光照強度相同，而在暗通道先驗得到的結果中則與附近區域有明顯區別.這將導致這部分圖像在增強后出現色彩失真的問題.通過對圖像中白色區域像素的RGB三通道數值進行分析，可以發現白色區域的像素I(k，l)具有以下兩個特點:

1)IR(k，l)、IG(k，l)、IB(k，l)3 個數之間數值較為接近;

2)B(k，l)數值較大.

圖1 原圖像對應的暗通道圖像

3.2 白色區域的判定及暗通道數值修正

為了修正誤判的白色區域暗通道圖像的數值，必須先要對白色區域進行判定，可采用如下方法.

對于已經獲得的暗通道圖像B，計算B的最大灰度值Bmaxgray以及B的平均灰度值Bmeangray:

其中w、h分別為圖像I的寬和高.提取圖像的RGB三通道圖像IR、IG、IB，并對它們兩兩做差，取絕對值的最大值記為S.對于圖像的所有像素點，如果 S(i，j)≥10，B(i，j)≥ Bmeangray且 B(i，j)≤Bmaxgray/2，則像素點I(i，j)被判定為白色區域.對于所有判定為白色區域的像素，將其在暗通道圖像B上對應的值修改為Bmeangray，修改后的暗通道圖像記為D.由于圖像I中存在的噪聲，在判定白色區域過程中出現的一些誤判的點，這些點會在之后的圖像平滑過程中得到修復，不會影響恢復后圖像的質量.

綜上所述，白色區域判定及其暗通道數值修正的步驟為:

1)獲得圖像的RGB三通道圖像IR、IG、IB.

2)計算圖像中每個像素I(i，j)三通道間的最大差值 S(i，j).

3)對于圖像中每個像素I(i，j)判定是否滿足白色區域的條件.

4)修改判定為白色區域的像素所對應的暗通道數值.

在修正了暗通道圖像中白色區域的數值以后，獲得了圖像的初始光照強度分布圖D.

4 初始光照強度分布圖的平滑

在上一節中獲得了低照度圖像初始光照強度分布圖，但是由于暗通道圖像的求取是對于每個像素點在一個以其為中心的窗內取最小值的計算，當存在一像素點其某一通道的數值極小時，包含這一像素點的所有窗對應的像素點的暗通道數值都將為這一極小值，于是就產生了分塊特性.而實際上光照強度在某一局部區域應該是平滑過渡的，為了使恢復的光照強度圖像均勻過渡還需要對初始光照強度分布圖D進行線性平滑，得到平滑的光照強度圖像E.在文獻［10］中，采用了一種軟摳圖算法(soft matting)來完善透射率分布函數，這個方法的問題在于需要求解稀疏線性系統，導致計算量非常大，嚴重的影響了算法的運行速度，本文采用線性近似的方法來代替軟摳圖算法.

4.1 圖像平滑的要求

初始光照分布圖的平滑需要滿足兩個要求:

1)對于暗通道圖像中灰度數值變化不明顯的低頻區域要起到平滑的作用;

2)對于暗通道圖像中灰度數值變化明顯的高頻區域要起到保持的作用，保證不會模糊邊緣的信息.

4.2 線性近似平滑

為滿足以上要求，對于圖像I上的每一點，對以其為中心，大小為 M ×M的窗 Wk(k=1，2，…，w×h)內的所有像素以如下公式進行線性近似［11］:

其中M的大小根據輸入圖像的大小w×h確定，對于同一個圖像，M應略小于求取暗通道圖像時使用的窗的大小N的值，可以使用公式M=N-2來計算M的數值.在M的數值大小確定后，線性近似的結果將由近似參數ak，bk決定.當ak，bk的數值發生變化的時候，線性近似的結果E也會發生變化.E和D之間的差由下面公式求得:

其中ε是一個非常小的常數用來防止ak過大.通過求取R(ak，bk)的最小值的方法來確定線性近似的參數 ak，bk.

4.3 線性平滑參數的求取

使用線性回歸的方法解出R(ak，bk)的最小值為

當R(ak，bk)為最小值時，對于低頻區域，D與uk近似相等.線性近似參數ak，bk的求解結果將趨近于 ak=0，bk=uk，E=uk，即對窗內所有像素灰度值進行平均;對于高頻區域，線性近似參數ak，bk的求解結果將趨近于ak=1，bk=0，E=D.即保持窗內所有像素的原有灰度值，滿足了暗通道圖像線性近似的要求.

在求得所有的窗Wk的線性近似解ak、bk以后，由于一個像素可能會同時存在于很多個窗內，在獲得最后的平滑結果時，應該取所有包含該點的窗Wk的ak、bk的平均值用于計算，即

平滑后的光照分布圖如圖2所示.由圖2可以看出在保持細節的前提下，不但有效地去除了分塊效應，而且對暗通道數值出現錯誤的區域也進行了修正，獲得了可以用于進行低照度圖像增強的光照強度分布圖.

圖2 平滑后的光照強度分布

5 低照度圖像的增強

在獲得了平滑的光照強度分布圖以后，即可以對低照度圖像進行增強.與普通的圖像恢復不同，對于低照度圖像更關注如何使恢復的圖像具有良好的視覺效果而不僅僅是恢復所獲的圖像場景［12］.

5.1 標準光照強度的獲得

本文采用的方法是對圖像上每個像素點光照強度進行調整.希望把低照度圖像恢復到原場景在均勻的強度較高的光照下的圖像，來減小場景光照不均勻以及光照不足的影響.恢復后的均勻照射下的場景光照強度稱為期望光照強度.

為了獲得圖像所對應的期望光照強度，對大量低照度圖像的光照強度分布圖的直方圖進行分析，發現他們具有比較類似的分布，即圖像像素主要分布于低灰度值區域.并且隨著灰度值的增大，像素分布逐漸減少.由于強光照區域的存在，在某些較大的灰度區域存在較多的像素分布.在大量實驗中發現，圖像中細節清晰且比較容易辨識的區域所對應的光照強度值有如下特點:1)光照強度值大致位于光照強度分布圖上接近于低灰度值區域;2)低照度圖像中這些低灰度值對應的像素數量約為總像素數量的1%.針對這一特點，使用下面的方法獲得期望光照強度Id，即在光照強度分布圖的直方圖上，所有像素個數小于w×h/100的灰度值中最小的一個灰度值被選擇作為期望光照強度(適用條件為w×h＞10 000).

5.2 圖像的增強

在獲得了期望光照強度以后，根據像素點的光照強度與期望光照強度的比例關系，對低照度圖像I中每個像素點的RGB 3個通道的灰度值進行不同大小的放大，即可得到增強后的圖像.具體低照度圖像增強公式為

其中:J為增強后的低照度圖像，P是圖像增強的比例系數.P的取值與原場景的光照強度為反比例關系.當原場景中平均光照強度較低時，需要對圖像的各通道進行較大系數的放大，這時P應為較大的值.當原場景中平均光照強度較高時，需要對圖像的各通道進行較小系數的放大，這時P應為較小的值，即P×Bmeangray為一常值.為了確定這一常值的大小，對8:00至16:00期間獲取的300幅室內外自然光照圖像的P×Bmeangray值進行了計算，發現實驗中P×Bmeangray的平均值大致為9.即P的取值方法為

對于一般的夜間場景(即Bmeangray=1.1～1.2時)P的大小為7～8.

6 實驗對比

6.1 實驗說明

為了驗證本文方法的可行性和有效性，本節將從圖像增強視覺效果、峰值信噪比及運算時間等方面與局部直方圖方法、Retinex方法、MSRCR方法和HDR方法進行比較.實驗用圖像大小為600×800.實驗平臺采用處理器為Inter Core 2.20 GHz、內存為3 GB，運行Windows XP的PC機，編程語言為Matlab2011b.

6.2 實驗結果及對比分析

為了獲得有效的實驗結果，對于室外場景在18:00到21:00的時間范圍內每3 min進行一次場景圖像采集，并對這60幅圖片進行對比實驗.對于室內場景也采集了超過100幅圖片進行實驗.在下面給出了幾組具有代表性的例子.圖3給出了對于低照度室外場景圖像分別采用局部直方圖均衡方法、Retinex方法、MSRCR方法以及本文提出的方法進行增強后的對比結果.在圖4中給出了針對低照度室內場景本文方法與上述三種方法進行圖像增強后的實驗對比結果.表1為針對低照度室外場景，本文方法與其他三種方法進行圖像增強后的平均峰值信噪比(PSNR)對比結果.表2為針對低照度室內場景，本文方法與其他三種方法圖像增強后平均峰值信噪比對比結果.表3為分別針對低照度室內和室外場景，本文方法與其他三種方法進行圖像增強平均運行時間的對比結果.

圖3 室外場景低照度圖像增強的效果

表1 室外場景平均峰值信噪比對比 dB

圖4 室內場景低照度圖像增強的效果

表2 室內場景平均峰值信噪比對比 dB

表3 室內外場景平均運行時間對比 s

從圖3、4可以看出，局部直方圖均衡方法很大程度合并了圖像的灰度級，一定程度上造成了圖像的模糊，而且可以看出色彩失真現象非常明顯.采用Retinex方法進行低照度圖像增強，增強圖像存在著明顯的色彩失真和噪聲大的問題.MSRCR方法用于低照度圖像增強，雖然可以突出圖像場景邊緣信息，但是也有很明顯的色彩失真情況.增強圖像中的大部分景物失去了原有的色彩，而且MSRCR方法中用于顏色補償的參數需要手動設置，設置不當也會影響圖像增強的效果.而采用本文的方法增強的圖像在色彩保持方面明顯優于其他三種方法，丟失的色彩信息較少.

從表1和表2中可以看出本文方法的低照度圖像增強結果的峰值信噪比要遠高于其他三種方法的峰值信噪比，說明本文方法失真程度遠低于其他兩種方法.從表3可以看出，本文方法進行低照度圖像增強相對其他三種方法在運行時間方面也有了較明顯的提高.

圖5給出了原始低照度圖像分別采用HDR方法及本文提出的方法進行增強后的對比結果，表4為兩種方法的峰值信噪比對比結果.

圖5 本文方法與HDR方法對比

表4 圖5中兩種方法的峰值信噪比對比 dB

從圖5以及表4中可以看出與HDR方法相比，本文方法對圖像增強的結果具有更高的亮度和對比度，而且圖像整體顏色更接近于真實圖像.在色彩保持的前提下，實現了圖像亮度和對比度的提升.同時在進行低照度圖像增強時，HDR方法需要連續拍攝3到5幅圖片才能完成圖像增強的工作.在此期間如果攝像器材發生輕微移動都會導致圖像增強的結果出現模糊，從而對于攝像器材以及拍攝者的要求都比較高，而本文方法則不存在這一問題.

圖6給出了加入暗通道修正前后的對比實驗處理結果.從圖6中可以看出，在未經白色區域暗通道數值修正之前，白圈內的區域在增強后顏色出現了嚴重的失真.而經過暗通道數值修正以后，增強后的圖像色彩與原圖像保持一致，解決了色彩丟失的問題.

圖7給出了拍攝圖像期間攝像器材發生移動，HDR和本文方法進行低照度圖像增強的對比結果.

由圖7可以看出，當攝像器材發生移動時，使用HDR方法獲得的增強圖像出現了極大的圖像模糊和對比度低的問題，而本文方法則能在保證圖像亮度和對比度的前提下較好地實現圖像增強.

圖6 加入暗通道修正前后結果對比

圖7 攝像器材移動情況下本文方法與HDR方法的對比

7 結語

針對夜間及低光照場景中存在的圖像亮度、對比度低的問題，基于暗通道先驗原理，本文提出了一種具有色彩保持的可單幅圖像實現的低照度圖像增強的方法.實驗結果表明，該方法不但可高質量的增強低照度圖像，而且具有運算速度快和易于實現的特點，恢復后的圖像更方便人眼以及機器進行識別.本文方法可以用于智能視頻監控系統以及可見光成像導彈夜間目標捕捉，對于提高夜間環境下的目標檢測識別準確率具有重要作用.

［1］WAKIMOTO K，KANAZAWA Y，OHTA N.Color image enhancement for Dichromate by additive image noise［J］.IPSJ Transactions on Computer Vision and Applications，2013，5(1):45－49.

［2］許欣，陳強，孫懷江，等.基于梯度域融合的圖像視覺效果改善［J］.中國圖象圖形學報，2011，16(2):278－286.

［3］王守覺，丁興號，廖英豪，等.一種新的仿生彩色圖像增強方法［J］.電子學報，2008，36(10):1970－1973.

［4］張曉宇，胡士強.基于同態濾波抑制光照變化的視頻分割算法［J］.模式識別與人工智能，2013，26(1):99－105.

［5］劉松濤，王維，殷福亮.基于動態廣義直方圖均衡的紅外圖像增強方法［J］.系統工程與電子技術，2010，32(7):1411－1414.

［6］汪榮貴，朱靜，楊萬挺，等.基于照度分割的局部多尺度 Retinex算 法 ［J］. 電 子 學 報，2010，38(5):1181－1186.

［7］JANG C Y，LIM J H，KIM Y H.A fast multi-scale Retinexalgorithm using dominantSSR in weights selection［C］//The 2012 InternationalSoC Design Conference (ISOCC). Piscataway: IEEE，2012:37－40.

［8］WANG G Z，HE G J.A modified multi scale retinex with color restoration algorithm for automatic enhancement of landsat-5 remote sensing image［J］.Advanced Materials Research，2012，341:893－897.

［9］BYOUNG-JY YuN， HEE-DONGH. A contrast enhancement method for HDR image using a modified Image formation model［J］.IEICE Transactions on Information and Systems，2012，95(4):1112－1119.

［10］HE K，SUN J，TANG X.Single image haze removal using dark channel prior［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33(12):2341－2353.

［11］HE K M，SUN J，TANG X O.Guided image filtering［J］.IEEE Transactionson Pattern Analysisand Machine Intelligence，2013，35(6):1397－1409.

An improved low illumination image enhancement algorithm with color preserving

DI Xiaoguang，QU Youyang
(Control and Simulation Center，Harbin Institute of Technology，150080 Harbin，China)

To solve the problem of color distortion existing in low illumination image enhancement method，a novel low illumination image enhancement method based on dark-channel prior with the capability of preserving scene color is presented.First，the intensity of every image pixel with dark-channel prior is estimated directly，and for dealing with wrong dark-channel values in white region，the regions with wrong grey values by calculating the minimum difference value of the RGB channels and correct the dark-channel values of the regions are founded.Then，a linear smoothing method is used to refine the block effect caused by darkchannel prior，and the enhanced image is achieved by scaling up the pixel intensity according to its value in dark-channel image.Finally，by comparing with the existing low illumination image enhancement method，the effectiveness of our method with better color preserving capability and higher PSNR is proved.

low illumination image enhancement;dark-channel prior;color preserving;image smoothing

TP394.1

A

0367－6234(2014)03－0001－07

2013－09－27.

國家自然科學基金資助項目(61174202);中央高?；究蒲袠I務費專項資金資助項目(HIT.NSRIF 201163);黑龍江省博士后科研啟動金資助項目(LBHQ10078).

遆曉光(1972—)，男，博士，副教授.

遆曉光，dixiaoguang@hit.edu.cn.

(編輯 張 宏)