基于暗通道的沙塵圖像增強算法

孫啟隆, 于 萍, 司振惠, 郭 鑫, 王 巖

(1. 吉林師范大學 管理學院, 吉林 四平 136000; 2. 吉林師范大學 計算機學院, 吉林 四平 136000)

由于沙塵中含有大量灰塵和沙土等雜質, 因此導致沙塵環境下拍攝的圖像質量嚴重下降, 主要表現為圖像顏色偏黃、 噪聲大和可見度低等, 很難清晰識別圖像中的目標, 尤其在道路監控方面, 極易導致交通事故. 目前, 計算機視覺領域中已有很多增強沙塵圖像清晰度的算法[1-6], 這些算法有的利用調優模糊算子處理沙塵圖像, 有的則通過分析沙塵圖像的直方圖調整圖像色差, 雖然這些算法都提高了沙塵圖像的清晰度, 但仍存在以下局限： 1) 對于沙塵較重的圖像去除色差不徹底; 2) 增強后的圖像局部區域噪聲被放大; 3) 處理包含天空區域的沙塵圖像時, 天空區域易出現光暈現象; 4) 對沙塵圖像的過度增強, 導致圖像出現色彩失真和細節模糊等現象. 針對以上局限, 本文提出一種新的圖像增強算法. 該算法主要分為調整圖像色差和提高圖像清晰度兩部分, 前者主要通過在Lab色彩空間利用灰度世界算法消除色差; 消除色差后的沙塵圖像與有霧圖像相似, 所以后者主要以消除光暈效果的暗通道算法為基準, 并改進其對大氣光的錯誤估計方法, 然后利用伽馬校正以及圖像加權融合等算法綜合處理圖像. 實驗結果表明, 該算法有效解決了傳統算法存在的不足, 提高了沙塵圖像的質量和清晰度.

1 算法簡介

基于暗通道的沙塵圖像增強算法主要步驟如下.

1) 調整沙塵圖像色差： 將輸入圖像轉換到Lab色彩空間, 運用灰度世界算法調整色彩分量a和b的值, 進而解決沙塵圖像色差問題, 在Lab色彩空間調整色差可解決圖像因色差去除不徹底導致的色彩失真問題.

2) 伽馬校正： 伽馬校正可減少圖像亮度和對比度, 避免了去霧后的圖像存在過度曝光和局部區域有噪聲的問題.

3) 減少光暈效果的暗通道去霧算法： 該算法通過對透射率的正確估計, 解決了圖像天空區域出現光暈和失真的問題, 同時針對原算法中對大氣光的錯誤估計方法進行了修正.

4) 亮度補償： 減少光暈效果的暗通道算法通常會降低圖像亮度, 不利于顯示圖像細節, 所以提高圖像的亮度通道L(Lab色彩空間中用L表示亮度通道), 以提高圖像的可見度.

5) 增強對比度： 暗通道去霧后的圖像不僅亮度較低, 而且對比度也較低, 所以利用限制對比度自適應直方圖均衡化(contrast limited adaptive histogram equalization, CLAHE)算法提高圖像對比度.

6) 圖像加權融合： CLAHE算法處理圖像時易出現偽影和光暈等現象, 所以將其與亮度補償后的圖像進行融合, 既能消除光暈等現象, 又能提高圖像的對比度. 實驗結果表明, 本文算法不僅可以解決圖像色差和失真等問題, 而且也提高了圖像的亮度和對比度. 本文算法的流程如圖1所示.

圖1 基于暗通道的沙塵圖像增強算法流程Fig.1 Flow chart of dust image enhancement algorithm based on dark channel

2 調整圖像色差

灰度世界算法[7]通過使圖像3個通道的平均值相等, 從而使圖像呈灰白色, 并且不會改變原圖像中物體的顏色, 該算法適用于調整各種有色差的圖像. Ancuti等[8]曾用灰度世界算法處理水下圖像, 去除了水下圖像中多余的藍綠色調, 使增強后的圖像色彩更自然. 沙塵圖像和水下圖像相似, 水下圖像由于藍光的波長短, 在水中吸收衰減系數小, 所以水下圖像大多呈藍青色. 而沙塵圖像由于其含有大量沙土等雜質, 在光的反射下圖像色調整體偏黃, 故可用灰度世界算法處理沙塵圖像.

Lab色彩空間由亮度L和相關色彩的分量a,b組成, 其中亮度分量和色彩分量是獨立的, 可以單獨處理并且彼此間不會產生影響, 這種優勢是RGB色彩空間不具備的. 此外, 相比RGB色彩空間, Lab色彩空間不僅有更寬闊的色域, 且其能顯示RGB色彩空間不能顯示的顏色, 人類肉眼可見的顏色通過Lab色彩空間能全部展現, 由于RGB空間3個分量不是獨立的, 因此處理圖像時易出現色彩失真現象. 分別在RGB和Lab色彩空間調整色差后的增強圖像對比結果如圖2所示. 由圖2可見： 在RGB色彩空間調整色差后得到的圖像(B)整體色調仍有些偏黃， 天空區域偏藍， 出現了顏色失真現象; 而在Lab色彩空間調整色差后的圖像(C)， 色差問題基本得到了解決， 沙塵圖像偏暗黃的色調基本被去除， 圖像的清晰度也有提高. 所以, 本文在Lab色彩空間調整沙塵圖像色差. 過程如下：首先將圖像從RGB色彩空間轉換到Lab色彩空間, 分離出色彩分量a和b, 然后用灰度世界算法分別對其補償, 最后再將圖像從Lab色彩空間轉換回RGB色彩空間.

圖2 不同色彩空間的色差校正結果Fig.2 Chromatic aberration correction results of different color spaces

設A和B分別表示調整色差后的分量a和b,Ga和Gb分別表示分量a和b的平均值, 則用灰度世界算法補償色彩分量a和b的表達式[6]為

A=a-Ga,

(1)

B=b-Gb.

(2)

3 算法設計

3.1 伽馬校正

伽馬校正對圖像色調的調解是非線性的, 通過調整校正參數值可改變圖像高/低光的局部動態范圍, 進而改變圖像的對比度和亮度.當校正參數值大于1時, 低光局部范圍被放大, 圖像色彩整體偏暗, 而圖像細節將被放大; 當校正參數值小于1時, 高光局部范圍被放大, 圖像色彩整體明亮, 圖像細節模糊.其數學表達式為

LI=Is,

(3)

其中LI表示伽馬校正后的圖像,I表示調整色差后的圖像,s為校正參數.

減少光暈效果的暗通道算法在圖像色彩方面普遍存在過度增強的問題, 從而導致圖像出現失真和噪聲等現象.通過調整伽馬校正參數擴展圖像低光局部范圍可解決上述問題, 實驗結果如圖3所示, 其中(E)為LI經過減少光暈效果的暗通道去霧算法處理后的增強圖像.由圖3可見, 與圖3(D)相比, 圖3(E)有效避免了色彩失真現象以及噪聲的出現, 圖像細節更清晰. 為更好地觀察圖像細節, 將圖3(A)中黑色框內圖像局部區域放大, 細節對比結果如圖4所示, 其中圖4(A)～(D)分別對應圖3(A),(D),(E)和(F)的細節. 由圖4可見, 圖4(B)出現了嚴重的色彩失真, 進而導致圖像出現噪聲； 而圖4(C)的細節更清晰, 圖像在色彩方面也未出現過度增強現象; 圖4(D)由于提高了圖像亮度, 其清晰度更高, 圖像的色彩也更明亮自然.

圖3 伽馬校正圖像前后對比結果Fig.3 Comparison results before and after gamma correction images

圖4 圖3中伽馬校正圖像的細節對比Fig.4 Detail comparison of gamma correction images in Fig.3

3.2 減少光暈效果的暗通道算法

圖像去霧算法主要分為基于大氣散射模型和非大氣散射模型兩個類型, 基于暗通道的去霧算法屬于前者, 大氣散射模型表達式為

I(x)=J(x)t(x)+A(1-t(x)),

(4)

其中I和J分別表示需要增強的模糊圖像和清晰圖像,t和A分別表示圖像的透射率和全局大氣光,x表示圖像像素點的坐標.式(4)可視為一個線性方程, 其中已知量有且僅有一個I, 其他3項都是需要求解的未知量.使用暗通道成功解決了上述問題, 暗通道來源于I, 而t和A又可以根據暗通道求解, 所以,J也可求解.

3.2.1 暗通道

He等[9]提出了基于暗通道的去霧算法, 通過觀察和統計大量戶外圖像發現： 圖像在局部區域(除天空區域外), 某些像素在對應的顏色通道中, 至少在一個通道中的像素強度值較低, 其值接近零, 并將其稱為圖像的暗通道, 求解圖像暗通道的表達式為

(5)

其中r,g,b分別表示輸入圖像J的3個顏色通道,Ω(x)表示像素點x周圍鄰域像素的集合區域.

3.2.2 求解大氣光的改進方法

He等[9]利用暗通道求解大氣光, 其過程為： 首先挑選有霧圖像暗通道中最亮的0.1%像素估計大氣光, 然后求其在圖像三通道中的坐標并記錄, 最后分別求解三通道中的最大值, 作為圖像的大氣光. 這種方法的缺點是易錯將圖像中白色物體或者高光區域對應的像素值作為大氣光值, 導致去霧后圖像亮度降低, 所以本文將三通道大氣光值的平均值作為全局大氣光, 其表達式為

A=[M;M;M],

(6)

其中M為三通道大氣光值的平均值,A為圖像最終的大氣光.

3.2.3 透射率的求解與優化

若大氣光已知, 則透射率的求解就會變得簡單, 根據式(4)、 清晰圖像J的暗通道值接近零以及局部最小值濾波可得到粗略透射率的表達式為

(7)

其中參數ω=0.95, 其主要作用是保留圖像部分霧, 使圖像視覺不失真.

對透射率的優化有兩種方式： 軟摳圖和引導濾波[10].前者雖然效果較好, 但復雜度極高, 算法運算效率較低.而后者不僅優化速度快, 并且其保護圖像邊緣能力強, 所以本文對透射率的優化使用引導濾波方法, 其表達式為

Gt=GF(I,t,r,ε),

(8)

其中Gt和GF分別表示優化后的透射率和引導濾波函數, 引導圖像I在本文算法中為經過調整色差和伽馬校正預處理后的圖像, 引導參數r和ε分別表示濾波窗口和正則化, 其取值在多數實驗中分別設為32和0.01.

3.2.4 重估透射率求解清晰圖像

將求解出的大氣光A和優化后的透射率Gt代入式(4), 可求出清晰圖像, 同時設參數t0=0.1, 防止Gt為零, 增強圖像J(x)的表達式為

(9)

He算法存在對透射率的估計不準確, 導致處理包含天空區域圖像時, 易出現光暈現象等缺陷, 為解決該問題, 蔣建國等[11]通過設置容差值K的方法, 最后得到增強圖像的表達式為

(10)

在式(10)中, 如果|I(x)-A|

3.3 亮度補償

由圖3可見, 經過伽馬校正和減少光暈效果的暗通道去霧后的圖像(E), 明顯存在亮度較低的問題, 所以需要進一步提高圖像亮度. 對于圖像亮度的增強與調整圖像色差相同, 均在Lab色彩空間進行. 對亮度通道L的補償公式為

l=L×m1,

(11)

其中:l為調整亮度后的L;m1為補償參數, 是一個常數, 當m1>1時, 提高圖像亮度, 當m1<1時, 降低圖像亮度.提高亮度后的圖像如圖3(F)所示, 明顯可見圖像的細節更清晰, 色彩更貼近于原圖像.

3.4 限制對比度自適應直方圖均衡化算法

直方圖均衡化算法是對圖像全局對比度的增強, 通常會導致圖像局部信息丟失.自適應直方圖均衡化算法先將圖像分成M×N大小的局部子區域, 再對每個子區域進行直方圖均衡化, 以改善傳統直方圖均衡化的不足, 但其缺點是使圖像噪聲放大.為解決該問題, 人們提出了限制對比度自適應直方圖均衡化算法, 其能通過對局部直方圖高度的限制減少圖像噪聲的放大以及限制圖像局部區域對比度的過度增強.

減少光暈效果的暗通道算法雖可去除圖像表面的模糊特征, 但圖像的對比度還有待提高, 所以對暗通道算法處理后的圖像進行限制對比度自適應直方圖均衡化處理, 以進一步提高圖像的對比度.

3.5 圖像加權融合

圖5為圖像融合處理對比結果.由圖5(A)可見, 在圖像對比度得到提高的同時, 圖像的清晰度也得到了提高, 圖像色彩更明亮. 由圖5(B)可見, 雖然圖像的對比度得到了提高, 但在圖像的遠處出現了輕微的偽影現象, 并且通過實驗發現, 限制對比度自適應直方圖均衡化算法處理包含天空區域的沙塵圖像時易出現光暈現象. 為解決該問題, 將亮度補償后的圖像與CLAHE算法處理后的圖像進行加權融合, 在保障圖像清晰度的同時避免圖像出現偽影和光暈等現象, 實驗結果如圖5(D)所示. 由圖5(D)可見, 融合后的圖像不僅消除了圖像景深處(即圖像的遠處)的偽影, 而且圖像的亮度也得到進一步提高, 并且與亮度補償后的圖像相比, 圖像的清晰度也得到了提高. 圖像融合表達式為

E=λH+(1-λ)C,

(12)

其中E表示融合后的圖像,λ表示融合系數,H表示亮度補償后的圖像,C表示增強對比度后的圖像.

圖5 圖像融合處理對比結果Fig.5 Comparison results of image fusion

4 實驗結果與分析

在普通PC機上進行實驗, 實驗環境為： 操作系統Windows 7.0, 處理器為AMD AthlonTMⅡ X4 640 Processor 3.00 GHz, 系統內存為4 GB, 算法運行的軟件為MATLAB R2016a. 經過大量實驗測試, 設s=1.2,m1=1.5,λ的取值范圍為0.5～0.9, 其中λ值不固定的原因為對于不同的沙塵圖像, 算法并不具有相同的處理效果.

為證明算法的可行性, 將本文算法與文獻[4-6]的算法進行比較, 實驗中選取的圖像主要來源于網絡和文獻[6], 圖像名稱分別為Build.jpg,Dusk.jpg,Lou.jpg和House.jpg, 圖像的統一特點是都包含天空區域, 是為驗證算法是否在天空區域出現光暈現象. 算法的評價主要從視覺效果和客觀參數方面進行綜合評價, 不同算法的視覺效果如圖6和圖7所示. 客觀參數選取廣泛使用的峰值信噪比(peak signal-to-noise ratio, PSNR)和結構相似度(structural similarity, SSIM). PSNR表示圖像失真的程度, 其值越大, 圖像失真越小. PSNR的表達式為

(13)

(14)

其中m和n分別為圖像的長和寬,I表示增強后的圖像,P表示原圖像, MSE為均方誤差, MAX=255. 式(13)和式(14)是針對灰度圖像的方法, 處理彩色圖像時, 需將其轉換到YCbCr色彩空間, 計算亮度分量Y的PSNR值即可.

圖6 不同算法對Build.jpg的實驗結果對比Fig.6 Experimental comparison results of Build.jpg by different algorithms

圖7 不同算法對Dusk.jpg的實驗結果對比Fig.7 Experimental comparison results of Dusk.jpg by different algorithms

SSIM表示兩幅圖像在結構上的相似程度, 其值越大, 圖像間的相似程度越高. SSIM主要通過對比兩幅圖像的亮度l、 對比度c和結構s綜合評價, 其表達式為

c1=(0.01T)2,c2=(0.03T)2,c3=c2/2,

(18)

其中x,y表示圖像像素的坐標,I表示增強后的圖像,P表示原圖像,μI和μP分別為I和P的平均值,σI和σP分別表示I和P的方差,σIP為I和P的協方差,T為像素值的范圍.SSIM的表達式為

(19)

沙塵圖像雖存在色差問題, 但圖像的結構和紋理較清晰, 所以可用其評價算法恢復圖像整體結構的效果. 客觀評價參數結果列于表1和表2.

表1 圖6的客觀評價參數值

表2 圖7的客觀評價參數值

由圖6可見： 文獻[4-6]中算法在圖像天空區域均出現了不同程度的色彩失真, 文獻[4]的算法由于未徹底解決沙塵圖像的色差問題, 增強圖像不僅出現了嚴重的色彩失真, 而且也降低了圖像的可見度, 而文獻[5]和文獻[6]的算法雖然解決了沙塵圖像的色差問題, 但增強后的圖像局部區域存在過度曝光現象, 文獻[5]算法過度曝光的結果導致圖像色彩過度增強, 而文獻[6]的算法則由于過度曝光問題導致圖像表面有些模糊, 清晰度較低; 本文算法有效避免了天空區域出現失真現象, 并解決了圖像色差問題, 并且在亮度和色彩增強方面不存在過度曝光或者低曝光等現象. 由圖7可見： 文獻[4]算法增強后的圖像整體色調仍然偏黃， 圖像的色彩過度增強, 并且圖中新娘的頭紗部分區域也存在細節丟失現象； 文獻[5]和文獻[6]的算法在圖像天空區域都出現了不同程度的光暈現象, 并且圖像部分區域存在噪聲, 圖像中攝影師臉的周圍也出現了不同程度的色彩失真現象; 文獻[4-6]算法增強后的圖像, 無論是在色彩方面還是清晰度方面的效果都弱于本文算法. 由表1和表2可見, 本文算法PSNR和SSIM參數值均明顯高于對比算法, 表明本文算法在降低圖像失真和結構恢復方面效果均較好.

為證明融合算法的有效性, 以圖6和圖7中圖像為例, 將融合前后圖像的客觀參數進行對比, 實驗結果列于表3. 由表3可見, 融合后圖像的客觀參數值明顯提高, 證明了融合算法的有效性.

表3 圖像融合前后客觀參數的對比

為進一步證明增強算法的魯棒性, 將本文算法與文獻[12-14]中的經典去霧算法進行比較, 圖像評價仍選取視覺評價和客觀參數評價相結合. 為客觀評價, 圖像統一使用調整色差后的沙塵圖像, 視覺效果如圖8和圖9所示, 客觀評價參數結果列于表4和表5.

圖8 不同算法對Lou.jpg的實驗對比結果Fig.8 Experimental comparison results of Lou.jpg by different algorithms

圖9 不同算法對House.jpg的實驗對比結果Fig.9 Experimental comparison results of House.jpg by different algorithms

表4 圖8的客觀評價參數值

表5 圖9的客觀評價參數值

由圖8可見, 文獻[12]的算法雖然處理的是調整色差后的沙塵圖像, 但去霧后的圖像仍出現了色彩失真現象, 增強后的圖像整體色彩偏暗； 文獻[13]和文獻[14]的算法雖然未出現失真, 但在天空區域均出現了輕微的光暈現象, 并且在圖像色彩方面過度增強, 導致圖像細節模糊; 本文算法不僅有效避免了光暈現象, 而且對圖像細節和色彩恢復方面的恢復與原圖像最相似. 由圖9可見： 文獻[12]算法雖然增強了圖像的可見度, 但圖像依然存在色差問題, 導致圖像中樹木區域細節模糊； 文獻[13]、 文獻[14]和本文算法都有效解決了光暈和色差問題, 但文獻[13]和文獻[14]算法的圖像亮度低于本文算法, 導致圖像可見度降低； 本文算法有效避免了上述問題, 在有效消除色差的同時提高了圖像的可見度. 由表4和圖8可見, 文獻[12-14]算法的PSNR和SSIM值均低于本文算法. 由表5和圖9可見, 本文算法無論是在視覺效果方面, 還是在客觀評價方面, 都高于其他去霧算法, 證明了本文算法的魯棒性.

綜上所述, 針對沙塵圖像不同于傳統的有霧圖像或低照度圖像, 除可見度和對比度較低外, 該類圖像還普遍存在色差, 而傳統圖像增強算法通常會導致圖像出現色彩失真和光暈現象等問題, 本文通過在Lab色彩空間用灰度世界算法調整色差有效避免了圖像出現色彩失真現象, 用伽馬校正函數和減少光暈效果的暗通道去霧算法避免了圖像出現噪聲、 色彩過度增強和光暈等現象, 最后將亮度補償后的圖像與對比度增強后的圖像進行加權融合, 進一步提高了圖像的可見度, 使圖像細節更清晰可見. 實驗結果表明, 本文算法可有效去除沙塵圖像色差, 提高圖像的亮度和清晰度, 減少光暈的出現, 使圖像色彩更自然, 能得到較理想的圖像增強效果.