有霧圖像和沙塵圖像增強算法

孫啟隆, 郭 鑫, 司振惠, 于 萍

(1. 吉林師范大學 管理學院, 吉林 四平 136000; 2. 吉林師范大學 計算機學院, 吉林 四平 136000;3. 四平市教育技術裝備中心, 吉林 四平 136000)

圖像增強的目的是使降質圖像(如沙塵圖像和有霧圖像)恢復其清晰原貌, 進而有效觀察并提取圖像中的重要信息. 對于有霧圖像的增強算法一般可分為兩類： 一是利用暗通道和大氣散射模型恢復無霧圖像； 二是通過提高圖像的對比度提高圖像的清晰度. 兩類算法各有優缺點, 文獻[1-9]屬于第一類算法, 其中文獻[1]提出了暗通道的概念進而估計大氣光值和透射率, 利用大氣散射模型求出無霧圖像, 但由于對透射率和大氣光的估計不準確, 導致圖像在明亮區域易出現光暈效應, 文獻[2-9]則針對暗通道算法的缺陷提出了各種改進算法, 雖然解決了部分問題, 但去霧后的圖像在色彩和對比度恢復方面仍有待提高. 第二類算法主要包括直方圖均衡算法(histogram equalization, HE)及基于其改進的自適應直方圖均衡算法(adaptive histogram equalization, AHE)、 限制對比度自適應直方圖均衡化算法(limited contrast adaptive histogram equalization, CLAHE)和基于Retinex的各種算法等, 這類算法雖然可以恢復圖像的色彩和對比度, 但常由于過度增強導致圖像出現顏色失真現象. 沙塵圖像與有霧圖像不同, 沙塵圖像有色差問題, 因為其成像過程中有大量的沙土參與, 所以其整體色調偏黃棕色, 降低了圖像色彩飽和度. 利用傳統的去霧算法處理沙塵圖像時, 通常會忽略調整圖像色差. 因此, 沙塵圖像增強算法[10-17]主要包含調整色差和提高圖像清晰度兩部分, 但算法在圖像色彩和清晰度恢復方面都有待提高.

為解決上述問題, 本文提出一種新的圖像增強算法, 將有霧圖像和調整色差后的沙塵圖像轉換到HSV顏色空間, 分別調整飽和度和明亮度, 前者用于恢復圖像色彩, 后者則利用CLAHE算法提高圖像對比度, 考慮到圖像的模糊程度不同, 因此對于模糊程度較高的圖像, 進一步利用基于加權最小二乘(WLS)濾波去除模糊, 提高圖像的清晰度, 同時WLS濾波也可以平滑圖像噪聲.

1 調整沙塵圖像色差

沙塵圖像與有霧圖像不同, 在提高對比度和恢復圖像色彩前需先解決圖像色差問題. 沙塵圖像在成像過程中由于有大量風沙灰塵等雜質加入, 導致圖像整體色調偏黃棕色, 降低了圖像的飽和度和可見度. 調整色差方法一般選取自動白平衡算法, 該算法可解決色彩還原等問題, 自動白平衡算法主要包括灰度世界法(gray world, GW)、 動態閾值法(dynamic threshold, DT)和完美反射法(perfect reflector model, PRM). GW算法基于RGB顏色空間, 并基于假設： 圖像三通道的平均值相等時圖像呈灰色. DT算法基于YCbCr顏色空間, 主要分為： 尋找白色參考點和利用參考點實現圖像的白平衡兩部分. PRM算法主要通過提取圖像中純白色區域并獲得光源信息, 然后按一定比例調整圖像三通道的值到最大化(純白色), 進而實現調整圖像色差, 該算法可基于RGB顏色空間或YCbCr顏色空間. 其中GW算法應用最廣泛. 圖1為不同算法調整色差的對比結果.

圖1 不同算法調整色差的對比結果Fig.1 Comparison results of different algorithms for adjusting chromatic aberration

由圖1可見, GW算法實驗效果更好, DT和PRM算法由于都是利用圖像中局部白色參考區域實現圖像整體的白平衡, 所以導致圖像白平衡出現兩極化, 參考區域內白平衡過度, 而參考區域外依然存在色差問題. 實驗表明, 由于RGB顏色空間中三通道是互相關聯的, 用GW算法白平衡后的圖像易出現顏色失真和亮度降低等問題, 結果如圖1(B)所示. 為解決該問題, 文獻[16]將調整色差工作轉換到Lab顏色空間進行, 只對色彩分量a和b應用灰度世界算法, 可有效解決上述問題, 結果如圖1(E)所示.

在Lab顏色空間調整色差的公式可表示為

(1)

其中GA和GB分別表示調整色差后的色彩分量a和b的值, mean表示求平均值的函數.

2 在HSV顏色空間增強有霧圖像和沙塵圖像

2.1 圖像飽和度的增強

HSV顏色空間由色調(H)、 飽和度(S)和明度(V)構成, 與RGB顏色空間不同, 它是根據人類視覺系統的特征而提出的顏色空間, 所以在該顏色空間增強圖像, 增強結果會更符合人類對色彩的感知. 日常生活中的各種顏色是指色調, 如藍色和紫色等； 飽和度表示色彩的純度, 其值越高, 圖像色彩越鮮明; 明度則表示色彩的明暗, 其值越大, 圖像色彩越明亮. 有霧圖像和沙塵圖像由于存在霧和沙塵, 導致圖像色彩的飽和度降低, 進而影響了圖像的清晰度, 所以增強有霧圖像和沙塵圖像的色彩飽和度十分必要. 過程如下: 首先將有霧圖像或沙塵圖像從RGB顏色空間轉換到HSV顏色空間[18], 轉換公式為

V1=max{R,G,B},V2=min{R,G,B},

(2)

(3)

(4)

其中：R,G,B分別為降質圖像的三通道; max和min表示求最大值和最小值的函數. 然后對飽和度S進行增強, 公式表示為

S=bS, 1≤b≤3,

(5)

其中b為增強系數, 其值并不固定, 可根據圖像模糊程度手動調節.通常圖像模糊程度越高, 圖像飽和度中消色成分(灰色)所占比例越大, 圖像色彩越暗淡, 增強系數的值也越高, 二者之間成正比, 但增強系數也有最高限制, 如果其值過高, 則圖像顏色容易過度飽和進而失真, 且與原圖像顏色差異值會越來越大.

2.2 圖像對比度的增強

直方圖均衡是用于提高圖像全局對比度的增強算法, 對圖像局部對比度的提高效果不理想.通過觀察得知, 人眼習慣從圖像的局部上下文區域評估其內容[19], 因此, 提出了其改進算法自適應直方圖均衡, 該算法將圖像分成多個不重疊的局部區域分別進行直方圖均衡化, 雖然圖像的局部可見度得到了提高, 但圖像中的噪聲也被放大.限制對比度自適應直方圖均衡化算法通過對局部圖像直方圖高度的限制有效解決了該問題.

步驟1) 將圖像分成大小為X×Y的不重疊塊區域, 實驗結果表明其取值為8時, 圖像處理效果最好.

步驟2)求解每個塊的直方圖, 并設置限制值Cliplimit, 該值與圖像對比度成正比關系, 其作用是防止對比度過度放大. 直方圖裁剪以及重分配過程如圖2所示. 首先將直方圖中高于Cliplimit的數值設置成Cliplimit, 并將高于Cliplimit的部分進行求和均分給每個灰度等級, 然后觀察重分配后的直方圖是否仍高于Cliplimit, 如果是, 則繼續迭代上述過程, 直到直方圖高度不超過Cliplimit.

圖2 直方圖裁剪以及重分配圖Fig.2 Histogram cropping and redistribution map

步驟3) 為消除塊之間的效應, 利用雙線性插值算法實現各塊的鏈接, 如圖3所示. 由圖3可見： 對于區域1內的灰度值, 只需用對應塊的累積分布函數映射成新的灰度值即可: 對于區域2內的灰度值, 需要鄰近兩個子塊的累積分布函數映射成新的灰度值, 然后對兩個新的灰度值做線性插值; 對于區域3內的灰度值, 則需要對其周圍鄰近的4個子塊映射的灰度值做雙線性插值. 以區域3內的點P(x,y)為例,A,B,C,D為其4個鄰近點,P對應的新灰度值P1的雙線性插值表達式為

P1=(1-y)[(1-x)g(a)+xg(b)]+y[(1-x)g(c)+xg(d)],

(6)

其中g(a),g(b),g(c),g(d)為4個鄰近點映射后的灰度值,x和y分別為點P的橫、 縱坐標值, 由于是鄰近點, 所以相鄰兩點之間的距離為1.

圖3 線性插值的不同區域Fig.3 Different areas of linear interpolation

對比度是指圖像亮暗區域中最大值與最小值之間的差異, 其差異值越大, 對比度越大.在HSV顏色空間中,V表示圖像色彩的明暗度, 也可以近似用于表示圖像的明暗度, 所以利用限制對比度自適應直方圖均衡化算法處理V, 可有效提高圖像的對比度, 同時也可避免CLAHE算法在RGB顏色空間處理圖像時出現的失真現象.

3 濾波增強

3.1 Laplace算子模糊檢測

對于低模糊程度的圖像在經過飽和度和對比度增強后, 如果仍繼續增強圖像, 會導致圖像局部區域因過度增強使圖像細節模糊, 為避免這種情況, 本文利用Laplace算子對圖像進行模糊檢測, 過程如下： 首先利用Laplace算子檢測圖像的邊緣, 求解邊緣檢測圖的方差, 對于模糊程度較低的圖像, 可見邊緣信息更多, 所對應的方差也越大, 而模糊程度較高的圖像對應的方差則會很小, 如果圖像邊緣檢測圖的方差低于設定的閾值, 則認為該圖像模糊程度較高, 需進一步增強處理. 實驗表明, 閾值的結果設為0.02時圖像效果較好.

3.2 基于WLS濾波的增強算法

濾波在圖像增強領域廣泛應用, 其具有平滑圖像、 減少噪聲及保護圖像邊緣的功能, 避免圖像丟失邊緣信息, 常用的濾波器主要有高斯濾波、 雙邊濾波及基于加權最小二乘濾波[20], 其中基于加權最小二乘濾波可以基于任何尺度提取圖像細節層, 并可以很好地保留圖像的邊緣減少偽影的存在.

濾波的保持邊緣平滑功能就是要平滑輸入圖像的同時也能很好地保留其邊緣信息, 如果用g表示輸入圖像, 用u表示輸出圖像, 則u在很大程度上與g是相似的, 兩者之間的關系可表示為

(7)

其中p表示像素點的坐標.第一項(up-gp)2的作用是最小化u和g之間的差異, 第二項則實現平滑圖像, 主要通過最小化u的偏導數完成.平滑度取決于g的平滑度權重ax和ay在空間上的變化,λ的主要作用是平滑兩個數據項, 其值越大, 圖像u越平滑.式(7)也可以用矩陣的形式表示為

(8)

其中Ax和Ay分別表示ax和ay的對角矩陣,Dx和Dy則為離散微分算子.u是使式(8)取最小值被確定的唯一線性系統解, 其數學表達式為

(I+λLg)u=g,

(9)

(10)

其中:L為輸入圖像g的亮度通道; 參數β決定了對g的梯度;ε為一個非常小的值(取值為0.000 1), 防止在梯度為零的區域內g是恒定的.

文獻[20]基于WLS框架提出了一種新的保持邊緣的多尺度圖像分解算法, 同時也證明了WLS框架在色調映射、 細節增強及圖像抽象等應用方面的有效性, 證明了其具有很好的健壯性和通用性. 在上述研究的基礎上, 本文將WLS框架應用于處理有霧圖像和沙塵圖像的增強. 實驗表明, 如果利用多尺度提取圖像細節的增強算法處理有霧圖像和沙塵圖像, 會導致圖像噪聲被放大和失真, 所以本文提出一種基于WLS框架的單尺度提取圖像模糊特征的濾波增強算法, 減少了算法復雜度.

步驟1) 利用WLS濾波平滑輸入圖像獲取圖像的基礎層: 文獻[20]中處理的是清晰圖像, 所以其輸入圖像為其亮度通道, 考慮到有霧圖像和沙塵圖像的清晰度較低, 本文通過改變濾波參數值對輸入圖像本身進行平滑進而提取其表面模糊層, 即輸入圖像的基礎層. 利用式(10)平滑圖像的數學表達式為

uc∈{R,G,B}=wlsFilter(gc∈{R,G,B},r,s,log(gc∈{R,G,B})),

(11)

其中：u表示濾波后的圖像, 即基礎層; wlsFilter表示WLS濾波算子;g表示輸入圖像;R,G,B表示g的3個顏色通道;r和s為濾波參數,r值越大, 圖像越趨于平滑,s表示對梯度的非線性縮放,s值越大, 保留的圖像邊緣越清晰； log表示對數函數.

步驟2) 獲取圖像的細節層： 細節層等于輸入圖像減去基礎層, 本文算法由于處理的是模糊圖像, 如果增強細節會放大圖像噪聲進而導致圖像失真, 所以不對細節層進行增強.

步驟3) 獲取增強圖像： 通常利用濾波增強細節獲得的增強圖像, 等于細節層和基礎層的加和, 但通過實驗觀察發現, 基礎層圖像經過WLS濾波平滑后, 圖像的清晰度會低于平滑前的圖像, 所以本文最后的增強圖像E是細節層和輸入圖像的融合結果, 其數學表達式為

E=(g-u)+g.

(12)

本文算法流程如圖4所示.

智慧課堂最本質的目的是促成學生的智慧生成，其充分利用信息技術帶來的教學模式上的轉變，對教師來說是一個嚴峻的挑戰，對成人學生來說又是一個全新的體驗。“讓智慧回歸教育，讓智慧喚醒課堂，讓智慧引領教師專業成長。它是時代的呼喚，是教師專業成長的需要，是課堂教學煥發生機與活力的契機，是新時期教育教學改革的重大使命。”［1］

圖4 本文算法流程Fig.4 Flow chart of proposed algorithm

4 實驗結果與討論

實驗在Windows7環境中進行, 處理器為Intel?CoreTMi7-6700 CPU @3.40 GHz, 運行軟件為MATLAB R2016a, 實驗中的圖像來源于網絡, 名字分別為Florence_input.png, Beijing3.png, 1.jpg和2.jpg. 算法的評價主要采用主觀視覺感受和客觀參數相結合, 主觀視覺感受主要指圖像的整體視覺效果, 客觀參數選取峰值信噪比(peak signal-to-noise ratio, PSNR)、 均方誤差(mean-square error, MSE)和方差(variance, Var), 其中PSNR用于表示原圖像與增強圖像之間的相似性, 可用于判斷增強圖像是否存在失真, 其值越大, 表明增強圖像質量越好, 但不適用于評價對比度較低的圖像, 因為其值越高, 證明增強算法恢復圖像的可見度較低. MSE表示原圖像與增強圖像之間的均方誤差, 其值越小, 表明圖像質量越好. 方差可用于表示圖像的對比度, 其值越高, 表明圖像可見邊緣越多, 圖像的清晰度也越高. PSNR,MSE,Var的數學表達式分別為

(13)

(14)

(15)

其中,M和N分別表示圖像的長和寬,I表示處理后的圖像,P表示原圖像, MAXI=255,Im表示圖像I的平均值.處理RGB圖像時, 只需計算亮度分量Y(YCbCr顏色空間)的PSNR值即可.

4.1 有霧圖像

為證明本文算法去霧的有效性, 將本文算法與文獻[6-9]的去霧算法進行比較, 給出原圖像以及各算法處理圖像對應的邊緣檢測效果. 對于圖像可見邊緣的檢測, 主要利用Canny算子實現, 其不僅可以平滑噪聲減少干擾, 還可以檢測更細的邊緣, 圖像可見邊緣越多, 證明圖像的清晰度越高. 圖像整體視覺實驗結果如圖5和圖6所示, 邊緣檢測效果如圖7和圖8所示, 客觀參數結果列于表1和表2.

圖5 Florence_input.png實驗結果Fig.5 Experimental results of Florence_input.png

圖6 Beijing3.png實驗結果Fig.6 Experimental results of Beijing3.png

圖7 Florence_input.png邊緣檢測結果Fig.7 Edge detection results of Florence_input.png

圖8 Beijing3.png邊緣檢測結果Fig.8 Edge detection results of Beijing3.png

由圖7可見, 對于原圖像的可見邊緣, 尤其是對原圖像黑色框內樹木邊緣的顯示, 文獻[6-9]算法均存在不同程度的缺失, 文獻[8]算法由于在天空區域出現了較嚴重的色彩失真, 導致在圖像天空區域檢測到了部分邊緣, 本文算法在保證原有邊緣都完整保留的前提下, 又增加了由于有霧而不易顯示的邊緣, 證明了本文算法在提高清晰度方面的有效性. 由圖8可見, 文獻[6]和文獻[7]對原圖像遠處恢復的可見邊緣數相對于本文算法較少, 表明其在圖像遠處去除模糊不徹底, 文獻[6-9]算法恢復可見邊緣的總體數目明顯低于本文算法, 尤其是原圖像黑色矩形區域對應的可見邊緣數, 使圖像丟失了很多原有的細節.

由表1和表2可見, 本文算法處理的兩張圖像客觀參數值都遠高于其他算法, 證明了本文算法在提高圖像清晰度方面表現更好, 圖像質量更高. 實驗結果表明, 本文算法對降質圖像的增強效果較好.

表1 Florence_input.png實驗參數

表2 Beijing3.png實驗參數

4.2 沙塵圖像

由于沙塵圖像有色差問題, 所以對沙塵圖像算法的評價主要包括兩部分： 一是色差問題是否得到徹底解決; 二是是否提高了圖像清晰度. 為證明本文算法在這兩方面的能力, 將本文算法與文獻[10,14,16-17]的算法進行比較, 依然從視覺效果和客觀參數兩方面綜合評價算法性能, 視覺實驗效果如圖9和圖10所示, 客觀參數實驗結果列于表3和表4. 客觀參數除PSNR和MSE外, 還用到了結構相似度(structural similarity, SSIM), SSIM從亮度l、 對比度c和結構s三方面評價圖像的質量, 其值越高, 表明圖像質量越高, 數學表達式為

其中：x,y表示圖像像素點的坐標;I表示增強后的圖像;P表示原圖像;μI和μP分別為I和P的平均值;σI和σP分別表示I和P的方差;σIP為I和P的協方差;c1=(0.01T)2,c2=(0.03T)2,c3=c2/2,T為像素值的范圍.

圖9 1.jpg實驗結果Fig.9 Experimental results of 1.jpg

由圖9可見: 所有算法在調整色差方面效果都很好; 但文獻[10]算法降低了圖像色彩的亮度, 圖像整體色彩暗淡, 從而降低了圖像的可見度； 文獻[14]算法在恢復圖像色彩方面存在過度飽和問題, 導致圖像在色彩暗區域色彩逐漸變深, 在色彩明亮區域色彩逐漸變亮, 如圖中天空區域逐漸白化, 模糊了遠處的圖像細節； 文獻[16]算法在色彩恢復方面效果較好, 但圖像整體清晰度較低; 文獻[17]算法雖然提高了圖像的亮度, 但卻導致圖像噪聲被放大, 存在局部失真現象； 本文算法在恢復圖像色彩飽和度方面處理較好, 既恢復了與原圖像相接近的色彩, 又不會導致色彩失真, 同時利用CLAHE算法和WLS濾波提高了圖像的整體清晰度.

由圖10可見: 文獻[10]算法雖然提高了圖像的清晰度, 但圖像整體亮度偏低, 色彩暗淡, 導致圖像細節丟失; 文獻[14]算法在色彩恢復方面效果較好, 但圖像色差問題未得到解決; 文獻[16]算法在清晰度恢復方面明顯低于其他算法; 文獻[17]算法處理的圖像存在過度曝光和噪聲被放大的問題, 過度曝光直接導致圖像色彩飽和度降低, 噪聲被放大導致圖像失真, 圖像整體清晰度下降. 除文獻[14]算法在去除色差方面不徹底外, 其他算法都取得了很好的成效, 但在圖像色彩恢復和清晰度提高方面, 與其他算法相比, 本文算法處理效果更好.

圖10 2.jpg實驗結果Fig.10 Experimental results of 2.jpg

表3 1.jpg實驗參數

表4 2.jpg實驗參數

由表3和表4可見, 本文算法的PSNR和MSE值均高于其他算法, 證明了本文算法的有效性, 雖然文獻[16]算法的SSIM值略高于本文算法, 但其圖像視覺效果較差, 綜合圖9和圖10可見, 本文算法在保證與原圖像色彩接近的同時提高了圖像的清晰度, 使圖像整體視覺效果更好, 避免了圖像出現色彩失真等現象.

綜上所述, 本文針對霧和沙塵的存在使圖像的對比度和飽和度嚴重降低, 進而影響圖像的清晰度, 對提取圖像中的信息產生困擾的問題, 提出了一種改進的圖像增強算法. 該算法提高了圖像的色彩飽和度, 使其在接近原圖像色彩的同時又不失真; 在清晰度方面, 則利用限制對比度自適應直方圖均衡化算法提高圖像對比度, 如果處理模糊程度較高的圖像, 則利用基于WLS框架的單尺度提取圖像模糊特征的濾波增強算法, 進一步提高圖像的可見度. 本文算法簡單, 且具有一定的健壯性, 可以處理不同模糊程度的圖像. 實驗結果表明, 無論是色彩恢復還是清晰度提高方面, 本文算法都具有很好的視覺效果.