基于改進暗通道先驗的沙塵圖像清晰化算法

牛宏俠,王春智,梁樂觀,張瑞瑞,朱夢瑞

(1.蘭州交通大學 自動化與電氣工程學院,蘭州 730070;2.甘肅省高原交通信息工程及控制重點實驗室,蘭州 730070;3.蘭州交通大學 光電技術(shù)與智能控制教育部重點實驗室,蘭州 730070)

沙塵天氣對人們的日常生活造成了很大影響.在視頻監(jiān)控、目標跟蹤等領(lǐng)域,需要清晰的圖像或視頻進而獲取有用的目標信息,而成像設(shè)備由于光線受沙塵顆粒漫反射的影響,藍色光被大量吸收和反射,所以獲取到的圖像整體偏黃,且清晰度和對比度都很低[1],直接影響了相關(guān)檢測設(shè)備的正常運行.因此,對沙塵圖像的清晰化算法研究意義重大.沙塵圖像清晰化的過程分為偏色校正和去霧兩部分.目前處理方法主要有三類,分別為基于圖像增強的方法、基于圖像復原的方法和基于深度學習的處理方法.

基于圖像增強的方法未從成像模型進行考慮,而是直接利用增強算法提升主觀視覺效果,最常用的是利用直方圖均衡化和基于顏色恒常性理論算法進行圖像恢復.文獻[2]提出了利用PAL模糊增強和帶限直方圖均衡化空間域增強相結(jié)合的方式處理沙塵圖像,該算法對提升圖像對比度和細節(jié)信息有一定效果,但對偏色問題改善效果并不明顯;文獻[3]提出了使用伽馬函數(shù)改進限制對比度自適應(yīng)直方圖均衡化方法進行沙塵圖像增強,該方法提升對比度效果顯著,但在處理降質(zhì)較嚴重的沙塵圖像時,色彩恢復效果欠佳,且易產(chǎn)生光暈現(xiàn)象;文獻[4]提出了利用生成的曝光圖像得到權(quán)重圖,然后將權(quán)重圖與曝光圖像通過圖像金字塔的方式進行融合,該算法有效改善了沙塵圖像偏色問題和對比度提升效果,但仍存在薄霧的影響,圖像的清晰度還可得到進一步提升.

基于圖像復原的方法是根據(jù)物理光學成像模型反推得到清晰圖像.文獻[5]首次提出了暗通道先驗去霧的方法,但基于該方法處理沙塵圖像也能取得較好的效果;文獻[6]提出了基于反轉(zhuǎn)藍色通道先驗的沙塵圖像復原方法,并引入容差機制優(yōu)化透射圖,從而得到清晰的去沙塵圖像,但該算法對退化嚴重的沙塵圖像處理能力仍有待提高;文獻[7]提出了基于Laplace算法的能見度復原方法,有效解決了霧氣濃度估計不足的問題,該算法在一定程度上解決了圖像偏色問題,但對暗部細節(jié)的體現(xiàn)不足.

隨著深度學習的廣泛應(yīng)用,提出了基于深度學習的去霧霾算法.文獻[8]提出了一種Cycle-Dehaze循環(huán)生成對抗網(wǎng)絡(luò),利用Laplace金字塔放大低分辨率圖像以減少圖像失真,最終獲得了清晰的無霧圖像.文獻[9]提出了一種門控上下文聚合網(wǎng)絡(luò)結(jié)構(gòu),該網(wǎng)絡(luò)結(jié)構(gòu)利用門控子網(wǎng)融合不同級別的特征,從而實現(xiàn)端到端去霧.由于沙塵圖像的偏色嚴重,導致這些深度學習網(wǎng)絡(luò)直接作用于沙塵圖像處理并不能獲得預期的效果,文獻[10]針對沙塵圖像偏色問題,提出了一種沙塵圖像色彩恢復子網(wǎng),先利用卷積網(wǎng)絡(luò)進行偽彩色特征映射得到校正圖像,再通過基于編碼解碼器的去塵子網(wǎng)進行圖像增強,該方法在合成圖像上效果顯著,但應(yīng)用到真實沙塵圖像上對比度提升效果仍待改進.針對上述算法中存在的問題,本文結(jié)合基于圖像增強和圖像復原處理的方式提出一種基于改進暗通道先驗的沙塵圖像清晰化算法.

1 算法設(shè)計

本文算法從色偏校正、色彩恢復、去霧和后處理圖像增強4個過程進行設(shè)計,為解決色彩偏移問題,利用改進的高斯模型進行校正,并加權(quán)融合一種基于灰度世界的顏色校正方法進一步提升色彩均衡效果;針對顏色校正后圖像整體暗淡、色彩豐富度低的問題,利用帶色彩恢復的多尺度視網(wǎng)膜(MSRCR)算法進行色彩恢復;在進一步去霧過程中,采用基于暗通道先驗的方法處理,并在其基礎(chǔ)上進行改進,進行亮度補償,突出暗部的細節(jié)信息;最后將圖像映射到HSI顏色空間,進行自適應(yīng)飽和度補償并改進雙伽馬校正提升圖像對比度.本文算法流程如圖1所示.

圖1 整體算法流程Fig.1 Overall algorithm process

1.1 偏色校正算法

1.1.1 基于改進高斯模型的校正算法

針對沙塵圖像具有集中性、順序性、偏離性的特點[11],高斯模型可有效校正顏色.文獻[11]利用位于中間位置的直方圖G通道校正其他兩個通道,并利用G通道的直方圖分布計算顏色延伸系數(shù).由于受G通道的約束過多,可能會出現(xiàn)過拉伸導致色彩不均衡及圖像亮度調(diào)整太暗或太亮的問題.文獻[12]在此基礎(chǔ)上進行改進,取RGB三通道中直方圖分布范圍最廣的通道計算延展系數(shù),并將亮度值固定為128以調(diào)整像素值分布.該算法能在一定程度上解決直方圖過拉伸的問題,并且避免了圖像過暗,但對于自身偏亮的圖片,也會導致圖像亮度降低.即目前基于該算法處理后會出現(xiàn)以下問題: 1) 對有些較暗圖像調(diào)整為固定像素值,會導致圖像暗部細節(jié)過亮;2) 校正后圖像會出現(xiàn)色彩不均衡的問題.

本文對高斯模型進一步改進,采取歸一化自適應(yīng)調(diào)整的方法解決灰度值低于像素均值的亮度調(diào)節(jié)問題.算法步驟如下:

1) 統(tǒng)計圖像3個通道的直方圖,并分別計算其均值μC和標準差σC,C∈{R,G,B};

2) 計算延展系數(shù)

(1)

3) 利用高斯模型調(diào)整各通道像素值,

(2)

(3)

(4)

1.1.2 基于灰度世界的顏色校正算法

針對高斯模型校正通道后可能出現(xiàn)的顏色不均衡問題,本文采用基于灰度世界的顏色校正算法[13].該算法結(jié)合兩部分理論實現(xiàn): 灰度世界理論認為,對圖像的每個通道灰度值的平均值應(yīng)保持一致;完美反射理論認為,在任何光源照射下的完美反射體可視為純白色物體,并且獲取的圖像各通道灰度值都取最大值.該算法的實現(xiàn)過程如下.

對于一張M×N大小的沙塵圖像,基于G通道不變的情況下,對其余兩通道進行顏色校正.校正后的像素滿足:

(5)

(6)

根據(jù)式(6)可以分別求得R和B通道的校正系數(shù),然后代入式(5)中分別求得校正后的兩個通道圖,與G通道合并后便可得到校正后的圖像.

1.1.3 加權(quán)融合

為有效保留對比度和色彩效果,本文采用加權(quán)融合上述兩種算法的方式進行偏色校正.設(shè)改進后的基于高斯模型的校正算法輸出圖像為Igao,結(jié)合灰度世界和完美反射的顏色校正算法處理后的輸出圖像為Icor.加權(quán)融合的表達式為

Iout=λIgao+(1-λ)Icor,

(7)

其中Iout為經(jīng)加權(quán)融合后輸出的目標圖像,λ為權(quán)重因子.

本文選用大量測試用例確定λ取值,如圖2所示,測試了不同λ取值對偏色校正效果的影響,當λ取值低于0.5或高于0.7時,沙塵圖像RGB三通道的直方圖雖然集中分布,但相對偏移較大,當λ=0.6時,相對偏移減小,進而能更好地達到色偏校正效果.

圖2 不同λ取值對應(yīng)偏色校正后的直方圖Fig.2 Different λ values correspond to histogram after color bias correction

改進算法的處理效果如圖3所示.由圖3(A)和(B)處理前后對比結(jié)果可見,經(jīng)本文校正算法處理后沙塵圖像的顏色偏移問題得到有效解決.從直方圖對比結(jié)果圖3(C)和(D)可見,相比改進高斯模型偏色校正處理后的圖像,加權(quán)融合算法處理后三通道直方圖更集中,且已基本重合,即對圖像色彩校正的效果更好.

圖3 偏色校正處理后圖像及直方圖對比Fig.3 Comparison of image and histogram after color bias correction

1.2 色彩恢復

Retinex理論[14]是基于物體的顏色恒常性進行研究,該理論認為物體的顏色由物體本身對不同光線的反射能力決定,其基本假設(shè)為原始圖像I可表示為光照圖像L和反射光圖像R的乘積,即

I(x,y)=R(x,y)×L(x,y).

(8)

該理論的目標是獲取反射圖像R,消除不均勻光照的影響,所以需要在原始圖像中去除光照分量的影響.研究者們提出了單尺度Retinex算法(SSR)和多尺度Retinex算法(MSR)用以獲取色彩恢復后的反射圖像,但處理后色彩豐富度提升幅度較小,局部動態(tài)范圍壓縮能力也較弱,如文獻[15]利用單尺度Retinex與引導濾波相聯(lián)合進行圖像增強,雖有效提升了圖像對比度,但由于單尺度Retinex算法存在的不足,色彩豐富度仍有較大提升空間.因此,研究者們又提出了帶色彩恢復的多尺度視網(wǎng)膜增強算法(MSRCR)[16]以彌補上述算法的不足,在MSR算法的基礎(chǔ)上添加色彩恢復因子進行改進,該算法的表達式為

RMSRCRi(x,y)=Ci(x,y)RMSRi(x,y),

(9)

(10)

其中:Ci(x,y)表示各通道的色彩恢復因子,i∈{R,G,B};RMSRi(x,y)表示對i通道經(jīng)多尺度濾波后的恢復圖像;α和β分別表示控制因子和增益常數(shù);I(x,y)表示原圖像;Gn(x,y)表示單尺度的高斯濾波;λn表示權(quán)值;m為尺度數(shù)目.在本文算法中,取α=125,β=40,m=3,λn=12,80,250.

對偏色校正后的圖像,經(jīng)MSRCR算法處理后的色彩恢復圖像如圖4所示.由圖4可見,在本文偏色校正的基礎(chǔ)上,經(jīng)MSRCR算法處理后,圖像的清晰度和色彩豐富度有很大提升.但處理后存在的薄霧現(xiàn)象仍需進一步解決,且對于降質(zhì)嚴重的沙塵圖像,處理后會存在色彩過度增強和對比度相對較低的問題.

圖4 MSRCR算法處理前后對比圖像Fig.4 Comparison images before and after processing with MSRCR algorithm

1.3 改進暗通道先驗去霧算法

1.3.1 暗通道先驗算法

暗通道先驗算法是He等[5]提出的一種去霧理論,該理論基于大氣散射模型[17].在物體成像模型中,描述沙塵、霧霾天氣的大氣散射模型表達式為

I(x)=D1+A1=J(x)t(x)+A0(1-t(x)),

(11)

其中:I(x)表示輸入的沙塵或霧霾圖像;D1=J(x)t(x)表示目標衰減反射光,A1=A0(1-t(x))表示大氣光,J(x)為恢復后的圖像,t(x)為大氣光的透射率,A0為大氣光強度.

暗通道先驗理論認為對于清晰的無霧圖像,至少有一個通道的灰度值都很低,且基本接近零.對于一張清晰的無霧圖像,可表示其暗通道圖像Jdark為

(12)

其中JC(y)表示暗通道圖像在C通道下的像素值,Ω(x)表示像素值為x的鄰域窗口.

根據(jù)上述先驗知識對圖像進行去霧,主要算法過程為: 首先需要根據(jù)大氣光值得到透射率,選取暗通道圖像中前0.1%最亮的像素點,在原始圖像中進行對比,將大于這些像素點的灰度值設(shè)為大氣光值A(chǔ),為保留較好的圖像景深效果,引入?yún)?shù)ω,構(gòu)造的求透射率表達式為

(13)

再通過引導濾波得到優(yōu)化后的透射率,進而可求得清晰的去霧圖像J(x),表達式為

(14)

為防止透射率為零的情況,一般設(shè)t0=0.1.

1.3.2 對大氣光求解的改進

暗通道先驗在求大氣光值的過程中,選取暗通道圖像中前0.1%最亮的像素點,默認像素值大的點為大氣光值,會導致處理后圖像偏暗,對圖像亮度增強的效果較差.本文算法在三通道像素均值中選取最大值作為大氣光值,其表達式為

A=max{meanR,meanG,meanB},

(15)

其中mean表示求取各通道像素均值.

1.3.3 暗通道亮度增強

改進大氣光值會對圖像的整體亮度有所改善,但對于局部偏暗的圖像細節(jié)并不能起到很好的提升效果.因此對局部亮度的調(diào)節(jié)進行改進,在求取J(x)的同時,對小于某一閾值的灰度值進行提升.本文引入亮度提升因子φ,局部提升亮度的表達式為

J(x)=φ×J(x).

(16)

為較好地提升局部亮度并保留明暗對比,在大量實驗的基礎(chǔ)上,本文設(shè)定亮度提升因子φ=1.05,設(shè)定灰度閾值為60.

圖5為改進暗通道先驗算法處理結(jié)果.由圖5可見,在前續(xù)算法處理的基礎(chǔ)上,經(jīng)改進暗通道先驗算法進一步處理,能有效去除圖像中霧氣的影響,明顯提升圖像的清晰度,并保留暗部細節(jié)的亮度提升效果.但處理后仍存在圖像整體飽和度不足和局部細節(jié)對比度偏低的問題,因此仍需進一步提升圖像增強效果.

圖5 改進暗通道先驗算法處理結(jié)果Fig.5 Processing results of improved dark channel prior algorithm

1.4 HSI空間對比度增強

針對上述算法處理后存在的問題,由于在HSI空間分離通道可以獨立處理,通道之間不會互相影響,相比在RGB空間處理,其更符合人的視覺特性,所以選擇在HSI顏色空間進行處理[18].算法過程為: 先將RGB圖像轉(zhuǎn)化為HSI空間圖像,然后分離為H(色調(diào))、S(飽和度)、I(亮度)三個通道,對S和I通道分別進行處理,然后合并圖像,得到增強后的目標圖像.算法流程如圖6所示.

圖6 HSI空間圖像增強處理流程Fig.6 Processing process of HSI space image enhancement

1.4.1S通道自適應(yīng)飽和度增強

針對改進暗通道算法處理后圖像整體飽和度偏低的問題,在S通道對飽和度分量進行自適應(yīng)顏色調(diào)整.設(shè)初始圖像的飽和度分量S(i,j),經(jīng)調(diào)整后的圖像飽和度分量為S′(i,j),調(diào)整過程為

(17)

其中Smax為飽和度分量的最大值,Smin為飽和度分量的最小值.經(jīng)調(diào)整后可將全局飽和度分量適當增強,在恢復清晰圖像的同時給人以更好的視覺體驗.

1.4.2I通道改進雙伽馬校正提升對比度

對改進暗通道算法處理后圖像局部對比度偏低的問題,可在I通道設(shè)定閾值,低于該閾值的局部暗區(qū)域利用改進的雙伽馬校正增強對比度.由于傳統(tǒng)的伽馬校正只能設(shè)定全局增強的固定指數(shù)值,動態(tài)范圍調(diào)整小,對高亮像素值調(diào)整后反而會有過增強的問題,有一定的局限性.文獻[19]提出了雙伽馬校正與空間變化亮度圖相結(jié)合,可以自適應(yīng)調(diào)整圖像的亮度,從而提升圖像的動態(tài)調(diào)整范圍.文獻[20]在此基礎(chǔ)上構(gòu)造了一個新的二維伽馬校正函數(shù),但該函數(shù)對于暗區(qū)域的亮度提升易過增強,會產(chǎn)生圖像失真的問題.本文對局部暗區(qū)域設(shè)定閾值,小于該閾值的像素采用改進的雙伽馬校正進行自適應(yīng)調(diào)整,從而能在保證圖像質(zhì)量的同時自適應(yīng)提升圖像的對比度.實現(xiàn)該方法的表達式為

(18)

其中I′(x,y)為調(diào)整后的像素值,I(x,y)為I通道對應(yīng)的亮度值,m為I通道亮度均值.本文調(diào)整閾值與暗通道先驗處理的范圍一致,統(tǒng)一設(shè)置為60,以增強暗部區(qū)域的對比度提升效果.

2 實驗結(jié)果分析

本文實驗選用的圖像數(shù)據(jù)均是真實拍攝的沙塵圖像.為證明算法的有效性,將本文算法與目前較好的去沙塵算法進行對比分析,如Zhi算法[11]、Pan算法[12]、Li算法[21]和Shi算法[3].此外,還與一些效果較好的去霧霾算法進行比較,如Berman算法[22]和基于深度學習的Cai算法[23]、GCA-Net算法[9]、Dhara算法[24].實驗在IntelCoreTM i7-10750H CPU@2.60 GHz,16.00 GB內(nèi)存,Win10操作系統(tǒng)的計算機設(shè)備上進行,編程語言為Python和MATLAB.在仿真大量沙塵圖像的基礎(chǔ)上,本文選取其中部分圖像進行定性和定量分析.

2.1 定性分析

本文算法和其他去沙塵算法處理后的實驗結(jié)果如圖7所示.由圖7可見: Zhi算法處理后,圖像色偏未得到很好地校正,前景偏藍現(xiàn)象明顯;Pan算法處理后,偏色問題得到改善,但整體圖像偏暗,細節(jié)不突出;Li算法處理后,圖像清晰度和對比度有相應(yīng)提升,但整體色彩恢復效果不佳,并且仍存在薄霧影響和光暈問題;Shi算法對圖像細節(jié)信息體現(xiàn)較多,但恢復圖像色彩的能力較差,對色彩變化不明顯的圖像,處理后會造成圖像失真,且從圖中框選部分可見,對偏暗的圖像信息處理后亮度提升效果也無明顯改善;相比之下,經(jīng)本文算法處理后,圖像偏色問題基本解決,圖像的色彩豐富度和清晰度有很大提升,而且對較大景深的圖像也有明顯的細節(jié)突出效果.

為更好地體現(xiàn)本文算法的色偏校正和去霧霾效果,將本文算法與當前處理效果較好的去霧霾算法進行對比,圖8為本文算法與去霧霾算法處理圖像對比結(jié)果.由圖8可見,一些較好的去霧霾算法,去沙塵效果并不理想,主要體現(xiàn)在不能較好解決圖像的偏色問題.相比之下,本文算法在色偏校正方面性能更好,而且清晰度恢復效果也具有明顯優(yōu)勢.Berman算法處理后,圖像整體清晰度有所改善,但色偏問題嚴重;Cai算法對整體圖像偏色效果和清晰度恢復效果不明顯,由圖8(A)和(C)紅色框選部分對比可見,色彩加深,即去除了部分霧霾的影響,但處理沙塵圖像并不能達到實際效果;GCA-Net算法處理后,消除了部分霧霾影響,可以從8(A)和(D)框選中圖像遠景的清晰程度可見,但圖像仍呈現(xiàn)整體偏黃的問題;Dhara算法處理后,由于該算法的自適應(yīng)非線性色彩平衡算法受沙塵顆粒的影響,處理后色彩校正效果也會受很大干擾,導致圖像偏色校正效果不佳;經(jīng)本文算法處理后,色偏現(xiàn)象明顯消除,去除了校正后薄霧的影響,而且還具有很好的顏色保真度.

圖8 本文算法與去霧霾算法處理圖像對比結(jié)果Fig.8 Comparison of image processing results between proposed algorithm and other dehaze algorithms

2.2 定量分析

由于目前還沒有專門針對沙塵圖像的評價標準,一般圖像恢復的評價指標分為兩類: 一類是參考方法;另一類是無參考方法.本文選用幾個通用的無參考評價指標e,r和新型盲圖像質(zhì)量評估方法NBIQA進行客觀分析,e用于衡量處理后圖像和原始圖像恢復邊緣的能力,r參數(shù)度量處理前后圖像的平均梯度,NBIQA是對圖像質(zhì)量進行綜合評價.e,r指標值越大,圖像恢復的清晰度和對比度越好;NBIQA指標越大,圖像恢復的質(zhì)量越好,失真程度越小.

表1列出了各算法對不同降質(zhì)程度的圖像處理后的客觀評價結(jié)果.

表1 不同去沙塵圖像算法處理后的定量分析結(jié)果

由表1可見,與其他對比算法相比,本文算法的綜合指標值更高,說明處理后圖像對比度和清晰度恢復效果更好,而且也優(yōu)于其他算法的圖像恢復質(zhì)量.對低分辨率的降質(zhì)不嚴重的沙塵圖像,Shi算法處理后的r指標值更高,說明其對比度恢復效果較好,但從恢復后的圖像效果可見,并不具有很好的圖像保真度,即色彩恢復能力較差.對降質(zhì)較嚴重的圖像(a3),Li算法的NBIQA指標值更高,但是其色偏校正及對比度提升效果較差,不能保證恢復后圖像的清晰度.

為更好地評估本文算法的性能,在與去霧霾算法處理效果對比中,引入平均梯度和對比度評價指標進行衡量.平均梯度反映了圖像灰度變化程度和細節(jié)變化率,該值越大,圖像紋理越突出,圖像更清晰;對比度可體現(xiàn)出圖像整體清晰度和細節(jié),高對比度表明圖像的細節(jié)更突出.表2列出了本文與不同去霧霾算法處理后的定量分析結(jié)果.

表2 不同去霧霾算法對圖像處理后的定量分析結(jié)果

由表2可見,經(jīng)本文算法處理后的平均梯度和對比度指標明顯優(yōu)于其他對比算法,即圖像的細節(jié)信息和清晰度效果提升更顯著.雖然圖像質(zhì)量評價指標NBIQA值稍低于某些算法,但其值也基本接近,而且從圖像綜合評價指標和實際效果可見,相比其他去霧霾算法,在沙塵圖像色彩校正和清晰度恢復方面,本文算法處理效果最好.

綜上所述,本文針對沙塵圖像存在的色彩偏移、色彩豐富度及圖像對比度低等問題,提出了一種有效恢復沙塵圖像清晰度的算法.提出的偏色校正算法不僅有效解決了沙塵圖像偏黃的問題,而且可以保持圖像色彩均衡.針對色彩恢復后沙塵圖像存在的薄霧現(xiàn)象,利用改進的暗通道先驗算法進行去霧,并克服了算法處理后圖像偏暗的問題,保證了暗部區(qū)域的亮度提升效果.此外,通過在HSI空間自適應(yīng)飽和度調(diào)整和改進雙伽馬校正,有效解決了圖像飽和度不足和對比度低的問題.實驗結(jié)果表明,本文算法對恢復圖像色彩和提升圖像對比度效果很好,且在主觀定性分析和客觀定量分析中均優(yōu)于其他對比算法,體現(xiàn)了本文算法的優(yōu)越性.