基于暗原色先驗與變分正則化的圖像去霧研究

趙 慧，魏偉波，潘振寬，紀(jì)連順

（青島大學(xué)計算機科學(xué)技術(shù)學(xué)院，山東青島 266071）

0 概述

在惡劣的天氣條件下獲取戶外圖像時，捕獲的場景能見度通常較低，這是由于光與懸浮在大氣中的粒子發(fā)生相互作用，如散射、吸收、反射等，導(dǎo)致圖像對比度和飽和度降低，顏色褪色，這會對許多戶外計算機視覺應(yīng)用（如識別、檢測、跟蹤、分類等）產(chǎn)生不利影響［1-2］。因此，對圖像去霧進行研究在圖像處理和計算機視覺領(lǐng)域具有重要的意義和價值，設(shè)計有效的去霧方法是近年來的研究熱點。

早期圖像去霧研究采用圖像增強技術(shù)來提高模糊圖像的可見度并改善色彩。其中，Retinex［3］和choi［4］2 種圖像處理技術(shù)是典型代表。但是，基于圖像增強的去霧方法由于沒有考慮圖像的退化機理，不能完全去霧。因此，后續(xù)研究工作重點關(guān)注基于大氣散射模型的去霧方法，該類方法首先構(gòu)建霧天成像模型，然后估計未知參數(shù)，從圖像退化的原因出發(fā)對物理模型進行反演，從而得到無霧圖像，但是，這些方法大都需要利用先驗知識或假設(shè)來估計關(guān)鍵參數(shù)。例如，TAREL 等［5］使用中值濾波器來估計耗散函數(shù)，由于中值濾波器顯示的邊緣保留性能較差，因此該方法在圖像景深變化處有霧殘留。NISHINO等［6］采用貝葉斯后驗概率模型充分挖掘圖像中潛在的統(tǒng)計特征從而進行去霧處理，該方法在濃霧圖像上具有一定的優(yōu)越性，但對于薄霧圖像，其去霧后的效果顏色過亮，缺乏真實感。HE 等［7］基于對室外無霧圖像的統(tǒng)計，提出暗原色先驗去霧方法，該方法去霧效果明顯，但對于天空區(qū)域，其易出現(xiàn)失真現(xiàn)象。GIBSON 等［8］在HE 等［7］研究成果的基礎(chǔ)上提出中值暗通道先驗方法，該方法不需要對透射率進行精細(xì)化，在一定程度上加快了去霧過程，但是，這種方法并不能獲得良好的視覺效果。文獻(xiàn)［9-11］檢測天空區(qū)域并根據(jù)其霧度對檢測區(qū)域中的透射圖進行補償，但是，由于很難確定霧度和天空區(qū)域，因此其結(jié)果并不準(zhǔn)確。ZHU 等［12］建立一個線性模型來模擬色彩衰減下的場景深度，并用監(jiān)督學(xué)習(xí)方法學(xué)習(xí)模型的參數(shù)，但是，由于大氣散射模型中的散射系數(shù)實際上并不能被視為一個常數(shù)，因此該方法的除霧性能不穩(wěn)定。LIU 等［13］提出基于多尺度相關(guān)小波方法，利用該方法在低頻部分去霧，高頻部分去噪并增強紋理細(xì)節(jié)，其能顯著提高霧霾場景的感知可視性。GALDRAN 等［14］通過伽馬校正從單一圖像中提取多曝光圖像，然后利用多尺度拉普拉斯混合方案將曝光后的圖像融合為清晰圖像。ZHENG 等［15］通過伽馬校正和飽和度空間線性調(diào)整提取曝光不足的圖像序列，利用基于自適應(yīng)結(jié)構(gòu)分解的MEF 算法進行融合，從而提高局部細(xì)節(jié)的視覺質(zhì)量。

現(xiàn)有方法大多基于深度信息估計進行去霧，去霧性能在很大程度上取決于精確的深度信息，為了實現(xiàn)高質(zhì)量的去霧，需要在圖像去霧過程中準(zhǔn)確估計深度信息。FANG 等［16］提出一種全變分（Total Variation，TV）正則化變分模型，以同時估計透射圖和去霧后圖像，TV 規(guī)則項能夠較好地保持圖像的邊緣，利用TV 項細(xì)化傳輸能夠提高模糊圖像的能見度。但是，該模型由于忽略了圖像不同通道間的耦合，導(dǎo)致彩色圖像的邊緣模糊。WANG 等［17］針對邊緣模糊的現(xiàn)象，采用3 種不同耦合形式的變分模型（LTV、MTV、CTV）與暗原色先驗相結(jié)合，有效改善了圖像邊緣模糊的現(xiàn)象，但是，基于一階TV 規(guī)則項的方法往往在邊緣處產(chǎn)生階梯偽影。高珠珠等［18］利用二階變分模型代替一階TV 項來約束透射圖和去霧圖像的估計，有效抑制了邊緣階梯偽影。

本文將基于TV 規(guī)則項和BH（Bounded Hessian）規(guī)則項（以下簡稱TVBH）的變分模型與暗原色先驗相結(jié)合，提出一種變分去霧模型H-TVBH。通過暗原色先驗和四叉樹分解估計初始透射率圖和大氣光值，將其代入H-TVBH 模型中，結(jié)合分裂Bregman 算法和快速傅里葉變換求得優(yōu)化后的透射率和去霧圖像。

1 相關(guān)工作

1.1 暗原色先驗原理

在計算機視覺和圖像處理中，大氣散射模型［19］被廣泛應(yīng)用于霧天圖像形成的描述過程，具體如下：

其中：I(x)為輸入有霧圖像；J(x)為恢復(fù)的清晰圖像；A為全局大氣光值；t(x)(0 ≤t(x)≤1)為場景光的透射率?；诖髿馍⑸淠Ｐ偷娜レF是從觀測圖像I(x)中恢復(fù)原始無霧圖像J(x)，已知量僅為I(x)，要求得J(x)，需要透射率t(x)和大氣光值A(chǔ)。

根據(jù)暗原色先驗理論，在大多數(shù)戶外無霧圖像的非天空區(qū)域都存在亮度較低（接近于0）的通道。對于圖像J，暗通道表示為：

其中：Jdark代表室外無霧圖像的暗通道；c代表R、G、B 三通道；Jc(y)代表恢復(fù)清晰圖像的c通道圖像；Ω（x）代表以x像素為中心的局部區(qū)域。根據(jù)觀察到的統(tǒng)計數(shù)據(jù)，Jdark的強度值始終很低并且接近于0。

將式（1）兩邊同時除以A，計算3 個顏色通道的最小值，得到如下表達(dá)式：

為了使處理后的圖像具有層次感和真實感，且保持圖像的主觀視覺效果，在式（4）中加入一個恒定的參數(shù)ω(0<ω≤1)，該值根據(jù)實際情況而定，通常為0.90～0.97。

取霧天暗通道圖像中的前0.1%像素，找到像素在原始圖像中的對應(yīng)位置，將具有最高亮度的點的值作為大氣光值。根據(jù)計算得到的透射率t(x)和大氣光值A(chǔ)，得到無霧圖像J(x)：

為了避免透射率t（x）趨近于0 時圖像顏色過飽和，可設(shè)置一個下限t0，通常令t0=0.1。

1.2 TVBH 模型

一階TV 規(guī)則項可以有效去除圖像中的噪聲，并保持圖像邊緣，但易產(chǎn)生邊緣處階梯效應(yīng)和圖像對比度低的問題；而二階BH 規(guī)則項在保持圖像邊緣的同時具有較好的平滑效果，抑制了階梯效應(yīng)。TVBH 模型將上述兩者相結(jié)合，可以較好地恢復(fù)圖像的邊緣細(xì)節(jié)，提高圖像對比度，其模型形式如下：

對于彩色圖像，由于各層邊緣擴散強度不同，易造成圖像邊緣模糊。為了使邊緣信息得到較好的保持，可采用不同層圖像之間耦合的形式得到能量泛函，如下：

其中：式（7）右側(cè)前2 項為TVBH 模型的規(guī)則項，用以保持圖像邊緣細(xì)節(jié)；α、β為懲罰參數(shù)，決定處理后圖像的光滑程度；最后一項為數(shù)據(jù)項，使恢復(fù)后的圖像更接近于原始圖像。

2 本文算法

為了抑制圖像中的噪聲并充分保留去霧后圖像的邊緣特征，本文將TVBH 模型與暗原色先驗相結(jié)合，從而實現(xiàn)圖像去霧。本文新的能量泛函形式為：

2.1 大氣光值估計

通常情況下將圖像中最亮顏色的值估計為大氣光值，然而，在對圖像進行大氣光值估計時，會由于圖像中存在過亮物體或天空區(qū)域而導(dǎo)致大氣光值估計錯誤。因此，本文采用四叉樹分解法［20］，將原圖像分成4 個均勻的子區(qū)塊，對子區(qū)塊再進行分割，分割過程是迭代而不斷重復(fù)的，直到滿足一定的閾值標(biāo)準(zhǔn)（閾值標(biāo)準(zhǔn)為長×寬=200 像素的區(qū)域）。對每個區(qū)塊的大氣光值使用暗原色先驗進行計算，即將最小濾波器應(yīng)用到每個塊，然后將最大值作為圖像的全局大氣光值。

2.2 模型求解

為了提高模型的計算效率，本文采用基于快速傅里葉變換［21］的分裂Bregman 算法，引入輔助變量x，w=(w1，w2，w3)T，v=(v1，v2，v3)T，令x=?t，w=?u，v=?2u，則上述能量泛函轉(zhuǎn)化為：

其中：式（11）、式（13）采用離散傅里葉變換進一步優(yōu)化，從而提高算法的計算效率；式（12）、式（14）、式（15）為廣義軟閾值公式，，基于耦合的方式使邊緣保持效果更好。

對式（11）、式（13）進行傅里葉變換，得到t和u的解析解分別如下：

本文算法流程如圖1 所示。

圖1 本文算法流程Fig.1 Procedure of this algorithm

本文算法輸入為原始圖像f，輸出為去霧圖像u，求解步驟如下：1）根據(jù)暗原色先驗估計圖像原始透射率）利用四叉樹分解法估計大氣光值A(chǔ)；3）初始化，將x、wi、vi、q、bi、di值設(shè)為0，懲罰參數(shù)λ、α、β、μ1、μ2、μ3>0；4）根據(jù)和原始圖像f，迭代求解各變量；5）收斂直至得到t和u。

3 實驗結(jié)果與分析

本文實驗在Windows10 系統(tǒng)、Intel Core i5-6500處理器、8 GB RAM、使用Matlab R2014a 的PC 機上完成。為了驗證所提方法的有效性，從LIVE Image Defogging 數(shù)據(jù)庫［22］中選取幾幅圖像模擬有霧圖像，將本文方法與其他幾種經(jīng)典去霧算法進行定性和定量比較。實驗主要參數(shù)設(shè)置為：ω=0.95，λ=0.01，α=0.25，β=0.5，μ1=0.05，μ2=0.000 1，μ3=0.000 005。其中，λ和μ1保證透射率圖的光滑程度，α和β保證去霧后圖像的光滑程度，μ2、μ3值設(shè)置較小，若設(shè)置過大會導(dǎo)致圖像模糊并丟失細(xì)節(jié)特征。

3.1 主觀評價

圖2 所示為各方法對航空圖、小麥圖、森林圖、天空圖以及局部放大圖的去霧效果對比。從圖2 可以看出：對于航空圖及放大區(qū)域，各方法都可以在不同程度上去霧，但文獻(xiàn)［7］方法、文獻(xiàn)［13］方法、文獻(xiàn)［14］方法在遠(yuǎn)景處仍存在殘留的霧，文獻(xiàn)［14］方法過于平滑，在一定程度上模糊了紋理，文獻(xiàn)［5］方法近景部分對比度相對較低，本文方法無論是在近景還是遠(yuǎn)景處均更加清晰地恢復(fù)了場景細(xì)節(jié)；對于小麥圖，文獻(xiàn)［5］方法、文獻(xiàn)［13］方法去霧后圖像對比度和飽和度較低，文獻(xiàn)［7］方法、文獻(xiàn)［14］方法提高了圖像亮度，但遠(yuǎn)景部分（方框處）有明顯的霧殘留，本文方法增強了遠(yuǎn)景可見性，具有更好的去霧效果；對于森林圖及放大區(qū)域，各方法均有一定的霧殘留，文獻(xiàn)［5］方法去霧后圖像顏色過飽和，出現(xiàn)顏色失真的現(xiàn)象，文獻(xiàn)［13］方法去霧力度明顯不足，有大量霧殘留，本文方法相對其他4 種方法去霧效果較好；在天空圖中，文獻(xiàn)［5］方法天空區(qū)域較為灰暗，文獻(xiàn)［7］方法］、文獻(xiàn)［13］方法提高了圖像對比度和亮度，但部分紋理細(xì)節(jié)丟失，文獻(xiàn)［14］方法去霧后圖像出現(xiàn)光暈偽影，本文方法保留了更多的紋理細(xì)節(jié)，且增強了遠(yuǎn)景可見性，視覺效果更為自然。圖3 所示為更多有霧圖像的去霧效果，從圖3 可以看出：文獻(xiàn)［5］方法去霧后圖像過飽和，顏色失真，且近景區(qū)域（方框處）去霧不徹底；文獻(xiàn)［7］方法、文獻(xiàn)［14］方法圖像對比度有所提高，但遠(yuǎn)處仍有一些殘留霧，文獻(xiàn)［14］方法去霧后圖像細(xì)節(jié)有些模糊；文獻(xiàn)［13］方法處理后的圖像整體亮度較為灰暗，邊緣細(xì)節(jié)丟失嚴(yán)重，視覺效果不自然；本文方法去霧后的圖像有效保留了邊緣細(xì)節(jié)，提高了圖像對比度和飽和度，但部分圖像顏色偏暗。

圖2 5 種方法的去霧效果對比結(jié)果1Fig.2 Comparison results 1 of defogging effects of five methods

圖3 5 種方法的去霧效果對比結(jié)果2Fig.3 Comparison results 2 of defogging effects of five methods

圖4 所示為各方法對玩偶有霧圖像和條紋有霧圖像放大區(qū)域的去霧效果對比，將本文方法與文獻(xiàn)［16-17］中的LTV、MTV、CTV 這3 種方法以及文獻(xiàn)［18］中的H-TGV 方法，針對圖像邊緣以及噪聲去除性能進行比較。由圖4 可以看出：對于玩偶圖，文獻(xiàn)［16］方法提高了圖像對比度，但去霧后噪聲放大，LTV［17］方法去霧后圖像紋理細(xì)節(jié)模糊不清，且圖像顏色過飽和，MTV［17］和CTV［17］2 種方法去霧效果相對較好，但圖像略平滑，丟失部分邊緣細(xì)節(jié)，HTGV［18］和本文方法去霧效果接近，均有效改善了圖像的飽和度和對比度，保留了圖像的紋理細(xì)節(jié)；對于含噪聲的條紋圖，文獻(xiàn)［16］方法和LTV［17］方法處理后的圖像仍有噪聲殘留，MTV［17］和CTV［17］方法去噪效果相對較好，但中間邊緣處模糊不清，H-TGV［18］和本文方法在去霧的同時有效抑制了噪聲，且邊緣處細(xì)節(jié)保持較好，去霧效果更加突出。

圖4 6 種方法的去霧效果對比結(jié)果Fig.4 Comparison results of defogging effects of six methods

3.2 客觀評價

為了更好地驗證本文方法的有效性和魯棒性，采用新增可見邊之比（e）、可見邊規(guī)范化梯度之比（）、霧密度感知（D）、結(jié)構(gòu)相似性（SSIM）、峰值信噪比（PSNR）作為評價指標(biāo)。對圖2、圖3 采用新增可見邊e、可見邊規(guī)范化之比和霧密度感知D進行評價，其中，e、值越大，D值越小，表明圖像去霧效果越好。表1、表2 所示為圖2、圖3 各方法的去霧結(jié)果對比。從表1、表2 可以看出，文獻(xiàn)［5］方法、文獻(xiàn)［13］方法中的結(jié)果偏大，這是因為去霧后圖像過增強，顏色過飽和，而本文方法具有較大的e和以及較小的霧密度感知D，表明本文方法具有較好的去霧性能。

表1 各方法對圖2 的去霧結(jié)果對比Table 1 Comparison of defogging results of each method on the pictures in fig.2

表2 各方法對圖3 的去霧結(jié)果對比Table 2 Comparison of defogging results of each method on the pictures in fig.3

對于模擬有霧圖像，由于已有相應(yīng)的清晰圖像作參考，因此可以采用SSIM 和PSNR，通過不同的策略來進一步評價結(jié)果的準(zhǔn)確性。通常情況下，SSIM值越大，表示去霧結(jié)果與真實圖像的結(jié)構(gòu)相似性越好，去霧圖像越接近于真實圖像；PSNR 值越大，表明圖像去霧后的效果更加理想。此外，本文還對不同變分去霧模型的運行時間進行了比較。表3 所示為各方法對圖4 的去霧效果對比。從表3 可以看出：本文方法可以獲得較高的PSNR 值和SSIM 值，去霧效果較好，去霧圖像更接近于真實圖像；雖然H-TGV［18］方法在PSNR 和SSIM 值上與本文方法接近，但運行時間相對較長；與其他方法相比，本文方法具有較短的運行時間。

表3 各方法對圖4 的去霧結(jié)果對比Table 3 Comparison of defogging results of each method on the pictures in fig.4

4 結(jié)束語

本文提出一種結(jié)合暗原色先驗與TVBH 變分模型的去霧方法，根據(jù)暗原色先驗估計透射率圖，通過四叉樹分解得到大氣光值，利用分裂Bregman 算法和快速傅里葉變換求得優(yōu)化后的透射率和去霧圖像。實驗結(jié)果表明，該方法能夠較好地保留圖像的邊緣細(xì)節(jié)，改善圖像的可視化效果。但是，本文方法去霧后圖像顏色偏暗，解決該問題并提高去霧圖像的視覺質(zhì)量將是下一步的研究方向。