基于自適應gamma校正估計的圖像去霧算法

吳正平，岑帥紅

(三峽大學 電氣與新能源學院，湖北 宜昌 201306)

1 引 言

霧、霧霾天氣是我們生活中普遍的現(xiàn)象，它是由大氣中所懸浮的小顆粒對光線發(fā)生一系列散射和吸收作用而產(chǎn)生的。霧、霧霾會造成戶外拍攝的圖像質(zhì)量嚴重下降，比如：對比度降低、大量的細節(jié)信息丟失以及色調(diào)發(fā)生偏移等。圖像質(zhì)量下降會影響視覺系統(tǒng)的穩(wěn)定性，使一些視覺系統(tǒng)的目標特征提取與識別等后續(xù)操作無法實現(xiàn)。因此，對圖像進行去霧處理是非常有必要的，該方面的研究有非常重要的現(xiàn)實意義和廣闊的應用前景[1]。

近年來，已經(jīng)有許多學者對圖像去霧進行了研究，這些研究主要圍繞以下3大方面：

(1)基于圖像增強的圖像去霧方法。該方法主要通過增強圖像的對比度，消弱或者增強圖像中某些特定的信息來達到圖像去霧的目的，其中包括一些基于Retinex的增強算法[2-3]。雖然上述方法在去霧方面取得了一定的效果，但是沒有物理模型的支持，在一些圖像上造成大量信息丟失，使復原的圖像失真。

(2)基于大氣散射模型的圖像復原去霧方法。該方法根據(jù)一些先驗知識，在大氣散射模型的基礎上，估算預測出圖像去霧所需要的參數(shù)(透射率，大氣光值等)，然后再根據(jù)大氣散射模型復原出去霧圖像。其中包括He等人提出的經(jīng)典暗通道去霧方法[4-5]，該方法去霧效果較好，但在天空和景深突變區(qū)域有缺陷。這引發(fā)了許多學者進行研究，并提出了許多改進的暗通道去霧算法[6-8]。另外，Meng等人提出的邊界約束圖像復原方法[9]，存在去霧過度，造成顏色失真等。Zhu等人提出的顏色衰減先驗去霧方法[10]，在濃霧場景下的去霧效果不好。

(3)基于深度學習的圖像去霧方法。該方法通過建立一個網(wǎng)絡模型，然后利用大量合成的圖像數(shù)據(jù)進行訓練，得到一個能夠預測透射率或者直接得到去霧圖像的網(wǎng)絡模型。其中Cai等人提出的DehazeNet網(wǎng)絡模型[11]通過預測透射率圖進行去霧, Li等人提出的AOD網(wǎng)絡模型[12]、Chen等人提出的混合殘差學習網(wǎng)絡模型[13]、Qu等人提出的EPDN網(wǎng)絡模型[14]以及Dong等人提出的MSBDN-DFF網(wǎng)絡模型[15]都是直接復原出去霧圖像。該類方法受數(shù)據(jù)集的影響較大，不能適用所有場景下的霧圖，對真實霧圖去霧效果不理想，并且需要花費大量的時間進行訓練，在硬件上也有要求。

綜上所述，本文針對當前的圖像去霧算法存在去霧不足、亮度偏暗以及去霧過度所造成的圖像顏色失真等問題，提出一種新的透射率估算和改進大氣光值估計的去霧方法。首先對于透射率的估算，通過像素級進行操作，避免出現(xiàn)塊效應，即根據(jù)圖像的亮度，利用具有衰減特性的不同gamma校正函數(shù)來擬合不同場景深度下有霧圖像與無霧圖像最小通道之間的關(guān)系，自適應估算出無霧圖像最小通道，并通過引導濾波算法對估計的無霧圖像最小通道進行修正，保持與有霧圖像相同的結(jié)構(gòu)，進而根據(jù)大氣散射模型得到粗略的透射率。然后通過高斯相對性對透射率進行優(yōu)化，得到結(jié)構(gòu)保留，局部平滑的精確透射率；然而對于大氣光值的估計，根據(jù)場景最深處往往存在圖像的上方以及藍色通道的像素值受場景深度影響最大等先驗知識，對四叉樹搜索算法進行改進，即通過增加搜索鄰域，并把圖像的藍色通道的上半部分作為輸入，穩(wěn)定得到圖像中場景最深處所對應的像素值作為大氣光值。另外，由于復原圖像偏暗，并利用gamma校正算法對復原圖像的亮度通道進行增強。該算法的魯棒性較強，計算時間較短，復原的圖像明亮度適宜，景深突變處沒有光暈效應，天空區(qū)域沒有發(fā)生嚴重失真。

2 理論背景

2.1 大氣散射模型

在圖像去霧的方法中，基于大氣散射模型復原的效果較好，利用該模型對圖像進行復原的方法應用廣泛。大氣散射模型[16]是Narasimhan和Nayer等人在McCartney的基礎上對霧天圖像建立的數(shù)學模型，其數(shù)學表達式如式(1)所示：

I(x)=J(x)t(x)+A[1-t(x)]，

(1)

式中：I(x)為有霧圖像，J(x)是需要復原出的無霧圖像，A是大氣光值，t(x)為透射率，其具體表達式如式(2)所示：

t(x)=exp[-βd(x)]，0

(2)

式中：β為大氣散射系數(shù)；d(x)為場景的深度，即成像設備到目標之間距離。另外，通過大氣散射模型可以得到透射率t(x)，其公式如式(3)所示：

(3)

2.2 gamma校正

gamma校正公式如式(4)所示：

f(x)=xγ，

(4)

式中：0≤x≤1。當γ>1時，f(x)≤x，因此該函數(shù)存在衰減的特性，在不同的γ下，gamma校正函數(shù)的示意圖如圖1所示。

圖1 Gamma校正示意圖

已知有霧圖像和無霧圖像之間也具有衰減特性，以及兩者歸一化值的關(guān)系示意圖與gamma校正的示意圖高度相似，由此可通過不同的gamma校正函數(shù)擬合一張圖像中不同場景深度區(qū)域有霧圖像與無霧圖像之間的關(guān)系。

3 自適應gamma校正估計的圖像去霧算法

3.1 透射率估計

由于大氣散射物理模型本質(zhì)上是病態(tài)問題，可通過一些先驗條件進行約束或通過對已知信息進行假設來獲得所需信息，因此本文通過對大氣散射模型以及gamma校正的分析可知，可利用不同的gamma校正函數(shù)來擬合不同場景深度下有霧圖像和無霧圖像的關(guān)系，即根據(jù)與場景深度呈正相關(guān)亮度通道，利用自適應gamma校正函數(shù)估算出無霧圖像最小通道，并通過引導濾波算法對估計的無霧圖像最小通道進行修正，保持與有霧圖像最小通道具有相同的結(jié)構(gòu)。進而根據(jù)式(3)得到初始透射率，最后通過高斯相對性優(yōu)化初始透射率得到局部平滑的精確透射率。

3.1.1 自適應gamma校正估計無霧圖像最小通道

根據(jù)大氣散射模型式(1)可以推導出：

(5)

由式(1)可知：斜率為1/t(x)=exp[βd(x)]，與場景的深度有關(guān)；當I(x)/A=1時，J(x)/A=1；當J(x)/A=0時，I(x)/A=[1-t(x)]；A、I(x)、J(x)三者的數(shù)值依次衰減。然而在一張圖像中，不同區(qū)域場景深度d(x)不同，式(5)中的斜率1/t(x)與橫軸上的截距[1-t(x)]不同，即I(x)/A和J(x)/A之間有著不同的關(guān)系，關(guān)系示意圖如圖2所示。

圖2 I(x)/A與J(x)/A關(guān)系示意圖

由于t(x)未知，式(5)無法進行求解，然而根據(jù)gamma校正示意圖和I(x)/A與J(x)/A的關(guān)系示意圖高度逼近，另外，已知隨著場景深度的不斷增加，式(5)中的斜率、截距不斷增加，并且有霧圖像的最小通道和亮度也不斷增加，因此可根據(jù)有霧圖像亮度，用不同的gamma校正函數(shù)來擬合圖像中不同場景深度區(qū)域Imin/A與Jmin/A之間的關(guān)系。進而通過自適應gamma校正函數(shù)估計出無霧圖像的最小通道，如式(6)所示：

(6)

式中：S(x)>1；以及S(x)是與場景深度有關(guān)的函數(shù)，其公式如式(7)所示：

S(x)=exp[V(x)]+b，

(7)

式中：b=1.5時，去霧效果更好，是通過大量的實驗獲得。V(x)表示有霧圖像在HSV空間中的明度通道值，該通道不受顏色的影響，與場景深度呈正相關(guān)的關(guān)系，因此利用該通道來估計場景的深度。

3.1.2 引導濾波算法修正無霧圖像最小通道并獲得初始透射率

已知有霧圖像最小通道，可以通過式(6)估計得到粗略的復原圖像最小通道。然而由于gamma校正函數(shù)是非線性函數(shù)，而在圖像的局部區(qū)域，即場景深度相同區(qū)域，有霧圖像最小通道與復原圖像的最小通道是線性關(guān)系，可能會破壞復原圖像最小通道的結(jié)構(gòu)，因此本文利用He等人提出的引導濾波算法[5]來修正估計的復原圖像最小通道，修正后的復原圖像最小通道Jmin可表示為：

Jmin(i)=akImin(i)+bk，?i∈wk，

(8)

E(ak,bk)=

(9)

式中：ε為正則化參數(shù)，防止ak過大。然后通過式(3)得到初始透射率，如下所示：

(10)

式中：Imin為有霧圖像的最小通道，Jmin為通過式(8)修正后估計得到的復原圖像最小通道。

3.1.3 基于高斯相對性的透射率優(yōu)化

已知圖像局部區(qū)域內(nèi)場景深度相同，透射率圖應該在局部區(qū)域內(nèi)平滑；然而圖像中可能存在景深的突變，透射率隨之發(fā)生突變，透射率圖存在大尺度的結(jié)構(gòu)，因此需要保留透射率中大尺度的結(jié)構(gòu)，平滑掉小尺度的紋理。基于此，本文通過一種新的尺度度量的方法——高斯相對性[17]對透射率進行優(yōu)化，該方法在不破壞圖像結(jié)構(gòu)的情況下有效地定位并消除局部紋理，優(yōu)化效果圖如圖3所示。平滑優(yōu)化函數(shù)如式(11)所示：

圖3 透射率優(yōu)化前后對比圖

(11)

3.2 大氣光估計

大氣光值是大氣散射模型中一個重要的參數(shù)，它決定著復原圖像的亮度。由大氣散射模型可知，當d(x)→∞時，t(x)=0，得到I(x)=A，因此找到圖像中場景最深處，即可得到大氣光值。對于該方面的研究并不是太多，其中包括 Kim等人提出的基于四叉樹搜索的大氣光估計方法[18]，但該方法會受到近景區(qū)域平滑白色物體影響，以及景深最遠區(qū)域中前景物體的影響，造成大氣光值估計錯誤，如圖4所示。

圖4 大氣光估計效果對比圖

為了得到更加精確的大氣光值，本文對四叉樹搜索算法進行了改進。首先根據(jù)圖像中場景最深處的背景區(qū)域往往在圖像的上半部分，以及有霧圖像中藍色通道像素值受場景深度的影響最大，因此將有霧圖像的藍色通道上半部分作為輸入，并增加輸入圖像上半部分的搜索領(lǐng)域；另外，最遠處所在的區(qū)域會存在前景物體的影響，造成場景最深處區(qū)域標準差過大，使區(qū)域定位錯誤，該問題可以通過降低區(qū)域標準差的比例來解決。利用式(12)作為圖像中最遠位置的評判標準：

c(i)=Imean(i)-aIstd(i),i=1,2,…,5，

(12)

式中：a=0.3，該值是經(jīng)驗值，可以通過大量的實驗獲得；Imean(i)、Istd(i)為搜索區(qū)域i的平均值和標準差。經(jīng)實驗驗證，本方法可以精確地搜索到有霧圖像中場景最深處所在的位置，如圖4所示，即可得到較為精確的大氣光值。該算法所得到的大氣光值使復原圖像的亮度更加適宜，花費時間更短。算法步驟如下所示：

(1)輸入有霧圖像中藍色通道圖像的上半部分；

(2)把圖像分成5個區(qū)域，如圖5所示；

圖5 分割區(qū)域圖

(3)根據(jù)式(12)計算出每一個區(qū)域的數(shù)值；

(4)選取對應最大數(shù)值的區(qū)域。并返回到第1步；直到搜索區(qū)域尺寸小于規(guī)定值；

(5)把最后搜索區(qū)域所對應的有霧圖像中各通道最大值作為大氣光值。

3.3 圖像復原與增強

通過第一節(jié)中經(jīng)過高斯相對性優(yōu)化后所獲得的精確透射率T(x)，以及第二節(jié)中經(jīng)過改進后的四叉樹搜索算法所獲得的大氣光值A，根據(jù)大氣散射模型(1)，即可復原出無霧圖像，公式如式(13)所示：

(13)

為了使復原圖像具有更好的視覺效果，另外通過gamma校正算法對復原圖像的亮度圖像(V)進行增強，其公式如式(14)所示：

(14)

4 實驗結(jié)果與比較

為了驗證本文所提算法的有效性與優(yōu)越性，本文通過主觀比較與客觀比較兩方面進行驗證，分別通過與多種經(jīng)典的傳統(tǒng)圖像去霧算法和近年來的基于深度學習的圖像去霧算法進行對比，充分證明該算法的有效性與優(yōu)越性，使算法更加具有說服力。

4.1 主觀比較

主觀評價主要是通過人眼直接觀察的視覺效果進行評價，沒有理論的支持，具有一定的局限性，但在一定程度上能夠說明圖像質(zhì)量的好壞，并且能夠快速評定圖像的質(zhì)量。因此通過5種不同類型場景的真實自然霧圖，即含有天空區(qū)域的薄霧圖像，含有明亮區(qū)域的濃霧圖像，含有天空區(qū)域的濃霧圖像，未含有天空區(qū)域的薄霧圖像，含有白色物體的濃霧圖像，首先分別與He等人[4-5]、Meng 等人[9]、Zhu等人[10]提出的3種經(jīng)典傳統(tǒng)去霧算法進行主觀比較，效果對比圖如圖6所示。從圖6(b)可以看出He等人提出的算法得到的效果圖在景深突變區(qū)域產(chǎn)生光暈效應，以及場景深處去霧不徹底。從圖6(c)可以看出Meng等人提出的算法在損失圖像色彩情況下，對圖像進行去霧，然而造成去霧過度，使復原圖像的天空區(qū)域色彩發(fā)生偏移，造成圖像發(fā)生嚴重失真。從圖6(d)可以看出Zhu等人提出的去霧算法適用性不強，濃霧場景下去霧不徹底，大氣光值估計偏高，造成復原圖像偏暗，視覺效果不自然。然而從圖6(e)可以看出本文算法的效果圖明亮度適宜，景深突變處沒有光暈效應，以及圖像沒有發(fā)生嚴重的失真，視覺效果自然，因此本文算法的去霧圖像有較好的主觀視覺效果。另外，通過與近些年基于深度學習的4種圖像去霧算法進行主觀比較，如圖7所示。從圖7(b)可以看出DehazeNet網(wǎng)絡模型[11]復原出的圖像在近景區(qū)域偏暗，遠景區(qū)域去霧不徹底；從圖7(c)可以看出AOD網(wǎng)絡模型[12]復原出的圖像與DehazeNet網(wǎng)絡模型一樣，近景區(qū)域偏暗，遠景區(qū)域去霧不徹底；從圖7(d)可以看出EPDN網(wǎng)絡模型[14]在濃霧場景下，去霧效果不好，留下有殘霧；從圖7(e)可以看出MSBDN-DFF網(wǎng)絡模型[15]對真實自然霧圖的去霧效果較差，該算法的魯棒性不強；從圖7(f)可以看出，本文算法魯棒性更強，復原的圖像明亮度適宜，去霧更加徹底，因此對于真實霧圖，該算法比基于深度學習的去霧算法復原圖像的主觀視覺效果更好，表明該算法比其他算法的復原圖像在主觀視覺效果上有優(yōu)勢。

圖6 不同傳統(tǒng)去霧算法處理的5種不同類型場景真實霧圖的去霧效果對比圖

圖7 不同深度學習算法處理的5種不同類型場景真實霧圖的去霧效果對比圖

4.2 客觀比較

本文采用通用的4種無參考客觀評價指標[19]：對比度(C)、信息熵(IE)、平均梯度(AG)以及運行時間(T)，分別與He等人、Meng等人、Zhu等人提出的3種傳統(tǒng)去霧算法，以及4種基于深度學習的圖像去霧算法進行比較，各種指標結(jié)果對比如表1～4所示。其中對比度、信息熵、平均梯度的值越高越好。從表1和表2可以看出本文算法比He等人、Meng等人、Zhu等人提出的傳統(tǒng)去霧算法以及所有基于深度學習的去霧算法所復原出的圖像平均梯度和對比度都更高，因此本文算法比它們7種算法的圖像去霧效果更好，復原圖像更加清晰，在景深突變處沒有光暈效應，天空區(qū)域沒有發(fā)生嚴重失真。然而從表3可以看出本文算法復原出的部分圖像信息熵在這8種算法中不是最高的，但大部分都能排到第二和第三位，具有較高的值，因此復原圖像的信息較為豐富，沒有發(fā)生嚴重失真。另外，從表4可以看出算法的運行時間是較短的，比其他3種傳統(tǒng)去霧算法的運行時間都短，并且相比于基于深度學習的大部分去霧算法的運行時間較短，只比AOD網(wǎng)絡模型的運行時間略長，從以上綜合考慮，該算法復原圖像具有不錯的客觀指標。因此該算法的圖像去霧效果較好。

表4 各算法的運行時間

5 結(jié) 論

本文提出了一種自適應gamma校正估計的圖像去霧算法。首先為了避免出現(xiàn)塊效應，通過像素級操作對透射率進行估算，即根據(jù)與場景深度相關(guān)的圖像亮度，利用不同的gamma校正衰減函數(shù)來逼近圖像中不同場景深度下有霧圖像與無霧圖像之間的關(guān)系，進而自適應估算出無霧圖像最小通道，并通過引導濾波算法對無霧圖像最小通道進行修正，保持與有霧圖像最小通道具有相同的結(jié)構(gòu)。然后通過高斯相對性平滑初始透射率的局部紋理，并不破壞其結(jié)構(gòu)。另外，對于大氣光值的估計，通過增加搜索領(lǐng)域，將有霧圖像中藍色通道上半部分作為輸入的改進四叉樹算法，精確獲得有霧圖像中場景最深處所對應的像素值作為大氣光值。最后利用gamma校正算法對復原圖像的亮度進行增強。通過實驗驗證，本文提出的假設成立，實驗結(jié)果表明復原圖像的對比度和平均梯度分別提高40.66%，20.98%，運行時間相比于傳統(tǒng)算法中運行時間最短的算法，縮短了6.57%，以及復原圖像不存在光暈效應，并且在圖像不發(fā)生嚴重失真的前提下，去霧更加徹底，明亮度適宜，視覺效果自然。