結(jié)合雙閾值定位與透射率約束的航拍圖像去霧

王偉鵬， 項文杰*， 戴聲奎

(1. 閩南科技學院 光電信息學院，福建 泉州 362332； 2.華僑大學 信息科學與工程學院，福建 廈門 361021)

1 引 言

隨著航空技術(shù)和飛行器技術(shù)的快速發(fā)展，航拍圖像成為獲取地形地貌信息的高效方式。然而霧霾天氣帶來的不良影響使得航拍圖像的質(zhì)量嚴重退化，具體表現(xiàn)為顏色飽和度降低、細節(jié)可見性不足，導致其在地面測量、目標定位和災(zāi)情預(yù)報等系統(tǒng)中難以發(fā)揮有效作用。因此對圖像進行去霧處理具有重要的應(yīng)用價值和實際意義[1-2]。圖像去霧研究是一項富有挑戰(zhàn)性的工作，由于單張圖像中的霧氣濃度是未知的，并且很難捕捉到同一光照下的完全無霧場景作為參考，因此該問題的解決一直受到制約。

目前，主流的去霧方法大致可分為兩類。一類是基于先驗假設(shè)的模型復原方法，此類方法以物理模型為基礎(chǔ)，充分利用場景的特征提出假設(shè)、約束條件，反推模型實現(xiàn)清晰圖像的估計。He[3]等人提出了暗通道先驗規(guī)律，結(jié)合大氣散射模型進行圖像去霧，方法簡單且效果出眾。Meng[4]等人提出針對傳輸透射率的邊界約束條件，結(jié)合正則化方法進行建模，有效消除了圖像噪聲，提高了對比度。Sun[5]等人對大氣亮度進行細化，提出基于局部大氣亮度估計的去霧算法，有效改善了局部細節(jié)恢復的視覺效果。Wang[6]等人提出基于線性變換的透射率估計方法，并采用弱化策略克服局部區(qū)域的失真問題，達到自然清晰的恢復結(jié)果。Bui[7]等人構(gòu)造彩色橢球體用于透射率的估計，能夠有效提升去霧圖像的對比度，且避免顏色過飽和現(xiàn)象。Sebastian等人提出兩種估計透射率的方法，一是采用多層感知器對最小通道圖直接進行計算[8]，二是結(jié)合暗通道先驗和形態(tài)學快速重建[9]。Liu[10]等人采用自適應(yīng)正則化方法，有效保持透射率的深度結(jié)構(gòu)。宋瑞霞[11]等人對包含大片天空的圖像進行分割，結(jié)合色調(diào)映射實現(xiàn)圖像去霧。楊燕[12]等人利用高斯函數(shù)對原始場景和去霧場景進行衰減擬合，修正透射率實現(xiàn)區(qū)域補償。

另一類是基于神經(jīng)網(wǎng)絡(luò)的學習方法，此類方法通過大量數(shù)據(jù)的訓練實現(xiàn)圖像去霧，然而受限于樣本的數(shù)據(jù)量和多樣性，對部分自然有霧圖像的處理效果欠佳。Cai[13]等人將大氣散射模型與卷積網(wǎng)絡(luò)相結(jié)合，提出深度學習的端到端訓練系統(tǒng)，以此準確估計傳輸透射率。Ren[14]等人提出一種利用多尺度深層神經(jīng)網(wǎng)絡(luò)的學習方法，用于原始圖像和透射率之間的映射，對自然場景與合成圖像均取得較好的去霧結(jié)果。陳清江[15]等人對霧化場景和清晰結(jié)果之間的殘差構(gòu)造學習網(wǎng)絡(luò)，結(jié)合多尺度卷積實現(xiàn)霧氣分布特征的提取，再利用導向濾波恢復圖像。邢曉敏[16]等人通過二階映射策略進行樣本訓練，提出非配對數(shù)據(jù)的適應(yīng)性對抗網(wǎng)絡(luò)。

考慮到航拍地形地貌具有細節(jié)豐富多樣且基本不含天空的特點，采用當前主流方法估計大氣光強度和透射率會出現(xiàn)一定的偏差。針對該問題，本文提出一種結(jié)合雙閾值定位大氣光與約束優(yōu)化透射率的航拍圖像去霧算法，并采用基于人眼特性的色調(diào)映射提升視覺效果。實驗表明，該方法的處理效果和算法執(zhí)行效率具有較大的優(yōu)越性。

2 大氣散射模型和暗通道先驗

在計算機視覺和圖形圖像學中，霧霾天氣下的圖像降質(zhì)過程可用大氣散射模型[3-4]來描述：

I(x)=J(x)t(x)+A[1-t(x)]

(1)

式中：I(x)和J(x)分別表示有霧圖像和去霧后的清晰圖像；A表示全局大氣光強度值；t(x)表示介質(zhì)透射率，當大氣均勻分布時，t(x)=e-βd(x)，β為大氣散射系數(shù)，d(x)為景物深度。觀察式(1)可知，只有I(x)是已知的，若要求解J(x)，需要先求出大氣光A和透射率t(x)。

He[3]等人通過對大量戶外無霧圖像進行觀察統(tǒng)計，總結(jié)了暗通道先驗規(guī)律：除了天空和其他大面積白色區(qū)域以外的圖像局部塊中，至少存在一個RGB通道值趨近于零的像素。對于彩色圖像J(x)，其暗通道圖像可表示為：

(2)

式中：Jc表示圖像J的一個顏色通道；Ω(x)表示以像素點x為中心的局部方形區(qū)域。假定大氣光強度已知的前提下，計算式(1)等號兩邊的暗通道：

(3)

由于I(x)是有霧圖像，其暗通道值不為零；而J(x)是清晰的無霧圖像，其暗通道值非常低，趨近于零，因此舍棄等號右邊第1項，得到介質(zhì)透射率[3]的表達式：

(4)

式中：引入調(diào)整因子κ(0<κ≤1)用于控制去霧程度，為了保證圖像的視覺效果一般取κ=0.95。通過暗原色先驗估計得到的透射率存在塊效應(yīng)現(xiàn)象，還需要以原始圖像的結(jié)構(gòu)邊緣為參照，經(jīng)過軟摳圖或者導向濾波進一步細化。然而軟摳圖的時空復雜度較大，引導濾波的參數(shù)不易調(diào)整都將導致復原效果不理想。

3 本文算法

基于大氣散射模型，本文重點對大氣光和透射率的估計、恢復圖像的色調(diào)調(diào)整進行深入研究。本文的算法流程如圖1所示，實現(xiàn)步驟如下：1)分別提取霧天圖像的梯度圖和暗通道圖，采用雙閾值分割大氣光值所在區(qū)域；2)依次通過條件約束和雙指數(shù)濾波優(yōu)化透射率；3)恢復圖像并進行色調(diào)映射調(diào)整。

圖1 本文算法的流程圖Fig.1 Flow chart of the proposed algorithm

3.1 雙閾值定位大氣光強度

大氣光強度位于原始圖像中霧氣濃度最大的區(qū)域，其估計值對復原圖像的亮度產(chǎn)生影響：取值偏大將導致圖像的亮度偏暗，取值偏小則會造成高亮像素值溢出。暗通道方法[3]選取最高亮度值的前0.1%，標記這些像素的所在位置，將霧天圖像中對應(yīng)位置上的像素最大值認定為大氣光A。Ren[14]等人選取透射率中最暗的前0.1%像素，對應(yīng)霧天圖像中的最大強度值作為A。上述方法僅單方面考慮了圖像亮度來決定A值的估計，針對基本不含天空且場景細節(jié)豐富的航拍圖像，魯棒性不足。考慮到地面上的白色建筑、目標物較多，并且霧氣分布較為均勻，本文提出一種融合邊緣檢測與暗通道的估計方法，通過雙閾值來確定大氣光強度的估計。

首先，濃霧區(qū)域的梯度信息相對較弱、邊緣細節(jié)不明顯，因此利用Sobel算子對原始圖像進行邊緣檢測，獲取梯度圖g(x)，梯度值越小說明該區(qū)域越平滑，為了限定大氣光所在的濃霧位置，應(yīng)設(shè)定梯度閾值Tg為較小的數(shù)，此處取Tg≤gm·10%(gm表示g(x)的整體平均值)。其次，由暗通道先驗可知，霧天圖像的暗通道值Idark(x)隨著霧氣濃度的升高而增大，濃霧區(qū)域的亮度一定是Idark(x)中相對較高的，此處取亮度閾值Td≥Im·90%(Im表示Idark(x)中的最大灰度值)。最后，分別標記滿足g(x)Td的像素坐標，保留坐標位置重合的像素，這些像素構(gòu)成的集合即為大氣光強度所在區(qū)域，該區(qū)域的平均值作為A的估計。

估計過程如圖2所示，圖2(a)為邊緣梯度圖，暗區(qū)表示細節(jié)不明顯的平滑區(qū)域；圖2(b)為暗通道圖，其亮度近似反映霧氣濃度。接下來進一步對閾值的選取問題進行研究，通過3組不同閾值的定位結(jié)果，討論對大氣光強度的估計影響：第1組取Tg=gm·10%，Td=Im·90%，自動定位結(jié)果如圖2(c)中的紅色標識，此時閾值門檻較低，導致標識的濃霧區(qū)域較大，絕大部分位于圖像最上方，深度最深處，然而小部分標識出現(xiàn)錯誤，如接近白色的建筑并非濃霧所在位置；第2組設(shè)定高門檻閾值，取Tg=gm·1%，Td=Im·99%，結(jié)果如圖2(d)所示，不難發(fā)現(xiàn)僅有最上方的少數(shù)紅色標識滿足閾值條件，對于含有噪聲的霧天降質(zhì)圖像，少量像素的均值計算不具有魯棒性，因為這些像素本身可能是噪聲點；第3組折中取Tg=gm·5%，Td=Im·95%，結(jié)果如圖2(e)所示，可以看出紅色標識區(qū)域的大小介于前兩者之間，既可有效避免圖2(c)中非濃霧的白色目標干擾，又具有比圖2(d)更強的噪聲魯棒性。

圖2 大氣光強度的估計Fig.2 Estimation of the atmospheric light

綜上分析可知，閾值的設(shè)定直接影響大氣光強度的定位和計算準確度，因此在本文實驗中，選取Tg=gm·5%，Td=Im·95%可得到合理、準確的結(jié)果。

3.2 構(gòu)造約束條件估計透射率

介質(zhì)透射率的準確估計是恢復清晰圖像的關(guān)鍵。針對航空航拍圖像中，地面具有豐富的細節(jié)特征，考慮到透射率與場景深度相關(guān)，深度一致時，透射率基本相同，因此假設(shè)局部區(qū)域的相鄰像素具有相似的透射率[4]。然而針對深度跳躍的區(qū)間，該假設(shè)并不成立，因為透射率也會隨之跳躍。此處引入加權(quán)函數(shù)W(x,y)進行約束：

W(x,y)[t(x)-t(y)]≈0

(5)

式中：x和y表示相鄰的2個像素點。權(quán)重W(x,y)對x和y進行條件約束：當x和y的深度差值非常大時，W(x,y)應(yīng)取很小值才能使式(5)成立。由于單幅圖像的深度信息是未知的，無法直接構(gòu)造加權(quán)函數(shù)。考慮到深度跳躍的圖像邊緣，若局部區(qū)域的像素點具有相似的顏色或亮度，則其深度值基本一致，此處采用相鄰像素的顏色差和亮度差來構(gòu)造加權(quán)函數(shù)：

W(x,y)=e-‖I(x)-I(y)‖2/2σ2

(6)

W(x,y)=(|l(x)-l(y)|α+ε)-1

(7)

式中：‖I(x)-I(y)‖表示顏色向量的差值；|l(x)-l(y)|表示對數(shù)亮度通道的差值；σ是規(guī)則參數(shù)；α是控制亮度差的靈敏度系數(shù)；ε是很小的常數(shù)，防止被除數(shù)為零。在全局圖像中引入加權(quán)約束條件，實現(xiàn)透射率的正則化[4]：

(8)

式中：Ω表示圖像域；ωx表示以x為中心的局部圖像塊。引入差分算子，將式(8)離散化：

(9)

式中：I為圖像像素的索引集；wij為W(x,y)的離散形式。調(diào)整式(9)中的求和順序，引入微分算子，得到：

(10)

式中：?為卷積運算，Dj為一階微分算子，Wj為加權(quán)矩陣。通過最小化以下目標函數(shù)求解透射率：

(11)

(12)

該估計結(jié)果還不能完全反映深度信息，如圖3(a)所示，局部區(qū)域的紋理細節(jié)所在深度基本一致，需要進一步濾除。

圖3 本文算法對透射率的估計Fig.3 Estimation of transmittance by proposed algorithm

3.3 雙指數(shù)濾波優(yōu)化透射率

雙指數(shù)濾波器[17]具有快速平滑去噪的特點，且有效克服了雙邊濾波器的梯度反轉(zhuǎn)現(xiàn)象。該濾波器將透射率t(x)分解為一維信號，先執(zhí)行正向遞歸濾波：

φ(x)=[1-τ(x)λ]t(x)+τ(x)λφ(x-1)

(13)

τ(x)=r[t(x),φ(x-1)]

(14)

再執(zhí)行反向遞歸濾波：

φ(x)=[1-ρ(x)λ]t(x)+ρ(x)λφ(x+1)，

(15)

ρ(x)=r[t(x),φ(x+1)]

(16)

式中：指數(shù)濾波核r(i,j)=exp[-(i-j)2/(2σ2)]；λ和σ用于控制細節(jié)的平滑程度。聯(lián)合正反向濾波輸出，即可得到優(yōu)化后的透射率：

(17)

如圖3(b)所示，優(yōu)化后的結(jié)果中已濾除紋理細節(jié)，僅保留灰度差較大的輪廓特征，與原始圖像的深度信息基本相符。

3.4 恢復圖像和色調(diào)映射

由透射率和大氣光強度即可反解大氣散射模型[3-4]恢復清晰的結(jié)果，即：

(18)

式中：引入下限參數(shù)t0=0.03，目的是為了防止透射率接近0時受到噪聲干擾。圖4(a)為霧天航拍圖像，恢復結(jié)果如圖4(b)所示，通過對比可以看出，霧氣被有效去除的同時，對比度和視見度有所提升，但是去霧之后光線不足，整體色調(diào)偏暗。為了使恢復效果得到進一步提升，研究基于人眼視覺特性的色調(diào)映射方法。韋伯心理學和物理學定律[18]指出，人眼對于視覺信號強度的波動感知和反應(yīng)是由背景亮度刺激加權(quán)的。在散射模型中，圖像的背景可用透射率來簡單表示。本文將這一定律融入恢復圖像的色調(diào)調(diào)整，結(jié)合透射率的平均亮度進行非線性擬合，得到映射公式如下：

(19)

式中：tm為透射率tb(x)的平均值；JW(x)為映射后的結(jié)果，如圖4(c)所示，相比映射前，色彩更加鮮艷飽滿，層次感和細節(jié)可見性得到進一步提升。

圖4 本文的去霧效果Fig.4 Defogging results by proposed algorithm in this paper

4 實驗結(jié)果與對比

為了驗證本文算法的有效性和優(yōu)勢，與He算法[3]、Cai算法[13]、Ren算法[14]和Sebastian算法[8]進行對比，客觀指標采用信息熵E和平均梯度G。實驗平臺為MATLAB 8.5.0，運行環(huán)境為Win10系統(tǒng)，機器配置為Intel i5 CPU，2.2 GHz主頻，4 GB內(nèi)存。

4.1 主觀比較

本文的實驗測試選用了包含城市、江河、山林、湖泊和海島等多種地形地貌特征的航拍圖像，多種算法的去霧效果如圖5所示。圖5(a)為有霧圖像，圖5(b)為He算法[3]的去霧結(jié)果，img1和img5的整體亮度偏低；img2的樹木細節(jié)不明顯；img3和img6的建筑物顏色過于飽和；img4和img7的遠景處出現(xiàn)偏紫色和偏藍色現(xiàn)象。圖5(c)為Cai算法[13]的去霧結(jié)果，img1和img2的對比度較差；img3和img6的整體去霧力度不足；img4、img5和img7的遠景處仍然殘留部分霧氣沒有消除徹底。圖5(d)為Ren算法[14]的去霧結(jié)果，img1和img3的亮度適宜，但是色調(diào)與原始圖像有一定偏差；img2和img4取得較好的恢復效果，然而視覺上的層次感不足；img6的霧氣去除程度有待提高；img7整體偏綠色。圖5(e)為Sebastian算法[8]的去霧結(jié)果，img1、img2和img3亮度偏暗，對比度較差；img4、img5和img7的遠景處還有小部分霧氣存在；img6的色彩飽和度不足，顏色信息丟失。圖5(f)為本文算法的去霧結(jié)果，img1、img2和img3整體明亮通透，色調(diào)與原始圖像高度一致；img4、img5和img7遠景處視見度較高，細節(jié)清晰可見；img6去霧徹底，色彩保真度較好。通過以上7組圖片的對比可知，本文算法在主觀視覺上的優(yōu)勢較大。

圖5 實驗結(jié)果比較Fig.5 Comparison of experimental results

4.2 客觀比較

圖5中7組圖片的客觀指標如表1和表2所示。信息熵E表征圖像中信息量的大小，數(shù)值越大意味著信息量越多；平均梯度G反映細節(jié)的清晰程度，數(shù)值越大表明圖像越清晰。從單張圖片的對比可以看出，本文的E指標和G指標具有一定的優(yōu)勢。進一步統(tǒng)計2項指標的平均值，本文均取得最高值，再次驗證了本文算法的有效性。對比各種算法的運行時間，結(jié)果如表3所示，本文構(gòu)造約束條件估計透射率的復雜度相對較低，算法運行效率相對較高，處理1 024×768分辨率的圖像僅需1.39 s，比其余算法節(jié)省至少60%的時間。

表1 信息熵E的對比Tab.1 Comparison of information entropy

表2 平均梯度G的對比Tab.2 Comparison of mean gradient

表3 運行時間的對比(s)Tab.3 Comparison of Running time(s)

5 結(jié) 論

針對航拍設(shè)備在霧天采集圖像引起的細節(jié)模糊和顏色退化問題，本文給出了快速有效的恢復方法。根據(jù)梯度圖的細節(jié)分布特征和暗通道的亮度信息，采用雙閾值定位大氣光強度所在位置；構(gòu)造約束條件與雙指數(shù)濾波的有效結(jié)合，進一步優(yōu)化了細節(jié)處的透射率值；提出基于人眼特性的色調(diào)映射方法，改善恢復圖像的視覺效果。實驗結(jié)果表明，本文方法所獲取的透射率與深度信息具有高度一致性，7組測試圖像的平均信息熵為7.659，平均梯度為16.631，均優(yōu)于現(xiàn)有算法。同時算法的時間復雜度低，能夠有效應(yīng)用于遙感定位、地貌測繪、目標識別等航拍系統(tǒng)。