基于超像素暗通道和改進導向濾波的農(nóng)業(yè)圖像去霧方法

樊湘鵬 周建平,2 許 燕,2

(1.新疆大學機械工程學院， 烏魯木齊 830047;2.新疆維吾爾自治區(qū)農(nóng)牧機器人及智能裝備工程研究中心， 烏魯木齊 830047)

0 引言

隨著傳感器和通信技術的發(fā)展，農(nóng)業(yè)機器人裝備能夠快速獲取高通量的大田作物生長信息[1]并對作物長勢和生理脅迫響應進行有效動態(tài)監(jiān)測，已成為精準農(nóng)業(yè)中的研究熱點[2]和重要手段。在天氣晴朗、能見度高、天頂角小的情況下，農(nóng)業(yè)機器人視覺系統(tǒng)可以獲得最佳效果的圖像，然而在實際環(huán)境中，受空氣污染加劇、自然霧霾和農(nóng)田非正常活動(如焚燒)等的影響，理想天氣次數(shù)減少，大氣介質(zhì)對地面反射光線的散射和吸收導致空氣能見度降低，使得農(nóng)田圖像中的地物信息模糊不清，甚至出現(xiàn)顏色的偏移和失真，直接影響圖像信息的真實性[3]，給圖像的解譯和后續(xù)使用帶來了極大困難。研究農(nóng)田圖像除霧技術并進行復原處理是圖像信息解析的重要前提，對提升圖像數(shù)據(jù)精確度、促進農(nóng)業(yè)機器人的推廣和農(nóng)業(yè)信息化進程有著重要的作用[4]。

圖像去霧主要有兩類方法，一類是基于圖像增強的方法，通過調(diào)整圖像的對比度和亮度等指標來突出圖像的細節(jié)，可在一定程度上增強視覺效果，但容易丟失信息、引入噪聲，造成圖像顏色失真，如基于直方圖均衡化[5]和Retinex理論的算法[6]等；另一類是基于霧天退化模型的方法[7]，該類方法通過對環(huán)境光和透射率進行分析，并根據(jù)一定的先驗假設來逼近模型參數(shù)的真實值來實現(xiàn)去霧。HE等[8]基于統(tǒng)計規(guī)律提出了暗原色通道先驗去霧模型，據(jù)此估計圖像的透射率和大氣光來去霧。該類方法直觀地表示了含霧圖像的成因，可通過反演得到未降質(zhì)前的圖像，效果良好。近年來，不同學者圍繞暗通道先驗理論，利用大氣與光線相互作用的物理模型，開展了一系列圖像去霧研究。王澤勝等[9]在暗通道基礎上對原始圖像映射處理，結合多維導向濾波方法優(yōu)化透射率后自適應調(diào)整色階得到清晰化的交通場景圖像；張晨等[10]將形態(tài)學梯度和暗通道圖像線性融合，引入自適應高斯權重參數(shù)對融合后暗通道圖像逐像素處理得到粗透射率，并用正則化抑制光暈現(xiàn)象。向文鼎等[11]、韓昊男等[12]利用四叉樹分解方法估計大氣光值，分別采用自適應閾值分割和引導濾波算法減少色彩失真和光暈現(xiàn)象。辛嬌嬌等[13]采用改進的自適應局部閾值分割和自適應參數(shù)優(yōu)化相結合算法對透射率進行細化，提高了大氣光強的魯棒性，得到清晰自然的恢復圖像。楊燕等[14]建立無霧圖像暗通道圖的平面扇形模型，引入均值不等關系式來逼近扇形模型的邊界，去霧后視覺效果好，但對于遠景圖像來說容易失真。李雅梅等[15]利用Canny算子對不同天空區(qū)域分割得到不同景深的亮度透射率，利用快速引導濾波對透射率進行優(yōu)化，有效抑制光暈現(xiàn)象，但容易出現(xiàn)過飽和現(xiàn)象。安冬等[16]提出了一種自適應超像素區(qū)分不同景深物體的暗通道先驗去霧算法，有效提高了去霧精度。

上述研究雖然取得了較好的結果，但是將上述算法直接用于農(nóng)田圖像去霧效果并不理想。目前去霧效果較為理想的算法往往存在計算量大、運算速度偏慢的缺點，難以適合對實時性要求較高的精準農(nóng)業(yè)航空領域；另外，農(nóng)業(yè)機器人視覺獲取的農(nóng)田遙感圖像是向下成像，包含不同作物、雜草、裸地等色彩豐富的目標，有豐富的邊緣和紋理細節(jié)而不涉及到天空區(qū)域。對精準農(nóng)業(yè)而言，去霧的目的不僅是要提高圖像的清晰度，更重要的是能夠還原植被的真實色彩，避免信息偏差。因此，本文從農(nóng)業(yè)機器人視覺圖像的特點出發(fā)，在超像素級別應用暗通道先驗原理，改進導向濾波算法并優(yōu)化透射率，加入自適應容差機制來得到精細的透射率，最后結合局部大氣光估計方法得到高質(zhì)量的農(nóng)業(yè)場景圖像。

1 去霧原理

1.1 大氣散射模型

非成像物點光線中因大氣介質(zhì)發(fā)生散射進入成像設備的光線成為大氣光。大氣光通常隨成像物點與成像設備間距離的增加而增加，假設成像設備與成像物點之間的距離為d，距離成像設備x處的單位體積內(nèi)，大氣光參與成像的過程如圖1所示。

由圖1可知，在戶外成像過程中，入射光經(jīng)成像點反射后，在傳輸過程中與大氣介質(zhì)相互作用會發(fā)生衰減，根據(jù)Mie散射理論[17]，最終到達設備的入射光可以分為經(jīng)大氣衰減的入射光和來自周圍環(huán)境的大氣光，此時大氣光散射模型可表示為

I(x)=J(x)t(x)+A(1-t(x))

(1)

式中I(x)——大氣散射后含霧圖像

J(x)——原始圖像A——大氣光值

t(x)——圖像透射率

基于大氣散射物理模型的圖像去霧，實際上是

根據(jù)已知的含霧圖像I(x)及強力的先驗條件計算出相應的透射率t(x)及大氣光值A，得到原始圖像J(x)，即

(2)

1.2 暗原色通道先驗理論

HE等[8]借助自然場景下5 000多幅無霧圖像進行統(tǒng)計分析，發(fā)現(xiàn)其暗通道圖的像素值中有86%分布在[0,16]的灰度范圍，基于此概率統(tǒng)計值，提出了暗原色通道先驗理論模型。無霧和含霧圖像的暗通道之間存在顯著區(qū)別，因而暗通道的區(qū)別可以反映含霧圖像中霧的分布狀況。圖2中分別展示了含霧圖像、暗通道圖和直方圖的情況。含霧圖像的像素值大多集中在75～175之間，極大地影響了圖像中有效信息的獲取和解析。

對于任意一幅圖像，原始圖像為J(x)，其暗原色圖像Jdark可表示為

(3)

式中JC(y)——原始圖像的某個像素值通道

Ω(x)——以x為中心的局部圖像塊，對原始圖像做等尺寸劃分得到

(4)

式中IC(y)——含霧圖像的某個像素值通道

AC——大氣光通道

當透射率t接近于0時，J將會對噪聲非常敏感，此時常用做法是給t的取值限定下限tmin，結合式(2)可得最終的去霧圖像模型為

(5)

1.3 先驗暗通道算法存在的問題分析

暗通道先驗理論基于“在以x為中心的方形區(qū)域Ω(x)內(nèi)的透射率t(x)保持不變”這一假設[8]，但是t(x)是關于場景深度的函數(shù)，與景物深度信息相關，景物越近，暗通道的值越低，景物越遠，暗通道的值越高[18]。由于農(nóng)田圖像含有豐富的色彩和紋理信息，且圖像中的景深信息變化強烈，當濾波器滑窗遍歷到景深變化區(qū)域時，會導致復原出的無霧圖像光強增大，引起Halo效應[19]，如果選取的鄰域窗口過小，則會因為較多區(qū)域不存在暗通道使復原圖像出現(xiàn)色彩偏移。當在暗通道算法中引入軟摳圖對透射率進行細化，雖然去霧圖像Halo效應得到了較好的解決，但是因為軟摳圖涉及大型矩陣的計算，算法效率低下，而在農(nóng)田中獲取的圖像預處理往往具有大批量、實時性要求高的特點，難以滿足實際應用。因此，本文提高農(nóng)業(yè)場景圖像去霧效果和性能的重點在于如何保證以x為中心的區(qū)域內(nèi)只包含同一個景深物體，得到精細的透射率傳播圖，同時提升去霧的速度以滿足實時性要求。

2 暗通道先驗去霧算法改進

由于暗通道先驗去霧算法是在假定局部區(qū)域內(nèi)透射率相同這一條件，使用傳統(tǒng)的方形窗口在景深突變區(qū)域時該假設不再成立，導致對局部透射率錯誤估計，因而需要對透射率進行優(yōu)化和細化，以獲得精確度高的復原圖像。本文利用超像素分割對遙感圖像進行分塊細化估計透射率，同時采用改進的引導濾波優(yōu)化透射率，并加入自適應容差機制對透射率進行補償，選擇帶有自適應調(diào)整的局部大氣光估計方法得到良好的大氣光，最終復原得到清晰圖像，本文圖像去霧算法流程如圖3所示。

2.1 超像素分割細化透射率

在暗通道去霧算法中，計算暗通道圖時鄰域窗口尺寸的選取對圖像去霧的效果有重要影響。由于超像素分割的超像素塊區(qū)域色相、飽和度和亮度等屬性上具有極強的一致性，各個像素塊在景深以及透射率上也具有很高的一致性，因此可將超像素塊區(qū)域F(x)替換原來暗通道算法中的固定方形窗口，并利用暗通道先驗理論在超像素級尺度來估計透射率。在超像素分割算法中，簡單線性迭代聚類分割(Simple linear iterative clustering，SLIC)是對顏色相似度和空間距離關系進行聚類的超像素分割算法，便于控制超像素分割緊密度，且運行效率高[20]，因此選擇SLIC算法對輸入圖像進行超像素分割，分割效果如圖4所示(圖像分辨率為1 200像素×800像素)，K代表分割超像素塊數(shù)量。經(jīng)多次試驗，當K=4 000時，可兼顧去霧效果和運算速度。

當對超像素塊區(qū)域F(x)提取暗通道時，可以得到魯棒性和精確性更好的透射率估計值，避免由于景深變化導致的錯誤估計，也能有效降低噪聲干擾。此時式(4)可變?yōu)?/p>

(6)

直接利用暗通道先驗算法得到的粗略估計透射率效果和利用超像素分割得到的細化透射率圖像效果如圖5所示，可以發(fā)現(xiàn)超像素級暗通道先驗算法得到的透射率效果明顯優(yōu)于暗通道先驗算法粗略估計得到的透射率。在實際環(huán)境下，即便處于晴朗天氣，大氣中依然存在一定數(shù)量的顆粒。因此，在航拍距離較遠的地面目標時，圖像中依然存在一定的“輕微霧化”現(xiàn)象。如果對這些區(qū)域進行徹底去霧，不僅會導致圖像失真，還會使圖像的深度信息弱化。通常的選擇是對遠處成像物體維持微弱的霧化效果。具體做法是在式(6)中引入一個常參數(shù)ω(0<ω<1)，依據(jù)應用場景的不同ω可適應性地進行選擇，此時透射率估計值為

(7)

2.2 改進導向濾波優(yōu)化透射率

超像素分割得到的區(qū)域與傳統(tǒng)的方形區(qū)域相比，其穩(wěn)健性和細致性都有所提高，在邊緣細節(jié)和平滑性上仍然略顯不足。為了彌補這一方面的不足，將導向濾波算法引入并利用自適應平滑參數(shù)進行改進，以獲得更細致的透射率。引導濾波算法計算速度快、運行效率高[21]，有助于快速提高圖像的品質(zhì)[22]，導向濾波過程示意圖如圖6所示，p為濾波輸入圖像；在導向濾波操作時需要一幅引導圖像I，q為濾波輸出圖像。q則是p和I共同作用的產(chǎn)物，可以使輸出圖像與引導圖像的邊緣保持一致并且減少運算時間。

在圖6中，濾波輸入圖像pi和濾波輸出圖像qi之間的約束條件關系為qi=pi-ni，pi為qi受到霧氣ni影響的退化圖像。假設引導圖像Ii和濾波輸出圖像qi在超像素塊區(qū)域F(x)內(nèi)存在局部線性關系，即

qi=aIi+b(?i∈F(x))

(8)

式中，a和b是在超像素塊區(qū)域F(x)中的線性不變系數(shù)，根據(jù)圖像復原的方法可以轉(zhuǎn)換為求a和b的最優(yōu)化問題。為了求取a和b的最優(yōu)解，且最小化濾波輸入圖像p和濾波輸出圖像q之間的差異性，構建超像素塊區(qū)域F(x)中的代價函數(shù)

(9)

式中ε為正則化參數(shù)，其作用是將a控制在合理范圍內(nèi)。此時利用線性回歸求解代價函數(shù)可得

(10)

(11)

式中 |F|——超像素塊區(qū)域F(x)內(nèi)的像素總數(shù)

μ——I在F(x)內(nèi)的平均值

σ2——I在F(x)內(nèi)的方差

計算每個超像素區(qū)域的線性系數(shù)時，由于像素i包含在不同區(qū)域內(nèi)，超像素區(qū)域中對應的a與b也不一樣。引導圖像I和濾波輸出圖像q在超像素塊區(qū)域F(x)內(nèi)存在局部線性關系，因此，需要對所有包含該像素i的窗口F(x)鄰域的輸出結果求取均值，此時導向濾波的最終表達式為

(12)

文中濾波輸入圖像p選擇2.1節(jié)中超像素分割細化得到的透射率，引導圖像I選擇含霧圖像的灰度圖，通過引導濾波所得到的濾波輸出圖像q為優(yōu)化后的透射率圖像，如圖7a所示。

2.3 自適應容差補償透射率

為了解決俯拍場景中的霧氣濃度變化問題并有效改善圖像去霧后地面白亮區(qū)域出現(xiàn)失真的現(xiàn)象，在處理地面明亮區(qū)域時加入自適應容差補償算法，使其能夠根據(jù)明亮區(qū)域的尺寸對透射率進行自適應補償修正，從而得到質(zhì)量更高的復原圖像[23]。自適應容差對透射率的補償過程中首先對容差調(diào)節(jié)圖Map0進行定義[24]

Map0(x)=I(x)-αA

(13)

式中α——大氣光調(diào)節(jié)參數(shù)，取0.95

在容差調(diào)節(jié)圖中計算像素大于0的元素集合S0為

S0={Map0(x)|Map0(x)>0}

(14)

此時容差參數(shù)T可表示為

(15)

式中Snum——集合S0中元素的總數(shù)

I(x)num——輸入圖像中所有元素的個數(shù)

為避免容差參數(shù)過大對明亮區(qū)域的誤判，對容差參數(shù)取上限值0.28。將容差機制引入透射率的計算表達式為

(16)

2.4 局部大氣光估計與適應性調(diào)整

去霧的另一個關鍵過程是對大氣光值A的估計，若選取的大氣光值大于真實值，最終復原出的圖像會偏暗，細節(jié)顯示不完整，反之則導致圖像亮度過大。文獻[8]采用暗通道中亮度前0.1%的像素值對應的原圖像素作為大氣光值，但是容易出現(xiàn)高估A的情況。另外，由于俯拍圖像具有取景位置高、作業(yè)天氣變化大等特點，需要使大氣中的粒子干擾具有更強的魯棒性。文獻[25]提出的局部大氣光估計方法可以消除因全局大氣光估計不準確導致的過亮或過暗現(xiàn)象，因此選擇局部大氣光估計方法得到良好的大氣光值A。利用式(5),將得到的大氣光值結合前文中得到的精細透射率圖t(x)，代入已知的含霧遙感圖像I(x)，即可得高質(zhì)量的復原圖像J(x)。

3 試驗與結果分析

為了驗證所提方法的有效性，選取6幅含不同程度霧霾的農(nóng)業(yè)場景圖像進行一系列的對比試驗，引導濾波半徑設為65像素，透射率調(diào)節(jié)參數(shù)ω設為0.95，正則化參數(shù)ε為0.000 5。試驗環(huán)境為Matlab 2016a，運行系統(tǒng)為Windows 10，處理器型號為Inter Core i7-7700@3.6 GHz，計算機內(nèi)存為8 GB。分別與全局平衡直方圖算法(Global histogram equalization algorithm，GHEA)、文獻[8]暗原色通道先驗算法和文獻[22]基于引導濾波的暗原色通道先驗算法進行復原結果對比。為了建立更全面系統(tǒng)的分析過程，分別利用主觀視覺效果和客觀指標依次進行評價。

3.1 主觀評價方法

分別選取不同含霧程度的不同場景下植被圖像進行試驗，各算法的去霧效果和含霧原圖如圖8所示。通過圖8可以看出，利用全局平衡直方圖算法得到的去霧圖像顏色偏差大，失真嚴重，而基于暗通道先驗理論的3種方法去霧效果均優(yōu)于采用全局平衡直方圖算法的去霧效果，表明暗通道先驗理論在圖像去霧中具有一定的普適性。在利用文獻[8]中的暗通道先驗算法時，圖像整體偏暗，而加入引導濾波算法后的暗通道方法，雖然去霧后的圖像整體亮度有所提升，但是白色區(qū)域過亮失真，且出現(xiàn)藍色現(xiàn)象。這2種方法在面對低濃度的霧氣時，可實現(xiàn)去霧，但是當霧濃度較高時，去霧效果不明顯。本文提出的基于超像素級分割和暗通道先驗理論及濾波優(yōu)化后的算法，圖像明亮清晰，恢復效果好，有助于后續(xù)的圖像分析研究。本文方法在面對濃度較大霧時，也可去除絕大部分的霧氣，對于遠處成像的物體維持微弱的霧化效果，既可保持圖像的真實性，又保留遙感圖像的深度信息。

3.2 客觀評價指標

為了更加全面、客觀地評價上述不同方法對遙感圖像的去霧效果，本文選取平均值(Mean)、標準差(Standard deviation，SD)、信息熵(Information entropy，IENT)和平均梯度(Average gradient，AG)這4個指標對圖像質(zhì)量進行定量評價。均值反映了圖像的亮度，均值越大說明圖像亮度越大，反之越小。標準差反映了圖像像素值與均值的離散程度或像素值的波動范圍，標準差在特定范圍內(nèi)可以反映圖像的質(zhì)量，標準差過小，圖像對比不明顯，不能凸顯有效信息；標準差過大時，圖像對比強烈，影響視覺效果。客觀評價對試驗選取的6幅含霧原圖及不同算法去霧后的圖像均值、標準差統(tǒng)計情況如表1、2所示。信息熵是指圖像中排除了冗余信息后的平均信息量，反映圖像的信息量，信息熵越大，圖像中包含的信息越豐富，則表明圖像的去霧效果越好。客觀評價試驗中得到的信息熵統(tǒng)計情況如表3所示。平均梯度可敏感地反映圖像對微小細節(jié)反差表達的能力，用于評價圖像的模糊程度時，平均梯度越大，圖像層次越多，圖像輪廓清晰度也越高。客觀評價得到的平均梯度統(tǒng)計情況如表4所示。

表1 原圖及不同方法去霧后的圖像均值統(tǒng)計Tab.1 Mean statistics of original image and different algorithms after haze removal

表2 原圖及不同方法去霧后的圖像標準差統(tǒng)計Tab.2 Standard deviation statistics of original image and different algorithms after haze removal

由表1可知，原圖由于霧霾因素的存在，圖像均值均大于108，利用全局平衡直方圖GHEA方法增強后均值增大至127以上，因此圖像亮度過強。采用文獻[8]方法對圖像去霧后，均值大大降低，因此在圖8c中，圖像整體偏暗；采用文獻[22]方法對圖像去霧后，圖像出現(xiàn)白亮區(qū)域，整體均值增加；本文方法由于去除了大量霧氣，與采用文獻[22]方法去霧圖像相比均值有所下降，但高于文獻[8]方法對圖像去霧后的均值，這也是在圖8中采用

表3 原圖及不同方法去霧后的圖像信息熵統(tǒng)計Tab.3 Information entropy statistics of original image and different algorithms after haze removal

表4 原圖及不同方法去霧后的圖像平均梯度統(tǒng)計Tab.4 Average gradient statistics of original image and different algorithms after haze removal

GHEA方法和采用文獻[22]方法去霧后圖像亮度過強的原因。在表2中，6幅含霧原圖標準差大多集中在32.77～47.71范圍內(nèi)；利用全局平衡直方圖GHEA方法處理后，標準差穩(wěn)定在74.60～74.94之間，但過大的標準差使得圖像在視覺上對比強烈；采用本文方法得到的標準差較為穩(wěn)定，因此從視覺上觀察到的圖像視覺效果良好。由表3可知，本文方法去霧得到的圖像信息熵值最大，表明得到的圖像信息量最豐富，可以滿足后續(xù)的研究工作。由表4可知，本文方法平均梯度最高，更多地描述了圖像的細節(jié)信息，尤其是含有濃霧的圖像，經(jīng)本文方法處理后，平均梯度值增加效果最明顯，進一步表明本文方法的有效性。總體而言，本文去霧方法對含霧圖像處理后質(zhì)量更佳。

3.3 去霧方法實時性

去霧方法的運行耗時直接影響著去霧的實時性，耗時越低，表明算法的效率越高。不同方法在去霧過程中的運算耗時如表5所示。由表5可知，本文方法耗時與文獻[22]方法耗時相差不大，但遠遠低于文獻[8]方法耗時，高于CHEA方法的耗時。原因在于，文獻[8]在計算透射率時采用軟摳圖思路，利用大型拉普拉斯矩陣進行運算，數(shù)據(jù)量大，導致計算效率低，隨著圖像像素的增加，計算耗時急劇增加；加入引導濾波算法后，可大大降低圖像運算量，本文在超像素分割基礎上采用引導濾波和自適應容差機制細化透射率，因此運行時間略高于文獻[22]

表5 不同去霧算法的運算耗時對比Tab.5 Comparison of operation time of different defogging algorithms s

方法的運行耗時。在田間遙感監(jiān)測研究中，圖像分辨率過大時并不能保證最優(yōu)的解析效果，將圖像分辨率控制在1 200像素×800像素左右時，對信息解析的結果影響不大，此時的去霧過程也具有一定的實時性，可以滿足機器人視覺監(jiān)測的應用要求。

4 結束語

高質(zhì)量的農(nóng)田圖像對于信息獲取和解析至關重要。本文針對農(nóng)田霧霾圖像清晰化處理過程的不足，提出了一種基于超像素級暗通道先驗和自適應導向濾波算法的農(nóng)業(yè)場景圖像去霧方法。超像素分割算法可細化透射率，獲得穩(wěn)健細致的圖像，導向濾波算法可對圖像透射率進一步優(yōu)化，在獲得更細致的透射率同時能夠加快圖像處理速度，加入自適應容差機制后，可有效應對俯視航拍場景中的霧氣濃度隨時間和位置發(fā)生變化的情況，實現(xiàn)自適應精細去霧。試驗結果表明，本文方法與GHEA方法、文獻[8]和文獻[22]中方法相比，對農(nóng)田圖像去霧有著更好的適用性，復原后的圖像質(zhì)量較好，保留了原圖的色彩信息和豐富的細節(jié)信息。當圖像分辨率為300像素×200像素時，本文方法耗時僅為0.498 7 s，當圖像分辨率為600像素×400像素時，耗時為0.691 9 s，具有良好的實時性，可為精準農(nóng)業(yè)作物表型信息解析提供研究基礎。