基于暗原色先驗理論的無人機(jī)影像去霧研究

柳婷

(寧波市測繪設(shè)計研究院，浙江 寧波　315000)

?

基于暗原色先驗理論的無人機(jī)影像去霧研究

柳婷*

(寧波市測繪設(shè)計研究院，浙江 寧波315000)

摘要：基于暗原色先驗理論的去霧方法簡化了影像去霧的物理模型，并且利用了自然界的客觀規(guī)律，為去霧研究提供了新思路。針對該理論去霧過程中透射率優(yōu)化復(fù)雜、耗時和清晰化后的影像出現(xiàn)halo效應(yīng)的局限性，通過結(jié)合MATLAB平臺的實驗，深入探究適用于單幅無人機(jī)影像的高效、自動綜合去霧方法，并且對該方法進(jìn)行了主客觀評價。

關(guān)鍵詞：霧天無人機(jī)影像；暗原色先驗理論；導(dǎo)向濾波；綜合去霧

1引言

受霧天天氣的影響，在戶外獲取的無人機(jī)影像表現(xiàn)為：灰度動態(tài)范圍小，對比度較低，細(xì)節(jié)信息不明顯，部分特征被覆蓋或模糊，信息的可辨識度大大降低的特點；同時，色彩保真度下降，出現(xiàn)嚴(yán)重的顏色偏移與失真，缺乏視覺的生動性和感染力[1，2]。影像質(zhì)量的嚴(yán)重退化，不但給目標(biāo)特征信息的提取和后續(xù)處理工作的進(jìn)行帶來了一定困難，并且很大程度上限制了數(shù)據(jù)的有效性和可用性。因此通過一定的技術(shù)，將降質(zhì)的退化影像恢復(fù)為可用的高質(zhì)量影像是普遍關(guān)注和亟須解決的問題[3～6]。經(jīng)過國內(nèi)外學(xué)者二十多年的不斷努力，圖像去霧技術(shù)取得了較大的進(jìn)展，并且不斷有新思路和新方法被應(yīng)用于工程實際中。其中由學(xué)者He Kaiming等人[7]提出的暗原色先驗理論使得有霧圖像的成像模型得以簡化，不用求取難以得到的參數(shù)，以最大限度保持真實的物方輻射信息。本文基于該理論并且結(jié)合無人機(jī)影像的特點，提出了一種綜合方法來復(fù)原影像，從而實現(xiàn)高效去霧。

2暗原色先驗理論

2.1大氣退化物理模型

通常光線在大氣傳播時會同時存在光線的衰減和大氣光的吸收這兩種過程[8，9]，因此到達(dá)傳感器設(shè)備中光線總強(qiáng)度E是經(jīng)過入射光衰減和大氣光成像后結(jié)果的總和[10]。目前使用最廣泛的退化圖像的物理模型為[11]：

I(x)=J0t(x)+A[1-t(x)]

(1)

A稱為空氣光，表示距離觀測者無窮遠(yuǎn)的光強(qiáng)度值；J0表示場景目標(biāo)直接反射的光強(qiáng)，即要恢復(fù)的清晰圖像，t(x)反映了入射光的透過能力，稱為透射率。當(dāng)透射率的值越大表示傳感器接收到的輻射光線越多，一般情況下取值范圍為[0～1]。在式(1)中，t(x)=e-β(λ)d，A=E，J0(x)=E0，其中β(λ)表示大氣散射系數(shù)，0≤β(λ)≤1。E0和E分別表示反射光在d=0處和無窮遠(yuǎn)處大氣光強(qiáng)。分析上式可以得到，復(fù)原圖像的過程實際是：一方面“消除”吸收的大氣光部分，另一方面“補(bǔ)償”衰減的入射光部分。

2.2暗原色先驗理論

暗原色先驗理論(dark-channel prior)是Kaiming He等人[12]在探究 5 000幅戶外無霧圖像的統(tǒng)計規(guī)律基礎(chǔ)上提出的，他們發(fā)現(xiàn)在絕大多數(shù)非天空區(qū)域的局部范圍，總是存在一些像素的某一個或幾個很低的顏色通道強(qiáng)度值，并且其最小值接近于零，Kaiming He等人將這些像素稱之為暗原色(dark-channel pixel)。

用數(shù)學(xué)公式可以表示為：

(2)

其中Jc表示彩色圖像J的每一個通道，Ω(x)表示以像素x為中心的窗口。

2.3基于暗原色先驗理論去霧算法原理

暗原色法避開了傳統(tǒng)基于模型方法要求解復(fù)雜參數(shù)的過程，而是直接通過解算t(x)和A來實現(xiàn)復(fù)原圖像。一般情況下依據(jù)單幅影像的一個方程不能求得兩個未知數(shù)的解，必須增加約束條件來對這個病態(tài)問題進(jìn)行求解。暗原色先驗理論作為一個有力的約束就能解決這個問題。將式(1)變形為：

(3)

(4)

根據(jù)暗原色先驗理論有：

(5)

得到：

(6)

此為透射率的估計值。

為了使清晰化后的圖像在視覺上保持一定的真實性，在式(6)中引入一個因子，將其變?yōu)椋?/p>

(7)

ω∈[0，1]，一般取ω=0.85～0.95。

在上述過程中假設(shè)大氣光是已知的，但是實際利用該先驗理論進(jìn)行單幅圖像去霧時，需要根據(jù)圖像求取A。最后將求出的結(jié)果代入霧天成像模型式(1)的變形公式得到：

(8)

理論上就可以恢復(fù)出清晰的無霧圖像J(x)。

2.4基于暗原色先驗理論去霧算法步驟

Kaiming He等人[13]研究出了針對單幅影像的去霧流程，總結(jié)為：

(1)輸入原始霧天影像I(x)，以一定的濾波半徑，根據(jù)式(5)逐點求取暗通道圖；

(2)求取大氣光A；

從暗原色圖中先按照亮度的大小進(jìn)行排序，再在原始有霧圖像中找出對應(yīng)暗原色圖中亮度排在前0.1%的像素，選出符合條件的具有最高亮度的像素值作為全局大氣光A值。

(3)根據(jù)式(6)預(yù)估計透射率圖t(x)；

直接求取透射率圖t(x)會出現(xiàn)“halo”現(xiàn)象，即在景深變化大或者是亮度變化劇烈的區(qū)域邊緣會出現(xiàn)一側(cè)明顯變亮[14]，這樣導(dǎo)致了無論是在透射率圖還是在暗原色圖發(fā)生異常的邊緣位置都不再與原始圖像對應(yīng)，使邊緣處的信息丟失，直接影響最終的去霧效果。

“摳圖”法需要對稀疏線性方程組進(jìn)行求解得到一個全局最優(yōu)的掩像值[15]，表示為：

I=αF+(1-α)B

(9)

其中I表示合成的圖像，由F表示的前景圖像和B表示的背景圖像構(gòu)成。α表示掩像，其值在(0，1)這個區(qū)間內(nèi)連續(xù)變化。估計透過率t(x)的過程可以認(rèn)為等同于通過摳圖法獲得α過程，此時求得的結(jié)果就是經(jīng)過優(yōu)化后的透射率圖，相比粗略估計出的透射率圖會有更清晰的邊緣輪廓、更加豐富的細(xì)節(jié)信息，從而獲得較好的最終去霧效果。

(5)恢復(fù)出清晰圖像。

(10)

t0是為透射率設(shè)定的下限值，主要起到消除最后的清晰化影像中噪聲干擾[15]的作用。

估計出透射率、求得大氣光的值，再根據(jù)暗原色先驗規(guī)律就能實現(xiàn)霧天單幅圖像的清晰化。

3基于暗原色先驗理論的無人機(jī)影像綜合去霧

基于暗原色先驗去霧的方法簡化了去霧模型，但是事實上進(jìn)行清晰化處理仍然具有一定的局限性。第一，求取大氣光A時本質(zhì)是選取了某一像素點的值，但在實際情況中，亮度最大的像素有很大可能來源于白色的物體，這樣會使得恢復(fù)出的圖像產(chǎn)生色偏或出現(xiàn)色斑。第二，“摳圖”法平滑透射率圖實際上要通過求解大型的稀疏矩陣來實現(xiàn)，帶來了巨大的運(yùn)算量和很大程度的耗時，并且占用空間大，不滿足無人機(jī)圖像處理高效性實時性的應(yīng)用要求。第三，由于對大氣光和透射率的估計求取，使得恢復(fù)出的圖像色調(diào)偏暗。

針對基于暗原色理論的去霧算法以上三方面的局限性，并且根據(jù)無人機(jī)影像整體的色彩基調(diào)保持穩(wěn)定，且暗原色值的反差較小，景深變化一般不大[16，17]的特點，本文提出一種綜合方法進(jìn)行清晰化霧天圖像處理。具體步驟如下：

(1)輸入原始霧天影像I(x)，根據(jù)暗原色先驗理論求取暗通道圖；

(2)求取大氣光A；

(3)根據(jù)式(6)預(yù)估計透射率圖t(x)；

(4)利用導(dǎo)向濾波優(yōu)化透射率圖；

(5)根據(jù)式(10)恢復(fù)出清晰圖像；

(6)結(jié)合自適應(yīng)對比度增強(qiáng)算法調(diào)整圖像，得到最終去霧結(jié)果。

3.1大氣光A的計算改進(jìn)

本文提出選取符合條件的所有點的平均值作為A的值，這樣就避免了恢復(fù)出的圖像出現(xiàn)色偏或者色斑，增加了可靠性，具體步驟如下：

(1)在已經(jīng)得到的暗原色圖中按照像素大小排序；

(2)選出(1)中位于前0.1%的像素；

(3)在原始圖像中找到這些像素點的對應(yīng)值；

(4)對上步結(jié)果求取平均值，將結(jié)果作為最后的A值。

3.2利用導(dǎo)向濾波優(yōu)化透射率圖

由于“摳圖”法優(yōu)化透射率圖的局限性，本文重點考慮在較好地保留細(xì)節(jié)信息的同時，滿足無人機(jī)影像處理的實時性要求，在此提出用導(dǎo)向濾波優(yōu)化透射率圖。

導(dǎo)向濾波假設(shè)導(dǎo)向參照圖像和濾波輸出之間是一個局部線性模型，q是中心像素為k的窗口wk的局部線性變換：

qi=akIi+bk，?i∈wk

(11)

其中wk是以像素點k為中心，r為半徑的正方形窗口，假設(shè)wk范圍內(nèi)恒定的線性系數(shù)為(ak，bk)，導(dǎo)向濾波器[18]是一種運(yùn)行時間短并且能有效提取方向信息的濾波器組，并且其滿足模型：q=aI，即將一組基濾波器進(jìn)行線性累加可以表示任意方向的濾波器，從而確保了只要導(dǎo)向圖像I有一個邊緣那么濾波輸出圖像q就對應(yīng)一個邊緣，這也是導(dǎo)向濾波能夠有效保持邊緣的原因[19]。

定義濾波輸出q由原始輸入p減去一些干擾的因素或者不感興趣的內(nèi)容，比如噪聲：

qi=pi-ni

(12)

此時要能找到一個使得輸入的濾波圖像p和濾波輸出圖像q之間的差異最小并且能保持式(11)線性關(guān)系的解，通過最小化一定鄰域范圍的擬合函數(shù)，進(jìn)行線性回歸求解：

(13)

這里ε是約束ak變得很大的正則化參數(shù)，它決定了邊緣的保留平滑程度。

通過最小二乘法可以求得上式的解ak，bk：

(14)

(15)

(16)

上式表示輸入圖像p在該窗口內(nèi)的像素均值。獲得了ak，bk的值，就可以根據(jù)式(11)從而求得濾波輸出圖像q。

將這個局部線性模型運(yùn)用到整個圖像的所有局部窗口中：

(17)

其中：

(18)

(19)

(20)

綜上所述，式(12)、(14)、(15)表示了導(dǎo)向圖像I和輸入圖像p，濾波輸出圖像q之間的關(guān)系，導(dǎo)向圖像與輸入圖像可以相同也可以不同，當(dāng)用作邊緣保持時一般取相同，在本文的實驗中I取原始圖像的灰度圖像，若用RGB圖像會在一定程度上增大計算量，對于邊緣保留來說，灰度圖像完全可以滿足。

3.3自適應(yīng)對比度增強(qiáng)

在一般情況下，霧的分布呈不均勻狀態(tài)，而基于暗原色先驗理論的去霧方法是在全局對圖像進(jìn)行處理，這樣得到的透射率圖分布會過于單一，使得去霧的局部效果不理想，為了提高圖像整體的對比度同時能增強(qiáng)局部對比度，需要對利用本文暗原色方法清晰化后的結(jié)果圖像進(jìn)行增強(qiáng)處理從而提高其質(zhì)量。另一方面，事實上場景的輻射亮度是不及大氣光亮度的，但是在整個暗原色去霧過程中把大氣光成分作為常數(shù)處理，并且由于在計算透射率時引入了參數(shù)ω，這樣的結(jié)果是會導(dǎo)致恢復(fù)出的圖像亮度降低，整體較實際偏暗，直方圖上表示為占有亮度值較小的像素較多，因此需要通過適當(dāng)?shù)脑鰪?qiáng)方法來提高圖像的亮度，考慮到作為復(fù)原圖像的輔助算法，應(yīng)該具備一定的自適應(yīng)性，同時要滿足高效性。綜合考慮之下本文用自適應(yīng)對比度增強(qiáng)方法來對去霧后圖像的亮度進(jìn)一步提高。該算法較簡單，適用于整個色調(diào)較暗、景深變化不大的遙感影像，并且具有自適應(yīng)性，不會使得圖像出現(xiàn)過度增強(qiáng)，破壞其色彩保真度。自適應(yīng)對比度增強(qiáng)的流程如圖2所示。

綜上所述，基于暗原色先驗的綜合去霧方法流程如圖3所示：

4實驗結(jié)果及分析

本文實驗選取重慶市某次地災(zāi)檢測項目中用佳能5D拍攝的無人機(jī)遙感影像，基于MATLAB 2014平臺進(jìn)行去霧處理。利用所有本文提到的綜合算法進(jìn)行無人機(jī)影像去霧，通過主客觀分析驗證本文算法的有效性。

其中t0=0.1，ω=0.95。

對比經(jīng)本文算法去霧處理的效果圖和直接用暗原色去霧后圖像可以看出，經(jīng)本文優(yōu)化算法處理后的透射率圖細(xì)節(jié)清晰，邊緣保存良好，恢復(fù)出的無霧圖像沒有出現(xiàn)色彩失真現(xiàn)象，場景細(xì)節(jié)得到了恢復(fù)，更加符合實際情況，得到了較為理想的視覺效果。并且對比去霧前和去霧后圖像的暗原色圖可以發(fā)現(xiàn)，前者由于受到霧的影響使得暗原色變高，而后者看起來比較正常，這也驗證了利用暗原色進(jìn)行去霧處理的可行性。

從圖5看出原始有霧圖像灰度動態(tài)范圍小且分布不均衡，而經(jīng)過本文算法去霧后的圖像直方圖動態(tài)范圍擴(kuò)大，分布均衡。

本文利用圖像質(zhì)量客觀評價指標(biāo)：標(biāo)準(zhǔn)差、信息熵、圖像平均梯度，對以上結(jié)果分別進(jìn)行客觀評價。同時由于無人機(jī)影像處理需要實時性，因此加入時間指標(biāo)。

分析表1可以得到，針對霧天無人機(jī)影像，利用本文綜合法清晰化后的圖像在對比度、信息量和清晰度方面都要明顯優(yōu)于直接暗原色法去霧，此外運(yùn)行速度得到了提高，也就是說該算法能在保證去霧的有效性同時滿足實時性。

5結(jié)論

本文針對無人機(jī)影像整體色彩基調(diào)趨于穩(wěn)定，暗原色反差較小，并且景深變化不大的特點，對基于暗原色先驗理論去霧方法進(jìn)行了改進(jìn)，并且基于該理論提出了無人機(jī)影像的綜合去霧方法，該方法是一種結(jié)合圖像復(fù)原和圖像增強(qiáng)去霧的優(yōu)化方法。首先對大氣光A的計算方式進(jìn)行改進(jìn)，避免了一些干擾因素，使得結(jié)果更具可靠性；其次針對算法運(yùn)算量大，計算過程復(fù)雜，恢復(fù)細(xì)節(jié)信息有限的缺點，本文提出利用導(dǎo)向濾波器代替暗原色去霧方法的“摳圖”法對透射率圖t(x)進(jìn)行優(yōu)化估計。由于恢復(fù)出的影像色調(diào)偏暗，本文利用自適應(yīng)增強(qiáng)算法對其進(jìn)行對比度調(diào)整，從而實現(xiàn)了結(jié)合圖像復(fù)原和圖像增強(qiáng)的綜合去霧。最后通過在MATLAB平臺的實驗對比說明這種綜合去霧法能顯著、高效的實現(xiàn)無人機(jī)影像去霧。但是需要說明的是本文方法為針對薄霧天氣下圖像清晰化處理，對于濃霧天氣還有待探究。

參考文獻(xiàn)

[1] 孫立明. 衛(wèi)星及航拍圖像的云霧噪聲去除研究[D]. 哈爾濱：哈爾濱工程大學(xué)，2006.

[2] 朱錫芳，江興方，李峰等. 彩色遙感圖像去薄云新方法[J]. 應(yīng)用光學(xué)，2007，28(6)：699～701.

[3] 王萍，張春，羅穎昕. 一種霧天圖像低對比度增強(qiáng)的快速算法[J]. 計算機(jī)應(yīng)用，2006，26(1)：152～154.

[4] 郭珈，王孝通，楊常青. 海上監(jiān)測圖像去霧增強(qiáng)的交互式方法[J]. 中國航海，2010，33(4)：11～13.

[5] 黃曉軍，來彥棟，陳奮. 快速去除單幅圖像霧霾的算法[J]. 計算機(jī)應(yīng)用，2010，30(11)：3029～3031.

[6] 楊安洪. 光學(xué)遙感影像云霧處理方法[D]. 鄭州：解放軍信息工程大學(xué)，2010.

[7] Kaiming He，SUN Jian，TANG Xiao-Ou，Single Image Haze Removal Using Dark Channel Prior[C].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，2009：1956～1963.

[8] 王多超. 圖像去霧算法及其應(yīng)用研究[D].合肥：安徽大學(xué)，2010.

[9] 黃黎紅. 退化圖像的去霧方法[J]. 紅外與激光工程，2010，39(5)：985～988.

[10]E．J．美卡特尼. 大氣光學(xué)—分子和粒子散射[M]. 北京：科學(xué)出版社，1988：55～59.

[11]E．J．McCartney. Optics of the Atmosphere：Scattering by Molecules and Particles[J]. John Wiley and Sons ，1976：123～129.

[12]Kaiming He，SUN Jian，TANG Xiao-Ou，Single Image Haze Removal Using Dark Channel Prior[C]. Proceedings of IEEE Conference on Computer Vision andPattern Recognition，2009：1956～1963.

[13]Kaiming He，SUN Jian，TANG Xiao-Ou，Single Image Haze Removal Using Dark Channel Prior[C]. Proceedings of IEEE Conference on Computer Vision andPattern Recognition，2009：1956～1963.

[14]王時震，萬惠瓊，曾令沙等. 應(yīng)用暗原色先驗規(guī)律的遙感影像去霧技術(shù)[J]. 測繪科學(xué)技術(shù)學(xué)報，2011，28(3)：183～189.

[15]楊安洪. 光學(xué)遙感影像云霧處理方法[D]. 鄭州：解放軍信息工程大學(xué)，2010.

[16]楊靖宇，張永生，鄒曉亮等. 利用暗原色先驗知識實現(xiàn)航空影像快速去霧[J]. 武漢大學(xué)學(xué)報，信息科學(xué)版，2010，35(11)：1292～1295.

[17]李方，王好賢，毛興鵬，孫運(yùn)雷等. 單一圖像的快速去霧算法[J]. 計算機(jī)設(shè)計與應(yīng)用，2011，32(12)：4129～4132.[18]Freeman W and Adelson E. The design and use of steerable filters. IEEE Trans. on IP，1991，13(9)：891～906.

[19]Petschnigg，G.，Agrawala，M.，Hoppe，H.，Szeliski，R.，Cohen，M.，Toyama，K.：Digital photography with flash and no-flash imagepairs.In：SIGGRAPH(2004).

Research on Defogging UAV Image based on Dark Channel Prior

Liu Ting

(Ningbo Design Research Institute of Surveying and Mapping，Ningbo 315000，China)

Key words：hazy UAV image；dark channel prior；guided filter；comprehensive defogging

Abstract：The haze removal method based on Dark Channel Prior making the model simplified，besides supplying a new perspective by using objective laws in natural. Aimed at the issue of complex and time-consuming in optimizing transmission and halo effect，proposing a comprehensive method which can achieve defogging automatically and effectively by considering the characteristic of hazy UAV images via MATLAB，moreover，evaluating this general defogged algorithms from objective and subjective ways.

文章編號：1672-8262(2016)03-83-06

中圖分類號：P231，TP751.1

文獻(xiàn)標(biāo)識碼：A

*收稿日期：2016—03—01

作者簡介：柳婷(1990—)，女，碩士，助理工程師，主要從事國情普查和無人機(jī)航攝相關(guān)工作。

基金項目：中央高校基本科研業(yè)務(wù)費(fèi)專項資金資助項目(0903005203182)