基于背景光估計與顏色修正的水下圖像增強

王紅茹,張 弓,盧道華,c,王 佳

(江蘇科技大學 a.機械工程學院; b.江蘇省船海機械先進制造及工藝重點實驗室; c.海洋裝備研究院,江蘇 鎮江 212003)

0 概述

隨著陸地資源逐漸匱乏,人們開始關注開發深海資源,因此,水下圖像處理成為相關領域的研究重點。聲視覺系統是傳統的海洋探測手段,而目前人們主要通過光學照明來探測深海。海水中的光在成像時,由于吸收和散射等因素,會使成像出的圖像對比度下降,而低對比度的圖像會對后續的圖像特征提取[1]和目標跟蹤識別[2-3]等產生不良影響。因此,獲取清晰的水下圖像具有重要意義。

針對水下圖像模糊的問題,研究者提出較多增強算法,如文獻[4]提出自適應的圖像增強算法,文獻[5]提出基于暗原色先驗原理的算法,文獻[6]提出基于卷積神經網絡的算法,文獻[7]提出基于迭代直方圖的算法,均有效提高了水下圖像的清晰度。文獻[8]對暗通道模型進行雙邊濾波操作,取得了較好的去霧視覺效果,但算法的實時性較差。文獻[9]利用暗通道先驗理論處理空氣中的帶霧圖像,改善了因光折射引起的圖像模糊現象,并且圖像的細節保存完整。由于水下圖像和霧圖像都會因光散射引起圖像對比度降低,因此研究者將暗原色先驗直接用于水下圖像的預處理。文獻[10]指出水下紅光衰減得最快,區別于空氣,因此,其僅利用藍色和綠色通道來估計透射率圖,而對紅色通道的透射率單獨估計,得到了較好的輸出結果。文獻[11]指出空氣中的霧圖像和水下低對比度圖像都是因光被吸收和散射所導致的,因此,其將空氣中的暗原色先驗去霧算法直接用于水下圖像增強,但實驗證明該算法只能提高圖像對比度,不能避免明顯的圖像的顏色失真現象。

本文根據水下成像特點,提出一種結合暗原色先驗原理和顏色修正的水下圖像增強算法,以改善顏色失真現象,同時提高圖像清晰度。根據水下光的成像模型,在求取暗通道圖像時考慮紅色通道的逆通道并改進全局背景光的估計方法,使用自定義的模板選取顏色飽和度方差最小的塊圖像,分別對塊圖像RGB通道進行最小濾波,并選取亮度最大的像素點作為預估背景光。在此基礎上,使用Retinex算法對圖像的R通道進行顏色校正,根據圖像各通道的顏色衰減系數比得到顏色校正后的圖像。

1 水下圖像增強算法

1.1 水下圖像成像物理模型

由文獻[12-13]提出的水下成像物理模型可知,到攝像相機的總輻照度是直接光、前向散射光和后向散射光這三部分的線性疊加,即:

ET=ED+EF+EB

(1)

直接光是指成像設備接收到物體直接反射的光,其光的強度表達式為:

ED(x,θ)=E(x,θ)exp[-c(θ)d(x)],θ∈{R,G,B}

(2)

其中,E(x,θ)是物體所在位置處的光強,ED(x,θ)是攝像機接收的直接光光強,c(θ)表示由吸收和散射造成的總的衰減系數,θ表示圖像的某一通道,d(x)表示物體到相機的距離。

前向散射光EF的光強可以表示為:

EF=ED(x,θ)*g(x,θ)

(3)

其中,*表示卷積運算,g(x,θ)為點擴展函數。

背景的散射部分可以表示為:

EB(x,θ)=B∞(θ){1-exp[-c(θ)d(x)]

(4)

其中,B∞(θ)為背景光。

將式(2)～式(4)代入式(1)中,可得:

ET(x,θ)=ED(x,θ)+EF(x,θ)+EB(x,θ)=

E(x,θ)exp[-c(θ)d(x)]+

{E(x,θ)exp[-c(θ)d(x)]}*g(x,θ)+

B∞(θ){1-exp[-c(θ)d(x)]}

(5)

可以把物體與成像設備的距離看成一個相對很小的數,這樣就可以忽略前向散射造成的圖像模糊,則式(5)表示為:

ET(x,θ)=E(x,θ)exp[-c(θ)d(x)]+

B∞(θ){1-exp[-c(θ)d(x)]}

(6)

假如水下透射率t(x,θ)=exp[-c(θ)d(x)],則式(6)可表示為:

ET(x,θ)=E(x,θ)t(x,θ)+B∞(θ){1-t(x,θ)}}

θ∈{R,G,B}

(7)

1.2 基于R逆通道暗原色先驗的水下增強

通過實驗可知,可以直接用圖像中的暗像素來估計霧和光的透射率,暗通道公式表示為:

(8)

其中,Jc(y)為J(x)的某個通道,表示以像素為中心的一個窗口。由式(8)可知,暗通道圖是分別對圖像3個顏色通道取最小值運算和局部區域取最小值(它們的運算不分先后)得到的。根據暗原色先驗原理,可得:

(9)

水下圖像和霧圖像都是被渾濁的傳輸介質所退化的圖像,雖然它們具有相似性,但是因為水下光的衰減率和大氣光衰減率不同,所以不能用空氣中的暗原色先驗直接恢復E(x,θ)。因此,在求取水下圖像的暗原色通道時考慮紅色通道的逆通道[14]和藍綠顏色通道,用Jwdark表示水下暗原色通道,表達式為:

(10)

其中,Rinv表示紅色通道的逆通道,其值為1和歸一化紅色通道像素點的亮度差值。

圖1分別是采取空氣中的暗原色通道方法和本文方法求取的暗原色通道對比。根據水下光的衰減率可知,紅光在水下先衰減完,圖像中的紅色通道像素值低,水下圖像主要呈現出偏藍色或者綠色,如圖1(a)所示。采用文獻[9]方法直接求取水下圖像暗原色通道,將導致整體偏暗,如圖1(b)所示,其是考慮紅色通道逆通道后求取的結果,可以看出離相機遠即意味著光的衰減程度大,因此,其暗通道區域的亮度也就越高。

圖1 水下暗原色通道對比Fig.1 Comparison of underwater dark channel

1.3 改進的背景光估算方法

由于水下圖像十分模糊,圖像的暗通道整體亮度偏高,因此文獻[9]方法對背景光估計不準確,對圖像的恢復會產生不利的影響。在水下采集圖像時,會有人工照明和白色魚群的存在,若用這種方式選取,會使增強后的圖像偏白,而且亮度不均勻。因此,本文提出一種改進的全局背景光估計方法,以提高背景光估計的精確度,具體如下:

1)設計一個計算顏色飽和度方差的模板,圖像的大小為M×N,經試驗得出最佳的模板大小是M/2×N/2,設定步長2,從模糊圖像的左上方開始移動,每次移動一步就計算該模板區域的顏色飽和度方差,選擇全局最小的區域顏色飽和度方差,因為方差值越大則此區域受光源的影響就越大,該區域不適合做背景光估計,所以待完全移動完成后選取顏色飽和度方差最小的區域作為背景光預估計區域。

2)對預估計區域每個通道進行最小值濾波,得到在暗原色通道中的亮度值排在前0.1%的點,對這些點的亮度值進行排序,選取最大值作為大氣光的值Bθ,∞。

本文通過實驗對比不同模板尺寸下所得背景光恢復圖片的信息熵和PNSR,實驗結果如表1所示。

表1 不同模板尺寸下恢復的圖像質量對比Table 1 Quality comparison of image restored under different template sizes

表1反映了不同尺寸大小模板估計出的背景光對圖片質量的影響,可以看出,以尺寸為M/2×N/2模板估計出的背景光恢復圖像質量最好。

1.4 水下透射率估算

通過R通道的逆通道來求水下圖像的暗通道,在求取水下透射率時,圖像的通道要分開考慮。對式(7)等號兩邊取最小值運算得出:

θ∈{R}

(11)

θ∈{G,B}

(12)

分別對紅通道和藍綠通道取最小值運算,對式(11)和式(12)分別除以1-B∞(θ)和B∞(θ),可以得到:

(13)

(14)

水下暗原色通道Jwdark→0,即:

E(y,B)}=0

(15)

由式(13)～式(15)可得:

θ∈{R,G,B}

(16)

由于紅光在水下衰減最快,因此紅光的透射率最小,即:

(17)

文獻[15]實驗得出圖像的全局背景光的值與衰減系數和散射系數的關系式為:

Bθ,∞∝bθ/cθ

(18)

在2類不同的海水中進行9組不同波長對應散射系數的數據的實驗得出散射系數與波長的關系式:

b(λ)=(-0.001 13λ+162 517)b(λr)

(19)

其中,λ為波長,本文選擇紅光波長620 nm、綠光波長540 nm、藍色波長450 nm。為參照波長的散射系數,此處以R通道為參考,計算其他2個通道衰減系數比為:

(20)

(21)

則水下各通道的透射率為:

(22)

(23)

(24)

本文采用文獻[16]中的導向濾波算法對各通道透射率進行細化,該算法避免了文獻[8]利用區域為單位估計出的透射率,會產生塊效應,如圖2所示。

最后通過透射率圖和估計出的全局背景光的值可恢復出清晰的圖像,其光強表達式為:

θ∈{R,G,B}

(25)

其中,t0可以防止求取出的透射率低導致圖像的顏色過度失真。圖3為上述方法恢復后的圖像。

1.5 顏色較正

從圖3中可以看出,估算水下透射率后恢復的圖像仍然會偏藍綠色,而且呈現出光照不均的現象,因此,還需要對增強后的圖像進行顏色校正。本文首先采用Retinex算法[17]處理增強后的圖像,得到亮度和反射分量,然后用高斯核對原圖做卷積操作得到低通濾波后的圖像D(x,y),最后與原圖像做差分得到高頻圖像G(x,y),即得到R(x,y)。將其轉化到對數域分別處理,則有:

Ri(x,y)=ln[ri(x,y)]=ln[si(x,y)]-ln[li(x,y)]

i∈{R,G,B}

(26)

本文用rR(x,y)根據各顏色通道的衰減系數比求出rG(x,y)和rB(x,y),再將ri(x,y)從對數域轉換為實數域Ri(x,y)。

(27)

(28)

圖4是顏色校正后恢復的圖像,可以看出,圖像的色偏以及光照不均得到了較好的改善,并且突出了圖像的細節,清晰度得到提高。

圖4 顏色校正后恢復的圖像Fig.4 Restored image after color correction

1.6 算法流程

本文基于改進全局背景光估算法,結合暗原色先驗算法恢復出增強后的圖像,并采用Retinex理論進行顏色校正,得到清晰的圖像,本文方法流程如圖5所示。

圖5 本文算法流程Fig.5 Procedure of the proposed algorithm

2 實驗與結果分析

實驗采用3幅水下原始圖像,分別用HE算法[18]、同態濾波算法[19]、基于暗原色先驗的算法[14]、MSRCR算法[20]和本文算法進行處理,然后對上述算法進行實驗結果對比,如圖6～圖8所示。

圖6 5種算法的恢復圖像對比1Fig.6 Recovered image comparison 1 of five algorithms

圖7 5種算法的恢復圖像對比2Fig.7 Recovered image comparison 2 of five algorithms

圖8 5種算法的恢復圖像對比3Fig.8 Recovered image comparison 3 of five algorithms

觀察圖6～圖8可知:HE算法處理的結果使圖像失真,經過同態濾波的圖像亮度被降低,有明顯偏色現象,基于暗原色先驗算法不能很好地區分前景和背景,也不能避免圖像的偏色現象,雖然MSRCR算法去除了基于暗原色先驗算法的弊端,但圖像顏色淡化且失真,經過本文算法處理的圖像前景和背景的區分度高,色偏校正顯著改善,明顯地優化了圖像的視覺效果。

上述圖像主觀對比是建立在本文做了顏色校正的基礎上進行的,為論證本文算法的有效性和公平性,對上述經典算法處理的圖像和本文算法得出未經過顏色校正的圖像進行PSNR計算,如表2所示。可以看出,本文算法第1組和第2組的PNSR值低于MSRCR算法,這是因為缺少清晰的圖像來對比,水下的圖像降質十分嚴重,而算法處理效果好,與原始圖像的方差較大,從而使PSNR值降低。

表2 圖6～圖8 PNSR對比Table 2 PNSR comparison of Fig.6～Fig.8 dB

為進一步驗證本文算法的有效性,對上述圖像的清晰度(平均梯度)以及信息熵進行分析與統計,對處理結果進行客觀評價,如表3和表4所示。

表3 圖6～圖8清晰度對比Table 3 Clarity comparison of Fig.6～Fig.8

表4 圖6～圖8信息熵對比Table 4 Information entropy comparison of Fig.6～Fig.8

可以看出,本文算法處理得到的圖像清晰度高于其他算法。信息熵是度量圖像信息量多少的指標,信息熵越高說明圖像所所含的信息越多,本文算法信息熵值也高于其他算法。從主觀和客觀性上分析都可以得出本文算法更具優越性,圖像恢復的清晰度較高。

3 結束語

本文提出的水下圖像增強算法基于水下成像模型,根據暗原色先驗原理分別考慮紅色通道的逆通道和藍綠色通道求出暗通道圖像,在此基礎上利用模板分塊對區域顏色飽和度方差進行計算,得出方差最低的塊圖像進行背景光估計,避免了光源、白色物體等不利因素對圖像全局背景光的影響,最后結合透射率圖得到增強后的圖像。該算法利用圖像顏色通道的衰減系數比和Retinex理論對增強后的圖像進行顏色校正,改善了水下圖像的偏色現象,并且提高了圖像整體的清晰度。實驗結果表明,本文算法對于水下嚴重降質圖像效果明顯,處理后的圖像不易過度失真且細節得到突出。由于每次做圖像增強時需要人工提取特征,此步驟較為繁瑣,因此下一步將采用深度學習的網絡框架提取特征映射圖,設計一個端到端的圖像增強算法,從而提高魯棒性和實時性。