非均勻光照條件下的水下圖像增強(qiáng)算法

(山東科技大學(xué) 電氣與自動(dòng)化工程學(xué)院，山東 青島 266590)

海洋蘊(yùn)藏著巨大的資源，水下圖像作為海洋信息的重要載體，受到了越來越多的關(guān)注和重視，同時(shí)水下圖像增強(qiáng)技術(shù)也得到了廣泛應(yīng)用，如水下目標(biāo)檢測(cè)與跟蹤[1]、水下基礎(chǔ)設(shè)施檢查[2]和海洋生物研究[3]等。與一般圖像不同，由于光的吸收和散射效應(yīng)，導(dǎo)致水下圖像可見性差。其中，光的吸收減少了光照強(qiáng)度，且由于不同波長(zhǎng)的光譜在水中的傳播距離不同，造成水下圖像的顏色失真；光的散射引起了光傳播方向的變化，使圖像產(chǎn)生霧狀模糊。這些降質(zhì)特性導(dǎo)致水下圖像普遍存在模糊、偏色、對(duì)比度低等問題，極大限制了水下圖像在海洋資源利用中的實(shí)際應(yīng)用。因此，提升水下圖像的質(zhì)量具有重要意義。

針對(duì)光的吸收和散射效應(yīng)，Lu等[4]結(jié)合引導(dǎo)三角雙邊濾波器提出一種新的水下模型對(duì)光進(jìn)行補(bǔ)償，實(shí)現(xiàn)對(duì)水下圖像的增強(qiáng)和顏色校正。Prasath等[5]通過對(duì)比度和色彩校正來克服水下光衰減以及光散射的問題，實(shí)現(xiàn)對(duì)水下圖像的增強(qiáng)。Guo等[6]針對(duì)水下圖像的模糊和偏色問題，將暗通道先驗(yàn)與定量直方圖拉伸技術(shù)相結(jié)合，提出一種改進(jìn)的基于暗通道先驗(yàn)的去霧增強(qiáng)算法。Abunaser等[7]利用粒子群優(yōu)化算法來減少光吸收和光散射對(duì)水下圖像的影響。Wang等[8]提出一種基于集成視網(wǎng)膜機(jī)制啟發(fā)模型的方法來實(shí)現(xiàn)對(duì)水下圖像的顏色校正和對(duì)比度改善。

水下圖像增強(qiáng)可根據(jù)人類的視覺感官系統(tǒng)進(jìn)行相應(yīng)的評(píng)估，Retinex理論建立在色感恒常性和人對(duì)光線感知能力的基礎(chǔ)上，許多學(xué)者通過Retinex理論增強(qiáng)水下圖像。Petro等[9]提出一種基于Retinex帶色彩恢復(fù)的多尺度視網(wǎng)膜增強(qiáng)算法，對(duì)水下淺層圖像具有較好的色彩還原效果。Alex等[10]將圖像轉(zhuǎn)換到Y(jié)CbCr色彩空間，并在Retinex框架下使用高斯環(huán)繞函數(shù)進(jìn)行卷積，提出一種基于單尺度Retinex的水下圖像增強(qiáng)算法。Tang等[11]利用多尺度Retinex對(duì)水下圖像進(jìn)行預(yù)校正，并采用逆灰度世界算法選擇性的保留圖像顏色，以實(shí)現(xiàn)顏色校正和改善水下圖像的對(duì)比度。

上述研究成果主要針對(duì)自然光照射下水下淺層的圖像增強(qiáng)，對(duì)于人工光源照明為主的夜間水域或深海區(qū)域中的圖像增強(qiáng)效果不佳，相比于淺層圖像，深水圖像的可見度更低[12]，光的吸收和散射效應(yīng)更加突出，獲取的圖像存在嚴(yán)重的光照不均，造成圖像質(zhì)量下降，如圖1中(a)、(b)、(c)所示。

圖1 非均勻光照條件下的水下圖像

受人工光源影響，這類圖像近光點(diǎn)部分亮度偏強(qiáng)，遠(yuǎn)光點(diǎn)則偏暗，同時(shí)存在著水對(duì)光的吸收和散射情況，若對(duì)整幅圖像增強(qiáng)處理，現(xiàn)有的算法效果不理想。為此，針對(duì)上述非均勻光照條件下的水下圖像，提出基于圖的視覺顯著性(graph-based visual saliency, GBVS)[13]和Retinex算法相結(jié)合的圖像增強(qiáng)方法，流程如圖2所示。首先，對(duì)水下圖像進(jìn)行降噪預(yù)處理，利用GBVS算法將原圖像分割為前景區(qū)域與背景區(qū)域。然后，基于Retinex算法分別對(duì)兩個(gè)區(qū)域增強(qiáng)處理，背景區(qū)域再利用伽馬變換進(jìn)行二次增強(qiáng)。最后，采用泊松融合算法合成兩個(gè)區(qū)域的增強(qiáng)圖像。

圖2 非均勻光照條件下的水下圖像增強(qiáng)流程圖

1 視覺顯著性分割

1.1 GBVS

GBVS是Harel等[13]基于Itti模型并結(jié)合圖論提出的一種自下而上視覺顯著性檢測(cè)方法。在非均勻光照條件下，水下圖像的前景區(qū)域相對(duì)于背景區(qū)域具有較強(qiáng)的顯著性，可采用GBVS算法分割兩區(qū)域。GBVS算法基本流程為：①對(duì)原圖像構(gòu)建{1/2,1/4}尺度圖像，并分別提取顏色特征、亮度(灰度)特征和方向特征(Gabor濾波器在{0°,45°,90°,135°}四個(gè)方向)；②利用馬爾可夫鏈的特性分別計(jì)算每層特征圖的顯著值并生成激活圖；③融合三種特征的激活圖生成最終的顯著性圖。流程如圖3所示。

圖3 GBVS算法流程圖

1.2 區(qū)域分割

首先，分別對(duì)顏色、亮度、方向特征激活圖進(jìn)行尺度歸一化，再將每種特征的激活圖相加，得到對(duì)應(yīng)的顯著圖，如圖4所示，3種顯著圖從不同角度描述了圖像的顯著性；其次，將3幅顯著圖按照1∶1∶1的比例進(jìn)行線性疊加，生成最終的顯著圖S(i,j)和著色顯著圖(顯著性越強(qiáng)的區(qū)域越紅)；然后，將S(i,j)按像素值由小到大形成列向量，并通過線性插值函數(shù)計(jì)算分割閾值T；最后，利用分割閾值T將原水下圖像分割為前景區(qū)域與背景區(qū)域。顯著圖及分割結(jié)果如圖5所示。從分割結(jié)果可以看出，根據(jù)視覺顯著性特征，可將非均勻光照下的水下圖像分割成不同區(qū)域，進(jìn)而分別實(shí)現(xiàn)對(duì)兩區(qū)域增強(qiáng)處理。

圖4 原圖及3中特征的顯著圖

圖5 顯著圖及分割結(jié)果

2 前景和背景區(qū)域增強(qiáng)算法

在視覺顯著性分割基礎(chǔ)上，根據(jù)非均勻光照下水下圖像前景和背景區(qū)域的不同特點(diǎn)可采用相應(yīng)的增強(qiáng)算法。

2.1 前景區(qū)域增強(qiáng)

前景區(qū)域具有一定的視覺顯著性特征，但受到了水下非均勻光照影響，為此基于Retinex理論[14]對(duì)前景區(qū)域進(jìn)行增強(qiáng)，其基本原理如下：

將前景區(qū)域圖像Ifg(i,j)定義為：

Ifg(i,j)=L(i,j)×R(i,j)，

(1)

其中：R(i,j)為反射光圖像，即圖像內(nèi)在屬性，應(yīng)保留；L(i,j)為入射光圖像，應(yīng)去除。對(duì)式(1)等號(hào)兩邊分別取對(duì)數(shù)并移項(xiàng)得：

logR(i,j)=logIfg(i,j)-logL(i,j)。

(2)

其中，R(i,j)無法直接從圖像Ifg(i,j)得到，可通過估計(jì)L(i,j)后利用式(2)間接獲取。采用文獻(xiàn)[15]中的方法對(duì)入射光圖像L(i,j)進(jìn)行估計(jì)：

(3)

2.2 背景區(qū)域增強(qiáng)

水下背景區(qū)域圖像除受到非均勻光照影響外，整體偏暗且光線成非線性發(fā)散。在前景區(qū)域增強(qiáng)算法的基礎(chǔ)上，利用伽馬非線性變換對(duì)背景區(qū)域圖像Ibg(i,j)進(jìn)行二次增強(qiáng)，則式(2)可改寫為：

logRbg(i,j)=γ(logIbg(i,j)-logLbg(i,j))+logc。

(4)

其中，Lbg(i,j)表示背景區(qū)域的入射光圖像，Rbg(i,j)表示背景區(qū)域的反射光圖像，c為常數(shù)，γ∈(0,1)。

利用上述前景和背景區(qū)域增強(qiáng)算法分別對(duì)圖5(c)、(d)兩個(gè)區(qū)域進(jìn)行增強(qiáng)，增強(qiáng)后圖像如圖6所示。從增強(qiáng)效果可以看出，前景和背景區(qū)域都實(shí)現(xiàn)了增強(qiáng)，特別是背景區(qū)域的效果更為明顯。由于將整幅圖像分割成了兩部分，增強(qiáng)時(shí)根據(jù)不同特點(diǎn)分別處理，互不影響，特別整體偏暗的背景區(qū)域得到了較大的亮度范圍擴(kuò)展。

圖6 前景區(qū)域與背景區(qū)域增強(qiáng)結(jié)果

3 泊松融合

圖像的前景和背景區(qū)域分別增強(qiáng)后，區(qū)域間鄰接部分存在明顯差異，采用泊松融合算法實(shí)現(xiàn)區(qū)域間的融合。泊松圖像編輯[16]是通過泊松方程實(shí)現(xiàn)圖像間的融合，合成后的圖像內(nèi)容平滑、邊界一致。首先求取圖像梯度向量場(chǎng)，然后對(duì)融合區(qū)域進(jìn)行引導(dǎo)性插值處理，進(jìn)而將區(qū)域間融合問題轉(zhuǎn)變成求函數(shù)的極值問題。其基本原理如下：

設(shè)二維圖像I上有一閉合子區(qū)域Ω，Ω的邊界為?Ω，定義Ω上的梯度向量場(chǎng)為V，f為I上的標(biāo)量函數(shù)。已知f在?Ω上的取值為f*，則f在Ω內(nèi)取V引導(dǎo)下的插值函數(shù)，即求解極值問題：

(5)

(6)

對(duì)式(5)進(jìn)行有限差分離散化得：

(7)

式中,〈p,q〉是一對(duì)4連通相鄰像素點(diǎn)，fp和fq分別為f在像素點(diǎn)p和q上的取值，Vpq為V中由p到q的向量。則式(7)的解滿足：

(8)

其中，|Np|表示p的四鄰域。

將待融合區(qū)域劃分成若干子區(qū)域，對(duì)于每個(gè)子區(qū)域由式(8)進(jìn)行求解，進(jìn)而得到融合區(qū)域的解，最后實(shí)現(xiàn)區(qū)域間的圖像融合。

4 實(shí)驗(yàn)與分析

實(shí)驗(yàn)數(shù)據(jù)集來源于網(wǎng)絡(luò)搜集的自然水域下非均勻光照?qǐng)D像。數(shù)據(jù)集包含40幅圖像，主要按場(chǎng)景(12幅)、光衰減性(18幅)和渾濁程度(10幅)分為三類，部分?jǐn)?shù)據(jù)集如表1所示。實(shí)驗(yàn)所用計(jì)算機(jī)的配置為CPU Intel(R)Core(TM)i5-6300HQ 2.30 GHz，RAM 8 GB。軟件平臺(tái)為MATLAB 2016b。針對(duì)上述數(shù)據(jù)集，通過實(shí)驗(yàn)驗(yàn)證提出增強(qiáng)方法的有效性，并與直方圖均衡化(histogram equalization, HE)算法和單尺度Retinex(single scale Retinex, SSR)算法[17]進(jìn)行了比較。

表1 實(shí)驗(yàn)數(shù)據(jù)集

4.1 增強(qiáng)效果主觀評(píng)價(jià)

選取數(shù)據(jù)集中3幅不同類型的圖像進(jìn)行增強(qiáng)算法的主觀評(píng)價(jià)，圖像分別為L(zhǎng)ight1、Background1、Turbid1，實(shí)驗(yàn)結(jié)果如圖7所示，其中放大了增強(qiáng)后圖像的局部效果。

圖7 圖像增強(qiáng)效果對(duì)比

從圖7可以看出，3種算法對(duì)水下圖像都有一定的增強(qiáng)效果，其中小方框?yàn)榫植糠糯髤^(qū)域。HE算法增強(qiáng)處理后，圖像亮度有較大的提升，但沒有解決偏色問題，同時(shí)過度增強(qiáng)了前景區(qū)域(如Background1中的魚)，且背景區(qū)域出現(xiàn)了明顯的噪音(如Light1中的魚尾和Turbid1中的魚鰭)；SSR算法增強(qiáng)處理后，雖然提升了圖像的亮度，對(duì)顏色具有一定的校正作用，但細(xì)節(jié)紋理不清晰(如Turbid1中的魚鰭)，且處理后的圖像具有泛白現(xiàn)象，較為模糊；本研究提出算法增強(qiáng)處理后，圖像中前景、背景區(qū)域細(xì)節(jié)清晰可見，且區(qū)域間自然融合，有效解決了色偏問題，改善了圖像的整體視覺效果。

4.2 增強(qiáng)效果客觀評(píng)價(jià)

為客觀評(píng)價(jià)不同增強(qiáng)算法性能，本節(jié)對(duì)比常用的圖像平均灰度值、標(biāo)準(zhǔn)差、信息熵三項(xiàng)統(tǒng)計(jì)指標(biāo)。平均灰度值指標(biāo)與圖像的亮度動(dòng)態(tài)變化相關(guān)；標(biāo)準(zhǔn)差統(tǒng)計(jì)了像素值間的變化情況，其值越大對(duì)比度越大；信息熵是圖像中含有信息量的反映，表征圖像灰度分布的聚集特性，反映了圖像的清晰度。

利用上述的性能指標(biāo)分別對(duì)圖7中的三幅圖像增強(qiáng)前后效果評(píng)估，結(jié)果如表2所示。

表2 圖像增強(qiáng)效果的客觀評(píng)價(jià)

從表2可以看出，由于水下圖像較暗，3種情況下增強(qiáng)后算法都提高了圖像的平均灰度值指標(biāo)，使得整幅圖像亮度均值在一個(gè)合適范圍；在圖像的標(biāo)準(zhǔn)差方面，HE算法和SSR算法對(duì)于不同的圖像增強(qiáng)后標(biāo)準(zhǔn)差變化不穩(wěn)定，存在降低圖像對(duì)比度現(xiàn)象(如Turbid1)，本文提出算法表現(xiàn)了更好的性能；增強(qiáng)后，HE算法降低了三幅圖像的信息熵，SSR算法略有提高，本算法的效果更佳，明顯地增強(qiáng)了圖像清晰度。

表3 圖像增強(qiáng)效果的客觀評(píng)價(jià)

Tab.3 Objective evaluation of image enhancement effects %

指標(biāo)平均提高百分比HE算法SSR算法本文算法平均灰度值251.18267.73190.21標(biāo)準(zhǔn)差23.4223.7525.12信息熵-8.624.9617.71

為了評(píng)價(jià)算法的整體性能，分別對(duì)40幅非均勻光照水下圖像進(jìn)行實(shí)驗(yàn)，并計(jì)算增強(qiáng)處理后性能指標(biāo)參數(shù)的平均提高百分比，結(jié)果如表3所示。

從表3可以看出，由于數(shù)據(jù)集中的非均勻光照水下圖像亮度一般整體偏暗，HE算法主要實(shí)現(xiàn)了一幅圖像中所有像素的亮度范圍均衡化，提高了圖像的對(duì)比度，由于存在灰度級(jí)合并現(xiàn)象，信息熵有所損失；SSR算法提高了水下數(shù)據(jù)集圖像的整體亮度和對(duì)比度，但圖像信息熵只是略有提升；本算法相比于其他兩種增強(qiáng)算法具有更好的性能，在增加圖像平均灰度值和標(biāo)準(zhǔn)差的同時(shí)，較大地提高了圖像的信息熵。

5 結(jié)論

針對(duì)非均勻光照條件下的水下圖像特點(diǎn)，利用GBVS視覺顯著性算法將水下圖像分割為前景區(qū)域與背景區(qū)域，并基于Retinex算法分別對(duì)兩部分進(jìn)行增強(qiáng)，采用伽馬變換對(duì)背景區(qū)域進(jìn)行二次增強(qiáng)，最后通過泊松融合算法將兩部分合成水下增強(qiáng)圖像。利用提出算法對(duì)多幅非均勻光照條件下的水下圖像進(jìn)行增強(qiáng)，圖像質(zhì)量得到顯著提高，并與其他算法進(jìn)行了比較，表現(xiàn)出更好的性能。由于波長(zhǎng)較長(zhǎng)的紅光在水下比藍(lán)色和綠色的光更容易被吸收，考慮到紅色分量衰減造成的顏色失真，在今后的工作中嘗試進(jìn)行顏色補(bǔ)償。