基于圖像融合的水下圖像清晰化方法

孫 杰

(中國(guó)人民解放軍91550部隊(duì)， 遼寧 大連 116023)

近年來(lái)，水下成像技術(shù)在海洋環(huán)境監(jiān)測(cè)、海洋資源勘探、水下軍事目標(biāo)監(jiān)視等領(lǐng)域發(fā)揮著越來(lái)越重要的作用。由于水體對(duì)光的吸收和散射作用，水下圖像存在對(duì)比度低、模糊、色偏等缺陷，嚴(yán)重影響了水下成像的質(zhì)量，如何提高水下圖像的清晰度是水下成像技術(shù)需要解決的重要問(wèn)題。

已有的水下圖像清晰化方法主要分為兩類：一類是圖像復(fù)原方法，通過(guò)建立水下成像物理模型，求解模型參數(shù)反演出真實(shí)圖像；另一類是圖像增強(qiáng)方法，不依賴于成像模型，僅通過(guò)調(diào)節(jié)圖像的灰度值提高圖像的清晰度。典型的水下圖像復(fù)原方法有Galdran等[1]提出的紅通道反轉(zhuǎn)的暗通道先驗(yàn)(Dark Channel Prior，DCP)方法、Jr等[2]提出的藍(lán)綠通道的DCP方法、Pen等[3]提出的推廣的暗通道先驗(yàn)(Generalization of Dark Channel Prior，GDCP)方法等。紅通道反轉(zhuǎn)的DCP方法是經(jīng)典的DCP去霧方法[4]的變形，它利用正向的藍(lán)綠通道和反向的紅通道估算背景光和透射率，可以有效提高人工照明條件下水下圖像的復(fù)原質(zhì)量，但復(fù)原圖像會(huì)出現(xiàn)偏暗的情況。藍(lán)綠通道的DCP方法在進(jìn)行水下圖像復(fù)原時(shí)則不考慮紅通道，該方法復(fù)原的圖像有時(shí)也會(huì)偏暗。GDCP方法通過(guò)估算景深提高背景光的估計(jì)精度，從而改善DCP方法的性能。水下圖像增強(qiáng)方法包括直方圖均衡方法[5-6]、基于Retinex理論的圖像增強(qiáng)方法[7-8]、圖像融合方法[9]等。直方圖均衡方法通過(guò)調(diào)整灰度值增加圖像灰度的動(dòng)態(tài)范圍，提高圖像的對(duì)比度，但無(wú)法解決水下圖像的顏色失真問(wèn)題。基于Retinex理論的圖像增強(qiáng)方法將反射光分量從圖像中分離出來(lái)，降低照射分量對(duì)圖像的影響，從而達(dá)到增強(qiáng)圖像的目的，該方法簡(jiǎn)單易于實(shí)現(xiàn)，并且具有校正色偏的功能。圖像融合方法先對(duì)水下圖像分別進(jìn)行顏色校正和對(duì)比度增強(qiáng)處理，再對(duì)得到的兩幅圖像進(jìn)行加權(quán)融合，獲得的融合圖像既減少了色偏，又具有較高的對(duì)比度。

本文提出了一種圖像融合方法用于提高水下圖像的清晰度。首先采用GDCP方法、帶有色彩恢復(fù)的多尺度Retinex(Multiscale Retinex with Color Restoration，MSRCR)方法以及對(duì)比度受限自適應(yīng)直方圖均衡(Contrast Limited Adaptive Histogram Equalization，CLAHE)方法對(duì)水下圖像分別進(jìn)行復(fù)原和增強(qiáng)處理，得到圖像融合的3個(gè)輸入圖像。然后利用可見(jiàn)度、飽和度、對(duì)比度和顯著度等性能指標(biāo)定義輸入圖像的權(quán)重圖，采用基于金字塔分解的多尺度融合方法對(duì)輸入圖像進(jìn)行加權(quán)融合。最后通過(guò)水下圖像處理實(shí)驗(yàn)檢驗(yàn)本文算法的性能。

1 GDCP方法

忽略水體對(duì)光的前向散射作用，水下成像模型表示為

Ic(x)=Jc(x)t(x)+Ac(1-t(x))c∈{R,G,B}

(1)

其中，c表示顏色通道，Jc(x)為場(chǎng)景的真實(shí)圖像，Ic(x)為降質(zhì)圖像，t(x)為透射率，0≤t(x)≤1，Ac為背景光。

利用暗通道先驗(yàn)信息可以得到透射率的估計(jì)[4]：

(2)

其中，Ω(x)表示以x為中心的局部塊。進(jìn)而獲得復(fù)原圖像：

(3)

DCP方法利用暗通道0.1%最大值的像素點(diǎn)確定背景光，對(duì)于背景較暗的水下圖像，往往會(huì)將較明亮的前景誤認(rèn)為是背景光，導(dǎo)致圖像復(fù)原效果不佳。

(4)

(5)

其中，ωc=tanh(4|ac|)為c通道的重要性權(quán)重，dc為布爾型變量，當(dāng)ac>0時(shí)，dc取1，此時(shí)c通道隨景深增加而增加，否則，dc取0，對(duì)應(yīng)于c通道隨景深增加而減少的情況。

為避免個(gè)別噪聲點(diǎn)的影響，將D(x)從大到小排列，取前0.1%的像素點(diǎn)對(duì)應(yīng)的原圖像灰度的平均值作為背景光。然后透射率t(x)的估計(jì)表示為

(6)

為去除復(fù)原圖像的光暈和塊效應(yīng)，可利用導(dǎo)向?yàn)V波對(duì)透射率作進(jìn)一步優(yōu)化處理。最后得到的復(fù)原圖像表示為

(7)

式中，透射率下限t0為0.1。

利用GDCP方法對(duì)圖1所示的原始水下圖像進(jìn)行復(fù)原，粗略景深圖如圖2所示，可以看出：近景的梯度較大，而遠(yuǎn)景的梯度較小。圖3為改進(jìn)的景深圖，與圖2相比，景深的計(jì)算更加準(zhǔn)確。由圖4和圖5可以看出：GDCP方法可顯著提高圖像的清晰度，而DCP方法的清晰化效果不明顯。

圖1 原始圖像 圖2 粗略景深圖

圖5 DCP方法復(fù)原的圖像

2 MSRCR方法

根據(jù)Retinex理論，采集到的圖像可表示為照射光和物體反射光的乘積，即

Ic(x)=Lc(x)Rc(x)c∈{R,G,B}

(8)

其中，Lc(x)為照射光部分，Rc(x)為物體反射光部分。為實(shí)現(xiàn)圖像清晰化，需從Ic(x)中分離出Rc(x)，從而還原出物體的本來(lái)面貌。

MSRCR方法通過(guò)多個(gè)不同尺度的高斯函數(shù)估算出照射光，然后從原圖像上摳除照射光即可獲得多尺度反射光[10]。第i個(gè)尺度反射光的計(jì)算公式為

Rc,i(x)=log(Ic(x))-log(Ic(x)*Fi(x))

i=1,2,…,N

(9)

(10)

其中，權(quán)系數(shù)wi通常取為1/N。為解決圖像的色偏問(wèn)題，將各通道乘以顏色修正因子Cc(x)，即

(11)

Cc(x)用于調(diào)整各通道之間的比例關(guān)系，其計(jì)算公式如下：

(12)

其中，α和β為經(jīng)驗(yàn)常數(shù)，通常取為125和46。

3 CLAHE方法

CLAHE方法將原始圖像劃分為互不重疊的子塊，對(duì)每個(gè)子塊定義灰度映射：

(13)

其中，M為子塊的像素總數(shù)，N為灰度級(jí)的數(shù)量，h(k)表示子塊第k個(gè)灰度級(jí)的像素?cái)?shù)量，灰度映射將灰度值為n的像素點(diǎn)賦予了新的灰度值f(n)。整幅圖像的灰度映射F(n)為四個(gè)相鄰子塊映射函數(shù)的合成。為減少圖像增強(qiáng)帶來(lái)的噪聲影響，需對(duì)F(n)的斜率做出適當(dāng)限制[11]。利用灰度映射F(n)可實(shí)現(xiàn)灰度值的重新分配，增加圖像灰度的動(dòng)態(tài)范圍，從而提高圖像的對(duì)比度。為避免顏色失真，本文將圖像由RGB空間轉(zhuǎn)換到HSV空間，僅對(duì)V通道進(jìn)行對(duì)比度增強(qiáng)。

4 圖像融合

分別采用GDCP、MSRCR和CLAHE 3種方法對(duì)原始水下圖像進(jìn)行復(fù)原和增強(qiáng)處理，將獲得的3幅圖像I1(x)、I2(x)和I3(x)作為圖像融合的輸入圖像。下面采用多尺度融合方法獲得最終清晰化圖像。

4.1 融合權(quán)值選取

這里定義照度圖、飽和圖、局部對(duì)比圖和顯著圖四種權(quán)重圖，用于確定輸入圖像I1(x)、I2(x)和I3(x)在融合圖像中所占的比重。

1) 照度圖。將輸入圖像Ik(x)(k=1,2,3)由RGB空間轉(zhuǎn)換到HSV空間，Ik(x)的照度圖定義為RGB三通道與亮度通道V的偏差的均方根：

(14)

圖像某個(gè)區(qū)域的WL,k越大，該區(qū)域的亮度越均衡，可見(jiàn)度越高，照度圖用于增大高可見(jiàn)度的圖像區(qū)域在融合圖像中的比重。

2) 飽和圖。輸入圖像Ik(x)(k=1,2,3)的飽和圖定義為

WS,k=exp(-(Sk-1)2/(2σ2))

(15)

(16)

其中，Sk為Ik(x)的飽和度，RK,GK,BK分別為Ik的彩色圖像分量值，σ為標(biāo)準(zhǔn)差，通常取為0.25。圖像某個(gè)區(qū)域具有較大的WS,k，則該區(qū)域的飽和度較大，色彩越鮮艷。飽和圖用于選擇色彩豐富的圖像區(qū)域加入到融合圖像中。

3) 局部對(duì)比圖。將輸入圖像Ik(x)(k=1,2,3)由RGB空間轉(zhuǎn)換到Lab空間，Lk為亮度通道。局部對(duì)比圖定義為每個(gè)像素的亮度與其周圍像素平均亮度的偏差，輸入圖像Ik(x)(k=1,2,3)的局部對(duì)比圖的計(jì)算公式為

WLC,k=|Lk-Lωhc,k|

(17)

其中，Lωhc,k為亮度通道的高斯低通濾波，該濾波的截止頻率通常取為ωhc=π/2.75。局部對(duì)比圖用于增強(qiáng)融合圖像的局部對(duì)比度。

4) 顯著圖。顯著圖的計(jì)算公式為

WSal,k=||Pμ,k-Pωhc,k||

(18)

其中，Pμ,k是Lab三通道的均值，Pωhc,k是Lab三通道的高斯低通濾波，該濾波的截止頻率通常取為ωhc=π/2.75。

顯著圖用于突出圖像的顯著性區(qū)域，增強(qiáng)顯著性區(qū)域與相鄰區(qū)域的對(duì)比度，從而提高圖像的全局對(duì)比度。

對(duì)亮度圖、飽和圖、局部對(duì)比圖和顯著圖進(jìn)行求和：

(19)

(20)

將Wk定義為輸入圖像Ik(x)的權(quán)重圖，作為圖像融合的權(quán)值。

4.2 融合方法

像素級(jí)融合方法容易出現(xiàn)光暈現(xiàn)象，因此本文采用基于金字塔分解的多尺度融合方法。

圖像融合的流程如圖6所示，步驟如下：

步驟1分別對(duì)權(quán)重圖Wk(x)(k=1,2,3)進(jìn)行低通濾波和降采樣，生成K層高斯金字塔，高斯金字塔的第i層記為Gi(Wk(x))，不同分解層對(duì)應(yīng)于不同的尺度。

圖6 圖像融合的流程示意圖

步驟2分別對(duì)輸入圖像Ik(x)(k=1,2,3)進(jìn)行K層拉普拉斯金字塔分解。首先生成高斯金字塔，再對(duì)低尺度的高斯金字塔層進(jìn)行上采樣和低通濾波，與上一尺度的高斯金字塔層作差即可得到拉普拉斯金字塔的分解層，拉普拉斯金字塔的第層記為L(zhǎng)i(Ik(x))，不同分解層同樣對(duì)應(yīng)于不同的尺度。

步驟3對(duì)每一個(gè)尺度的普拉斯金字塔層Li(Ik(x))采用同一尺度的高斯金字塔層Gi(Wk(x))進(jìn)行加權(quán)求和，獲得多尺度的融合圖像：

(21)

步驟4對(duì)拉普拉斯金字塔Fi(x)(i=1,2,…,K)進(jìn)行重構(gòu)，即可獲得融合圖像F(x)。

5 實(shí)驗(yàn)結(jié)果

如圖7所示，選取4幅水下圖像，將本文方法與文獻(xiàn)[1]的紅通道反轉(zhuǎn)的DCP方法、文獻(xiàn)[8]的基于Retinex理論的圖像增強(qiáng)方法以及文獻(xiàn)[6]的直方圖均衡方法進(jìn)行對(duì)比驗(yàn)證。可以看出，文獻(xiàn)[1]的方法提高了圖像整體的清晰度，但部分區(qū)域亮度偏暗，并且色偏較為嚴(yán)重。文獻(xiàn)[8]的方法增強(qiáng)了圖像的細(xì)節(jié)，但圖像偏白，噪聲較多。文獻(xiàn)[6]的方法提高了圖像的對(duì)比度，但沒(méi)有糾正色偏，獲得的圖像仍然呈現(xiàn)藍(lán)綠色。而本文方法在提高對(duì)比度的同時(shí)，能夠有效糾正色偏，細(xì)節(jié)更加突出，圖像更加清晰，具有較好的視覺(jué)效果。

圖7 處理效果對(duì)比

下面利用分塊對(duì)比度質(zhì)量指數(shù)(Patch-based Contrast Quality Index，PCQI)、水下彩色圖像質(zhì)量評(píng)價(jià)(Underwater Color Image Quality Evaluation，UCIQE)、水下圖像質(zhì)量度量(underwater image quality measure，UIQM)3種評(píng)價(jià)指標(biāo)檢驗(yàn)本文方法的性能。其中，PCQI用于衡量一般降質(zhì)圖像的對(duì)比度，UCIQE用于衡量水下圖像的色偏、模糊度和對(duì)比度的綜合指標(biāo)，UIQM用于衡量水下圖像的色彩度、清晰度和對(duì)比度的綜合指標(biāo)，這3個(gè)指標(biāo)的值越大，圖像的質(zhì)量越高。表1給出了上述各方法對(duì)4幅圖像處理結(jié)果的評(píng)價(jià)，本文方法相對(duì)其他方法在每個(gè)指標(biāo)上都是最優(yōu)的。

表1 評(píng)價(jià)指標(biāo)的計(jì)算結(jié)果

6 結(jié)論

本文提出了一種基于圖像融合的水下圖像清晰化方法，即GDCP方法，由顏色的變化規(guī)律確定景深，利用景深信息估計(jì)背景光。分別采用GDCP、MSRCR以及CLAHE 3種方法對(duì)水下圖像進(jìn)行復(fù)原和增強(qiáng)處理，獲得了圖像融合的3個(gè)輸入圖像。利用圖像的可見(jiàn)度、飽和度、對(duì)比度和顯著度等性能指標(biāo)定義3個(gè)輸入圖像的權(quán)重圖，采用基于金字塔分解的多尺度融合方法對(duì)輸入圖像進(jìn)行加權(quán)融合。實(shí)驗(yàn)結(jié)果表明，本文方法能夠顯著提高水下圖像的清晰度和糾正色偏，并且在水下圖像的質(zhì)量評(píng)價(jià)指標(biāo)上優(yōu)于其他方法。