雙透射率成像模型與Retinex融合的水下圖像清晰化

林 森， 周天飛

(1.沈陽(yáng)理工大學(xué)自動(dòng)化與電氣工程學(xué)院， 沈陽(yáng) 110159； 2.遼寧工程技術(shù)大學(xué)電子與信息工程學(xué)院， 葫蘆島 125105)

海洋為人類提供了豐富的能源，水下機(jī)器人依賴視覺系統(tǒng)獲取的水下視頻和圖像是開發(fā)資源的重要方式，但在復(fù)雜成像環(huán)境中，水體以及水中雜質(zhì)對(duì)光的吸收與散射導(dǎo)致水下圖像質(zhì)量大幅下降，比如吸收會(huì)降低光傳播的能量，散射引起光傳播方向的變化。由此造成的退化形式包括霧化現(xiàn)象、色彩失真和細(xì)節(jié)模糊[1]等，使得水下資源的開發(fā)存在極大困難。因此，水下圖像的清晰化研究具有重要的應(yīng)用價(jià)值。

近年來(lái)，研究者們提出了許多水下圖像清晰化的方法，分為基于物理模型的水下圖像復(fù)原技術(shù)和基于非物理模型的水下圖像增強(qiáng)技術(shù)。水下圖像復(fù)原需要根據(jù)圖像降質(zhì)模型對(duì)圖像建模，估計(jì)模型參數(shù)逆求解得到清晰化圖像。He等[2]通過(guò)大量統(tǒng)計(jì)得到暗通道先驗(yàn)理論(dark channel prior，DCP)，即在無(wú)霧圖像中紅綠藍(lán)三顏色通道中至少存在一個(gè)低強(qiáng)度通道，并利用該理論進(jìn)行背景光和透射率估計(jì)。楊愛萍等[3]在紅通道預(yù)測(cè)與飽和指數(shù)的基礎(chǔ)上，根據(jù)三顏色通道相對(duì)衰減比估計(jì)各通道透射率，使用Shades of Gray計(jì)算背景光，反演模型得到復(fù)原水下圖像。林昌等[4]考慮到普遍算法對(duì)圖像顏色糾正過(guò)度的問題，提出一種亮度自適應(yīng)均衡化的改進(jìn)帶色彩恢復(fù)的多尺度視網(wǎng)膜增強(qiáng)(multi-scale retinex with color restore， MSRCR)算法，將全局亮度均衡后的圖像與經(jīng)過(guò)MSRCR算法之后的圖像進(jìn)行疊加，再通過(guò)拉伸灰度的方法實(shí)現(xiàn)色彩的提升。李景文等[5]基于針對(duì)處理后的圖像色溫偏低的問題，提出改進(jìn)暗通道的自動(dòng)色彩增強(qiáng)算法，利用暗通道先驗(yàn)算法和導(dǎo)向?yàn)V波得到精細(xì)化的圖像。Tang等[6]將經(jīng)典多尺度Retinex的亮度通道應(yīng)用于預(yù)校正圖像，提高對(duì)比度和顏色，采用下采樣和無(wú)限脈沖響應(yīng)高斯濾波來(lái)提高處理速度，并根據(jù)統(tǒng)計(jì)特性對(duì)恢復(fù)圖像的光照進(jìn)行補(bǔ)償。鄒沛煜等[7]提出了一種基于高低頻分量融合的水下圖像增強(qiáng)算法，基于Retinex多尺度提取算法估計(jì)亮度分量，代表原圖像的高頻分量，照射分量作為圖像的低頻分量，分別處理得到清晰水下圖像。

上述算法在解決水下圖像存在的霧化現(xiàn)象、色彩失衡等問題均有所改善，但是未全面解決細(xì)節(jié)信息、邊緣輪廓及紋理丟失和模糊的問題。現(xiàn)綜合考慮圖像信息的保留程度、視覺效果以及算法復(fù)雜度，提出一種雙透射率成像模型與Retinex融合的水下圖像清晰化算法，基于傳統(tǒng)算法上作出改進(jìn)，以期綜合增強(qiáng)水下圖像信息方面得到良好的效果。

1 水下成像模型與算法架構(gòu)

目前，Jaffe-McGlamer水下光學(xué)成像模型被廣泛應(yīng)用于水下光學(xué)圖像處理算法中，該模型由三部分線性組合而成:直接分量、前向散射分量和后向散射分量，如圖1所示。

在實(shí)際應(yīng)用中，由于成像設(shè)備與目標(biāo)對(duì)象距離較小，忽略前向散射分量。改進(jìn)的水下圖像光學(xué)成像模型如式(1)所示，由直接分量和后向散射分量?jī)刹糠纸M成，前者為水下目標(biāo)反射的且未受水體散射影響的光信號(hào)，而后者是水中雜質(zhì)顆粒反射的光信號(hào)。

I(x)=Id(x)+Ib(x)=J(x)t(x)+

Ac[1-t(x)]

(1)

式(1)中：x為像素點(diǎn)；I為由相機(jī)拍攝的模糊圖像；d為直接分量；b為后向散射分量；c為顏色通道中任一通道；J為待恢復(fù)的清晰圖像；Ac為一個(gè)全局常數(shù)，表示背景光；t為傳播介質(zhì)的透射率，與場(chǎng)景深度成反比。根據(jù)Lambert-Beer定律可表示為

t(x)=e-βd(x)

(2)

式(2)中：β為背景光散射系數(shù)；d(x)為每個(gè)目標(biāo)物體表面點(diǎn)到相機(jī)的深度。Akkaynak等[8]證明了水下成像模型中直接分量和后向散射分量對(duì)應(yīng)的衰減系數(shù)不同，據(jù)此背景重新定義水下成像模型為

I(x)=J(x)td(x)+[1-tb(x)]Ac

(3)

式(3)中：td(x)為直接分量透射率;tb(x)為后向散射分量透射率，具體定義為

td(x)=exp[-σdz(x)]

(4)

tb(x)=exp[-σbz(x)]

(5)

式中：σd為直接衰減系數(shù);σb為后向散射衰減系數(shù)，與傳播距離和光線波長(zhǎng)有關(guān)；z(x)為像素點(diǎn)到相機(jī)的距離。

水下圖像的降質(zhì)體現(xiàn)在三方面:圖像霧化、色彩失衡和對(duì)比度降低。根據(jù)以上問題作出針對(duì)性處理，去除霧化、恢復(fù)色彩均衡以及增加對(duì)比度，算法在物理成像模型基礎(chǔ)上，采用圖像融合技術(shù)實(shí)現(xiàn)，結(jié)構(gòu)框架如圖2所示。為正確反映水下圖像的基本信息和特征，選用適當(dāng)輸入圖像和權(quán)重圖。三幅輸入圖像分別是對(duì)采集到的水下圖像進(jìn)行去霧、色彩和全局對(duì)比度提升；接著對(duì)初步清晰化輸入圖像進(jìn)行特征提取；最終從多幅圖像中提取有用信息將多優(yōu)勢(shì)算法進(jìn)行融合，得到清晰優(yōu)質(zhì)的水下圖像。

圖2 算法結(jié)構(gòu)框架(圖像比例2∶1)

2 輸入圖設(shè)計(jì)

2.1 改進(jìn)雙透射率模型算法

為去除圖像霧化現(xiàn)象，采用基于改進(jìn)的雙透射率水下成像模型算法，其中含有背景光、直接分量透射率和后向散射分量透射率三種模型參數(shù)，相比傳統(tǒng)模型增加了一個(gè)變量參數(shù)，此變量使水下圖像復(fù)原算法精確度更高。接下來(lái)對(duì)模型參數(shù)求解。

(1)背景光Ac的估計(jì)。在傳統(tǒng)的DCP和水下暗通道先驗(yàn)(underwater dark channel prior，UDCP)算法中，將暗通道中前0.1%數(shù)值的最亮像素平均值作為估計(jì)值，水體背景光值因此受到人造光源和白色明亮物體干擾而增大。現(xiàn)采用四叉樹的分級(jí)搜索，先將圖片分成四個(gè)區(qū)域找到標(biāo)準(zhǔn)差較小且均值較大的圖像塊，選擇式(6)中值最小的區(qū)域作為目標(biāo)區(qū)域，將此目標(biāo)區(qū)域繼續(xù)劃分為四個(gè)更小區(qū)域，重復(fù)此過(guò)程直到指定閾值，得到最終目標(biāo)區(qū)域:

(6)

(2)后向散射透射率tb(x)的估計(jì)。后向散射透射率的衰減系數(shù)與光線波長(zhǎng)關(guān)聯(lián)性較弱，故忽略此相關(guān)，即R、G、B三通道的后向散射透射率一致。為有效解決DCP算法中R通道值較低導(dǎo)致的色偏現(xiàn)象，Galdran等[9]在暗通道先驗(yàn)算法基礎(chǔ)上提出一種紅色暗通道先驗(yàn):

(7)

式(7)中：JRDCP(x)為改進(jìn)紅色暗通道先驗(yàn)值；JR(y)、JG(y)、JB(y)分別為清晰圖像中y點(diǎn)的R、G、B三通道的值；Ω(x)為以像素x為中心的局部區(qū)域，使用[1-JR(y)]替代JR(y)，避免由于紅光吸收最為嚴(yán)重導(dǎo)致R通道值降低的問題。

對(duì)雙透射率水下成像模型兩邊同時(shí)除以背景光Ac得

(8)

將式(7)代入式(8)求得后向散射透射率:

(9)

(3)直接分量透射率td(x)的估計(jì)。水下拍攝時(shí)目標(biāo)與相機(jī)距離較小，光線傳輸距離對(duì)直接分量透射率影響較小，故忽略此影響。根據(jù)后向散射透射率的估計(jì)值以及兩個(gè)透射率的定義可以得到全部像素點(diǎn)處的直接傳輸透射率的估計(jì)值，由式(4)和式(5)得

(10)

(11)

(4)圖像恢復(fù)。將所有估計(jì)值代式(12)得到恢復(fù)后的無(wú)霧圖像。

(12)

式(12)中：t0是為防止透射率過(guò)小設(shè)定的臨界值，現(xiàn)取值0.3。

圖3為實(shí)驗(yàn)效果對(duì)比圖，由圖3(b)可知，算法可以精確估計(jì)背景光值所在點(diǎn)，由圖3(c)～圖3(e)可驗(yàn)證方法符合水下光線傳播定律，即紅色光衰減最快，藍(lán)綠光次之。對(duì)比圖3(f)和圖3(g)可知，本文算法相較于DCP算法去霧效果良好，DCP算法未能正確去除綠色色調(diào)并呈現(xiàn)藍(lán)色色偏。

圖3 對(duì)比圖(圖像比例6∶1)

2.2 改進(jìn)MSRCR算法

為解決水下圖像色彩失衡問題，采用MSRCR算法。Retinex思想是在成像過(guò)程中，將一幅圖像S(x，y)分為保留圖像內(nèi)在屬性的反射光圖像R(x，y)和生成圖像像素所處動(dòng)態(tài)范圍的入射光圖像L(x，y)。其公式如式(13)所示。

S(x，y)=R(x，y)L(x，y)

(13)

多尺度Retinex算法(multi-scale Retinex， MSR)利用對(duì)數(shù)思想分離入射光和反射光圖像，用高斯濾波對(duì)初始圖像進(jìn)行處理近似得到入射圖像，并在不同尺度下對(duì)此進(jìn)行加權(quán)組合:

ln[F(x，y)*S(x，y)]}

(14)

式(14)中：F(x，y)為高斯中心環(huán)繞函數(shù)；K為環(huán)繞函數(shù)總個(gè)數(shù)；wk為不同尺度對(duì)應(yīng)的權(quán)值，取值為1/3。高斯濾波重點(diǎn)突出圖像細(xì)節(jié)，忽略對(duì)圖像邊界帶來(lái)的噪聲，為解決此問題，采用引導(dǎo)濾波核函數(shù)代替高斯濾波核函數(shù)估計(jì)入射光圖像，引導(dǎo)濾波核函數(shù)定義為

(15)

改進(jìn)的MSRCR算法為使圖像色彩得到更多恢復(fù)，引入顏色恢復(fù)因子Ci(x，y):

(16)

式(16)中：β為增益常數(shù)；α反映非線性強(qiáng)度；s=3為光譜通道R、G、B數(shù)目。

圖4是改進(jìn)的MSRCR處理結(jié)果，與高斯核函數(shù)相比，引導(dǎo)濾波核函數(shù)處理后的水下圖像保持邊緣特性，色彩強(qiáng)度和運(yùn)算時(shí)間得到提升，現(xiàn)采用改進(jìn)后顏色保真度高的優(yōu)勢(shì)。

圖4 改進(jìn)的MSRCR算法對(duì)比圖(圖像比例4∶1)

2.3 ACE算法

為進(jìn)一步解決圖像對(duì)比度低和顏色失衡，選用自動(dòng)色彩增強(qiáng)(automatic color enhancement， ACE)算法，該方法采用局部自適應(yīng)濾波并對(duì)圖像進(jìn)行全局對(duì)比度拉伸，得到最終輸出如式(17)所示，實(shí)驗(yàn)表明算法與直方圖均衡有關(guān)，可以擴(kuò)展圖像的態(tài)范圍并具有較高的對(duì)比度。

(17)

式(17)中:R(x)為退化圖像的重構(gòu)像素值，maxR、minR為其最大值與最小值。

圖5是初始圖像和ACE算法處理圖及R、G、B三通道直方圖。比較得算法處理后對(duì)比度明顯提升，灰度值等可能分布且高于原始值。

圖5 算法對(duì)比圖及RGB三通道直方圖(圖像比例3∶1)

3 權(quán)值與融合

3.1 權(quán)值及權(quán)重圖

獲得三幅融合輸入圖像后，定義三種權(quán)重圖，即亮度圖、色度圖和局部對(duì)比圖，權(quán)重圖反映圖像基本特征和必要信息，在融合中表示具有高權(quán)重值的像素，各權(quán)重圖如圖6所示。

圖6 權(quán)重圖(圖像比例4∶1)

(1)亮度權(quán)重圖(WL)。亮度圖反映圖像的明暗程度，可以有效衡量亮度缺失，使得在輸出圖像中可見度較高區(qū)域的比例大于可見度較低區(qū)域。計(jì)算各輸入圖像的三通道平均值，R、G、B通道與該平均值的標(biāo)準(zhǔn)差即為亮度圖:

(18)

式(18)中:R、G、B分別為三通道像素值；L為三通道平均值。

(2)色度權(quán)重圖(WE)。色度圖反映圖像的色彩純度，決定著圖像質(zhì)量，用以補(bǔ)償顏色降低的劣勢(shì)。將圖像轉(zhuǎn)換到HSV空間，計(jì)算每個(gè)像素點(diǎn)的飽和度與區(qū)域內(nèi)最大飽和度:

(19)

式(19)中:S(x)為像素點(diǎn)x的飽和度;Smax為最大飽和度，現(xiàn)取值為1；σ控制標(biāo)準(zhǔn)差的敏感性，取值0.3效果較好。

(3)局部對(duì)比度權(quán)重圖(WS)。局部對(duì)比圖反映圖像的細(xì)節(jié)水平，用以復(fù)原圖像局部丟失的細(xì)節(jié)信息。計(jì)算圖像中各像素點(diǎn)與其鄰域均值的標(biāo)準(zhǔn)差:

WS=‖Imean-Iwhc‖

(20)

式(20)中:Imean為像素平均值；Iwhc為低通濾波之后得到的亮度通道。

(21)

(22)

3.2 多尺度分解與融合

(23)

式(23)中：l為金字塔層數(shù)；k為輸入圖像的數(shù)目；Gl為對(duì)歸一化權(quán)重圖高斯分解的第l層；LPl為對(duì)輸入圖像拉普拉斯分解的第l層。

4 實(shí)驗(yàn)結(jié)果與分析

目前，對(duì)增強(qiáng)后的水下圖像質(zhì)量評(píng)價(jià)算法有兩種:主觀評(píng)價(jià)，通過(guò)人的主觀感受直接對(duì)處理后的圖像進(jìn)行評(píng)價(jià)，現(xiàn)對(duì)色卡恢復(fù)圖與多張代表性圖像作出分析；客觀評(píng)價(jià)，根據(jù)視覺系統(tǒng)的感知機(jī)制算法，模擬得出量化指標(biāo)，以此對(duì)圖像進(jìn)行評(píng)價(jià)，現(xiàn)采用水下彩色圖像質(zhì)量評(píng)價(jià)(underwater color image quality evaluation， UCIQE)指標(biāo)和加速魯棒特征(speeded up robust features， SURF)指標(biāo)。

為驗(yàn)證本文算法的有效性與魯棒性，用該算法處理處于不同環(huán)境的水下圖像，并與現(xiàn)有的水下圖像清晰化算法進(jìn)行對(duì)比與分析，其中包括Ancuti等[10]提出的融合算法、限制對(duì)比度自適應(yīng)直方圖均衡(contrast-limited adaptive histogram equalization， CLAHE)算法、去霧網(wǎng)絡(luò)結(jié)合混合小波與方向?yàn)V波器[11](underwater image de-scattering and enhancing using DehazeNet and HWD， DehazeNet)算法、快速增強(qiáng)水下圖像[13](fast underwater image enhancement for improved visual perception， FUnIE-GAN)算法。

4.1 主觀評(píng)價(jià)

主觀評(píng)價(jià)基于失真色卡和各渾濁水域圖像，驗(yàn)證本文算法對(duì)色彩恢復(fù)程度的有效性。首先采用色卡顏色恢復(fù)實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖7第一行所示，第二行為各算法對(duì)應(yīng)的色卡圖像。

觀察圖7可知，Ancuti等[10]融合算法中三種不同色度的綠色色塊區(qū)域之間區(qū)分度偏低，淡紫和深紫色塊出現(xiàn)明顯失真。CLAHE算法處理后圖像整體偏模糊，大多數(shù)色塊均未能恢復(fù)正確的顏色。DehazeNet算法處理后圖像對(duì)比度得到改善，但淡紫和深紫色塊被恢復(fù)成為淡藍(lán)和深藍(lán)色，顏色失真度較高。DUIENet算法處理后的圖像整體顏色不鮮明，各色塊模糊不清，顏色信息恢復(fù)不徹底。FUnIE-GAN算法處理后圖像同樣模糊，顏色信息缺失，各色塊間區(qū)分度極低。綜合以上算法，經(jīng)過(guò)本文算法處理后的色卡圖像亮度明顯提升，去霧效果突出，顏色信息恢復(fù)自然，不同色塊間區(qū)分度高，色彩鮮艷且各色塊與真實(shí)色卡顏色極為接近。

圖7 顏色恢復(fù)實(shí)驗(yàn)結(jié)果(圖像比例3.5∶1)

為進(jìn)一步驗(yàn)證本文算法在不同環(huán)境下對(duì)水下圖像的顏色校正和清晰化效果，在多種權(quán)威圖庫(kù)中選取不同色偏不同渾濁程度的水下圖像，采用多種清晰化算法對(duì)此處理進(jìn)行對(duì)比分析，實(shí)驗(yàn)結(jié)果如圖8所示。

對(duì)比分析圖8可知， Ancuti等[10]的融合算法在部分圖像中恢復(fù)的紋理比較清晰，但是色彩加深使整體偏暗色調(diào)，不利于觀察其中的圖像信息，比如第六幅圖像中的背景。CLAHE算法清晰化效果一般，多幅圖像的恢復(fù)效果未達(dá)到理想狀態(tài)，出現(xiàn)明顯的失真，比如第一、二幅圖片的綠色色調(diào)并未去除，顏色恢復(fù)錯(cuò)誤。DehazeNet算法去除渾濁效果較為良好，處理圖像細(xì)節(jié)較為清晰，但是圖像亮度較低，部分細(xì)節(jié)未能正確恢復(fù)，比如第二幅和第四幅圖像的左上角部分。DUIENet算法無(wú)法有效恢復(fù)圖像的清晰度，且在此基礎(chǔ)上第一、二和三幅圖像出現(xiàn)大量紅色偽影，第四、五和六幅圖像引入了藍(lán)色色調(diào)干擾。FUnIE-GAN算法整體圖像偏暗黃色，并存在嚴(yán)重的霧化現(xiàn)象，細(xì)節(jié)皆不突出，如第一、第二和第四幅圖像，無(wú)法正確恢復(fù)有效信息。

圖8 不同水域環(huán)境實(shí)驗(yàn)結(jié)果(圖像比例6∶1)

4.2 客觀評(píng)價(jià)

由主觀評(píng)價(jià)總結(jié)本文算法對(duì)于不同水域的模糊圖像均能達(dá)到良好的清晰化效果。為更加客觀準(zhǔn)確的對(duì)算法性能進(jìn)行評(píng)價(jià)，采用UCIQE和SURF兩項(xiàng)指標(biāo)對(duì)算法處理后圖像作出評(píng)估，進(jìn)而分析本文算法質(zhì)量。UCIQE采用CIELab空間的色調(diào)和飽和度方差與亮度清晰度的加權(quán)組合測(cè)量彩色圖像質(zhì)量。

表1是圖8中各水下圖像清晰化算法對(duì)應(yīng)的UCIQE評(píng)價(jià)值，其中加粗字體是經(jīng)各算法處理后對(duì)應(yīng)的最佳值。在第6幅圖像中DehazeNet算法處理后的UCIQE值略高，但整體來(lái)看，本文算法穩(wěn)定，在各類水域中的UCIQE值均高于其他算法，表現(xiàn)均為良好，經(jīng)本文算法處理后的水下圖像可以同時(shí)平衡色調(diào)、清晰度和飽和度。

表1 UCIQE 指標(biāo)定量評(píng)價(jià)結(jié)果

最后，使用SURF進(jìn)行特征點(diǎn)匹配測(cè)試，將算法處理前后的特征點(diǎn)匹配數(shù)目進(jìn)行比較，判斷算法處理效果，進(jìn)而對(duì)算法性能作出評(píng)價(jià)。一般來(lái)說(shuō)算法處理效果越好，特征點(diǎn)匹配數(shù)目越多。如圖9為測(cè)試效果，相關(guān)數(shù)據(jù)為匹配點(diǎn)數(shù)目，實(shí)驗(yàn)結(jié)果表明，在相同特征相似度閾值條件下，所提算法可以匹配到更多的特征點(diǎn)，平均值超出退化圖像36個(gè)匹配點(diǎn)，表明算法在后續(xù)特征匹配過(guò)程中應(yīng)用效果皆佳。

圖9 特征匹配實(shí)驗(yàn)結(jié)果(圖像比例2∶1)

5 結(jié)論

水下成像環(huán)境復(fù)雜導(dǎo)致獲取的圖像產(chǎn)生霧化現(xiàn)象，顏色失真和對(duì)比度低。針對(duì)水下圖像清晰化研究出現(xiàn)的此類問題，提出雙透射率成像模型與Retinex融合的水下圖像清晰化算法。

(1)采用基于雙透射率模型的改進(jìn)算法，有效提升成像模型的完整性，反演得到復(fù)原圖像可有效解決霧化現(xiàn)象。提出改進(jìn)的MSRCR算法，使用引導(dǎo)濾波核函數(shù)代替高斯濾波核函數(shù)來(lái)估計(jì)入射分量，可以保持圖像邊緣特性的同時(shí)解決水下圖像色彩不平衡。引用自動(dòng)色彩增強(qiáng)算法，水下圖像對(duì)比度得到提升。

(2)求得三幅輸入圖像不同尺度的權(quán)重圖反映圖像的基本特征和必要信息。

(3)對(duì)輸入圖像構(gòu)建的拉普拉斯金字塔和對(duì)權(quán)重圖構(gòu)建的高斯金字塔進(jìn)行多尺度像素級(jí)融合，逐層重建獲得最終精細(xì)化的水下圖像。實(shí)驗(yàn)效果表明，本文算法可以有效地修正色彩不平衡，最大尺度地保留圖像細(xì)節(jié)，解決水體以及水中雜質(zhì)對(duì)水下圖像帶來(lái)的退化問題。