基于暗原色先驗原理的水下圖像增強

朱振杰，王紅茹,2

?

基于暗原色先驗原理的水下圖像增強

朱振杰1，王紅茹1,2

(1. 江蘇科技大學(xué)機(jī)械工程學(xué)院，江蘇 鎮(zhèn)江 212003；2. 江蘇科技大學(xué)江蘇省船海機(jī)械先進(jìn)制造及工藝重點實驗室，江蘇 鎮(zhèn)江 212003)

針對水下光衰減和散射導(dǎo)致的圖像嚴(yán)重降質(zhì)問題和用傳統(tǒng)方法進(jìn)行水下圖像增強產(chǎn)生色偏現(xiàn)象，提出一種新的水下圖像增強方法。基于暗原色先驗原理進(jìn)行水下圖像增強，用軟摳圖的方法對圖像暗通道進(jìn)行細(xì)化；在圖像前0.1%最亮的像素點中，用中值濾波算法計算出這些像素點的中值，再計算這些像素點和與之對應(yīng)的中值的差值，差值最小的像素點作為背景光的預(yù)估值，并用該像素點所在區(qū)域顏色飽和度方差來判斷預(yù)估背景光的準(zhǔn)確性；利用Retinex算法和圖像各顏色通道的衰減系數(shù)比對增強后的圖像進(jìn)行顏色校正。實驗表明，該方法能有效地去除水下圖像中的霧色、校正圖像色偏問題，進(jìn)而提高圖像對比度。

水下圖像增強；暗原色先驗；背景光估計；顏色校正

光在水中傳播時，一部分光在海水中發(fā)生衰減[1]，一部分光受各種微粒的影響產(chǎn)生散射，散射是導(dǎo)致水下圖像退化的主因，前向散射導(dǎo)致目標(biāo)景物變得模糊，后向散射導(dǎo)致圖像對比度下降。常用Gray-World算法[2]、四元法[3]、直方圖均衡化方法[4]等方法對水下圖像進(jìn)行增強處理。

Gray-World算法對陸上圖像增強技術(shù)比較成熟，但用于水下圖像的增強會產(chǎn)生色偏現(xiàn)象，甚至?xí)a(chǎn)生光暈現(xiàn)象；基于四元法的圖像增強算法能較好地均衡圖像顏色，但是在對比度提升方面效果不好，因為僅用像素點顏色空間的變換，很難對水下圖像進(jìn)行去霧；直方圖均衡化方法對圖像的灰度級進(jìn)行均衡化處理，圖像增強效果良好，但該法只描述各通道取值的統(tǒng)計分布，沒有考慮位置信息，容易將噪聲和圖像細(xì)節(jié)一起增強，也會使圖像某些區(qū)域產(chǎn)生過飽和，圖像易失真。

文獻(xiàn)[5]首先將原始圖像進(jìn)行降噪和對比度提升得到兩幅輸入圖；再以原始圖像的顯著圖為引導(dǎo)，結(jié)合照度和色度圖作為圖像融合的權(quán)重圖，并根據(jù)權(quán)重圖對兩幅輸入圖像進(jìn)行自適應(yīng)加權(quán)求和，從而實現(xiàn)圖像增強的目的。該方法對圖像的邊緣和輪廓信息增強效果明顯，但去霧能力不強，有色偏。

許多學(xué)者研究了水下模糊圖像增強問題，提出了不同的增強算法[6-9]。HE等[10]提出的基于暗原色先驗的戶外圖像去霧算法，通過試驗證明該算法對戶外有霧圖像進(jìn)行去霧非常有效。

本文根據(jù)水下成像特點，結(jié)合暗原色先驗原理，提出一種既能有效進(jìn)行水下圖像增強，又能校正色偏的新算法，并從3個方面進(jìn)行研究：①根據(jù)光在水下傳輸特性，結(jié)合暗原色先驗原理對圖像顏色通道的傳輸圖進(jìn)行計算，并用軟摳圖方法精細(xì)化；②選取圖像中前0.1%最亮的像素點，用中值濾波算法計算這些像素點的中值，把像素點值和與之對應(yīng)的中值的差值最小的像素點作為預(yù)估背景光，并用區(qū)域顏色飽和度方差判斷預(yù)估背景光的正確性；③利用圖像各顏色通道衰減系數(shù)比結(jié)合Retinex算法對增強后的圖像進(jìn)行色偏校正。

1 水下成像模型

1.1 光在水中的傳播特性

由光在水中的衰減和散射特性可知，光在水中的能量衰減遵從Lambert-Beer經(jīng)驗定律[11]，假設(shè)傳播介質(zhì)是均勻的，光在水中的傳輸函數(shù)為

水下光衰減主要由吸收和散射兩方面原因引起，因此衰減系數(shù)可表示為

1.2 水下成像物理模型

根據(jù)光在水中的傳輸特性，在不考慮人工光源對成像的影響，水下成像由直接傳輸部分、前向散射部分和背景散射部分組成，如圖1所示，相機(jī)接收的光強為

其中，為直接傳輸分量；為前向散射分量；為背景散射分量；為圖像中某個像素點。

直接傳輸和前向散射來自圖像中目標(biāo)物的反射光，背景散射是由于周圍的環(huán)境光與水中微粒相互作用而成。直接傳輸部分可表示為

背景散射部分表示為

假設(shè)場景與相機(jī)的距離不大，那么由前向散射造成的圖像模糊可以忽略不計，式(7)可以簡化為

2 基于暗原色先驗原理的水體透射率求取

2.1 暗原色先驗原理

由于水下退化圖像的形成原理與戶外退化霧色圖像較為近似[12]，因此，本文將暗原色先驗原理用于對水下退化圖像進(jìn)行去霧處理。

2.2 水體透射率求取

在不同水質(zhì)、不同水域和不同的光照條件下，水下圖像退化程度差異大，相應(yīng)的退化函數(shù)具有不確定性，因此目前對于水下圖像的復(fù)原技術(shù)尚鮮見系統(tǒng)定量研究[13]。

根據(jù)暗原色先驗原理，得

則式(11)變?yōu)?/p>

由式(13)可求出水體的透射率為

因紅光衰減系數(shù)最大，水下圖像R通道的傳輸率值最小，用暗通道先驗原理估算出的傳輸圖認(rèn)為是水下圖像R通道的傳輸圖，即

式(15)估計出的傳輸圖較為粗糙，需要對傳輸圖進(jìn)行優(yōu)化處理。文獻(xiàn)[10]用軟摳圖的方法對粗糙的傳輸圖進(jìn)行精細(xì)化，實驗結(jié)果顯示該法處理效果較好，用式(16)的稀疏線性矩陣方程來求解細(xì)化后的傳輸圖[14]，即

圖2所示為水下原始圖像，圖3是R通道的透射率圖，從圖3(a)中可以看出，預(yù)估的傳輸圖有很強的塊效應(yīng)，圖3(b)是R通道原始傳輸圖精細(xì)化的結(jié)果，在景深突變不明顯時，使用軟摳圖算法對傳輸圖進(jìn)行精細(xì)化處理可有效消除預(yù)估傳輸圖的塊效應(yīng)，也能清楚地表現(xiàn)景物邊緣的變化情況。

文獻(xiàn)[15]指出，水下圖像的全局背景光與散射系數(shù)成正比，與衰減系數(shù)成反比，即

在Ⅰ類和Ⅱ類海水中，通過實驗測得不同水域中的9組不同波長對應(yīng)散射系數(shù)的數(shù)據(jù)，使用最小二乘回歸分析法得到散射系數(shù)與波長的關(guān)系為

圖2 水下原始圖像

圖3 R通道透射率對比

則G通道和B通道的傳輸圖為

3 改進(jìn)的背景光準(zhǔn)確估計算法

在用本文方法估計出的水下圖像背景光(圖5長矩形框中紅點所示)和使用文獻(xiàn)[10]方法估計出的水下圖像背景光(圖5短矩形框中紫點所示)進(jìn)行比較中發(fā)現(xiàn)，本文估計出的背景光落在圖像顏色飽和度方差最小的區(qū)域內(nèi)，而文獻(xiàn)[10]方法估計出的背景光落在圖像顏色飽和度方差較大的區(qū)域內(nèi)，說明該方法在背景光的估計中受環(huán)境光影響較大，存在偶然性，估計不準(zhǔn)確。如圖6所示，文獻(xiàn)[10]方法估計的背景光參數(shù)進(jìn)行圖像增強，增強后的圖像偏亮，用本文方法估計得到G、B顏色通道的傳輸圖如圖7、8所示。

圖4 背景光估計流程圖

圖5 無窮遠(yuǎn)處背景光

圖6 文獻(xiàn)[10]方法增強后水下圖像

則用本文算法增強后的水下圖像如圖9所示，圖像細(xì)節(jié)突出、輪廓鮮明、亮度適中、視覺效果較好。

圖8 本文方法B通道的傳輸圖

圖9 本文增強后的水下圖像

4 基于Retinex理論的顏色校正

將圖像每個顏色通道的像素轉(zhuǎn)換到對數(shù)域分別進(jìn)行處理，則有

圖10是對增強后的水下圖像進(jìn)行顏色校正的結(jié)果。從圖10中可以看出，用本文算法進(jìn)行顏色校正，增強后的圖像色偏現(xiàn)象得到明顯改善，圖像的局部細(xì)節(jié)被突出，提高了圖像整體的視覺效果。

圖10 顏色校正后的水下圖像

5 實驗與分析

本文在Windows7平臺上用MATLAB2014a軟件對各算法進(jìn)行實驗對比，實驗采用圖11中3幅水下原始圖像，用直方圖均衡化算法(HE算法)[19]、基于暗原色先驗的算法[10]、帶色彩恢復(fù)的多尺度視網(wǎng)膜增強算法(MSRCR算法)[20]、同態(tài)濾波算法[21]和本文提出的算法進(jìn)行實驗對比，結(jié)果如圖12~16所示。

圖11 水下原始模糊圖像

圖12 HE算法

圖13 同態(tài)濾波算法

圖14 基于暗原色先驗的算法

圖15 MSRCR算法

圖16 本文算法

5.1 定性分析

圖12中，直方圖均衡化方法處理結(jié)果的視覺表現(xiàn)較好，但顏色通道被過度拉伸，圖像有些失真；圖13中，同態(tài)濾波算法去霧效果明顯，但圖像亮度被降低，有色偏現(xiàn)象；圖14中，基于暗原色先驗的算法能有效地對水下圖像進(jìn)行增強，但對水下圖像色偏現(xiàn)象同樣不能有效處理，目標(biāo)與背景的區(qū)分度不高；圖15中，MSRCR算法雖然能很好地恢復(fù)圖像細(xì)節(jié)，目標(biāo)與背景能有效區(qū)分，但圖像整體顏色淡化，而且圖像有輕微失真；圖16中，本文算法增強效果明顯，目標(biāo)與背景對比度高，色偏得到有效校正，適合觀察者對水下物體進(jìn)行特征分析。對比圖12~16中第(a)組圖的局部區(qū)域中紅色矩形框中的條紋魚可以看出，本文算法結(jié)果中魚更加清晰，顏色校正后的魚身顏色更加鮮明真實。

5.2 定量分析

峰值信噪比(peak signal to noise ratio，PSNR) 是一種常用的評價算法，文中各算法結(jié)果的PSNR值見表1。從中可以看出，用本文算法處理后的3幅圖的PSNR值大于同態(tài)濾波算法和暗通道先驗原理處理后的PSNR值；本文算法和直方圖均衡化算法處理后的PSNR值基本一致。在第(a)組圖中，用本文算法處理后的PSNR值小于MSRCR算法處理后的PSNR值，在第(b)和(c)組圖中，本文算法PSNR值大于MSRCR算法處理后的PSNR值，這是因為水下原始圖像嚴(yán)重模糊，沒有一幅清晰的圖像作為標(biāo)準(zhǔn)來進(jìn)行對比，用原圖作為標(biāo)準(zhǔn)來進(jìn)行對比并計算PSNR值不能真實反映算法的有效性，有時原始圖像降嚴(yán)重，而算法處理效果較好，使處理結(jié)果與原圖產(chǎn)生較大差別，導(dǎo)致均方差(mean square error，MSE)較大，PSNR值降低。

表1 圖12~16 PSNR和MSE比較

對圖像進(jìn)行主觀判斷其正確性是有限的，因此，需用客觀方法對圖像處理結(jié)果進(jìn)行分析。圖像對比度是判別水下圖像增強效果的一個重要指標(biāo)，文獻(xiàn)[22]定義圖像某區(qū)域內(nèi)的局部對比度為

本文通過計算各算法結(jié)果圖的整體對比度來比較算法的性能，原圖及各算法的對比度見表2，從中可以看出，本文算法結(jié)果圖的整體對比度是最高的，圖像整體的視覺效果也是最好的。

圖像清晰度也是評價圖像增強效果的重要指標(biāo)，本文對各算法結(jié)果用圖像灰度差和邊緣強度兩個指標(biāo)進(jìn)行清晰度評價。灰度差越大，圖像越清晰，圖像中的高頻分量也越多；邊緣值越大，圖像越清晰，邊緣值越小，圖像越模糊。對圖11中的第(a)、第(b)和第(c)組圖像用各算法進(jìn)行清晰度評價計算，如圖17~19所示，在3組實驗中，本文算法的兩個清晰度指標(biāo)都是最高的。

表2 圖11~16圖像對比度

圖17 圖11~16第(a)組結(jié)果清晰度評價

圖18 圖11~16第(b)組結(jié)果清晰度評價

圖19 圖11~16第(c)組結(jié)果清晰度評價

為了進(jìn)一步論證本文算法的有效性，將與文獻(xiàn)[23]中的算法進(jìn)行對比。采用文獻(xiàn)[23]中的原始圖像(圖20)和該文3種指標(biāo)來判斷算法的性能：亮度均值、方差均值和圖像信息熵。

圖20 原始圖像

由圖21和22對比可知，本文算法圖像細(xì)節(jié)更加突出，色偏現(xiàn)象得到明顯改善，文獻(xiàn)[23]的結(jié)果中，圖像色偏比較嚴(yán)重，影響辨識度。客觀上分析，文獻(xiàn)[23]中該圖的亮度均值約為150，方差均值約為14，圖像信息熵約為6.8。本文算法結(jié)果的圖像亮度均值約為160，方差均值約為16，圖像信息熵約為7.8。因此，從主客觀兩方面分析，本文算法更具優(yōu)越性。

圖21 文獻(xiàn)[23]算法結(jié)果

圖22 本文算法結(jié)果

6 結(jié)束語

本文提出了一種有效的水下圖像增強算法，基于水下成像模型的基礎(chǔ)之上，結(jié)合暗原色先驗原理對水體透射率進(jìn)行求取，再用中值濾波算法和區(qū)域顏色飽和度方差對無窮遠(yuǎn)處背景光進(jìn)行估計，可有效避免人工光源、噪聲和白色物體等對背景光的影響；最后用Retinex理論結(jié)合各顏色通道的衰減系數(shù)比對增強后的圖像進(jìn)行色偏校正，可減輕由環(huán)境導(dǎo)致的圖像偏藍(lán)綠色的影響，提升圖像視覺效果。實驗表明，本文提出的算法優(yōu)點在于對嚴(yán)重模糊的水下圖像增強效果良好，圖像不易失真，色偏校正后適宜辨識細(xì)節(jié)特征。通過與其他算法結(jié)果進(jìn)行對比，用本文算法進(jìn)行水下退化圖像增強效果顯著。

[1] SCHETTINI R, CORCHS S. Underwater image processing: state of the art of restoration and image enhancement methods [J]. EURASIP Journal on Advances in Signal Processing, 2010(1): 1-14.

[2] 金黃斌, 秦興, 郭斌林. 基于灰度世界和白點檢測的自動白平衡算法[J]. 電子器件, 2011, 34(2): 226-231.

[3] 高朝邦, 周激流. 基于四元數(shù)分?jǐn)?shù)階方向微分的圖像增強[J]. 自動化學(xué)報, 2011, 37(2): 150-159.

[4] 姜柏軍, 鐘明霞. 改進(jìn)的直方圖均衡化算法在圖像增強中的應(yīng)用[J]. 2014, 44(6): 702-706.

[5] 曹風(fēng)云, 趙凱, 王筱薇倩, 等. 自適應(yīng)水下彩色圖像增強算法[J]. 電子測量與儀器學(xué)報, 2016, 30(5): 772-778.

[6] 郭相鳳, 賈建芳, 楊瑞峰, 等. 基于水下圖像光學(xué)成像模型的清晰化算法[J]. 計算機(jī)應(yīng)用, 2012, 32(10): 2836-2839.

[7] 敖珺, 孫宗凱, 馬春波. 基于加權(quán)引導(dǎo)濾波的水下圖像增強算法[J]. 桂林電子科技大學(xué)學(xué)報, 2016, 36(2): 113-117.

[8] 楊淼, 紀(jì)志成. 基于模糊形態(tài)篩和四元數(shù)的水下彩色圖像增強[J]. 儀器儀表學(xué)報, 2012, 32(7): 1601-1605.

[9] 胡玉娟, 曹風(fēng)云. 基于圖像融合的水下彩色圖像的增強方法[J]. 合肥工業(yè)大學(xué)學(xué)報, 2013, 36(8): 948-953.

[10] HE K M, SUN J, TANG X O. Single image haze removal using dark channel prior IEEE Transactions on [J]. Pattern Analysis and Machine Intelligence, 2011: 33(12): 2341-2353.

[11] GORDON H R. Can the Lambert-Beer law be appli-ed to the diffuse attenuation coefficient of water [J]. Limnology and Oceanography, 1989, 34(8): 1389-1409.

[12] 楊淼, 紀(jì)志成. 基于模糊刊態(tài)篩和四元數(shù)的水下彩色圖像增強[J]. 儀器儀表學(xué)報, 2012, 33(7): 1601-1605.

[13] 張赫, 徐玉如, 萬磊, 等. 水下退化圖像處理方法[J]. 天津大學(xué)學(xué)報, 2010, 43(9): 827-833.

[14] LEVIN A, LISCHINSKI D, WEISS Y. A closed-form solution to natural image matting IEEE Tran-sactions on [J]. Pattern Analysis and Machine Intelligence, 2008, 30(2): 228-242.

[15] ZHAO X W, JIN T, QU S. Deriving inherent optical properties from background color and underwater image enhancement [J]. Ocean Engineering, 2015, 94(2): 163-172.

[16] TAN R T. Visibility in bad Weather from a single image [C]//IEEE Conference on Computer Vision and Pattern recognition, CVPR 2008. New York: IEEE Press, 2008: 1-8.

[17] 陳超. 水下圖像增強算法研究及其應(yīng)用[D]. 大連: 大連理工大學(xué), 2016.

[18] LAND E H, MC CANN J J. Lightness and retinex theory [J]. Journal of Optical Society of America, 1971, 61(1): 1-11.

[19] 吳成茂. 直方圖均衡化的數(shù)學(xué)模型研究[J]. 電子學(xué)報, 2013, 41(3): 598-602.

[20] 李錦, 王俊平, 萬國挺, 等. 一種結(jié)合直方圖均衡化和MSRCR的圖像增強新算法[J]. 西安電子科技大學(xué)學(xué)報, 2014, 41(3): 103-109.

[21] 程新. 基于同態(tài)濾波的圖像增強算法研究[D]. 西安: 西安郵電大學(xué), 2016.

[22] SCHECHNER Y Y, KARPEL N. Recovery of underwat-er visibility and structure by polarization analysis [J]. IEEE Journal of Oceanic Engineering, 2005, 30(3): 570-587.

[23] 張凱, 金偉其, 裘溯, 等. 水下彩色圖像的亮度通道多尺度Retinex增強算法[J]. 紅外技術(shù), 2011, 33(11): 630-634.

Underwater Image Enhancement Based on the Principle of Dark Channel Prior

ZHU Zhenjie1, WANG Hongru1,2

(1. School of Mechanical Engineering, Jiangsu University of Science and Technology, Zhenjiang Jiangsu 212003, China; 2. Key Laboratory of Advanced Manufacture and Process for Marine Mechanical Equipment in Jiangsu Province, Jiangsu University of Science and Technology, Zhenjiang Jiangsu 212003, China)

In view of the serious degradation of the underwater images caused by underwater light attenuation and scattering, a new method of underwater image enhancement is proposed in this paper. The new method based on the principle of dark channel prior conducts underwater image enhancement and image thinning on dark channel by the method of soft matting. In the first 0.1% brightest pixels of the image, the medians of these pixels are calculated through the median filtering algorithm. Then, the differences between these pixels and their corresponding medians are calculated, and the pixel of minimum difference is employed as an estimate of the background light. The accuracy of the estimated background light is judged by the color saturation variance of the region around the pixel. Afterwards, the Retinex algorithm and the ratio of attenuation coefficients for each color channel are adopted to conduct color correcting for enhancement images. It is shown by experiments that the proposed method can effectively dehaze the underwater images, correct the color cast of images and further enhance the image contrast.

underwater image enhancement; dark channel prior; background light estimation; color correction

TP 391

10.11996/JG.j.2095-302X.2018030453

A

2095-302X(2018)03-0453-10

2017-07-14；

2017-09-28

江蘇省重點項目(BE2016009)；江蘇省研究生科研與實踐創(chuàng)新計劃項目(SJCX17-0606)；江蘇科技大學(xué)2016年研究生科研實踐計劃項目(YSJ16S-06)

朱振杰(1991-)，男，江蘇南通人，碩士研究生。主要研究方向為機(jī)器視覺與圖像處理。E-mail：JXJIE2015@163.com

王紅茹(1979-)，女，河南南陽人，講師，博士。主要研究方向為智能機(jī)器人。E-mail：wangrh@126.com