李維香,袁 飛,程 恩
(廈門大學(xué)信息科學(xué)與技術(shù)學(xué)院,廈門大學(xué)水聲通信與海洋信息技術(shù)教育部重點實驗室,福建 廈門360005)
水下成像成為海洋開發(fā)和利用領(lǐng)域中極有價值的方式之一.水下成像過程中,水體的結(jié)構(gòu)對光的傳播有很大的影響.水介質(zhì)的密度遠(yuǎn)大于空氣密度,相對于空氣中所拍攝的普通圖像來說水下成像所遇到的問題更為復(fù)雜和困難.典型的水下圖像由于存在照明條件不良及水體對光的吸收效應(yīng)、散射效應(yīng)和卷積效應(yīng)等,使得水下圖像大多存在以下問題[1-2]:有限的可視距離、低對比度、非均勻照明、模糊、光斑、色彩降維以及各種復(fù)雜因素的噪聲.因而,對水下圖像進行有效的改善必須建立在對水下成像系統(tǒng)的機制和特性進行全面的研究之上.此外,對水下圖像劣化模型的研究也是從根本上解決水下圖像降質(zhì)問題的必要手段.
近年來,已有不少文獻對圖像劣化模型進行了相關(guān)研究,文獻[3-4]針對水下圖像對比度下降、模糊和復(fù)雜噪聲問題,基于湍流模型利用維納濾波器進行圖像復(fù)原算法的研究,但是并未考慮照明系統(tǒng)對成像的影響.文獻[5]提出了一種非均勻照明系統(tǒng),非均勻光照的功率分布與水下光衰減的傳播相反,該論文用Monte Carlo方法模擬水下光照的功率分布,結(jié)果顯示該系統(tǒng)有效減少了后向散射噪聲,提高了作用距離.文獻[6]提出了一種基于海雪現(xiàn)象模型的圖像仿真方法,研究了降低海雪微擾影響的彩色圖像復(fù)原技術(shù).文獻[7]針對頻譜離散對于水下彩色圖像的影響,基于Jaffe-McGlamery水下圖像形成模型的基礎(chǔ)上對水下彩色圖像進行色彩恢復(fù).雖然國內(nèi)外相關(guān)研究取得一定成果,但仍缺乏完備的水下圖像劣化模型和仿真系統(tǒng)用于研究或預(yù)測圖像處理等技術(shù)的性能.本文綜合上述問題,考慮了水下散射、水下光源距離及攝像機與成像距離的影響,同時也考慮到色彩降維和圖像模糊的作用,基于Jaffe-McGlamery模型,對水下彩色圖像進行劣化仿真,目的是為了得到一組接近水下圖像的素材,為后續(xù)的研究提供幫助,如圖像復(fù)原、去噪.
本文首先分析了水下光學(xué)圖像劣化成因,然后在分析水下圖像劣化特點的基礎(chǔ)上,對水下圖像劣化仿真.具體做法是以Jaffe-McGlamery模型為基礎(chǔ),將彩色圖像分為RGB 3個向量,分別用不同衰減系數(shù)作Jaffe劣化后再合并,接著再進行離焦模糊和運動模糊劣化,使其更加接近真實水下圖像劣化效果.由于劣化是對圖像的一個質(zhì)量的退化過程,不同水下環(huán)境影響下,圖像的劣化嚴(yán)重性不一樣,因此我們不是為了選取質(zhì)量較好的圖像,所以不能用一般的質(zhì)量評價方法去評價圖像的質(zhì)量,這里我們主要用主觀評價劣化效果的好壞.
水下光學(xué)圖像在獲取過程中會出現(xiàn)圖像的劣化,主要表現(xiàn)為兩個方面:一是水下環(huán)境的影響,二是成像設(shè)備自身對成像的影響.成像設(shè)備自身問題包括成像系統(tǒng)的散焦,成像器材的固有缺陷,以及設(shè)備與成像目標(biāo)的相對移動.
成像在水下環(huán)境和空氣中有很大區(qū)別,這是因為水介質(zhì)對光波具有吸收和散射的作用.
水對光的吸收具有明顯的選擇性.由于海水的不均勻性,衰減系數(shù)隨傳輸路徑和水溫的變化而變化,也隨著光波波長的變化而變化.水能夠強烈吸收紫外和紅外部分,在可見光譜區(qū)域,吸收最大的是黃色、紅色和淡綠色光譜.由于藍色的波長最短,使得藍色光在水中能夠傳播最遠(yuǎn)的距離.純凈水和清潔海洋水在光譜藍綠區(qū)域透射率最大,但即使是這個藍綠窗口,水的吸收也使光的強度每米衰減4%,而其他顏色的光在幾米外就幾乎消失了[8],易導(dǎo)致圖像色彩降維,呈現(xiàn)藍色或綠色調(diào)為主,如圖1(a).因此,水對光的選擇性吸收作用不僅造成光能量衰減,同時使得水下攝像物體的顏色失真.
水下散射對成像影響也非常大.散射又分為前向散射和后向散射.傳輸距離越遠(yuǎn),前向散射影響越大,它會使掃描分辨率和目標(biāo)背景對比度下降.后向散射隨著入射光功率的增大而變嚴(yán)重.散射光對圖像襯度有非常嚴(yán)重的影響,它造成圖像的對比度下降,隨著距離增大,畫面反差降低,圖像細(xì)節(jié)模糊[9],如圖1(b)、(c).另外,在深海中有一種特殊的視覺現(xiàn)象叫作海洋雪,如圖1(d),在深海拍攝的圖片會帶有隨機分布的白色亮點,仿佛翩翩飛舞的雪花,嚴(yán)重影響圖像質(zhì)量[6].
水下攝像機是一個水密殼窗,該水密殼窗將目標(biāo)與成像平面分別位于空氣和水兩種介質(zhì)中,因此考慮到兩者的折射率的不同,當(dāng)光線從水介質(zhì)經(jīng)過平面玻璃射向空氣時就會產(chǎn)生折射時,相機的聚焦和視角會產(chǎn)生誤差,焦距增大;由于平面殼窗的限制會造成視場變小;水中的平面殼窗還會使透鏡的放大率不均勻,造成枕形失真;同一透鏡對不同色光焦距各異,這使成像時不同光譜段的焦點不重合,造成色散,引致圖像色差和銳度降低.

圖1 水下圖像Fig.1 Underwater image
在淺海中或白天環(huán)境下,水下圖像可以在自然光照下獲得.但在深海或者夜晚的環(huán)境下,即使是最清的水也看不到光.在比較淺的水中,有時照明亮度不夠,就需要增加輔助照明來提高成像質(zhì)量.由于在水中波長長的光衰減大,因此選擇波長短的光源輔助照明.但對渾濁的水質(zhì),懸浮粒子較多的情況,短波長的光,散射也較為嚴(yán)重.由于照明光是會聚光的,成像光線強弱分布差異較大,以亮度最強點為中心徑向逐漸減弱,即光照不均勻問題,反映在圖像上為背景灰度分布不均、輪廓灰度過度平滑的特點,如圖2.

圖2 典型海底非均勻光照Fig.2 Atypical non-uniform illumination seabed image
此外,當(dāng)景物與攝像系統(tǒng)發(fā)生相對運動,會使成像效果惡化,造成運動模糊.由于海水的流動和水下環(huán)境的不確定性,運動模糊在水聲圖像中相當(dāng)常見.該問題的產(chǎn)生是由于相向運動造成在探測器平面上一幀時間內(nèi)對同一景物獲得連續(xù)不同的放大率,從而導(dǎo)致空變的徑向輻射狀模糊.
綜上,水下光學(xué)圖像的劣化大致有以下幾類:水體波動導(dǎo)致圖像產(chǎn)生自陰影、假紋理、假輪廓等假細(xì)節(jié);水體及懸浮物對光的吸收、散射導(dǎo)致圖像亮度非均勻細(xì)節(jié)模糊和色彩降維;非均勻照明光、有限可視距離導(dǎo)致成像灰度不均和邊緣平滑.這些現(xiàn)象都給后續(xù)目標(biāo)辨識和圖像處理造成了困難.
就劣化模擬方法而言,有兩個入手點:一是正向劣化,針對水下圖像的獲取特點,特征化通信系統(tǒng)參量,模擬出特定通信環(huán)境下的水下圖像劣化效果;二是反向劣化,從水下圖像的劣化特點入手,利用圖像的計算機儲存特點,對圖像進行時域、空域或頻域的數(shù)學(xué)建模,然后直接劣化計算,模擬出特定的水下圖像劣化效果.
Jaffe-McGlamery水下成像模型是個包含照明、物體反射屬性、介質(zhì)以及傳感器特性的模型,但是它不包括水下成像設(shè)備對成像的影響,本文在Jaffe-Mc-Glamery模型的基礎(chǔ)上進行改進,將彩色圖像分為RGB 3個向量,分別用不同衰減系數(shù)作Jaffe劣化后合并,然后再進行離焦模糊和運動模糊劣化,使最后仿真結(jié)果更加接近真實水下圖像效果.
模型的建立基于兩個客觀事實:1)成像具有線性疊加特性,即接收到光輻照量包含3個成分:直接反射成分Ed、前向散射成分Ef、后向散射成分Eb.故光入射成像平面上的總光輻照ET表示為:

2)介質(zhì)與光波的相互作用.設(shè)介質(zhì)是各向同性、均勻的,光在水介質(zhì)中會衰減和散射,在水下環(huán)境中,偏向可能是由于尺寸與光波波長相當(dāng)?shù)膽腋×W拥难苌洌蛏⑸渲笖?shù)不同與介質(zhì)的微小物體造成的.研究表明可以將兩種現(xiàn)象合一表示為:

其中E(p2)是點p2上的入射輻照度,E(p1)是點p1上的入射輻照度,r是間隔距離,c是總衰減系數(shù),表示每單位距離的光強衰減量,由大氣透射表測得.典型深海水、沿海岸海水和海灣水的衰減系數(shù)分別為0.05,0.2和0.33m-1.
假設(shè)一個無限薄的波束(沒有光散射),建模時將衰減和散射分開看作與吸收作用和散射現(xiàn)象的因素:c=a+b,則式(2)改寫為:

再假設(shè)水下照明是一個點光源,由波束模式來表征,定義為函數(shù)b(θs,φs).該函數(shù)表示光源單位距離的半球面上單位面積接受的輻射量,單位 W/m2.角度θs、φs定義了光線從光源到場景平面(scene surface)上點p′的方向,如圖3.該點由三維坐標(biāo)系定義,p′=(x′,y′,0).

圖3 基本水下成像模型Fig.3 The basic model of underwater imaging
到達場景之前,波束呈球狀傳播,在水中衰減.場景上點p′的入射輻射量可以寫作:

其中γ是光源入射光線與場景平面p點法線的夾角,Rs是光源和p之間的距離.
一些到達平面的小角度光輻射是來源于前向散射,加入前向散射成分,可以把式(3)~(4)改進為:

其中*表示卷積計算,g為點散射函數(shù)(PSF),定義

其中,G是經(jīng)驗常數(shù),且|G|<|c|,B 是經(jīng)驗衰減函數(shù),F(xiàn)-1表示傅里葉反變換,f表示徑向頻率.
為了計算物體反射幅度強度,要將入射輻射模型乘以反射圖的反射率值.在水下攝像機光實驗系統(tǒng)中,物體用一個平面反射圖M(x′,y′)表示,典型海洋中的目標(biāo)物體的取值范圍在[0.02,0.1].
另外,有3種衰減使成像平面上的光輻射弱于進入攝像機(CCD)的輻射.第1種是球面衰減,來自鏡片特性(基本上是由于有限孔徑),由(cos4θ)/F 表示,θ是攝像機的入射光線和光學(xué)坐標(biāo)的夾角,F(xiàn)是透鏡的焦距比數(shù)(焦距比數(shù)=焦距/鏡頭直徑).第2種衰減是透鏡透射率,表征為Tl.第3種衰減屈居于焦距的相對值和相隔距離Rc,如圖3.進入攝像機、到達成像平面之前的的光強總衰減,可以表征為一個乘性參數(shù):

簡化Jaffe-McGlamery模型考慮淺海陽光充足、光照均勻的情景特點,后向散射影響忽略不計,因此不考慮Eb成分,則ET=Ed+Ef.其中Ed可以寫作場景平面點p′上的輻射量EI的函數(shù).因此,必須考慮該平面上的反射,介質(zhì)衰減,以及攝像機的影響:

其中Rc是攝像機到點p′的間隔距離.前向散射成分寫作:

其中,g(x,y,RcG,c,B)的傅里葉變換為:

其中,設(shè)權(quán)重系數(shù)K=e-GRc-e-cRc,B≈c.
模型典型系數(shù)K取值范圍0.2~0.9,總衰減系數(shù)c:海灘為0.323;海岸為0.252;深海0.049,Rc在1~20m,焦距0.035m.CCD參數(shù)按典型水下相機屬性,透射系數(shù)取1,焦距比數(shù)取2.8.CCD與光源距離,CCD、光源與成像平面(xy平面)的距離設(shè)為m的數(shù)量級.由于光源分布和水下散射嚴(yán)重,相對于成像平面尺寸而言,距離需要足夠遠(yuǎn);其次,成像平面的離散抽樣單位距離要合理.
將圖像分為RGB 3個向量,分別用不同衰減系數(shù)作Jaffe劣化后再合并.其中,R為紅色光,波長λ=650nm;G為綠色光,波長λ=560nm;B為藍色光,波長λ=450nm;總衰減系數(shù)與水質(zhì)和光波波長有關(guān),光波的吸收系數(shù)、散射系數(shù)和總衰減系數(shù)參見圖4.因為水下光學(xué)吸收特性,實際會產(chǎn)生藍色和綠色2種色調(diào)的圖像,這和前面提到的色彩降維吻合.

圖4 純水的光學(xué)參數(shù)(吸收,散射和總衰減系數(shù))Fig.4 Optical parameters of cleaning water
通過大量的實驗結(jié)果表明,對應(yīng)于不同的d值,Z0=6總是能取得最優(yōu)或者是次優(yōu)的顯示結(jié)果,由于篇幅的原因,這里給出部分實驗結(jié)果進行分析.如圖5,CCD和光源之間的距離d設(shè)為3m,兩者到成像平面的距離設(shè)為相等Z0=Zs,改變Z0大小觀察劣化效果.從圖像效果可見,該模型能夠反應(yīng)水對光的吸收作用和海洋前向散射效應(yīng),能夠模擬海水中特有的圖像色彩降維.隨著照明源離成像距離Z0的逐漸增加,最開始出現(xiàn)圖像曝光、亮度不均現(xiàn)象,然后到6m后達到較好的均勻亮度的成像,此后距離越大,成像越灰暗,直到最后無法成像.

圖5 Jaffe劣化(紅藍光吸收):小丑魚Fig.5 Jaffe deterioration
如圖6,設(shè)定Z0=6m,改變CCD和光源之間的距離d,可見兩者距離越遠(yuǎn),成像亮度漸暗,d=3時效果較好.所以設(shè)定Z0=6m,改變CCD和光源之間距離d=3m時,再進行離焦和運動模糊劣化.

圖6 綠色降維:珊瑚礁(Z0=6)Fig.6 Green degradation:reefs(Z0=6)
離焦模糊圖像是指在拍攝時景物與相機的相對運動引起的離焦,或是成像區(qū)域內(nèi)不同深度的對象所引起不同程度的離焦,還有由于在成像區(qū)域中存在不同深度的對象會使自動調(diào)焦系統(tǒng)引起混淆而導(dǎo)致拍攝的相片離焦等.
離焦模糊的劣化可以寫作一個圓盤函數(shù),圓盤半徑是需要確定的劣化參數(shù),又叫模糊半徑,決定了離焦模糊的程度.圓盤函數(shù)寫作

對式(11)進行離散傅里葉變換后得到

其中J1表示一階第一類貝塞爾函數(shù),如式(13)所示;M×N是離散傅里葉變換的尺寸.

H(u,v)第一過零點軌跡為圓形,即頻譜的第一個暗環(huán),其半徑r就是模糊半徑.由第一類貝塞爾函數(shù)的性質(zhì)可知r表示為式(14)所示:

實驗發(fā)現(xiàn):模糊半徑r<1時,圖像基本無離焦模糊效果;當(dāng)r>1,r值越大,離焦模糊越嚴(yán)重.而圖像對比度失真則會呈周期性變化,r=0.9時,圖像對比度完全顛倒,此后每隔0.7個單位的模糊半徑,對比度顛倒的現(xiàn)象會再次出現(xiàn).我們把這個稱作離焦模糊劣化的對比度失真周期,出現(xiàn)對比度失真時對應(yīng)的模糊半徑稱作對比度失真半徑.顯然,周期=0.7,0.9,1.6,2.3,…都是對比度失真半徑,在其附近的劣化圖像也有輕微的對比度失真現(xiàn)象.所以在仿真逼近水下模糊圖像時,應(yīng)該避開這樣的對比度失真半徑.選擇合適的模糊半徑r可以得到水聲模糊效果圖像,而從劣化的水下圖像求取r值有助于圖像復(fù)原算法的研究.
運動模糊包含多種具體的模糊,如一般的線性模糊、旋轉(zhuǎn)模糊等.如果在時間T內(nèi),相機相對于場景以固定的速度v及角度φ進行平移.如果L=vT是曝光時間內(nèi)場景與相機的相對運動長度,那么成像系統(tǒng)的點擴展函數(shù)為[10]:

圖7 離焦模糊的劣化圖及對應(yīng)H函數(shù)的頻譜Fig.7 Deterioration image of defocus blur and the corresponding Hspectrum function

若場景中的所有物體均以相同的速度移動,那么點擴展函數(shù)d(x,y;L,φ)是空間不變的.但是如果場景中的某個物體的運動速度獨立于所處的場景,那么可以認(rèn)為點擴展函數(shù)是空域變換的.
仿真實現(xiàn)時,在設(shè)定tanφ=y(tǒng)/x的前提下計算出L的值.拍攝時運動模糊的程度和方向與相對運動的角度相關(guān).如水下相機的輕微抖動,圖像只會稍微模糊,而相機拍攝瞬間的大幅度晃動則會使運動模糊的線性重影更長.如圖8所示,模板劣化模擬運動模糊,模板尺寸影響點擴散函數(shù)(PSF)模糊特性在圖像的擴散,決定運動模糊度程度,模板越大運動模糊越嚴(yán)重.
對r=2離焦模糊劣化后的圖像進一步劣化,得到最終的反映水下劣化特性的圖像,如圖9.
本文總結(jié)歸納了水下圖像在獲取過程中的劣化類型和原因,重點分析了海水吸收、衰減、散射和硬件對水下光學(xué)成像的影響和相應(yīng)劣化特點,給出了水下圖像劣化典型圖例.水下成像利用了Jaffe-Mc-Glamery原理,成功仿真了淺海干凈水質(zhì)下,光學(xué)攝像機水下拍攝成像,體現(xiàn)了攝像機、光源與成像平面的位置特點、海水前向散射以及光譜選擇性吸收和衰減.然后再對圖像進行離焦模糊和運動模糊劣化仿真,體現(xiàn)了光學(xué)設(shè)備對成像的離焦和運動造成的影響.

圖8 運動模糊劣化仿真Fig.8 The motion blur deterioration simulation

圖9 最終的劣化圖像Fig.9 The final deterioration image
[1]張輝.水的光學(xué)特性對水下光學(xué)成像質(zhì)量影響的分析[J].電子測試,2013,20:261-262.
[2]陳從平,鄒雷,王健.基于清晰度評價的水下退化圖像盲復(fù)原[J].三峽大學(xué)學(xué)報:自然科學(xué)版,2012,34(4):86-88.
[3]楊淼,魏志強.基于湍流退化模型的自適應(yīng)水下圖像復(fù)原及其評價[J].海洋技術(shù),2012,4:8.
[4]王馬華,趙正敏,王士湖,等.基于改進湍流模型和偏振成像技術(shù)的水下退化圖像復(fù)原方法[J].農(nóng)業(yè)工程學(xué)報,2013,29(sup.):203-209.
[5]Wang Z,Zheng B,Zheng H.Numerical simulation of underwater inhomogeneous illumination[C]//OCEANSBergen,2013MTS/IEEE.[S.l]:IEEE,2013:1-4.
[6]Boffety M,Galland F.Phenomenological marine snow model for optical underwater image simulation:applications to color restoration[C]∥OCEANS,2012-Yeosu.[S.l]:IEEE,2012:1-6.
[7]Boffety M,Galland F,Allais A G.Color image simulation for underwater optics[J].Applied Optics,2012,51(23):5633-5642.
[8]張赫,徐玉如,萬磊,等.水下退化圖像處理方法[J].天津大學(xué)學(xué)報:自然科學(xué)版,2010,43(9):827-833.
[9]王玲玲.基于雙目立體視覺的水下三維重建[D].杭州:浙江大學(xué),2011.
[10]袁萬立.模糊圖像復(fù)原及評價方法的研究[D].無錫:江南大學(xué),2012.