面向水下和低光圖像的復原及增強方法

劉 柯，梁永全，李旭健

(山東科技大學 計算機科學與工程學院，山東 青島 266590)

0 引 言

當前，人類在水下和低光環境中的活動越來越頻繁，比如：目標檢測、智能識別、水下探測等。因水下和低光圖像具有很多的相似情況，因此，對于如何解決兩者共同存在的問題成為了比較熱門的話題。本文算法的流程如圖1所示，主要貢獻如下：提出了一種統一去霧方法，它比最新的方法去霧效果還要好，并能夠保持邊緣細節；提出了一種圖像增強方法，在提高圖像分辨率的同時，對色彩和邊緣細節也起到了很好的增強作用，使得圖像清晰度和圖像質量更好；采用的算法簡單，統一解決了水下圖像和非水下低光圖像增強的問題。

圖1 本文的流程

1 相關工作

(1)水下圖像的相關研究

文獻[1]提出圖像融合的方法解決圖像增強的問題；文獻[2]和文獻[3]實現了對邊緣細節和色彩的增強；文獻[4]提出了一種紅色通道的實現思想，但是所用的方法被光學模型和參數估量的精確度限制；文獻[5]、文獻[6]和文獻[7]會導致圖像的欠曝光和過曝光問題；文獻[8]和文獻[9]在色彩增強上實現效果不理想；文獻[10]提出一種基于學習網絡的水下去散射方法，能夠解決顏色失真的問題，不過在處理光線亮度方面欠佳；文獻[11]和文獻[12]采用深度學習的方法實現圖像的增強，但仍存在顏色失真的問題。

(2)關于非水下低光圖像增強的相關研究

文獻[13]根據局部和全局性原理判別亮度，增強了圖像的色彩，但在邊緣細節方面不夠理想；文獻[14]提出了一種深度神經網絡模型，可以很好解決圖像模糊問題；文獻[15]和文獻[16]在解決圖像復原的同時，色彩增強方面有待提高；文獻[17]、文獻[18]和文獻[19]都提出了新的目標函數，但是并沒有很好地解決圖像模糊問題。

2 圖像復原

采用基于馬爾科夫專家場(Markov random fields，MRF)的泊松噪聲處理方法[21]，并采用MSRCR與導向濾波相結合的方法去除霧氣。實驗結果表明，該去噪和去霧方法實現了很好的效果。

2.1 圖像去噪

專家場(fields of experts，FoE)模型是一種全新的高階MRF模型，其包含了N個m*m的高通濾波器模板Jn(=1,2,…,N)， 這個系統區域里節點之間是相鄰的節點。假設FoE模型所有的Jn模板對應著以下的相同勢函數

(1)

式中：N表示系統中濾波器模板的個數，fi表示Jn遍歷圖像f時覆蓋的第i個圖像塊，γn表示專家函數，α表示專家函數中的參數集。

在FoE模型下，其概率分布如下

(2)

式中：X是像素的總個數，Z表示歸一化函數。

FoE模型中，γn使用的概率密度函數是

(3)

式中：βn表示濾波器參數。

而在平時使用中，常采用吉布斯分布形式表示FoE模型

(4)

噪聲圖像的退化模型表示為

w=f+n

(5)

式中：w表示有噪的圖像，f表示清晰圖像，n表示噪聲。

結合貝葉斯定律得出

P(f|w)=P(f)P(w|f)/P(w)

(6)

圖像的去噪，這里用已知條件下的噪聲圖像的最大后驗概率估計來表達

f=maxfP(f|w)=maxfP(f)P(w|f)

(7)

對上式取負自然對數，即把上式求最大數值轉化為求取最小值的問題

f=minf[-InP(f)-InP(w|f)]

(8)

如果所有像素滿足獨立同分布，可得

(9)

將上式取負對數后

(10)

對P(f) 的建模采取FoE模型，結合式(4)知

(11)

把式(10)、式(11)帶入式(8)，求得代價函數

(12)

式中：μ表示正則系數，d+(f) 表示引入的非負數約束

(13)

(2)循環；

(6)δ1=2δ1, 直到δ1=δ1max；

(7)δ2=2δ2, 直到δ2=δ2max；

圖2 去噪結果

2.2 圖像去霧

對于MSR產生的色差和圖像增強效果不佳的問題，文獻[22]中用到了MSRCR算法，雖然極大地消除了MSR色偏帶來的影響，但圖像經處理后存在細節淡化的問題。為此，采用MSRCR算法聯合導向濾波[23]技術實現圖像去霧的方法

RMSRCR(x,y)′=G*RMSRCR(x,y)+b

(14)

RMSRCR(x,y)=C(x,y)RMSR(x,y)

(15)

(16)

f[I′(x,y)]=βlog[αI′(x,y)]=β{log[αI′(x,y)]-
log[∑I(x,y)]}

(17)

其中，G代表增益Gain(這里取值為5)，b代表偏差(這里取值25)，I(x,y) 指某個通道中的圖像，C是用于調節3個通道顏色的彩色恢復因子，f(*) 表示色彩領域的對應關系，β表示增益常數(這里取值46)，α指的是受到約束的強度系數(取值125)。

采用基于圖像衰減模型的方法，由圖像的輻照率和導向濾波，輸出去霧后的圖像。

圖像衰減模型

F(x)=J(x)t(x)+A(1-h(x))

(18)

這里，自變量x代表圖像中像素的位置；F(x) 代表初始圖像；J(x) 代表去霧后圖像；h(x) 表示透射率圖，也就是場景中物體的深度；A能夠由F(x) 得到J(x)。

由圖像的衰減模型，可以知道透射率h1(x)

h1(x)=2-wminy∈q(x)(min[cIc(y)/Ac])

(19)

h2(x)=akFguide+bk, ?i∈wk

(20)

式(20)，w起到了減小去霧程度的作用，這里w取值(0，1)；h2(x) 表示濾波輸出結果。

導向圖Fguide和h2(x) 之間的線性模型就是導向濾波，導向圖的作用就是為了提高邊緣細節的清晰度。獲取初始圖像的RGB通道的最小值，得出圖像W；再經過雙邊濾波得到局部均值圖像R，更好地獲取到圖像的邊緣細節的特征；獲取局部標準差異圖像、二次差異圖像K[16]；求得大氣光幕圖像，最后得出導向圖Fguide

R(x,y)=Bilateral(W(x,y))

(21)

K(x,y)=R(x,y)-Bilateral(W(x,y))

(22)

Fguide=2-max(min(K,W),0)/(A+1)

(23)

通過導向圖Fguide， 并對透射率h1(x) 進一步優化，能夠高效保留住圖像的邊緣細節。

接下來，運用最小化代價函數，確定線性系數

(24)

式中：β是調整參數，用來避免ak太大； [h1(x)]i代表輸入的圖像在第i處的透射率。

文獻[24]得出初始圖像的暗通道P；P中最亮的區域記作Z， 選擇其中的0.2%個像素的位置；通過計算得出最終的去霧圖像J

J(x)=[F(x)-A]/max(h2(x),h0)+(1+A)

(25)

式中：若h2(x) 趨近于0時，就會產生噪聲，所以，添加了下限h0(本文取0.1)。

采用的MSRCR結合導向濾波技術很好解決了圖像所含霧氣的問題，實驗結果如圖3所示。

圖3 去霧效果

實驗驗證，MSRCR不僅可以實現去霧的效果，而且還提高了圖像的對比度。而導向濾波對圖像的邊緣細節起到了理想的保護作用，而且還有一定的去霧功能，通過采用該方法實現了去霧、細節保留和對比度增強的效果。從圖3中清晰地看出該方法達到的去霧效果是非常理想的。

3 圖像欠曝光處理和增強

經上面過程處理后，可以在目前圖像中獲取到一些信息，但是仍存在著光線偏暗的問題，針對此問題，進一步采用圖像增強方法，首先，采用了董麗麗等[25]提出的基于改進的直方圖均衡化圖像增強的方法，起到的作用是：①進一步提高了圖像的清晰度；②更好實現了圖像的顏色增強。但是，實驗結果表明，在該方法提高亮度的過程中，會出現部分圖像的局部區域偏亮或者偏暗問題，如圖4所示。

圖4 改進的直方圖均衡化結果

在許多處理水下和低光圖像的方法中，處理后的圖像都會不同程度存在著邊緣細節淡化的問題，并伴隨著圖像色彩局部失真、細節丟失等問題，為此，采用改進后的超分辨率卷積神經網絡(SRCNN)配合非下采樣輪廓波變換(NSCT)技術[23]對圖像的色彩和細節部分進行增強。

該方法改進了文獻[26，27]提出的顏色校正方法。首先采用SRCNN方法對原始圖像進行處理，有3個卷積層；對圖像進行CNN訓練，得到3個新的圖像，通過圖像之間的相互融合，得出新的圖像；對新圖像NSCT處理[27-29]，求得最終的圖像。

對R、G、B這3個通道的處理。將最初的圖像分為R、G、B這3個通道，公式如下

Yi=image(Yi) (i=R,G,B)

(26)

式中：i指的是R、G、B這3個通道，Y指的是CNN的初始圖像。

CNN的訓練。公式如下

Yi=max(0,Si*Yi(i-1)+Ci) (i=R,G,B)

(27)

式中：CNN每一層的卷積核用Si表示，CNN每一層的偏置用Ci表示，第五次卷積之后的輸出結果用Yi(i-1)表示。

圖像的融合

Y=cat(YR,YG,YB)

(28)

NSCT操作。根據塔形分解算法的原理，將初始圖像劃分為高通和低通，然后采取非下采樣方向濾波器組(non-subsampled directional filter banks)將那些高頻子帶拆分為多個方向子帶，針對一些低頻部分，繼續根據上述操作進行分解。

實驗結果表明，通過深度學習聯合NSCT操作，有效解決了圖像的欠/過曝光問題，對水下和低光圖像的顏色也起到了增強作用，達到了預期目標。NSCT能夠實現不同尺度、不同方向的快速變換。

綜上所述，SRCNN和NSCT技術對改善圖像清晰度、增強顏色和細節的保護上擁有其它方法無法替代的作用。

4 實驗結果與分析

該章節通過與其它現有方法進行實驗對比，進一步說明本文方法的有效性。首先，針對本文的去霧方法進行說明；然后從定性和定量方面進行分析和評價。

4.1 實驗對比

圖像預處理。對于水下圖像，與文獻[9]的方法和文獻[10]的方法進行了對比，結果如圖5所示。對于非水下圖像，與文獻[14]的方法和文獻[15]的方法進行對比，結果如圖6所示。

圖5 水下圖像去霧后的結果比較

圖6 非水下圖像去霧結果比較

由圖5得知，文獻[9]有效去除了圖像中所含的霧氣和噪聲的干擾，但是仍然存在一些問題，比如：局部區域有色差等。文獻[10]提出的一種基于深度卷積神經網絡的去散射方法，在顏色增強方面好于文獻[9]，但是依舊存在著邊緣細節不夠清晰的問題，使得最后的視覺效果不佳。

圖6中，文獻[14]起到了一定程度的去霧效果，能夠清晰地看出場景中的物體，但是并沒有保留住圖像的邊緣細節。文獻[15]整體效果好一些，但仍然存在局部模糊現象。

本文提出的方法不僅可以很好去除霧氣，而且還能夠有效增強圖像顏色和保留圖像的邊緣細節。對于越清晰的圖像，表示它們含有的噪聲越少，它們的信噪比(SNR)也越大。接下來，為了說明本文方法的高效性，對于圖5中的3幅圖像(圖5(a)、圖5(b)、圖5(c))和圖6中的3幅圖像(圖6(a)、圖6(b)、圖6(c))分別計算信噪比。見表1和表2。

表1 信噪比值

表2 信噪比值

圖像曝光處理和增強。對于水下圖像，將該方法和文獻[11]和文獻[12]所提出的方法做對比實驗，結果如圖7所示。對于非水下低光圖像，將本文方法和文獻[13]和文獻[16]所提出的方法作對比，如圖8所示。

從圖7中不難發現，文獻[11]可以很好解決水下霧氣的問題，在色彩增強方面沒有達到理想的效果。文獻[12]可以很好實現水下去霧和顏色的增強，但是并沒有很好保持圖像的邊緣細節。本文所提出的方法不僅改善了水下圖像的霧氣，而且在顏色增強和細節保持方面也有很大的提高。

圖7 不同方法處理水下圖像的比較

圖8中可以看出，文獻[13]在一定程度上可以提高欠曝光圖像的亮度，文獻[16]雖然比文獻[13]增加了亮度，但是卻很容易造成局部光照過亮的問題，綜上所述，本文提出的方法在曝光度和對比度方面都是最好的。

圖8 不同方法處理非水下圖像的比較

4.2 定性分析

(1)水下圖像增強

為了使本文方法在去霧、圖像增強等方面更加有說服力，本文方法將進一步與文獻[7]、文獻[8]、文獻[11]和文獻[12]進行結果比較，從而說明本文方法的有效性。如圖9所示。

圖9中可以很清晰顯示出：文獻[7]明顯改善了水下圖像的欠曝光問題，一定程度上提高了圖像的對比度，但是仍然存在著圖像模糊的問題。文獻[8]有效改善了圖像的對比度，增強了水下圖像的顏色，但是圖像的邊緣細節不夠清晰。文獻[11]雖然保留了水下圖像的邊緣細節，但是圖像的去霧效果和圖像的曝光處理都不是太理想。文獻[12]不僅提高水下圖像的整體對比度，而且極大地增強了圖像的色彩，而且保留了水下圖像的邊緣細節，但是圖像的背景區域沒有得到很好的改善。本文所提出的水下增強方法有效改善了水下圖像的清晰度，提高了圖像的對比度，增強了水下圖像的色彩，并且很好保持了水下圖像的邊緣細節，實現了高效的視覺效果。

圖9 不同水下圖像的比較

(2)非水下低光圖像增強

為了進一步說明本文方法在處理非水下低光圖像的說服力，通過與文獻[16]、文獻[17]、文獻[18]、文獻[19]的結果比較，突出本文的優勢。如圖10所示。

從圖10中可以看出，文獻[16]所提出的方法實現的結果在圖像的曝光度方面得到了很大的改善。文獻[17]一定程度上改善了圖像的曝光程度，但是并沒有達到理想的效果。文獻[18]很好解決了圖像的欠曝光問題，而且還大大提高了圖像的清晰度和對比度，但是該方法在解決散射和吸收問題上不是很理想。文獻[19]所提的方法是一種新的檢測光源的技術，它不僅改善了圖像的曝光度，而且提高了圖像的對比度，但是改善后的圖像仍然存在著圖像模糊的現象。

圖10 非水下低光圖像的比較

該方法不僅彌補了其它現有方法存在的不足，而且實現了很好的曝光效果，提高了圖像的情緒都和對比度，使得處理后的圖像具有良好的實驗結果。

4.3 定量分析

在本節中，特選取出40幅低光圖像和30幅水下圖像進行說明。針對水下圖像，從水下圖像數據集中任選10幅圖像做出的定量評價結果。對于非水下低光圖像，在非水下低光圖像數據集中任選10幅圖像做出的定量評價結果。使用UIQM評價水下圖像[30]，用LOE、PSNR和SSIM評價非水下低光圖像。

(1)水下圖像的評價

高質量的水下圖像具有以下特點：圖像的色彩清晰，圖像的對比度高。圖像質量高的圖像，對應的UIQM值越高，意味著該方法在圖像對比度、邊緣細節和顏色增強方面表現得越好。表3顯示了兩方面的結果數據：①表中上半部分數據是在水下圖像數據集中任選的10幅圖像的UIQM；②后半部分結果是將30幅水下圖像隨機分成3組后的UIQM值。

從表3中可以看出，絕大多數的實驗結果都表現出了很高的UIQM值。同時，也可以明顯得出：該方法的平均UIQM是最高的。這就說明了該方法圖像去霧、曝光處理、顏色增強和邊緣細節的保持上是比較好的。

表3 利用UIQM進行定量評價

(2)非水下低光圖像的評價

SSIM、PSNR、LOE是衡量圖像質量的重要指標。SSIM，結構相似性，是一種衡量兩幅圖像相似度的指標，是檢測圖像在對比度、曝光度和結構方面相似性的標準，數值越高表示增強后的圖像具有更好的相似性。PSNR，即峰值信噪比，是一種評價圖像的客觀標準，數值越高標志著處理后的圖像更接近于地面真實圖像。LOE表示圖像增強前后的一種亮度誤差，數值越小表示處理效果越好。表4給出了實驗分析中的部分圖像的LOE值。

從表4中可以看出，該方法的處理后的結果絕大多數LOE值都在130以下。由于文獻[14]的方法在處理曝光圖像中的效果不是太好，所以文獻[14]的LOE值偏大。而文獻[17]和文獻[19]采用的方法在處理曝光問題上效果顯著，不過，在圖像的邊緣細節的保持上效果不佳，故對比結果表現的偏差,可以得出該算法處理圖像的結果最優。

表4 用LOE對非水下低光圖像進行定量評價

針對40幅非水下低光圖像數據進行實驗， 得出的SSIM、PSNR和LOE值，見表5。

表5 非水下低光圖像數據集40幅圖像的SSIM、PSNR和LOE的定性評價

綜上所述，該方法在定性和定量分析中表現明顯，顯示出該方法在處理非水下低光圖像增強問題上效果是顯著的。

表6顯示的是水下圖像對應方法的運行時間的比較。表7顯示的是非水下低光圖像對應方法的運行時間的比較。清晰地看出：文獻[18]所用的時間明顯偏長的，主要是因為此方法用到了反射率與入射光的整合，這樣會延長了運行時間，而該方法并沒有涉及到整合處理。綜上所述，該方法在處理效率方面是比較理想的。

表6 水下圖像運行時間的比較

表7 非水下低光圖像運行時間比較

5 結束語

對于水下和非水下低光圖像的復原和增強問題，采用了圖像預處理和深度學習的方法。首先，采用基于馬爾科夫專家場的泊松去噪方法解決了圖像噪聲問題，并提出MSRCR聯合導向濾波的方法去除圖像所含的霧氣，通過實驗充分驗證了該去霧效果是有效的，并且算法的效率較高；然后，采用改進的直方圖均衡化提高了圖像的亮度，并且起到了對圖像顏色增強的作用；最后，運用了SRCNN算法結合NSCT技術來解決圖像曝光問題，而且對圖像的細節和色彩都有很好的增強效果。實驗結果表明，提出的水下和非水下低光圖像復原及增強方法具有較好的去霧、去噪和增強效果，實現了較好的視覺效果。但是，仍然存在需要進一步完善的地方，比如：對于所含霧氣太重和光線過暗的自然圖像，該方法具有很大挑戰性。接下來，繼續在這方面做出更大的改進。