利用偏振圖像加權融合及CLAHE算法的水下成像方法*

王佳節，萬敏杰，張曉杰，龔 晟，徐秀鈺，顧國華，陳 錢

(1.南京理工大學 電子工程與光電技術學院·南京·210094；2. 南京理工大學 江蘇省光譜成像與智能感知重點實驗室· 南京·210094；3.上海航天控制技術研究所·上海·201109；4.中國航天科技集團有限公司 紅外探測技術研發中心·上海·201109)

0 引 言

隨著人類對海洋資源的不斷探索與開發，水下光學成像技術逐漸成為研究者的研究重點[1]。與一般空氣環境中的傳統成像方法不同，要獲得清晰的水下圖像，必須克服水分子對光波的吸收和散射等效應的影響[2]。此外，水中的大分子顆粒和懸浮微生物等也會吸收或散射水下目標的反射光，這些吸收和散射效應會導致水中目標成像質量的下降。常見的水下圖像一般表現為較低的清晰度和對比度[3]。因此，水下光學成像的主要研究內容就是如何解決圖像模糊和信噪比下降等問題[4]。

為解決上述問題，近年來，國內外許多研究者開展水下成像技術的研究[5]。根據技術路線的不同，可以將目前的研究工作分為基于圖像處理的水下成像技術[6]以及基于光學成像模型的水下成像技術[7]兩類。其中，基于圖像處理的水下成像技術利用數字圖像處理理論對原始的水下圖像進行處理，以期能夠提升成像質量和效果。這類技術的優點是不需要復雜的光學成像系統，成本較低，且處理簡單，速度較快；缺點是場景適應性差，且對圖像效果的提升有限。另外一種基于光學成像模型的水下成像技術可以一定程度彌補圖像處理技術在效果提升上的不足，但這一類技術多存在成像系統復雜、成本高等問題，如距離選通成像技術[8]、結構光成像技術[9]和同步掃描成像技術[10]等。

相較于以上兩類成像技術，基于目標偏振特性的水下偏振成像技術，由于具有成像系統結構、操作簡單且提升效果明顯等優點，成為近年來的研究熱點。T.Treibitz和Y.Y.Schechner[11]、Huang B.J.等[12]、Hu H.F.等[13]和Shao等[14]利用主動偏振光源照射水下目標，并控制偏振圖像采集系統，采集兩幅處于正交偏振態的水下目標圖像。結合Jaffe-McGlamery模型[15]，分析水下成像過程中目標直接反射光分量和水體散射光分量的偏振特性，利用兩者差異，從探測器接收光強中分離出目標直接反射光，實現水下目標的清晰成像。可以看出，這種方法對于主動光源的偏振特性調制要求較高，并且不同材質目標的反射光偏振特性往往也會存在較大差異。因此，本文提出了一種利用水下偏振成像原理和數字圖像處理技術的水下成像技術。利用偏振差分成像原理將原始水下圖像分解為偏振光圖像和非偏振光圖像，再根據水下成像模型中各分量偏振度特性，設計合適的權重因子，將兩幅圖像進行加權融合得到融合的水下圖像，再利用限制對比度自適應直方圖均衡(Contrast Limited Adaptive Histo-gram Equalization，CLAHE)算法對融合圖像進行進一步增強，最終可以獲得清晰的水下目標圖像。

1 偏振圖像加權融合

當目標處于水中時，水體顆粒對于光的散射會導致水下目標成像質量降低，主要表現為對比度和清晰度的降低。而水下偏振差分成像可以利用反射光和散射光偏振特性的差異，從水下目標圖像中分離出目標反射光和水體散射光，用公式可以表示為

ITotal=B+T

(1)

式中，ITotal為探測器接收到的總光強度；B為水體散射光強度；T為水下目標的直接反射光強度。由于ITotal一般表現為部分線偏振性，為了實現偏振差分圖像的采集，在探測器前放置線偏振片，隨著偏振片的轉動，探測其接收到的光強度也呈現周期性變化。令Imax和Imin表示偏振片轉動過程中探測器接收到的最大和最小光強度，則可以得到

Imax=Bmax+Tmax
Imin=Bmin+Tmin

(2)

式中，Bmax和Tmax分別表示水體散射光和目標反射光經過線偏振片后的最大光強；Bmin和Tmin分別表示水體散射光和目標反射光最小光強。一般情況下認為水體散射光為非偏振光，則

(3)

將式(2)中Imax和Imin相減，即可獲得不包含水體散射光部分的偏振差分圖像

Imax-Imin=Tmax-Tmin+(Bmax-Bmin)

=Tmax-Tmin

(4)

然而，在實際水下場景中，由于不同目標表面粗糙程度不同，其對于反射光的退偏振效應也不同。因此，傳統偏振差分成像在消除非偏振光的同時，具有較高退偏振特性的目標反射光也會被消除，從而導致這部分目標在偏振差分圖像中的亮度較低。基于此，本文利用加權融合的方式，利用線偏振片將原始光強圖像分解為偏振光圖像和非偏振光圖像，即

ITotal=IP+IN

(5)

式中，IP為探測器接收光強的偏振部分；IN為探測器接收光強的非偏振部分。一般情況下，將目標反射光和水體散射光均看作部分偏振光，則IP和IN均包含部分的水體散射光和目標反射光，用公式可以表示為

IP=BP+TP
IN=BN+TN

(6)

式中，BP和BN分別為水體散射光的偏振部分和非偏振部分光強；TP和TN分別為目標反射光的偏振部分和非偏振部分光強。

由于探測器只能通過線偏振片的旋轉采集水下偏振圖像。因此，僅通過式(5)和式(6)，無法直接計算出目標反射光和水體散射光。對于式(6)，在大多數情況下，IP包含目標反射光的偏振部分和水體散射光的偏振部分，而IN包含水體散射光的非偏振部分和目標反射光的非偏振部分。因此，為了盡可能保留目標反射光，同時最大程度地壓縮水體散射光。本文利用加權融合的方式，將式(6)中IP和IN分別乘上權重因子后進行融合。則對于采集到的水下目標圖像，融合后的圖像可以表示為

Ie(x,y)=a(x,y)IP(x,y)+b(x,y)IN(x,y)

(7)

式中，Ie(x，y)表示融合后圖像的灰度值，(x，y)表示圖像中的像素坐標；a(x，y)和b(x，y)分別表示偏振光強圖像和非偏振光強圖像的權重值。從式(7)可以看出，權重因子a和b的取值會直接影響融合圖像的像素灰度值。因此，選取合適的權重因子是本文算法的重點。

為了選取合適的權重值，根據偏振度的不同，可以將原始水下圖像光強分為三部分，具有高偏振度的光滑目標直接反射光、具有低偏振度的粗糙目標直接反射光以及具有適中偏振度的水體散射光。針對權重值a，由于IP包含了原始圖像中偏振光強部分，因此，當原始圖像中某個像素偏振度較大時，可以認為其包含較多目標反射光強度，a的值也相應地需要較大；而對于權重值b，由于非偏振光圖像本身包含較高的灰度值，且圖像整體對比度較低，為了保證融合圖像的整體亮度水平且不損失融合圖像對比度，因此b需要取大于0而小于1的值。為滿足以上條件，權重的取值可以表示為

(8)

式中，P(x，y)為像素(x，y)對應的偏振度，其取值在[0，1]范圍內。可以看出，在一般情況下，a的取值大于1，而b的取值則位于0～1之間。則通過式(7)和式(8)，即可得到融合的水下目標圖像。

2 CLAHE

第1章介紹了利用加權融合的方法獲得水下目標融合圖像。而通過加權融合后，融合圖像的原始灰度分布也受到壓縮和重構。因此，利用CLAHE算法處理融合圖像以進一步提升圖像對比度。如圖1所示，CLAHE同普通的自適應直方圖均衡算法不同的地方主要是其對于增強后圖像的對比度限幅，使其能夠克服傳統直方圖均衡過程中圖像噪聲放大的問題。

圖1 直方圖限制及剪切圖Fig.1 Chart of histogram restriction and cut

CLAHE算法主要包含5個步驟[16]：

1)將圖像分割為大小一致的局部圖像塊(本文采用8×8的分割模式)；

2)獲取每個圖像塊的直方圖，并按照每個圖像塊的直方圖分布，設置直方圖限定閾值；

3)根據各圖像塊的限定閾值，對原始直方圖中超過閾值部分進行剪切，并將剪切部分分配到整幅圖像直方圖的最底層，如圖1所示；

4)在剪切后的直方圖基礎上，對各圖像塊進行直方圖均衡化處理；

5)根據圖像塊所處的位置進行像素灰度值重構，如圖2所示。其中，位于圖中陰影部分藍色點的像素采用雙線性插值，而位于邊緣的綠色點部分采用線性插值，紅色點則直接使用局部區域所在的變換函數獲得。

圖2 圖像像素插值重構Fig.2 Reconstruction of image pixel interpolation

3 本文算法流程

本文根據水下偏振差分成像原理，首先利用圖像加權融合理論，并結合不同目標退偏振特性，設計不同偏振特性分量的權重因子，從而獲得對比度提升的融合水下目標圖像；然后通過CLAHE算法實現融合圖像對比度的進一步增強，獲得理想的水下成像效果圖。本文主要流程如圖3所示。

圖3 算法流程圖Fig.3 Flow chart of the proposed algorithm

為了更好地說明本文方法對水下圖像的增強流程，圖4給出了完整的圖像處理流程以及各個步驟的中間處理結果。首先，將最亮圖像和最暗圖像相加，可以得到總光強圖像，而偏振度圖像可以利用最亮和最暗圖像的差分相除獲得；在獲得總光強圖像和偏振度圖像后，將兩者相乘，可以得到偏振光圖像，再利用總光強圖像減去偏振光圖像，即可得到非偏振光圖像；然后，根據式(7)和式(8)，計算出偏振光圖像和非偏振光圖像的權重因子，并與對應的圖像相乘，即可獲得加權偏振光圖像和加權非偏振光圖像；最后，將兩幅加權圖像融合，并利用CLAHE算法進行增強，即可獲得最終的增強融合圖像。

圖4 圖像處理流程及各部分效果圖Fig.4 Image processing flow and result image of each operation

4 實驗及結果分析

為驗證本文方法的有效性，搭建如圖5所示的模擬水下成像實驗環境。通過向清水中添加牛奶，模擬真實水下環境中水分子和水中懸浮顆粒對于光波的散射和吸收。實驗采用Basler acA640-90gm黑白相機作為圖像采集設備，相機圖像分辨率為658×492像素，白光LED作為主動光源，并在相機和光源前放置Thorlabs LPVISC100-MP2線偏振片，以調制入射光偏振態以及采集反射光偏振圖像。為對比本文算法與獨立的偏振差分算法以及CLAHE算法的水下成像效果，分別利用偏振差分算法、CLAHE算法和本文算法處理采集的水下目標圖像，并進行主觀效果和客觀指標的對比。

圖5 模擬實驗設備Fig.5 Simulation experimental setup

實驗結果如圖6、圖7以及圖8所示，其中圖6為無散射的清晰目標圖像，實驗目標場景包含1塊聚乙烯塑料圓片、4枚硬幣和放在底部的金屬棋盤格，其中金屬棋盤格和硬幣表面較為光滑，而塑料圓片表面較為粗糙。圖7和圖8為不同渾濁度的水下原始圖像以及復原結果，其中圖7為低渾濁度(水和牛奶比例為5000∶1)水下實驗結果，圖8為高渾濁度(水和牛奶比例為5000∶5)水下實驗結果。

圖6 無散射的清晰目標圖像Fig.6 Clear target image without scattering

圖7(a)為原始低渾濁度水下目標的圖像，圖7(b)為圖7(a)經過CLAHE算法處理后的效果圖像，圖7(c)為偏振差分圖像，圖7(d)為本文算法獲得的水下成像效果圖像。可以看出，原始水下圖像由于水中顆粒對主動光的散射，探測器接收到的圖像較為模糊，對比度較低。而對比利用CLAHE算法直接處理水下圖像的結果和原始水下圖像可以看出，處理后的圖像對比度有一定的提升，但效果有限。圖7(c)為偏振差分圖像，與原始水下圖像相比，偏振圖像整體的圖像對比度和清晰度都有明顯的提升，水下目標表面紋理的清晰度也有顯著改善，如圖中黃色方框標記的區域。這說明，探測器接收到的水下成像的反射和散射光中，大部分區域的目標直接反射光偏振度要明顯大于水體散射光；然而正如前文分析，由于具有粗糙表面的塑料圓片退偏振效應較強，其光強損失也較為明顯，如圖中紅色方框標記的區域。圖7(d)為本文算法的處理效果，可以看出，與圖7(c)相比，圖7(d)的圖像整體對比度和清晰度有進一步的提高，如黃色方框標記的區域，并且對于圖像中具有高退偏振特性的區域，圖7(d)能夠明顯保留更多的目標反射光強。

(a)原始水下圖像

圖8(a)為高渾濁度水下目標的圖像，與圖7(a)相比，隨著水體渾濁度的加深，原始水下圖像降質也更加明顯，圖像清晰度和對比度均有明顯的下降。圖8(b)、圖8(c)和圖8(d)為不同方法獲得的水下圖像復原與增強效果。可以看出，與CLAHE算法以及偏振差分獲得的結果相比，本文提出的方法仍能夠獲得更好的水下復原與增強圖像。值得注意的是，對比圖7和圖8可以發現，隨著介質渾濁度的提升，本文采用的三種水下增強算法的效果均受到一定的限制。

(a)原始水下圖像

(b)CLAHE算法處理結果

為了更好地對比不同方法的水下成像效果，本文選取2個常用的圖像質量評價指標，圖像增強評價指標(Enhancement Measure Evaluation，EME)和峰值信噪比(Peak Signal to Noise Ratio，PSNR)。其中EME與圖像的局部對比度直接相關，可以定量描述圖像的對比度[17]；PSNR與圖像的噪聲水平相關，可以定量描述圖像噪聲水平[18]。EME的計算方法為

(9)

其中，M和N分別為圖像高度和寬度方向劃分的塊數量；k和l分別為每個圖像塊在寬度和高度方向上的編號；Imax；k，l和Imin；k，l分別表示對應編號圖像塊中像素最大和最小灰度值。根據式(9)的計算方法，EME的值與每個圖像塊中灰度值最大和最小的像素有關。而PSNR的計算方法為

(10)

其中，n為圖像像素位寬，即最大灰度的比特數，本實驗中圖像均為8bit，因此n的取值為8；MSE為待測噪聲圖像與參考無噪聲圖像的均方誤差。一般均方誤差的計算方法為

(11)

其中，H和W分別為待測圖像的高度和寬度；i和j表示圖像每個像素的編號；X(i，j)和Y(i，j)分別表示像素坐標(i，j)待測圖像和參考圖像的灰度值。由于PSNR在計算過程中需要參考無噪聲圖像，在本實驗中將圖5中原始無散射圖像作為參考圖像，分別計算圖中4幅圖像的EME指標和PSNR指標，結果如表1所示。

表1 水下圖像及增強結果的定量指標

可以看出，受水體散射光的影響，圖7(a)和圖8(a)的EME指標和PSNR指標均較低，且高渾濁度水下圖像的EME指標相較于低渾濁度環境也有著明顯的下降。對于低渾濁度場景，經過處理后的3幅圖像圖7(b)、圖7(c)和圖7(d)的對應指標均高于圖7(a)。這表明本文對比的三種方法均能夠在一定程度上提升水下成像效果。進一步對比這3幅圖像的對應指標可以發現，圖7(b)對應的EME值相較于圖7(a)提升并不大，而圖7(c)對應的EME值相較于圖7(b)有較大幅度的提升；同時，本文提出的方法所獲得的圖像EME指標要明顯優于圖7(b)和圖7(c)，這也與不同水下成像方法獲得的圖像整體對比度表現相對應。另外，對比圖7中4幅圖像的PSNR值，與EME指標類似，圖7(b)對應的PSNR值相較于圖7(a)也只有小幅提升，而圖7(d)相較于圖7(b)和圖7(c)均有較大幅度的提升。因此，相較于另外兩種方法，本文提出的水下成像方法獲得的圖像能夠取得最佳的PSNR值。這表明，在低渾濁度環境下，本文提出的方法相較于傳統CLAHE算法和偏振差分算法在噪聲抑制方面具有一定的優勢。

對于高渾濁度場景，由于原始水下圖像的清晰度和對比度均較低，因此圖8(b)的EME值相較于圖8(a)也有明顯的提升。對比三種不同方法獲得的圖像的EME值，本文提出的方法仍能獲得最優結果。而對于PSNR值，本文提出的方法對于信噪比的提升略弱于偏振差分算法，這主要是因為在高渾濁度環境下，后向散射光偏振度要高于目標反射光，這導致本文算法對于不同退偏振目標的區分效果弱化，使得融合圖像的不同退偏振特性區域的亮度差異也進一步被消除。因此，在以原始清晰水下圖像作為參考圖像計算信噪比時，本文方法要略低于偏振差分算法。但綜合圖像對比度和清晰度，本文方法獲得的增強圖像的直觀效果要優于另外兩種對比算法。

綜合以上實驗結果，可以說明相較于單獨的偏振差分成像效果[19]和CLAHE增強算法效果[20]，本文提出的方法能夠顯著降低目標退偏振特性差異對水下成像效果的影響，提升水下成像質量和效果。

5 結 論

本文研究了利用偏振圖像加權融合算法和CLAHE算法的水下目標成像方法，分析了一般水下目標偏振成像過程中目標退偏振特性對于傳統偏振差分成像的影響。利用加權融合方式將水下偏振光圖像和非偏振光圖像進行融合，實現在保留更多目標反射光的同時，壓縮水體散射光部分在融合圖像中所占的比例；同時利用CLAHE算法對融合圖像進行處理，從而進一步提升水下成像效果，實驗結果驗證了該算法在水下成像效果方面具有明顯優勢。后續將基于更接近實際應用環境的水下目標場景，設計更具有普遍適用性的加權因子，進一步提高算法的場景適應性，最終實現在真實水下場景中應用。