基于非銳化掩模引導濾波的水下圖像細節增強算法研究

付青青，景春雷，裴彥良，闞光明，張正炳*，吳愛平

( 1. 長江大學 電子信息學院，湖北 荊州 434023；2. 國家深海基地管理中心，山東 青島 266237；3. 自然資源部第一海洋研究所，山東 青島 266061；4. 海洋沉積與環境地質自然資源部重點實驗室，山東 青島 266061；5. 青島海洋科學與技術試點國家實驗室 海洋地質過程與環境功能實驗室，山東 青島 266237)

1 引言

海洋蘊含著豐富的生物、礦產和能源等資源，人類在對海洋開展基礎研究、資源勘探、生態監測等的過程中，一般需借助先進的海洋探測技術獲取相應海域的環境信息[1-3]。利用水下光學探測技術，獲取水下圖像是一種認識和探索海洋、獲取海洋有用信息的重要技術手段。由于水體本身特殊性質以及懸浮顆粒、微生物等復雜環境的影響，光線在水中傳播時會受到水體的吸收和散射效應，導致采集的水下光學圖像存在對比度低、色偏、細節模糊等退化現象[4-7]，不利于水下圖像資料的解釋和有用目標的識別。因此，為了提高水下圖像的利用率和解釋的準確性，采用圖像處理技術改善水下圖像的質量至關重要。

由Zuiderveld[8]提出的限制對比度的直方圖均衡技術（Contrast Limited Adaptive Histogram Equalization，CLAHE）是一種對圖像局部細節增強性能良好的方法，在圖像增強領域有廣泛應用。Garcia等[5]為了解決光照的問題，較早地將CLAHE技術應用于水下巖石圖像處理，取得了不錯的效果。楊衛中等[9]將CLAHE方法應用到水下海參圖像處理，得到了適合海參圖像增強的參數值，在提高其對比度和細節保持方面有良好表現。這類基于直方圖均衡技術的空域增強算法會一定程度上改善水下圖像質量，但會存在放大噪聲、人工偽影、顏色失真等現象[1]。基于變換域的增強技術也是改善圖像質量一種重要的手段，陳從平等[10]針對傳統同態濾波的不足，對處理的圖像先分塊進行均值估計出背景，然后與原始圖像求差值，得到光照均勻的前景圖，對前景圖用改進的巴特沃斯同態濾波處理，達到抑制低頻成分，有效放大高頻信息的目的，實驗表明，該算法對于特別灰暗的水下圖像有顯著的增強效果。還有學者將小波變換技術用于水下圖像的增強處理[11]，取得了比較好的去噪效果，但對于局部細節的增強仍然不夠理想。He等[12]提出的基于暗通道先驗理論（Dark Channel Prior, DCP）的圖像去霧算法對霧天圖像的處理取得了非常好的效果。由于水下圖像成像環境和戶外大霧天氣相似，因此DCP被廣泛地使用在水下圖像去模糊[13-17]，曹美等[14]以部分像素值的統計平均值作為水體光強的估計和利用雙邊濾波求解水體透射率，使DCP算法可以更好地去除水下圖像的模糊。朱振杰和王紅茹[15]借助中值濾波優化了準確估計背景光的方法，結合DCP原理求取水體透射率，取得較好視覺效果。Han和Chen[16]結合DCP與飽和度改進了背景光的估計。湯忠強等[17]分析了DCP處理水下圖像時受到的局限性，對其做了改進，提出改進DCP算法（Improved DCP，IDCP），將最亮通道與最暗通道差值作為水體亮度值估計，對水下圖像進行增強。這類基于物理模型的方法，如何準確估計水體光強和透射率也是一個難點。

He等[18]和謝岱偉[19]經過大量的實驗證明，提出的引導濾波（Guided Filter，GF）在濾除噪聲、去霧、細節增強等方面表現出良好性能。謝岱偉[19]利用引導濾波對紅外圖像進行細節增強，取得了不錯的效果。但直接將引導濾波用于圖像的細節增強，會出現噪聲放大問題，對于細微結構的增強能力也有待提高。為了改善水下圖像細節不清晰以及對比度不足的問題，本文以我國“蛟龍”號在西南印度洋采集的深海圖像為研究對象，提出一種基于非銳化掩模引導濾波的水下圖像細節增強算法。該算法對傳統的引導濾波細節增強進行了改進，以非銳化掩模圖像代替原始圖像作為引導圖，并設計了噪聲檢測的中值濾波對細節層進行處理，最后將濾波后的細節層進行增益后與引導濾波獲取的基礎層進行合并，達到增強水下圖像細節和對比度的目的。

2 引導濾波

引導濾波作為一種新型濾波方法，其核心思想是基于局部線性模型，它通過一幅引導圖像指導輸入圖像，使得輸出圖像整體輪廓特征上與輸入圖像相同，而紋理細節方面與引導圖相似，在去除噪聲的同時能夠很好地保持邊緣信息，其輸出圖像q可用下式表示

式中，p為輸入圖像，即待濾波的圖像；I為引導圖像；r為濾波窗口大小；ε是正則化參數；r和ε可依賴經驗值確定。輸出圖像q和引導圖像I之間滿足如下假設：在以像素k為中心的局部窗口wk中呈線性關系，則某像素點的輸出表達式為

式中，i對應局部窗口中的像素索引；ak和bk為窗口中的線性系數。對公式（2）兩邊求導取梯度，可得：，可見當輸入引導圖像在某區域有梯度時，輸出圖像也會保持對應的梯度，因此引導濾波在平滑背景的同時具有良好的邊緣保持性能。為了得到系數ak和bk的最優解，需要輸出q盡量保留與輸入圖像p的有效信息，即使兩者之間差距最小，實現的方式通常是引入最小化代價函數，并使其最小來求最優化問題，為最小化代價函數，表達式如下：

通過引導濾波可以對圖像進行細節增強，其過程可以用下式表示[18,20]

3 算法描述

由引導濾波的原理可知，輸出圖和引導圖之間存在局部線性關系，兩者的梯度圖也滿足線性關系，具有一致性。由于圖像銳化可以突出圖像邊緣和紋理細節區域，因此，本文提出將非銳化掩模的銳化圖像作為引導圖對原始圖像進行引導濾波，讓輸出圖像的細節信息更加清晰；然后對細節層使用噪聲檢測的中值濾波去除斑點噪聲，將濾波后的細節層進行增益后與引導濾波獲取的基礎層進行疊加，達到增強水下圖像細節的目的。增強過程分為以下步驟：

（1）以原始圖像p作為引導圖對其進行引導濾波，得到細節層pd；

（2）對步驟（1）中的細節層進行噪聲檢測的中值濾波，去除斑點噪聲，得到圖像fd；

（3）對原始圖像p進行基于均值濾波的非銳化掩模，得到銳化圖像ps；

（4）將步驟（3）中的銳化圖像ps作為引導圖，對原始圖像p進行引導濾波，得到輸出圖像，即基礎層pb；

（5）對去除噪聲的細節層fd進行增益，與步驟（4）中的基礎層pb疊加，得到細節增強的圖像qout。

圖1為本文細節增強算法流程框圖。

圖 1 細節增強算法流程框圖Fig. 1 Block diagram of the detail enhancement algorithm

3.1 細節層濾波

根據引導濾波原理，將原始圖像p作為引導圖像，由式（6）得到輸出圖像。根據文獻[18]給出的參考值，并結合實驗測試，r、ε的取值分別為16、0.02。則步驟（1）中的細節層pd=p-q對應圖像的高頻部分，其不僅包含了反映圖像紋理的有效信息，也含有噪聲信息，為了避免細節層乘以增益系數后導致噪聲放大，需要對細節層進行去噪處理。本文所采用的由“蛟龍”號拍攝的水下生物圖像由于海底雜質的影響，會引起散狀斑點噪聲的出現，噪聲也會存在于細節層中，為了更加準確地檢測噪聲、保護圖像細節，本文對細節層先用四方向拉普拉斯算子進行噪聲檢測，然后對其進行中值濾波，非噪聲部分保持不變。拉普拉斯（Laplacian）算子是一種二階導數算子，對連續函數，它在位置(x,y)處的拉普拉斯值定義為

在數字圖像中，計算函數的拉普拉斯值通常借助各種模板來實現，圖2為常用的拉普拉斯模板，從模板的形式可以看出，如果圖像中在較暗的區域出現一個亮點，經過拉普拉斯算子處理后，該亮點會變得更亮，因此該算子對線和孤立點檢測效果較好。

圖 2 拉普拉斯算子模板Fig. 2 Laplacian template

圖 3 四方向拉普拉斯模板Fig. 3 Laplacian template of four direction

為了更好地區分細線和孤立噪聲，受到經典的拉普拉斯模板的啟發，本文定義四方向的拉普拉斯算子，分別為水平、垂直，兩個斜對角方向的4個模板，記為Mk,k=1，2，3，4，如圖3所示。用細節圖像分別與4個模板進行卷積，如果圖像是較平滑的區域，由于像素值都較接近，4個模板卷積值都很小，如果是邊緣細節區，沿著細節方向的卷積值必定很小，剩下3個方向的值可能很大，如果是孤立噪聲點，模板卷積的絕對值都較大。因此，可以用模板卷積絕對值的最小值與設定閾值T比較進行噪聲檢測，大于閾值的用中值濾波去除，其余的像素不做處理，這樣去除噪聲的同時，很好地保留了細節層中的有效信息。具體公式為

圖 4 細節層濾波Fig. 4 Detail layer filtering

圖 5 非銳化掩模效果對比Fig. 5 Comparison of unsharp masking results

3.2 基于非銳化掩模的引導濾波

非銳化掩模（Unsharp Masking, UM）是一種常用的銳化增強技術。其基本原理是將原圖像與低通濾波后得到的模糊圖做差值運算得到高頻部分，然后乘上一個增益系數再與原圖求和，最后得到細節和邊緣等均增強的圖像。非銳化掩模過程用下式表示

常用的低通平滑濾波器有均值濾波器和高斯濾波器。兩者都是典型的線性濾波算法，其濾波思想采用模板卷積方式處理，將某一尺寸模板在圖像上移動，把模板中心與要處理的像素重合，中心像素點的值用鄰域內所有像素點進行加權平均的灰度值來代替，均值濾波的模板中各位置的權值相同。均值濾波對圖像進行平滑濾波的表達式由下式定義，

式中，S為原圖像中以點(i，j)為中心的一個鄰域；N為鄰域中像素點的個數。高斯模板的權重依賴于高斯函數的形狀，各個位置的權重不一樣，越靠近鄰域中心像素的位置，權值越大。與圖像進行卷積的二維高斯函數表達式為

根據式（12）和式（13），生成 3×3 的均值濾波和高斯濾波模板分別用M1，M2表示，其中取1。

將尺寸相同的這兩類模板分別對圖像進行濾波操作，并用原始圖像減去模糊圖像得到高頻部分，即掩模圖像。圖5為高斯濾波非銳化掩模與均值濾波非銳化掩模的效果對比，測試對象為圖4a中的原始圖像，橫坐標為第95行像素坐標的列索引值，縱坐標對應灰度值。可以看出，圖5b中均值濾波對邊緣和細節部分平滑效果要好于高斯濾波，濾波前后相差得到的高頻圖像反映的細節更加明顯。為了獲得豐富的紋理細節信息，本文的低通濾波器采用平滑效果較好的均值濾波，均值濾波在濾除噪聲的同時，會使得圖像的邊緣和細節變得模糊，模糊圖像中高頻成分被很大程度上削弱了，原圖與模糊圖像相減，會得到高頻圖像，即反映圖像細節的圖像，將細節部分信息乘上增益系數后，再與原始圖像進行疊加，則的某些細節部分得到了增強，達到了圖像銳化的效果。對于噪聲較少的深海圖像，采用這種線性的UM算法，能取得較好的銳化效果，細節部分清晰度提高的同時，原圖中的平滑區域不受影響，得到了保留。最后將非銳化掩模的銳化圖像作為引導圖像對圖像進行引導濾波，這樣可以讓輸出圖像紋理細節部分與引導圖相似。

原始圖像經過以非銳化掩模的銳化圖像為引導圖像濾波后，得到了反映圖像輪廓部分的基礎層pb，其中r、ε的取值分別為40、0.02。若式（7）中經濾波后的細節層用fd表示，則細節增強過程可由下式表示

4 實驗結果與分析

根據本文所提出的算法，使用版本為R2008b的Matlab軟件實現了圖像細節增強算法程序，對我國“蛟龍”號采集的不同水下圖像進行了測試，并將本文所提算法與CLAHE算法[8]、暗通道先驗算法(DCP)[12]、改進暗通道先驗算法(IDCP)[17]和引導濾波細節增強算法[18]進行了對比。

4.1 主觀評價

為了驗證本文算法的性能，本文對大洋35航次第二航段，“蛟龍”號在西南印度洋海底拍攝的大量圖像進行了測試，下面選取有代表性的3幅圖像進行說明。圖6顯示了本文方法和其他算法進行增強的結果對比，圖6a是采集的原始圖像，分別是2 900 m水深海底珊瑚圖像、2 800 m水深海底魚類圖像和海底蝦類圖像。圖6b是CLAHE算法增強的結果，對比度有提高，但細節部分沒有多大變化，圖像出現少許色偏現象。圖6c是采用引導濾波細節增強的效果，圖像的整體對比度得到了增強，亮度提高，但紋理細節不夠明顯，圖像中斑點噪聲也被放大，比如珊瑚圖像右下部分斑點噪聲比較明顯。圖6d是暗通道先驗算法增強結果，對比度略有提高，但整體圖像與原圖像比較偏暗。圖6e是改進暗通道先驗算法處理結果，該算法對于嚴重色偏和渾濁環境的水下圖片有良好去霧和色偏校正效果，對于本文圖片細節增強效果并不理想，珊瑚根部和魚背上的紋理發白不可見。圖6f是本文算法增強的結果，從圖中可以看出，整體對比度提高的同時，細節清晰可見，比如珊瑚紋理細節信息，魚眼睛部分都得到了突顯，珊瑚圖像中散斑噪聲也被濾除，蝦類圖像中頂部白色物體細微結構也得到了增強，視覺效果更好。通過實驗測試，本文算法對于自然場景的圖像以及霧天圖像也有良好的細節增強效果，由于篇幅限制，文中沒有給出處理效果圖。

4.2 客觀評價

除了主觀評價圖像處理結果的視覺效果，本文還采用信息熵（Information Entropy, IE）[10,14]，局部對比度（Local Contrast, LC）[22]和平均梯度（Mean Gradient,MG）[10,14,23]對圖像處理效果進行客觀評價，信息熵是評估圖像中信息量的有效方法，灰度級范圍在[0，L-1]的圖像，信息熵的表達式為

式中，M、N表示圖像尺寸大小；、分別表示以像素點（x，y）為中心的某一子塊中像素灰度最大值和最小值，本文中子塊大小取為5×5，為了避免出現分母為0的情況，c是一較小的常數，取值為0.000 1。

圖像的平均梯度可以反映圖像微小細節的反差和紋理變換特征，通常平均梯度越大，圖像的細節層次越多，清晰度也越高，平均梯度的定義為

本文借助索貝爾（Sobel）算子來計算像素點（x，y）處的梯度值。不同算法的客觀評價指標計算結果見表1。從表中可以看出，相對于原始圖像，4種算法增強處理后，IE、LC、MG 3個客觀評價指標數據均高于原始圖像對應的值，說明這些方法對圖像都有增強效果，本文算法增強后的3幅圖像在局部對比度、平均梯度這兩個指標上的值均優于其他算法，信息熵的值除了珊瑚圖像對應的測試結果略低于CLAHE算法，魚、蝦類圖像對應的信息熵也高于其他3種算法，說明本文算法在對比度的增強以及細節層次和清晰度的提高方面有明顯優勢。

圖 6 各種算法處理結果Fig. 6 Comparison of enhancement results using various techniques

表 1 原圖和不同算法圖像客觀指標對比結果Table 1 Contrast results of image objective indexes between original image and images with different algorithms

5 結論

由于水下復雜環境的影響，光學成像過程中水體對光線存在散射和吸收效應，導致拍攝的水下圖像存在對比度低、細節模糊等退化現象，不利于水下圖像資料的解釋和目標的識別。針對這一問題，本文提出了基于非銳化掩模引導濾波的細節增強方法對水下圖像進行增強。首先對原始圖像做引導濾波得到細節層圖像，并對細節層使用噪聲檢測的中值濾波去除斑點噪聲；然后對原始圖像進行均值濾波的非銳化掩模得到銳化圖像，并將銳化圖像作為引導圖對原始圖像進行引導濾波，讓輸出基礎層圖像的細節信息更加清晰；最后將濾波后的細節層增益后與引導濾波獲取的基礎層進行疊加，達到增強水下圖像細節的目的。將本文方法與文獻中的其他4種經典方法進行了比較，并通過信息熵、局部對比度和平均梯度3種客觀評價指標對圖像處理結果進行了對比分析。主觀和客觀測試結果表明本文算法能夠有效提高圖像對比度以及細節清晰度，本文研究成果可以為提高水下圖像資料解釋和目標識別的準確性提供一種可行的方法。本文主要針對信噪比較高、色偏不嚴重的水下圖像進行細節和對比度的增強，對于低信噪比圖像或有嚴重色偏圖像的細節增強處理，后期的研究工作需要對現有算法進行改進，尋求滿足圖像去噪和色偏校正功能的圖像細節增強方法。

致謝：本文主要基于中國大洋35航次第二航段“蛟龍”號載人潛水器在西南印度洋洋脊拍攝的海底圖像資料，在此對航次組織實施單位國家深海基地管理中心和全體參航科考隊員致以誠摯的謝意！