基于直方圖分布特性的水下圖像顏色校正方法

雷小燕，張衛東，潘細朋

(1.南京交通職業技術學院 電子信息工程學院，江蘇 南京 211188；2.河海大學 計算機與信息學院， 江蘇 南京 210098；3.大連海事大學 信息科學技術學院，遼寧 大連 116026； 4.桂林電子科技大學 計算機與信息安全學院，廣西 桂林 541004)

0 引 言

水下圖像是人類獲取水下信息的重要手段，海洋科研人員通過水下圖像對海底資源進行開采和探測，海洋生物學家通過水下圖像研究海洋生物的生活習性。然而水下成像環境復雜多樣，再加上水下介質對光的散射和吸收作用，導致水下圖像經常出現偏藍或偏綠的顏色失真現象[1-9]，這類圖像不能直接分析和應用，因此水下圖像顏色校正成為水下圖像處理的一個研究熱點。本文根據自然圖像直方圖分布特性，從水下圖像直方圖分布出發，通過調整水下偏色圖像的直方圖分布來校正顏色失真。

1 相關工作

目前水下圖像顏色校正技術主要分為兩類：基于衰減補償和基于動態拉伸的方法?；谒p補償的方法，是通過對衰減嚴重的顏色通道進行補償，使各顏色通道間實現平衡[10-13]?；趧討B拉伸的方法，是通過對各顏色通道進行動態拉伸，使各通道像素分布在整個像素范圍內[14-22]。

基于衰減補償方面，Ancuti等[10]以綠通道為基準，利用綠通道和紅藍通道之間的均值差，以及反顏色通道對紅、藍通道進行補償，該方法僅適合于偏綠的場景。Xiang等[11]根據光傳輸過程中的衰減特性對紅通道進行權重補償，該方法僅適合于紅色通道嚴重衰減的情況。Azmi等[12]用通道間的總像素強度值補償嚴重衰減的通道，用綠通道補償紅、藍通道，該方法僅適合于偏綠的場景，不具有通用性。Ancuti等[13]把RGB圖像轉換到LAB顏色空間，通過把嚴重衰減通道的反顏色通道均值往0上來拉進行補償，但是當有多個通道衰減嚴重時，該方法效果不理想。

基于動態拉伸的顏色校正方法主要是基于灰度世界假設、完美反射理論和灰度邊緣假設[14，15]?；叶仁澜缂僭O認為整幅圖像的RGB均值相等，體現為中性“灰”，但是當圖像的顏色比較單一，或者是光照不足時，灰度世界假設的基本前提不再滿足，該方法基本完全失效；完美反射理論是假設在一幅圖像中,可以把完美反射體視為標準白色，但是當圖像并無白色或者高光部分存在時，該方法也失效；灰度邊緣假設認為自然界所有圖像場景表面的平均反射差分是一個定值，但是當圖像對比度低、可視化邊緣少時，灰度邊緣假設算法的假設條件遭到破壞，效果也不好。

近年來也涌現出了一些在上述理論基礎上，改進的動態拉伸顏色校正方法[16-22]。Li等[16]采用了一種簡單且有效的顏色校正方法，利用均值和均方差確定偏色圖像像素分布的最大值和最小值，然后對偏色圖像進行動態拉伸,以此來校正顏色，該方法對偏色現象不是很嚴重的情況能起到較好的校正效果。Zhang等[19]利用子區間線性變換對偏色圖像進行校正，同樣該方法在偏色現象嚴重時會失效。Fu等[20]根據灰度世界假設理論，采用分段線性變換來校正顏色，該方法也僅適合于偏色現象不是很嚴重的情況。Wong等[21,22]提出一種自適應灰度世界方法校正偏色圖像。

以上基于衰減補償方法大多都是針對某一類圖像，在某些特定場景中，能取得很好的效果，但不具備通用性?；趧討B拉伸的方法，在偏色現象不是很嚴重時，能取得一定的效果，但偏色現象嚴重時，直接進行動態拉伸會存在過校正。因此需要有一個能適合于大多數場景而又不會產生過校正現象的偏色圖像校正方法出現。

2 本文方法

為了有效解決水下圖像顏色偏色問題，本文提出一種基于直方圖分布特性的水下圖像顏色校正方法，從水下圖像直方圖分布考慮，通過調整水下圖像直方圖分布來改善水下圖像的顏色失真。首先用最高像素分布均值通道自適應補償另外2個顏色通道，然后對補償后的圖像進行動態拉伸，保證通道直方圖分布整個像素范圍。所提方法流程如圖1所示。

圖1 本文方法流程

2.1 本文動機

為了有效解決水下圖像顏色偏色問題，本文參考陸地自然圖像直方圖分布特性，從水下圖像直方圖分布出發，通過調整水下偏色圖像的直方圖分布來消除偏色現象。水下偏色圖像和自然圖像直方圖分布特性如圖2所示，圖2中第一行為原始圖像，第二行為第一行圖像對應的直方圖分布，其中直方圖縱坐標為頻率，單位為%，橫坐標是數目0-255。通過圖2(a)、圖2(b)水下偏色圖像對應的直方圖分布，發現水下偏色圖像三通道直方圖分布各異，相對比較集中，且三通道直方圖之間沒有相似性。通過圖2(c)陸地自然圖像直方圖分布，發現自然圖像三通道直方圖分布相似且分布在整個動態范圍。

通過分析自然圖像直方圖分布特性，能找到水下偏色圖像采用上述介紹的基于衰減補償和基于動態拉伸方法校正顏色失真效果不好的原因。圖3是水下偏色圖像基于衰減補償和基于動態拉伸校正效果圖。偏色圖像采用文獻[10]方法用中等強度綠通道補償衰減嚴重的紅通道，衰減補償后紅通道分布能上來一些，但補償后最低強度和中間強度通道的直方圖分布相對最高強度藍通道分布要低，且三通道像素分布沒有遍及整個動態范圍，所以補償后效果甚微，整個圖像還是偏色。采用文獻[19]基于動態拉伸方法校正后直方圖像素分布遍布整個動態范圍，但三通道間直方圖分布不相似，因此校正效果也不好。

圖2 原始圖像及其直方圖分布

同時由灰度世界假設理論可知，顏色豐富圖像的RGB均值相等，體現為中性“灰”。換一句話來說就是，對8 bit圖像來說，圖像均值應該近似等于128。綜上，理想的水下圖像直方圖分布應該具有以下3個特點：

(1)三通道直方圖分布相似；

(2)三通道直方圖分布遍及整個動態范圍；

(3)三通道直方圖均值都近似等于128。

為了使校正后水下圖像直方圖分布滿足上述3個特點，本文先用最高像素分布均值通道補償另外2個顏色通道，這樣能保證補償后的圖像三通道直方圖分布相似；然后對補償后的圖像進行動態拉伸，保證直方圖分布遍及整個像素范圍；同時拉伸過程中，利用均值和標準差來確定拉伸前的最小、最大范圍，使直方圖拉伸后的RGB均值近似等于128。

2.2 衰減通道的補償

由上述可知，需要對衰減的顏色通道進行補償，使各顏色通道直方圖分布具有相似性。本文用最高像素分布均值顏色通道補償另外兩個顏色通道，因為最高像素分布均值顏色通道相對另外兩個顏色通道，衰減最小，用它補償另外兩個顏色通道，能最大程度提高圖像直方圖分布，同時還能使另外兩個顏色通道直方圖分布和它相似。具體的補償步驟如下：

(1)通道分解

把圖像分解成紅、綠、藍三顏色通道。

(2)計算紅、綠、藍三顏色通道的平均值

Rmean=mean(mean(r(i,j)))

(1)

Gmean=mean(mean(g(i,j)))

(2)

Bmean=mean(mean(b(i,j)))

(3)

其中，mean是均值函數，r(i,j)/g(i,j)/b(i,j) 是上一步分解的紅、綠、藍顏色通道， (i,j) 為像素點，取值范圍為0～255。Rmean/Gmean/Bmean是紅綠藍顏色通道對應的平均值。

(3)顏色通道排序。按照平均值高低給三顏色通道排序，分別表示為：Pfirst(i,j)、Psecond(i,j) 和Pthird(i,j)。 如果Rmean最高，則Pfirst(i,j)=r(i,j)。

(4)構建補償因子。本文有2個補償因子，分別為γ和β。γ表示最高和第二均值分布通道之間的補償因子，β表示最高和第三均值分布之間的補償因子，具體計算公式如下

(4)

(5)

(5)對第二、第三均值通道補償。利用補償因子和最高均值通道，對第二和第三均值通道進行逐像素補償，補償公式如下

Psecond(i,j)=Psecond(i,j)+γ*Pfirst(i,j)

(6)

Pthird(i,j)=Pthird(i,j)+β*Pfirst(i,j)

(7)

由上可知，第二和第三均值通道和第一均值通道相差越大，則補償越大，反之則補償越小。補償前后效果圖和對應直方圖分布如圖4(a)、圖4(b)所示，發現補償后的圖像偏色現象基本去除，不存在明顯的偏色問題。對比補償前后直方圖分布發現，相對補償前圖像三通道直方圖分布各異，補償后圖像直方圖分布具有一定的相似性，且像素值分布也大大提升。但是僅進行衰減通道補償，圖像效果還不理想，對應直方圖分布還比較集中，沒有遍及整個動態范圍，因此還需要對補償后的圖像進行動態拉伸。

2.3 動態范圍的拉伸

衰減補償后的圖像直方圖具有一定的相似性，但分布還比較集中，因此還需要對其動態拉伸，使拉伸后直方圖分布符合前節所述所有特點。統計學上，均值反映數據的集中趨勢或者是期望值，標準差反映一個數據集的離散程度，因此我們采用均值和標準差來確定動態拉伸前的范圍

(8)

(9)

其中，c∈{R/G/B}， 表示紅、綠、藍三顏色通道,Lmean和Lstd表示對應顏色通道的均值和標準差，Lmin和Lmax表示對應顏色通道的最小值和最大值，μ表示動態范圍，經實驗驗證，動態范圍不能太大也不能太小，取2～3之間時，效果較好，本文取μ=3。 然后通過式(10)進行顏色校正

(10)

3 實驗結果與分析

為了評估所提方法的性能，本節通過主觀分析、客觀分析、運行時間和擴展應用幾個方面，對比本文方法和現有顏色校正方法(文獻[10]、文獻[16]、文獻[19]、文獻[23])，結果如圖5～圖9所示，最后本節還進行了消融研究以及動態參數取值分析。本節實驗圖片除了圖8來源于Liu等[24]提供的水下偏色圖像，其余均來自網絡。上述對比方法參數取對應文獻參考值，實驗平臺為：CPU四核1.5 GHz、內存8 G；軟件為Matlab R2017b，Windows 10操作系統。

3.1 主觀分析

圖5～圖7分別是水下偏綠、偏藍綠和偏藍圖像的對比效果圖。文獻[10]方法在偏綠和偏藍綠的場景中，效果良好，因為其采用綠色補償紅色，然后再白平衡，而在偏藍場景中，效果不理想。文獻[19]方法能一定程度去除偏色現象，但效果不佳，去除后的圖像還存在偏色現象。文獻[16]方法相對另外兩種方法適用性更好，但容易存在過校正現象，如圖7存在過明亮區域。相比較而言，本文方法在不同偏色場景中都表現優異，也不存在過校正、過飽和現象，校正后的圖像顏色豐富自然。

圖8是從水下偏色圖像數據集中選擇的偏藍、偏藍綠和偏綠圖像。發現文獻[23]方法對各類圖像都能適應，但處理后的圖像過明亮，存在過飽和現象；文獻[10]、文獻[16]和文獻[19]方法在偏綠的場景下能取得自然的效果，但對偏藍圖像不適應，處理后的圖像還有明顯的藍色調。而本文方法在上述場景下都能獲得自然的效果，也不存在過增強、過飽和現象。

圖4 顏色通道衰減補償和動態拉伸效果

圖6 偏藍綠水下圖像對比效果

圖7 偏藍水下圖像對比效果

3.2 客觀分析

本節通過兩個指標對上述方法的色彩校正能力進行客觀分析：Avga和Avgb。Avga和Avgb分別為CIElab空間中通道a和通道b的平均值。Avga表示綠色到紅色的分量，其中綠色在負方向，紅色在正方向。Avgb表示藍色到黃色的分量，其中藍色在負方向。平均色度絕對值越大表示越嚴重的顏色偏色。

表1是圖5～圖7對應的Avga/Avgb指標評價結果。由表1可知，文獻[10]和文獻[19]方法不適應于偏藍的場景，在第三個偏藍場景中，Avgb數值分別高達：-14.82/-15.73。文獻[16]的方法相對來說適應性要好，并且還能在個別場景中取得最好的Avgb分量值。但綜合來看，本文方法最優，本文方法能在3種不同的偏色場景中取得綜合最優值，僅在個別場景取得次優值。

表2是圖8對應的Avga/Avgb指標評價結果。由表2可知文獻[23]處理后的圖像在偏藍場景中有較高的Avga正值，說明存在紅色過校正現象。而文獻[10]和文獻[19]的方法在偏藍場景下Avga值都有較高的負值，說明偏色現象去除不理想。而本文方法在3個場景中都能取得較好的結果。

3.3 運行時間

運行時間是一個算法真實應用的重要指標，我們選取4種不同分辨率的圖像進行實驗。各算法運行時間見表3。

圖8 偏色圖像數據集對比效果

表1 圖5/6/7對應的Avga/Avgb指標值

表2 圖8對應的Avga/Avgb指標值

表3 算法運行時間對比/s

本文算法的運行時間優于文獻[10]、文獻[19]和文獻[23]，微劣于文獻[16]的算法。

3.4 擴展應用

本文還嘗試將本文方法應用于沙塵天氣偏黃圖像，因為沙塵天氣圖像和水下圖像相似，都嚴重偏色，如圖9所示，表4是其對應的客觀評價結果。發現文獻[19]的方法處理后效果比較自然，但整個圖像還存在一層淡黃色，表4中Avgb值有較高的正值，說明整個偏色現象去除不徹底。文獻[16]的方法處理后圖像顏色較自然，但在第三個場景中，處理后的人物輪廓顏色不自然。文獻[23]方法處理后圖像整體偏亮，且在第三個場景中，人物輪廓周圍存在明顯光暈現象，且處理后所有圖像Avgb值都有較高的負值。相比較而言，本文方法處理后的圖像最自然，具有最好的Avga/Avgb值。

圖9 偏黃圖像效果對比

表4 圖9對應的Avga/Avgb指標值

3.5 消融研究

本節還分析了本文方法不同成分、不同次序的效果圖，如圖10所示，對應的客觀評價見表5。發現僅用衰減補償方法進行補償，能去除一定的偏色現象，但效果不佳。僅用動態拉伸方法對偏色圖像進行校正，存在過校正現象。先動態拉伸后衰減補償的方法，效果和僅采用動態拉伸效

圖10 本文不同成分和次序效果

表5 圖10對應的Avga/Avgb指標值。

果沒有什么區別，因為動態拉伸后，各通道均值近似相等，此時再用最強均值通道去補償其它通道，補償系數太小，因而效果和僅動態拉伸效果差不多。而本文方法取得的效果最好，圖像看起來最自然，也不存在過飽和、過增強。

3.6 動態范圍參數μ的數值分析

在2.3節中我們基于均值和標準差對通道補償后的圖像進行動態拉伸，以此來校正顏色。為了驗證動態范圍參數μ的取值對圖像的影響，分別取μ=2、μ=2.2、μ=2.5、μ=2.8、μ=3進行實驗分析。圖11是參數μ不同取值對應的色彩校正效果圖，通過色彩校正較好的還原圖像的真實色彩，但μ取值較小時，圖像的色彩會存在過增強現象。如表6所示，隨著μ值增強，Avga值緩慢下降，Avgb值緩慢上升，綜合來看，μ=3時Avga和Avgb值相加最低，最理想，最終取μ=3。

圖11 參數μ不同取值效果

表6 參數μ不同取值對應的Avga/Avgb指標評價

4 結束語

本文從水下圖像直方圖分布特性出發，通過調整水下圖像的直方圖分布來改善水下圖像的顏色失真，先用直方圖均值分布最高的顏色通道對另外兩個顏色通道進行自適應補償，然后采用均值和標準差對補償后的顏色通道進行動態拉伸，整個處理過程簡單、有效，且能適用于水下大多數場景，通用性強。本文方法處理后的水下圖像顏色豐富且自然，但水下圖像除了顏色失真外，還存在對比度低、模糊等其它問題，因此僅采用顏色校正方法去除顏色失真還遠遠不夠，還必須結合其它方法，如：對比度增強方法、去模糊方法等，才能得到清晰的水下圖像，但本文方法可以作為水下圖像預處理的選擇之一。最后，如果水下圖像三顏色通道都嚴重損毀，本文方法有可能存在過校正現象，因此，極端條件下的水下圖像顏色校正是本文未來研究方向之一，同時進一步優化本文算法運行時間也是本文未來的研究方向之一。