基于B-樣條曲線暗通道的圖像去霧算法

溫立民，巨永鋒，王會峰，徐 娟

（1.長安大學 電控學院，西安 710064；2.長安大學 電工電子實驗教學中心，西安 710064）

0 概述

隨著計算機視覺技術的發展及其在交通、軍事、安全監控等領域的廣泛應用，圖像去霧已成為機器視覺領域的重要研究方向和研究熱點，吸引眾多學者從事相關研究。

目前圖像去霧領域主要有基于圖像紋理的去霧和基于模型的去霧［1-2］2 個研究方向，有學者將深度學習應用于圖像去霧，取得了較好的效果?；诩y理去霧的方法采用模板濾波、小波變換等傳統技術實現圖像對比度和色彩飽和度增強，文獻［3］采用非自適應均值濾波的方法實現圖像去霧，文獻［4］結合多尺度分析與圖像融合實現圖像去霧。由于該類方法本質上是增強圖像本身的對比度，因此總體去霧效果不及模型去霧和基于深度學習的去霧方法。基于深度學習的去霧方法是利用深度學習技術計算對比度，或使用圖像轉換達到去霧目的。文獻［5］采用循環一致對抗網絡的方法實現圖像去霧，該方法通過兩組鏡像的生成器和鑒別器實現原霧圖到還原圖像的轉換，但需要大量學習樣本，并且轉換后的圖像因存在顏色遷移易出現色彩失真。文獻［6］在卷積神經網絡的基礎上結合殘差注意力方法，將有霧圖像經上下采樣后，以損失函數作為收斂判據實現去霧，盡管取得了不錯的效果，但由于存在去霧不完全和偽影現象，以及算法效率較低，導致應用受限。

模型去霧是建立在大氣散射模型的基礎上，通過研究大氣粒子對光的散射作用而建立的圖像退化模型，目的是實現圖像去霧。目前常用的去霧模型由SCHECHNER 和NAYAR［7-8］提出，但基于該模型的去霧算法由于存在病態求解問題而需要改進，如HE 等［9］提出基于暗原色先驗假設（Dark Channel Prior，DCP）的算法（簡稱HE 算法），較好地解決了這一病態求解問題，并取得了良好的去霧效果，也因此在模型去霧領域具有舉足輕重的地位，受到各方學者的認可［10-11］。HE 算法是以三通道最小值透射率假設為基礎，以世間萬物皆有陰影為前提，這一前提在大多數情況下是正確的，對于均勻背景亮度的場合具有良好的適應性，但對于高亮度背景或大面積天空光場景將會失效，還原圖像會存在光暈（Halo）現象［12-13］。目前有學者針對HE 算法的不足提出了不同的解決方案，如文獻［14］采用遠景和近景融合暗通道去霧算法，該算法通過分別計算遠、近景的暗通道值，以遠景信息替代背景進行補償，取得了一定的效果，但因無法有效區分背景與實景信息而使用受限。文獻［15］采用視頻技術結合暗通道理論實現圖像去霧，但該方法采用多圖像技術解決模型去霧中的病態求解問題，雖然取得了較好的效果，但在實現上存在較大的障礙。

本文提出基于B-樣條曲線擬合并修正透射率直方圖包絡以去除Halo 效應的算法。通過搜索透射率灰度統計直方圖的波峰波谷，確定樣條曲線的區間邊界點，并將區間邊界點作為初始條件計算三次樣條曲線，擬合低灰度包絡。為提高補償精度，從兩個維度上對大津法（Otsu）進行改進，實現透射率圖分割，并確定修正區域。在分析halo 效應成因的基礎上，采用γ 函數對低灰度包絡透射率直方圖進行修正，平滑透射率圖，從而去除Halo 效應。

1 基于暗原色模型去霧

1.1 模型去霧原理

文獻［7］提出的大氣散射模型如圖1 所示。

圖1 大氣散射模型Fig.1 Atmospheric scattering model

該模型的數學表達式［16-17］如式（1）所示：

其中：P0(λ)為還原圖像；P(d，λ)為采集霧圖；A∞(λ)為天空光；t(x)為透射率。理論上式（1）是個病態求解問題［18-19］，為解決該問題，HE 等［9］提出暗通道先驗理論，認為圖像R、G、B 三通道像素值至少有1 個近似于0 或等于0，但對于高背景亮度的天空光圖像，其最小值非但不等于0，而且遠高于0，導致該先驗應用失效，還原圖像出現光暈效應。

1.2 B-樣條曲線擬合

由于高亮度背景或大面積天空光場景還原圖像存在Halo 效應，因此需要對透射率灰度直方圖進行修正。目前對于直方圖修正的方法有很多（如均衡化等），但這些方法不適合本文的修正，因為不同的圖像需要修正的灰度級和包絡不同，有的需要增強，有的需要抑制，需要根據不同的處理目標而定。為取得更好的修正效果，本文采用三次B-樣條曲線的方法擬合灰度包絡。三次B-樣條曲線的基本原理是將區間[U0，Ui]分為若干個子區間[x0，x1]，[x1，x2]，…，[xi-1，xi]，各區間邊界點的值為yi，三次樣條插值的表達式［20-21］如下：

其中：Mi、Mi+1為三次樣條系數；hi=。將Ⅰ型邊界點(xi，yi)條件及其一階導數和二階導數代入式（2），可求得系數Mi和Mi+1，進而可以確定相應的三次樣條函數［22］。

1.3 改進的二維大津分割法

為取得更好的修正效果，首先需將修正的目標從霧圖中分割開來，因此本文采用大津（Otsu）法［23］實現圖像分割，其流程如圖2 所示。Otsu 法是一種基于最大類間方差的分割方法，由于其良好的分割效果而被廣泛應用于灰度圖像分割。傳統的大津分割法是一維分割，而圖像為二維，因此分割結果存在噪聲（如圖2（c）所示），分割邊緣有許多噪聲點，這些噪聲點的存在會影響還原結果。因此，本文對大津分割法做了改進，即沿橫向和縱向分別做分割運算，通過改進邊緣噪聲點，提高算法的抗噪性能。然而在實際中會有比高背景像素值還高的非背景信息存在，如圖2（c）中的汽車車燈所示，這類目標經分割后容易被誤分割為背景。為解決這一問題，首先需要做腐蝕運算，然后進行連通運算以去除類似干擾（如圖2（d）所示）。

圖2 大津法的流程Fig.2 Procedure of Otsu method

2 暗通道還原Halo 效應問題提出

暗通道先驗雖然解決了模型去霧病態求解的問題，但在處理高背景亮度或大面積天空光霧圖時，還原的圖像會出現Halo 現象（如圖3 所示），其中圖3（a）為高亮背景原霧圖，圖3（e）為大面積天空光原霧圖。圖3（b）、圖3（f）為對應的經暗通道算法處理后出現光暈的還原結果（光暈現象如圖中黑圈所示），其原因是暗通道先驗認為在圖像R、G、B 三通道上存在最小值0，而實際上在該區域其值不僅不為0，而且遠高于0，正是這種誤差的存在導致在透射率圖上出現暗影，如圖3（c）和圖3（g）中黑圈所示，通常在該透射率區域像素值較低，經過暗通道處理后亮度較高，從而導致光暈現象。光暈在直方圖中表現為存在較低的灰度值（如圖3（d）、圖3（h）所示），可以通過修正直方圖低值區域的方法去除光暈。目前已有對直方圖修正的方法，如直方圖均衡化等，但這類方法不適合本文，因為本文透射率圖修正需要將低值區的灰度向高值區遷移并修正幅值，所以本文采用B-樣條曲線擬合與gamma 修正的方法去除光暈。

圖3 暗原色去霧正常與失效案例Fig.3 Normal and failure cases of dark primary color defogging

3 B-樣條透射率修正算法

灰度直方圖形態多樣，而B-樣條曲線可以通過不同的階數和控制節點擬合出形態各異的曲線，因此本文采用B-樣條曲線對灰度直方圖進行擬合。對于B-樣條曲線而言，不同的階數、不同的控制節點產生的樣條曲線各不相同，由于本文只對直方圖的低值區進行修正，所以修正的范圍為直方圖第1 個波峰區，如圖3（d）、圖3（h）所示。

B-樣條曲線擬合的是暗通道先驗的透射率灰度直方圖，欲實現光暈消除，需要對灰度直方圖包絡進行修正，因此本文采用B-樣條+γ 修正算法修正透射率圖，以實現光暈去除，B-樣條透射率修正的流程如圖4 所示（彩色效果見《計算機工程》官網HTML 版本），算法流程如下：

1）計算霧圖暗原色透射率t(x)，如圖4（b）所示，圖4（a）為原霧圖。

2）計算透射率圖的統計直方圖并擬合包絡。修正的關鍵是要建立對應區域的包絡，本文采用B-樣條擬合的方法實現曲線包絡的繪制。B-樣條曲線包絡擬合算法如下：

（1）確定直方圖中擬合灰度區的范圍，在此范圍內建立子區間。對于背景高亮或大面積的天空光透射率直方圖，通常在低灰度區存在一個波峰，因此本文將擬合范圍選在該波峰范圍內。

（2）選取B-樣條控制點。對于B-樣條擬合曲線而言，控制點的選取至關重要，選取不好則擬合的修正曲線偏差較大，導致修正效果不理想。因此控制點選擇應在直方圖第一波峰兩側。首先遍歷整個直方圖找到第1 個波峰和波谷的位置，將此區間分為4 個子區間，區間節點如圖4（f）紅點所示，區間節點從左到右順次記為[x0，x1，x2，x3，x4]，則4 個區間對應的就是式（2）樣條函數基的區間。將各點灰度帶入樣條插值函數，計算多項式系數Mi，Mi+1，例如對于圖4（b）透射率的三次樣條曲線擬合系數為，則擬合的三次樣條曲線為：

圖4（b）經擬合后所確定的灰度包絡如圖4（c）紅色虛線所示。由于在[x0，x1]區間內的基函數為三次方函數，其圖像為下凹曲線，致使在此區間上的灰度得到抑制。

（3）采用gamma（γ）函數對所得的灰度包絡進行修正［24-25］，根據不同的包絡選取適當的γ 進行修正，修正公式如下：

其中：c為幅度比例系數，本文取c=1；f為樣條曲線；γ為修正指數，其值取1～5 之間（如圖4（e）所示），具體選多少需要根據不同的霧圖而定。就圖4（b）而言，經實驗測試，γ取2.5，修正后的灰度包絡曲線如圖4（c）黃線所示。圖4（d）為修正后的透射率圖，紅色橢圓區域為高亮度區域，相比于圖4（b）中相應區域，其灰度有所降低，實現了對指定區域的灰度修正。

（4）基于Otsu 法分割透射率圖。對透射率分割是為了定位補償的高亮度或大面積天空光區域，雖然經過步驟（3）實現了灰度修正，但對于高亮區域或大面積天空光區域外的像素點則無需修正，因此需要將待處理區域與其他區域分割開來，本文采用Otsu 法實現分割。經過Otsu法分割后的結果如圖4（g）所示。由圖4（g）可知，分割后為二值圖像，在目標區域像素值為0，其余為1，因此可以根據這個特點，遍歷整個透射率圖，區分高背景區和非高背景區，以限定只在高背景區域進行修正，非高背景區不做修正。

圖4 B-樣條透射率修正的流程Fig.4 Procedure of B-spline transmittance correction

4 實驗結果與分析

4.1 實驗條件

本文實驗的仿真平臺為CPU Intel 酷睿i7，內存16 GB，顯卡64 位，操作系統Microsoft Windows10，測試軟件為Matlab 2016。本文選取的測試樣本并非標準圖像，而是隨機獲取的圖像樣本，包含各種場景不同濃度霧圖像，圖像大小從200×300 像素到1 024×768 像素不等。

4.2 對比實驗

為測試算法的有效性，本文采用具有典型高亮背景霧圖作為測試對象，如圖5 所示（彩色效果見《計算機工程》官網HTML 版），本文將圖5 第1 行稱為林間小路霧圖，第2 行稱為城市濃霧圖。由圖5（b）可知，由于HE 算法的透射率存在大面積的低灰度區（如橢圓所示），導致還原結果出現Halo 效應（如圖5（e）所示）。經本文B-樣條曲線修正后，透射率圖如圖5（d）所示，還原圖像如圖5（f）所示，通過比較圖5（e）和圖5（f）可知，背景高亮區域和大面積天空光的Halo 現象都能得到有效緩解甚至消除，表明本文算法可以改善HE 算法產生的Halo 效應。

圖5 本文算法與HE 算法的結果對比Fig.5 Results comparison between algorithm in this papper and HE algorithm

4.3 γ 曲線修正

為驗證γ 修正系數對去霧效果的影響，本文選取不同γ 值對HE 算法透射率圖進行修正，結果如圖6所示。本文分別選取γ=［1，1.5，2.5，3］作為測試系數，修正后的透射率為圖6（b），圖6（c）為HE 算法去霧圖像，圖6（d）、圖6（e）、圖6（f）分別為γ=1.5、2.5、3修正后的還原圖像。

圖6 γ 系數對透射率修正的影響Fig.6 Influence of γ coefficient on transmission correction

由圖6 可知，當γ＜1 時，還原后圖像不僅沒有得到改善，對比度還會下降，因此本文只選擇γ＞1 的修正系數。由圖6（d）、圖6（e）、圖6（f）可知，當γ=1.5，2.5，3 時，還原圖像相對于HE 算法都有所改善，但當γ=1.5 時仍有光暈效應存在，當γ=2.5 時，還原圖像的對比度和色彩飽和度均為最佳，天空光處的太陽和云彩被分割開來（如圖6（e）所示），而HE 算法由于光暈的存在致使天空光區域高亮且連成一片（如圖6（c）所示）。當γ=3 時，還原圖像整體偏暗，因此針對本樣本，γ=2.5 是最優值。當然針對不同的樣本，最優值不同，需要根據具體情況而定。

4.4 霧圖像還原測試

為對比本文算法與HE 算法的還原效果，本文采用隨機采集霧圖進行對比測試，結果如圖7 所示（彩色效果見《計算機工程》官網HTML 版））。

圖7 本文算法與HE 算法的還原效果對比Fig.7 Comparison of restoration effect between algorithm in this paper and HE algorithm

圖7（a）為汽車圖，圖7（b）為荷花圖，圖7（c）為棧橋圖，圖7（d）為公路圖。圖7 第1 行為原霧圖（從左到右按濃度由低到高排列），圖7 第2 行為HE 算法結果，圖7 第3 行為本文算法結果。從HE 算法的去霧結果可知，4 種霧圖均有不同程度的光暈現象，不同的是荷花圖是由于局部的高亮，而汽車、棧橋和公路圖是由于大面積的天空光，由于光暈的存在導致去霧圖色彩失真。從本文算法的去霧結果可以看出，HE 算法相應位置處的光暈現象得到有效緩解。但從圖7 的改善效果看，對于大面積天空光引起的光暈改善效果優于高亮背景，這點從圖7（a）、圖7（c）、圖7（d）中可以看出，無論從色彩飽和度上，還是從面積上相較于荷花圖的改善效果都較為明顯。

4.5 圖像去霧效果的客觀評價

本文以信息熵、局部對比度、峰值信噪比（Peak Signal to Noise Ratio，PSNR）、結構相似度（Structural Similarity Index，SSIM）和平均梯度為指標與其他算法（HE、文獻［4］、文獻［5］、文獻［6］、文獻［14］等算法）進行橫向對比，測試樣本為圖7 的汽車、荷花、棧橋、公路圖，其對應的測試數據如表1 所示。

表1 不同算法的客觀評價指標對比Table 1 Comparison of objective evaluation indicators of different algorithms

圖8 為表1 數據的可視化結果，從圖8（a）可知，原霧圖的信息熵都較低，且信息熵按汽車、荷花、棧橋、公路順序依次減小，經過文獻［4］、HE、文獻［14］、文獻［5］、文獻［6］和本文6 種算法處理后，其信息熵都有所增加，但增加的幅度不同。文獻［4］算法的增強幅度最小，由于該算法屬于紋理去霧范疇，因此文獻［4］信息熵要低于HE 算法，但整體上這兩種算法的圖像還原效果遠不及文獻［14］、文獻［5］、文獻［6］和本文算法。文獻［14］算法為HE 算法的改進，效果相對于HE 算法有所提高，然而文獻［14］與文獻［5］、文獻［6］及本文算法相比要略遜一籌，文獻［5］、文獻［6］和本文算法的信息熵要高于文獻［14］算法，說明經本文算法處理后，本文信息熵不僅遠高于傳統的HE 算法，而且優于HE 算法改進的文獻［14］算法。文獻［5］、文獻［6］是基于深度學習的去霧算法，由圖8 可知，在信息熵上其值與本文算法相差不大，甚至在某些指標上還稍優于本文算法，如棧橋、公路圖的信息熵等，但文獻［5］、文獻［6］算法在效率上卻遠不及本文算法。

圖8 不同算法的客觀評價結果可視化對比Fig.8 Visual comparison of objective evaluation results of different algorithms

對比度表征圖像灰度的反差，PSNR 為峰值信噪比，平均梯度是對邊緣信息或高頻分量的一種表征，從圖8（b）、圖8（d）、圖8（e）可知，經6 種去霧算法處理后，圖像的對比度、PSNR 和平均梯度均有所提高，但處理的效果大致分為2 個層次，文獻［4］、HE 和文獻［14］算法為稍遜的層次，文獻［5］、文獻［6］與本文算法為較好的層次。由表1 的各指標數據可知，文獻［5］和文獻［6］算法除在個別指標上（如荷花圖的對比度和PSNR 值，棧橋的對比度等值）稍好外，其余均是本文算法占優，因此綜合而言本文算法的整體指標要好于文獻［5］和文獻［6］算法。

SSIM 是一個有別于對比度、信息熵等參數的指標，其衡量的是2 幅圖像的結構相似程度，其值越小表示相似度越小。本文將測試結果與原霧圖進行相似度計算，結果發現除了在荷花圖上本文算法比文獻［6］算法略高外，其余都是最低，表明經本文算法還原后的圖像與原圖相似度最低，這從另一個角度說明本文算法的去霧效果較好。

綜上可知，本文算法相對于HE 等現有算法在信息熵、對比度、PSNR 和平均梯度上都有所提高，SSIM 有所降低，其中信息熵和對比度相比HE 算法最大可分別提高9.9%和10.1%。

4.6 算法并行度評測

為測試算法的執行效率，將本文算法與現有去霧效果較好的文獻［4］、文獻［5］、文獻［6］、文獻［14］算法及HE 算法相比較，對比樣本為圖7 的4 幅霧圖（大小為M×N），比較環節為算法的關鍵步驟，如表2所示。

表2 算法并行度評測結果Table 2 Algorithm parallelism evaluation results

由表2 可知，雖然文獻［5］和文獻［6］算法在處理效果上與本文算法相近，但在關鍵步驟的并行度計算上與本文算法相差甚遠，文獻［5］、HE 和文獻［6］算法的運算階均為M×N，而本文算法的運算階是M或N階。盡管在并行度計算上，文獻［4］、文獻［14］與本文算法同樣為M或N階，但前兩者在圖像還原效果上不及本文算法。綜上所述，無論是從還原效果還是并行度上比較，本文算法的綜合性能均優于其他去霧算法。

5 結束語

本文提出基于B-樣條曲線加γ修正透射率去除Halo 效應的算法，以透射率直方圖統計為基礎，通過改進的大津分割法提取補償區域，引入B-樣條曲線擬合低灰度包絡，并采用γ修正灰度包絡，平滑透射率圖，進而去除光暈效應。實驗結果表明，相較于HE 等去霧算法，本文算法的執行效率和去霧效果均有大幅提高。下一步將采用神經網絡技術進行適量的樣本訓練，通過梯度下降方法計算損失函數，實現γ的自適應取值，以適應不同場景下的透射率修正。