基于暗通道先驗的多尺度融合去霧算法?

賀文靖 張俊生 景 寧 王明泉 成向北

（1.中北大學信息與通信工程學院 太原 030051）（2.太原工業學院電子工程系 太原 030008）

1 引言

由于大氣中存在著水滴和灰塵等懸浮顆粒物，致使圖像在經過氣溶膠的射散衰減后變得模糊，在被視覺系統采集處理時難以分辨目標物體［1～2］。因此，圖像去霧的研究對計算機圖像識別檢測領域有著十分重要的意義。

當前，霧天圖像去霧的方法研究眾多，一部分是基于圖像增強的去霧算法，利用圖像本身的相關物理信息進行處理，調整圖像對比度和顏色使圖像清晰，最大化地提高原始圖像的可見度。常見的圖像增強算法有直方圖均衡化算法［3］、Retinex算法［4］、同態濾波［5］和小波變換［6］等，雖然這類方法適用性廣，但在處理過程中容易出現色彩偏移現象，導致獲得的去霧圖像細節丟失。

另外一部分是基于先驗知識的去霧方法，該算法通過對霧天圖像進行研究獲得先驗信息，將此信息通過大氣散射模型（ASM）恢復為無霧的圖像。此方向的代表包括：He［7］等通過對大量無霧圖像與有無圖像對比研究，發現有霧圖像的暗通道是灰色，而無霧圖像的暗通道是黑色，基于此結合大氣射散模型提出暗通道去霧算法，但是由于這一算法速度太慢，并且當場景物體環境光［8］與大氣光相似時造成先驗理論失效，復原圖像存在亮度低色彩扭曲現象；Tarel［9］等提出使用濾波方法對有霧圖像進行大氣光估計，該方法不適用于所有的模糊圖像；Fattal［10］等假設前提為表面陰影和傳輸函數是無關的，通過對大氣散射模型進行運算求得傳輸函數，該方法只在局部去霧有效，在處理密集的濃霧時效果較差。Berman 等［11］提出霧線模型使用數百種顏色對無霧圖像進行近似模擬，并利用KD-tree 聚類算法將每個像素替換為其所屬聚類的中心像素，且每種顏色簇形成一個霧殖線，以霧霾線模型估計傳輸函數并復原霧天圖像。Wang等［12］為了解決天空等類似大氣光區域出現的曝光缺點，采用形態學算法等操作將霧天圖像的天空區域進行分離，對天空區域的傳輸函數優化，解決天空區域處理效果不佳的問題。

本文首先將有霧圖像進行AINDAN［13］算法增強暗部，之后通過迭代獲得最佳閾值后將其分割為兩部分，大面積留白區域使用最亮通道取反去霧處理，另一部分使用DCP 導向去霧，然后將兩部分區域進行融合得到初始融合圖像，對初始融合圖像使用非銳化掩蔽來增強圖像的紋理細節；為使最終融合圖像保留原始顏色，本文增強圖像的同時對有霧圖像做DCP導向去霧處理，最后將經去霧處理的三幅圖像與初始融合圖像做輸入，通過對多尺度圖像進行像素級別的權重融合后使用laplace 金字塔進行分解重構得到平滑處理后的圖像，即為最終去霧圖像。

2 相關理論

2.1 大氣散射模型

大氣中存在的懸浮顆粒使通過大氣的光會衰減和散射，導致映射在計算機視覺的圖像變得模糊，廣泛用于描述帶霧圖像的大氣散射模型可以表示為

式中I（x）表示拍攝到的原始霧狀圖像，J（x）表示恢復的無霧清晰圖像，A 為相機或觀察者在觀測無窮遠處時的大氣光強度，t（x）為光線透射率，其表示在成像過程中從物體反射出來的光在未被霧粒子散射光量的比值；在均勻分布的大氣中，t（x）可以進一步表示為

其中，β表示大氣散射系數，d（x）表示從場景物體到拍攝器的深度。圖1 說明大氣光與目標場景在傳輸過程中散射衰減引起的成像現象。

2.2 暗通道先驗理論

He等［7］通過對大量戶外無霧圖像進行研究，發現清晰無霧的圖像里總是有一個顏色通道的灰度值很低，所以指出在暗通道先驗理論中其值往往趨于0，對于清晰無霧的暗通道圖像Jdark如下：

其中，Ω（x）表示以像素點x 為中心的一個方形窗口，上標c表示R/G/B三個通道中的一個通道，將式（1）稍作處理表示為下式：

上述推導已知暗通道趨于0，所以得到傳輸函數為

圖像恢復公式為式（7），當透射率t的值很小時會導致J 的值過大，從而出現圖像大幅泛白的現象，因此本文設置閾值t0為0.1，如下：

本文中所有的測試結果依賴于ω=0.95。

3 本文算法

3.1 算法總流程

本文算法總流程如圖2 所示，大霧天氣會使圖像顏色失真，并且在DCP去霧處理后的圖像會比原始的暗。因此，本文首先對有霧圖像使用AINDAN算法對其暗部進行增強；之后將增強的圖像進行最佳閾值分割為兩部分后分別進行處理，分割的大面積留白區域使用最亮通道取反去霧算法，從最亮通道取反去霧圖中可以看出，虛線框區域由于過暗導致細節丟失，在實線框區域可以看出去霧效果較佳，而其他背景區域使用DCP 導向去霧，在圖中可以看出經DCP 導向去霧的圖像在虛線框區域曝光了，實線框部分的去霧細節保持完整；然后，將兩部分區域進行融合后得到閾值融合圖像，并使用非銳化掩蔽來增強圖像紋理細節；同時，為使最后的多尺度融合圖像保留原始圖像的色彩，對原始圖像進行DCP 導向去霧處理后的圖像作為多尺度融合中的一個輸入；最后將三幅去霧后的圖像與閾值融合圖像做輸入，通過圖像的對比度、亮度、飽和度三個通道進行權重融合后使用laplace 金字塔進行比重分解融合得到平滑最終的去霧圖像。

圖2 算法總流程

3.2 圖像增強

本文采用的圖像增強算法AINDAN［13］實現簡單、速度快且適應性廣，能夠在不破壞圖像本身就光照好的位置基礎上增強圖像的暗部細節。算法步驟分為以下三步。

步驟1根據圖像亮度分布建立一個自適應的全局映射函數，這極大地提高了圖像中暗部像素的像素值，同時也壓縮了圖像的動態范圍。首先，計算出彩色圖像的亮度值：

其中參數z 的值根據圖像自身得出，對原始圖像的累計直方圖達到0.1 的色階值L 統計后將其分為暗部增強處理、中和處理、亮部無需處理三部分。

如下所示：

步驟2對圖像做自適應對比度增強，根據像素領域內的平均值和像素值本身的比例做映射，從而提高圖像的整體對比度。

通過局部對比度進行增強，即不同位置具有相同像素值的像素在增強后會得到不同結果。當前像素值大于周邊像素的平均值時，當前像素值會增加，反之成立。通常，一種較好的計算方式是高斯模糊，公式如下：

式中，S（x，y）表示對比度增強結果，指數E（x，y）如下所示：

式中的下標conv 表示卷積，P 值是通過求原始亮度圖的全局均方差來決定的：

為了得到更好的對比度增強效果，一般會使用多尺度卷積增強，因為各個尺度的卷積會帶來不同的細節信息。本文分別設置為5，20，120。

步驟3顏色復原

λ設置為1 能保證圖像不會出現色彩偏移現象。

基于圖像增強在部分處理中過于激烈而造成暗部出現色斑，使其在視覺上變得突兀，因此，本文對放大幅度進行限制，根據圖像內容自適應設置，確保在增強過程中避免出現這樣的問題。

3.3 不同區域分割

為使融合圖像大幅度解決傳統DCP 去霧處理在背景類似大氣光值時導致的曝光問題，本文采用最佳閾值方式對灰度圖像進行分割。通過構建一個扇形模型，最小灰度值Imin（x，y）和最大灰度值Imax（x，y），初始閾值可表示為：

利用幾何不等關系式（17）逼近擬合：

其中T0與T1分別表示灰度值大于閾值的均值和小于閾值的均值，扇形模型如圖3所示。

圖3 扇形模型幾何表示

圖4 不同曝光圖像融合

3.4 RGB亮通道取反去霧

通過對有霧圖像中大面積留白區域的特征統計分析得知RGB 三通道數值均值偏高，所以根據暗原色先驗方法對RGB 中的最亮通道進行取反計算，可以解決在近似大氣光區域曝光失效導致丟失細節的問題。

通道取反公式為

新的透射率公式為

經過實驗得出結論，亮通道取反去霧處理對非天空區域的去霧也有一定效果，但容易導致圖像過暗丟失細節，所以在本文將大面積留白區域保留，與傳統DCP去霧圖像進行融合得到初始去霧圖像。

3.5 曝光圖像融合

由于傳統DCP 去霧算法存在大尺度高亮度區域失真的缺陷，本文結合曝光融合［15］處理去霧圖像可以獲得優化效果。由于曝光不足和曝光過度，疊層中的許多圖像都包含平坦、無色的區域。這樣的區域應該得到較少的權重，而包含明亮顏色和細節的有趣區域應該被保留，所以通過像素級別融合，加上多尺度平滑處理得到多尺度融合圖像。

1）對比度：在過曝圖像或嚴重低曝光的區域，圖像基本是255或0，因此這些區域是很平滑的，梯度信息幾乎為0，這些也是曝光融合中要舍棄的區域——過曝部分缺乏細節，低曝光區域缺乏細節和亮度。因此用laplace算子提取圖像的梯度信息，梯度信息越小的像素在融合時占據的比重就越小，相反梯度信息越大的像素的比重就越大。對輸入的第k張圖像Ik進行對比度C的計算：

2）同樣針對過曝或嚴重低曝光的飽和度是接近于0 的，而那些飽和度高的區域常常是需要保留的區域，因此論文通過RGB 三通道標準差來衡量飽和度S 的大小，標準差越大說明飽和度越高，以此得到不同的比重：

3）亮度E 越接近0 或255，則很可能處在過曝或嚴重低曝光區域，而在128 附近的常?？梢哉J為是曝光良好的區域，這些區域的信息在融合過程中要盡量保留，比重盡量大，如下：

σ是方差，本論文中取0.2。判斷這個點的灰度值和0.5的接近程度，如果灰度值和0.5距離越遠說明這個點的曝光水平不夠好，E 這一項的權重就會低，反之接近0.5說明該點是一個良好曝光的像素，E的值會相對變高。

上面根據對比度、飽和度、亮度三方面可以得到每個像素點在融合時的比重，三者合在一起：

其中分別C、S和E“加權”指數ωC、ωS和ωE，下標i，j 和k 是指第k 個圖像中的像素（i，j）。如果指數ω等于0，則不考慮相應的度量，最終像素權重Wij，k將用于融合過程。

為了防止多張圖像融合，出現過高或者過低的值，對W 歸一化；將k 張圖像｛I1，I2，…，Ik｝各自對應一張歸一化的比重圖｛W1，W2，…，Wk｝進行融合得到R：

使用laplace金字塔，對每張圖像分解出laplace金字塔，對應的比重圖分解出高斯金字塔，然后根據比重對laplace金字塔做融合，從低分辨率開始上采樣疊加同尺度的融合后laplace細節，即可得到結果。

本文從高斯金字塔的低分辨率上采樣，對應尺度的高斯金字塔結果減去這個上采樣結果，然后，下一次的上采樣結果是通過高斯金字塔的結果上采樣得到。

4 實驗結果與分析

為了驗證本文提出方法的實際性，將文獻［9］、文獻［11］、文獻［7］、文獻［16］與本文的仿真結果進行對比分析，選取同樣的霧天圖像數據從主觀評價、客觀評價兩個方面對仿真結果進行評價。實驗測試環境：CPU 為Inter Corei5-12500，顯卡為NVIDIA GeForce GTX1050 Ti，操作系統為WIN11，仿真軟件為Matlab2021b。

4.1 主觀分析

針對不同場景和不同程度的霧濃情況，將本文與文獻［9］、文獻［11］、文獻［7］、文獻［16］進行對比，結果如圖5所示。

圖5 不同方法復原結果比較

從圖5 可以看出，文獻［9］去霧使圖像清晰，但會使圖像在大面積留白區域出現嚴重色偏，或出現黑色斑狀，并在物體邊緣處理中不夠完善從而導致圖像丟失細節；文獻［11］在去霧效果上增強了圖像的清晰度和對比度，在薄霧圖像的處理中出現明顯黑色塊狀，視覺上較為突兀，而濃霧場景下的細節處理較為完整，但在與大氣光相似區域出現曝光現象；文獻［7］去霧使圖像清晰，在薄霧圖像處理后的細節保留較好，但在濃霧場景下的圖像去霧處理曝光嚴重使細節丟失；文獻［15］在去霧的基礎上增強了圖像顏色復原導致出現輕微色偏，在薄霧圖像中的處理結果較好，但在濃霧圖像下曝光嚴重使細節丟失；本文提出的圖像增強方法在處理圖像時不會破壞本身就光照好的位置，對暗部進行增強，使更多細節和紋理較清晰地表現出來，在圖像融合方法時將過曝或嚴重低曝光部分舍棄，保留飽和度高的區域和曝光良好區域使圖像細節保留下來，得到的去霧圖像細節完整并且提升了圖像對比度，亮度也更加均勻，具有較好的主觀效果。

4.2 客觀評價

本文使用圖像評價指標里常用的均方誤差（Mean Square Error，MSE）、峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、結構相似性（Structure Similarity Index Measure、SSIM）作為客觀評價指標。MSE 就是線性回歸的損失函數，數值越小越好，PSNR 數值表示去霧圖像與原始圖像之間的失真程度，數值越大圖像復原質量越高，失真程度越小，SSIM 衡量兩張相似圖像的結構相似性指標，數值越大代表輸入圖像結構損失越小。

圖像評價指標如表1～表3所示，表1為MSE評價指標，表2為PSNR評價指標，表3為SSIM評價指標。從表1～表3中數據可以看出，本文算法處理后的圖像評價指標有明顯提高，根據表中數據可以判斷出本文算法引入的噪聲少，在圖像保留方面存有信息更為完整，在結構相似性中的效果相比其他算法較好。

表1 均方誤差指標

表2 峰值信噪比指標

表3 結構相似度指標

5 結語

根據傳統去霧處理導致圖像曝光和色調偏暗的問題，本文提出基于暗通道先驗的多尺度融合去霧算法，其通過AINDAN 算法增強暗部后進行閾值分割，將留白區域通過最亮通道取反能夠得到保留，另一部分使用DCP 導向去霧，經去霧處理的兩部分進行初始融合的去霧圖像改善了色調偏暗和過度曝光的現象，同時對原始有霧圖像進行DCP導向去霧可以保留一定原色，最后將三幅去霧圖像與初始融合圖像作為多尺度融合的輸入，通過像素級別融合，使用laplace金字塔進行分解重構得到多尺度平滑處理后的最終去霧圖像。實驗結果表明，本算法在原始去霧保留細節的基礎上能夠較好保留天空或其他留白區域，同時避免了色彩失真問題，但是，本文算法仍然是對暗通道先驗去霧算法的補充，應提升創新性提出獨立的去霧思路增強圖像。