基于暗通道先驗原理的偏振圖像去霧

王楚寧， 趙開春

（清華大學 精密儀器系，北京 100084）

1 引 言

霧霾天氣下能見度大幅度降低，普通相機拍攝的圖像對比度降低，細節可見性差，影響圖像后續的處理和應用［1］。目前，對霧霾天氣下圖像去霧增強的方法主要有兩種思路，第一種是圖像處理去霧技術，通過處理普通光學傳感器采集的圖像，提高圖像對比度，達到圖像增強或復原的目的，但是去霧的效果有限，圖像可能會失真，進而造成部分細節信息丟失，目標的識別率和準確度無法達到實用需求。第二種是光學去霧技術，用改造后的光學系統采集多幅圖像，根據反射光的特征分離來自目標的反射光和大氣反射光，從而復原圖像。隨著偏振成像的發展，偏振光學去霧技術成為當前的研究熱點［2］，利用大氣和目標偏振特性的差異，基于大氣衰減模型進行去霧重構［3］，去霧效果好，算法實現較為容易，廣泛應用于交通檢測中的車輛信息監測和道路監控系統等領域。

2003 年，Schechner 等首次提出了利用偏振光學的去霧算法，通過偏振片獲取兩幅正交偏振角度下的圖像，手動選取天空區域估算大氣光強，根據大氣偏振特性估算場景深度，不依賴天氣的變化，可以實時去霧［4-5］。2009 年，Kaiming等首次提出暗通道的概念，基于彩色圖像提出暗通道先驗理論，結合霧霾天氣大氣成像模型，基于暗通道估計全局參數無窮遠處大氣光強，逐像素點計算大氣傳輸率并提出導向濾波的方法對其進行優化，即可實現針對單個圖像的去霧處理，這種方法簡單有效，復原效果好［6］。2011 年，周浦城等定義偏振圖像暗通道，提出一種自適應圖像復原方法，自動提取天空區域獲取大氣光強并基于最小歸一化互信息原則進行優化，根據大氣光強的變化規律對其進行修復實現去霧［7］。2020 年，張力通過合成最亮圖和最暗圖，利用天空區域偏振角分布，選取概率最大的角度值作為大氣光偏振角，從而估算大氣光偏振度，實現圖像去霧［8］。2022 年，姜雨彤等提出適應性雙通道先驗方法，以校正亮暗雙通道方法對白色和黑色像素點的透射率和大氣光值的錯誤估計結果［9］。同年，傅妍芳等提出了常微分方程（Ordinary Differential Equation，ODE）啟發的多級特征逐步細化及邊緣增強的去霧網絡，該網絡的去霧精度較高［10］。

然而，傳統方法存在需要人工交互選取天空區域，在無天空區域或天空區域有干擾時影響參數估計，復原圖像存在失真或噪聲等問題。因此，本文提出一種基于暗通道先驗原理的偏振圖像去霧方法，利用偏振相機獲取4 個偏振方向的偏振光強信息，根據大氣物理退化模型和暗通道先驗原理估算無窮遠處的大氣光強，無需手動選取天空區域，計算大氣傳輸率并經過導向濾波優化，最終復原圖像，實現了較好的去霧效果。

2 原 理

霧霾天氣時在空氣中漂浮著大量微小顆粒，大氣光在傳播過程中，由細小顆粒產生多次散射，是部分偏振光，偏振信息與大氣中的微粒和成像距離有關。而經過目標反射的光與大氣散射光不同，它的偏振信息不僅與大氣微粒有關，還與目標反射面的物理性質有關，所以二者的偏振信息存在差異［11-12］。霧天偏振成像模型如圖1所示。

系統采集到的光由兩部分組成，大氣光強和目標光強，總偏振光由大氣偏振光和目標偏振光組成，可表示為：

其中：D表示目標光強，A表示大氣光強，Ip表示總偏振光強，Dp表示目標偏振光強，Ap表示大氣偏振光強。

根據大氣散射模型［13］，來自目標的直接透射光由于空氣中霧霾粒子的散射和吸收作用，在傳播過程中呈指數衰減，到達光學系統的目標光強D可以由衰減模型表示：

其中：J(x，y)為目標光強，t(z(x，y))為大氣傳輸率，與傳輸距離有關，隨傳輸距離的增加呈現指數衰減，z(x，y)表示像素點(x，y)的圖像深度。

另一部分大氣光強A由太陽光經過霧霾粒子的散射形成，在傳播過程中呈指數增加，可以由大氣光模型表示：

其中A∞表示無窮遠處的大氣光強，是全局參量。

聯立上述式子可以得到目標光強J的表達式：

其中I(x，y)已知，估算出無窮遠處大氣光強A∞和大氣傳輸率t()z(x，y) ，即可恢復出去霧圖像J(x，y)。

3 去霧算法描述

偏振去霧算法流程如圖2 所示。首先，利用偏振相機獲取0°，45°，90°，135°偏振角度的圖像，計算Stokes 參量、偏振度以及偏振角圖像，從而計算不同偏振角度的透過光強Iθ，通過最小值濾波處理得到暗通道圖像Idark，根據暗通道先驗原理估算出無窮遠處的大氣光強A∞，并計算得到大氣傳輸率t，對t進行優化后，計算去霧后的目標光強J。

3.1 偏振特征提取

分焦平面相機采集到的灰度圖像尺寸為1 024×1 224，首先進行子圖分割，得到0°，45°，90°，135°四個角度的偏振光強，然后進行偏振信息的解算。Stokes 參量如下：

其中：I0，I45，I90，I135分別表示0°，45°，90°，135°相位的偏振光強，Ir表示右旋圓偏振光強，Il表示左旋圓偏振光強，V表示圓偏振分量。偏振光的圓偏振信息極少，可以忽略（V=0）。

偏振度和偏振角的計算公式為：

3.2 暗通道先驗原理

本文選用的偏振去霧算法基于暗通道去霧理論，一幅彩色圖像的暗通道可以表示為：

其中Jc(y)表示RGB 通道，Ω(x)表示以像素點x為中心的一個正方形窗口。

暗通道先驗理論［5］描述的是在絕大多數的非天空的戶外無霧圖像的局部區域里，某些像素總會有至少一個顏色通道有很低的值，換句話說，該區域光強度的最小值是一個很小的數。那么假設霧氣是均勻分布的，霧氣最濃的地方對應圖像上無窮遠處的天空區域，找到該區域便可實現大氣光信息的自動獲取。

暗通道中至少有一個顏色通道強度值很低的原因主要有：（1）影子，自然環境中樹木、山體、巖石等的投影，或者城市中樓房、建筑物、車輛等的陰影；（2）當物體顏色比較鮮艷時，比如綠色植物，紅色花朵，藍色湖面等，其RGB 通道中會有某個通道的強度值較低；（3）物體本身顏色較暗，比如深褐色的樹干和深灰色的石頭等。

彩色圖像可以得到RGB 三通道不同顏色的光強度信息，從而獲取暗通道圖像。偏振圖像通過對偏振信息的解算，得到光的偏振態信息，由Stokes 參量即可計算出θ偏振角度下的透過光強。Iθi表示θi角度下的偏振光強，其計算公式如下：定義偏振圖像的暗通道Idark為局部區域內不同偏振角度下偏振光強的最小值，計算公式如下：

其中：Iθi(s，t)表示θi方向的透過光強，W(x，y)表示以像素點(x，y)為中心的正方形窗口。

3.3 無窮遠處大氣光強估計

對無窮遠處大氣光強A∞的估算，根據亮度對暗通道圖像進行排序，記錄前0.1%亮度值的像素點位置，在原始有霧圖像I中尋找相應位置的點，選擇其中亮度最大的值作為A∞。

3.4 大氣傳輸率計算

由霧天偏振成像模型有：

對式（12）兩邊同時除以A并求兩次最小值運算有：

根據前述的暗通道先驗原理有：

代入可得：

引入修正因子ω，保留一定程度的霧，即：

代入I(x，y)、無窮遠處大氣光強A∞和大氣傳輸率t(z(x，y) )，得到去霧圖像，即：

4 實驗及結果分析

為了驗證本文所提方法的可行性和去霧效果，采用大恒圖像的相機（水星一代MER-502-79U3M-POL 工業數字相機）組裝鏡頭（HN-7528-2M-C2/3X）拍攝的圖像進行測試。偏振相機拍攝的場景一的原始圖像經過逐像素點分割后得到4 幅子圖，對應0°，45°，90°，135°偏振角度的偏振光強，如圖3 所示。

解算出Stokes 參量I，Q，U圖像如圖4 所示。計算出偏振角和偏振度，如圖5 所示。

圖4 Stokes 參量的解算結果Fig.4 Calculation results of stokes parameter

圖5 偏振角和偏振度的解算結果Fig.5 Calculation results polarization angle and polarization degree

通過Stokes 參量計算其他角度的偏振光強，在偏振角最小值和最大值之間等間距取100 個角度計算，得到三維矩陣Iθ（i，j，k），（i，j）表示圖像像素位置，k表示角度，然后篩選每個像素位置偏振光強的最小值，作為最暗圖。運用ordfilt2 函數對最暗圖進行最小值濾波，得到暗通道圖像，如圖6所示。窗口半徑越大，窗口內包含暗通道的概率越大，本文取窗口尺寸為16×16 像素，即最小值濾波函數ordfilt2 的半徑為16 像素。

圖6 暗通道圖Fig.6 Dark channel image

對暗通道光強進行排序，取前0.1%的像素，對應位置的原圖光強取平均值作為無窮遠處的大氣光強，即A_far=0.760 8。針對不同的霧氣濃度，通過調整修正因子ω進行一定程度的保留，本文取ω=0.9，計算得到的初始大氣傳輸率圖像如圖7（a）所示。運用guidedfilter 函數進行導向濾波［14］，以I作為引導圖，初始大氣傳輸率圖作為濾波輸入圖，導向濾波半徑應大于最小值濾波的半徑，否則在透射率圖中基本看不到細節信息，去霧后的圖像邊緣不明顯。本文濾波半徑r=30。為了防止計算中除以0 的錯誤以及某些計算結果過大，設置正則化參數eps=10-3，得到優化后的大氣傳輸率圖像，如圖7（b）所示。

圖7 大氣傳輸率圖像Fig.7 Atmospheric transport rate images

t值過小時，由：

計算出的去霧圖像J存在亮度過大，整體向白場過渡的問題，故一般設置一個閾值t0，當t

為進一步驗證本文算法不需要手動提取天空區域就能實現較好且穩定的去霧復原效果，選取Schechner 算法［5］和張力算法［8］對多幅圖像進行處理，去霧結果對比如圖9 所示。在手動提取天空區域的情況下，天空區域的選取會影響去霧結果，天空部分會過曝，存在黑色區域，影響圖像質量。張力算法［8］有一定的去霧效果，但樹林區域較為朦朧，細節不明顯。相比之下，本文方法恢復出的近處建筑物細節更豐富，電線、樹木等特征更清晰。

圖9 去霧效果對比Fig.9 Comparision of defogging effects

為了定量描述去霧前后的圖像質量，采用灰度方差（var）、平均梯度（MG）和圖像熵（com）3項評價指標進行分析。

灰度方差反映了圖像中各像素灰度值偏離圖像平均值的程度，灰度方差越大，說明圖像像素的灰度分布越廣泛，視覺效果越好，計算公式為：

平均梯度表示圖像灰度的變化率，反映了圖像的清晰度和紋理變化。平均梯度越大，圖像越清晰，計算公式為：

其中：M×N表示圖像的尺寸表示水平方向的梯度表示垂直方向的梯度。

圖像熵是衡量圖像信息豐富程度的重要指標，圖像熵越大，圖像的信息越豐富，圖像質量越好。圖像熵表示為圖像灰度級集合的比特平均數，計算公式為：

其中P(ai)為每一灰度級出現的概率，對數一般取2 為底。

表1 列出了不同方法處理場景一的去霧結果，對比表中的評價指標可知，相比于原始圖像，本文方法的灰度方差、平均梯度和圖像熵3 項指標均有明顯提升。其中，灰度方差提升了25%，平均梯度提升了30%，圖像熵提升了5%。雖然文獻［5］方法的灰度方差和平均梯度提升很大，但是通過圖9 可以看出，去霧圖像有一定程度的失真，圖像熵相比原圖像下降說明細節丟失，信息豐富程度變差。本文方法的各項評價指標均有提升，提升效果約是張力方法的兩倍。結果表明，采用本文方法進行去霧處理后，圖像的清晰度有了較大提升，視覺效果得到優化，目標的細節和特征被保留下來并得到增強，圖像質量最好。

5 結 論

本文通過提取偏振圖像的暗通道，基于大氣物理退化模型，不需要手動提取天空區域，自動獲取無窮遠處的大氣光強信息，計算得到大氣傳輸率并進行優化，實現了偏振圖像的去霧增強。實驗結果表明，本方法具有較好的去霧復原效果，顯著提高了原圖像的灰度方差、平均梯度和圖像熵，灰度方差提升了25%，平均梯度提升了30%，圖像熵提升了5%，改善了圖像的清晰度。本文的去霧模型比較簡單，沒有考慮空氣中微小顆粒對光進行多次散射現象的影響，在復雜場景下算法的穩定性有待驗證，未來需要進一步優化。