基于天空分割的單幅交通標志圖像去霧算法

李文龍，李興廣，胡冉冉，崔 煒

長春理工大學 電子信息工程學院，長春 130022

作為智能交通系統中的重要組成部分，交通標志識別系統（TSRS）為駕駛員提供實時的道路交通信息以提高駕駛安全性[1]。但在霧霾等能見度較低的惡劣天氣情況下，由于道路環境的可視性下降，導致TSRS采集到的交通圖像的色彩、對比度、清晰度等特征信息嚴重降質。因此需要對退化的有霧交通圖像進行去霧處理，還原出保證相關特征信息的清晰無霧圖像，以便用于后續精準的檢測和識別。

近年來，圖像去霧的方法根據原理的不同主要分為兩類：基于圖像增強和圖像復原[2-8]。其中，基于圖像增強的方法主要是通過增強霧天退化圖像的色彩和對比度來改善圖像的質量。該類方法本質上不僅沒有實現對圖像的去霧處理，而且可能會造成圖像中部分信息的丟失。基于圖像復原的方法選取退化的霧天圖像物理模型作為基礎，建立降質模型，反演出圖像的退化過程，通過參數的最優估計來補償降質圖像的失真部分，有效地減少了信息丟失，進而更好地提升了圖像的質量，是從根本上進行去霧的一類方法。因此，基于圖像復原的方法得到了更多相關學者的研究和關注。

在基于圖像復原的去霧方法中，Tan提出了通過最大化復原圖像的局部對比度的思路實現圖像去霧，但是由于缺乏對大氣光成分這一因素的考慮，導致去霧圖像色調過于飽和而導致失真[9]。Fattal在假定光的局部傳播和場景目標表面的投影局部不相干的前提下，提出一種估算場景反射率進而推導出場景透射率的方法來實現有霧圖像的去霧[10]。但該方法基于數理統計學，并且要求足夠的顏色信息，對于濃霧時顏色暗淡的圖像會因為統計信息的不足而導致復原后的圖像失真。He等人通過對大量的無霧圖像分析，借助先驗理論，提出了基于暗通道先驗（DCP）的單幅圖像去霧算法[11]。然而，對于天空等接近大氣光值的明亮區域的處理，應用DCP算法會出現顏色失真和亮度損失等現象，而且軟摳圖細化方法的時間復雜度較高。隨后，He等人又采用引導濾波技術[12]進一步提升了去霧速度。現在仍不斷地有對He等人的改進方法，如使用雙邊濾波[13-14]、拉普拉斯濾波聯合引導濾波等來優化透射率[15]等方法，提高了去霧后的圖像質量，但是均以DCP理論作為前提。針對DCP算法去霧后明亮區域質量不佳以及Halo效應問題，現有文獻又出現了許多基于天空區域識別實現對天空和非天空區域的透射率分別進行修正的解決方案[6-8]。如李加元等人通過邊緣跟蹤方法實現對天空區域的描繪，結合霧圖的亮度和梯度特征進一步篩選出相關區域，但是該方法對于圖像中的小面積灰白色場景物體的處理能力有待提升[6]。李堯羿等人通過天空區域特征先驗知識理論來實現霧天退化圖像的天空與非天空區域的分割，雖然結果具備一定的有效性和魯棒性，但是對于復雜的交通場景圖像，手動分割提取先驗知識需要較大的工作量[7]。譚龍江首先通過對天空區域和景物區域的透射率分別細化得到了初始粗略透射率圖，然后聯合自適應中值濾波和雙邊濾波進行二次細化[8]，雖然算法時間復雜度可觀，但仍存在提升空間。

考慮到TSRS多應用于車載裝置中，霧霾天氣下行車過程中，采集到的含有交通標志的圖像中勢必會包含不同比例的天空等明亮區域，如上所述，現有的方法雖然能夠取得相對較好的效果，但是均存在不同程度較高的計算復雜度、天空區域的色彩失真及信息丟失等問題。

針對以上問題，為實現霧天環境下TSRS采集到的單幅有霧交通標志圖像的快速、有效的去霧預處理，基于現有工作，提出一種新的基于天空分割的有霧單幅交通標志圖像去霧算法。首先根據大津算法（OTSU）求取分割閾值，由于交通標志圖像背景環境的復雜性，OTSU的分割效果欠佳，因此進一步結合有霧圖像的灰度特征得到自適應閾值實現天空和非天空區域的準確分割；再對分割后的天空區域和非天空區域分別進行處理；將分別處理后的圖像進行融合即得到復原圖像。對于采集到的嚴重降質的有霧圖像，使用基于高斯濾波的方法來提升去霧后圖像的清晰度[16]，以進一步滿足TSRS后續的檢測和識別的需求。

1 暗原色先驗理論

1.1 大氣散射模型

大氣散射物理模型如圖1所示。

圖1 有霧天氣中的成像過程Fig.1 Imaging process in foggy weather

其數學模型為：

其中，I(x)是輸入的有霧圖像，J(x)是輸出的無霧圖像，A是估計的大氣光值，t(x)為透射率，J(x)t(x)通常被視為直接衰減模型，A(1-t(x))稱作大氣光成像模型，I(x)為已知，A和t(x)都是未知。由于未知數個數多于方程個數，因此該問題的求解是一個病態問題，需要根據先驗信息進行求解。

1.2 暗通道先驗理論

暗原色先驗理論認為，在有霧圖像中，總是存在最小值趨近于0的暗原色像素點，即：

其中，J c(y)表示J的某一個顏色通道，Ω(x)是圖像中以像素x為幾何中心的窗口，Jdark(x)是圖像在Ω(x)鄰域內的暗原色，對于清晰無霧圖像，其值趨于0。

He等人[11]選取暗原色圖像中最大亮度像素的前0.1%像素，將其在原圖像中像素的亮度平均值作為大氣光值A的估計值。因此，可進一步假定透射率在一定范圍內是恒定的，定義為t?(x)。將式（1）整體除以A并進行取最小值操作，有：

結合清晰無霧圖像，其Jdark(x)值趨于0，可進一步推導出透射率的估計值為：

其中，ω是人為引入的修正常數（一般取值0.95），其作用是保留部分遠景處的霧，使人類視覺感覺得到景深的變化。隨后，設定下限值t0來限制t(x)，防止對比度過大。當t小于t0時，令t=t0=0.1，進而恢復的清晰無霧圖像為：

2 有霧交通標志圖像去霧算法

2.1 有霧圖像分割

霧天交通場景中，有霧交通標志圖像的前景目標一般色彩比較鮮艷和突出，天空區域等背景目標幾乎是純白或灰白色的狀態。通過大量實驗表明，應用基于邊緣檢測算法[17-18]來進行分割操作，所得到的圖像結構信息往往是較不完整的，這是因為霧使得圖像邊緣部分變得模糊，導致的分割效果不佳。使用基于卷積神經網絡的方法[19]能夠取得很好的分割效果，但是不可避免地存在時間復雜度較高的缺點，不能滿足TSRS實時性的要求。相比之下，OTSU不需過多考慮圖像邊緣特性以及對比度和亮度等特征，且算法復雜度較低，滿足霧天條件下TSRS處理有霧圖像的要求。

記圖像的灰度級個數為L，則圖像各點的灰度為i={1,2,…,L}。計算圖像的灰度直方圖，對任一灰度級的個數進行統計，得到f i，假定圖像的像素總數為M，有M=f1+f2+…+f L。則灰度級i出現的概率是：

以灰度值t作為分割閾值將圖像分割為前景（即目標）T0和背景（即天空區域）T1兩類，T0中i={1,2,…,t}，T1中i={t+1,t+2,…,L}。算法具體流程如下：

（1）分別計算前景部分和背景部分像素占比：ω0=由于滿足ω0+ω1=1,所以ω1=1-ω(t)=

（3）計算總平均灰度值μT和類間方差g：

g2是關于t的函數，所以當g2取最大時，即可得到最佳分割閾值T為：

通過上述閾值T可以將天空區域和非天空區域粗略地分離開來。但是由于道路交通場景環境復雜，前景目標種類較多，當圖像中存在較多的白色車輛、淺色建筑物等明亮物體時，會產生較多的噪聲，嚴重影響分割質量。對此，通過設計自適應閾值來進行進一步優化。

通過實驗發現，有霧交通圖像的天空或白色等明亮區域，在灰度直方圖上通常具有高尖峰特性，如圖2所示。

圖2 有霧交通圖像灰度圖和灰度直方圖Fig.2 Gray image and gray histogram of foggy traffic image

結合灰度圖像這一特性進一步求取自適應閾值。具體步驟如下：

將灰度直方圖進行歸一化處理，求取其概率分布函數F(x)。分別計算F(x1)=0.01和F(x2)=0.99處對應的灰度值Gx1和Gx2的值，以此得到直方圖的中心點X c,Xc=(Gx1+Gx2)/2；結合OTSU得到的閾值T，在區間(max(X c,T),A r)中，由二分搜索思想縮小直方圖區間[20]：

其中，max（）表示取最大值操作，A r為對有霧圖像粗略估計的大氣光值。最終的區間定義為[a,b]，在此區間找到直方圖中最小的極小值點，計算其對應像素點的灰度值，將其定義為最終的分割閾值Tfin。

分割后的結果如圖3所示。

圖3 原圖及分割圖Fig.3 Original image and segmented image

2.2 非天空區域處理

分割后的非天空區域仍滿足DCP理論，所以，該區域仍按照基于DCP的算法進行去霧處理。由1.2節，選取暗原色圖像中最大亮度像素的前0.1%像素作為估計的大氣光值A。根據公式（4）求得初始透射率t(x)，其中，由于其是假定在局部區域Ω(x)內的常量，所以結果較為粗糙，在處理較大梯度的景深邊緣時，尤其有霧交通標志圖像，其勢必都存在較大的景深，會導致復原圖像產生塊效應，影響后續的檢測和識別。因此，為了更加接近實際透射率值、保存更多的圖像細節，需要對透射率進行進一步細化操作。

He等人先后使用軟摳圖和引導濾波技術[11-12]對透射率進一步優化。但是軟摳圖法的時間和計算復雜度均較高，不適合實時系統。引導濾波雖然處理速度較快，但細化效果稍差，對于交通標志等梯度較大的景深邊緣的處理效果還有待提高。雙邊濾波是最常用的細化方法[13-14]，但處理結果會出現過于飽和的現象。綜合考慮細化效果和時間復雜度，采取自適應中值濾波結合快速雙邊濾波的方式對透射率進行優化，在保證優化效果的同時滿足系統實時性要求。自適應中值濾波的流程圖[8]如圖4所示。

圖4 自適應中值濾波流程圖Fig.4 Flow chart of adaptive median filtering

圖4中，S xy是濾波器的作用區域，該區域的中心點為一幅圖像中的第y行第x列的像素點，初始大小設置為5×5，以奇數順序遞增。Smax是S xy所允許的最大窗口尺寸，設置為默認取初始圖像大小的1%。Z xy是圖像中y行第x列個像素點的灰度值。Zmin、Zmed、Zmax分別是S xy中最小、中間、最大灰度值。

通過上述自適應中值濾波處理后，圖像中亮度均勻區域中突出的噪點被有效地抑制，同時能更好地保護圖像邊緣。然而，自適應中值濾波會不可避免地帶來細節高頻部分的模糊化。對此，引入雙邊濾波進行處理，進一步準確地細化透射率。為了提高算法速度，滿足TSRS實時性要求，選取快速雙邊濾波[21]的方法對透射率進行進一步修正。

雙邊濾波是一種非線性濾波器，它以周邊像素亮度值的加權平均來表示某一像素強度，加權平均基于高斯分布。在計算中心像素時，它的權重在考慮了像素的歐氏距離的同時，也考慮了像素范圍域中的輻射差異。

對于一幅圖像f(x)，它的雙邊濾波表達式為：

其中，ω(x,y)衡量鄰域中心點x和鄰近點y的幾何鄰近度，它的作用是將平均值定位在x的鄰域內。?(u,v)衡量鄰域中心f(x)與其相鄰像素f(y)的強度之間的相似性。歸一化因子η用于保留常數，特別是局部平均值。

對經過自適應中值濾波后的透射率進一步根據雙邊濾波獲得的最終透射率為：

其中，φ(x)是歸一化系數，Ω(x)是中心點(x,y)處以(2N+1)×(2N+1)為大小的鄰域窗口，N值越大，說明平滑效果越好，但同時也會帶來計算復雜度的升高。D表示圖像強度。G是受D影響的高斯函數。t0(x)是經過自適應中值濾波處理后的透射率。應用文獻[21]中通過將三角函數用于雙邊濾波器的范圍內核的方法，大大提高了運行速度。

圖5是不同透射率細化方法所得到的透射率圖。由圖可知，軟摳圖方法處理后結果較為模糊，引導濾波處理后的透射率圖亮度較高，整體質量較為平滑，但是會造成原圖中部分信息（如塔形建筑物）的丟失。相比之下，本文細化方法所得的透射率圖表現較好。運行時間上，文中方法遠低于軟摳圖方法，較之于引導濾波技術，時間成本也節約2/3以上。根據細化后的透射率圖即可根據公式（5）恢復出非天空區域的無霧圖像。

圖5 細化后的透射率圖簡明對比Fig.5 Concise comparison of refined transmittance graph

2.3 天空區域處理

由2.1節分析可知，采集到的有霧交通標志圖像通常含有部分天空區域，天空區域的亮度和對比度等特征變化尤為緩慢，即無深度突變，像素值的分布較為均勻。利用天空區域這一特性，采取直方圖均衡化算法對該區域進行處理，通過將原始圖像的直方圖根據積分概率密度函數轉化為概率密度為1（理想情況）的圖像，達到提高對比度的目的。

2.4 圖像融合

將處理后的天空非天空圖像通過圖像融合技術進行融合，求得恢復的清晰無霧圖像。

文中天空區域的直方圖均衡化運行時間極短，相比之下，等價于只對非天空區域進行基于改進的DCP方法進行去霧，因此，對于有霧交通標志圖像的去霧處理的時間復雜度大大降低，提高了算法的速度。進一步的討論將在第3章給出。

2.5 低質圖像清晰化處理

由于采集設備的優劣，以及有霧圖像本身的質量下降的影響，目前，實際交通場景有霧圖像進行去霧處理后，會有部分圖像質量嚴重下降，尤其是清晰度等指標下降明顯，這十分不利于TSRS后續對交通標志進行檢測和識別。對此，采取一種基于高斯濾波的方法來提升去霧后圖像的清晰度。

變換模型為：

其中，U(x,y)是變換后的圖像，V(x,y)是輸入的待清晰化處理的圖像。λ是可控因子，用來增強變換幅度。δ(x,y)是與V(x,y)同維度的變化矩陣，它是利用高斯高通濾波器卷積獲取的圖像中的高頻部分。高斯濾波器為：

其中，Q為濾波器內某一像素點到濾波器中心的距離，Q0是濾波半徑。部分實例化結果如圖6所示。從圖中可知，高斯濾波處理后的圖像清晰度明顯提高，標志區域的視覺可視感明顯增強，為后續的檢測和識別奠定了良好基礎。

圖6 低質圖像去霧后清晰化處理結果Fig.6 Clear processing results of low-quality images after defogging

3 實驗結果與分析

在Intel?CoreTMi5-3470 CPU@3.20 GHz，內存12.0 GB，64位Win10操作系統的計算機上，通過Matlab2018b平臺，分別采用He等人DCP算法[11]、Zhou等人基于Retinex的去霧算法[3]、王園園等人基于雙邊濾波的去霧方法[14]，后文簡稱為Ref.[14]、未使用DCP理論而是引入霧密度預測優化的Ling等人的方法[4]以及本文方法分別對霧天交通標志圖像進行處理。由于目前尚沒有標準的霧天道路交通場景的視頻和圖片庫，實驗所采用的圖像數據均來源于自制數據集，共計320張有霧交通場景圖像，選材源于項目組自采、Google網絡，RTTS數據集[22]，分辨率從550×266到1 366×768不等。由于現有圖像去霧相關研究領域中沒有類似準確率一類的統一評估參數，僅能對各圖像進行單獨評價。因此，實驗結果客觀評價采取峰值信噪比（PSNR）、結構相似度（SSIM）、信息熵（IE）、平均梯度（AG）以及運行時間等指標來衡量。由于篇幅有限，僅選取四幅含有不同天空區域占比的有霧交通標志圖像分別進行去霧結果的主客觀對比和分析。其中，圖像分別命名為Palace、Expressway、Toll station和Pedestrians。

3.1 去霧效果主觀評價

圖7展示了原始待去霧圖像以及利用各種方法去霧后的處理結果。從圖7可知，He等人的方法去霧后圖像較為自然，但是經過對比，發現算法去霧效果稍差，特別對于大面積天空區域，存在嚴重的光暈效應；Zhou等人方法基于圖像增強技術，雖然去霧后圖像獲得了較高的亮度和對比度，但由于未保持恒定色調，會有過曝光或者色彩畸變現象產生，這嚴重不利于保留交通標志信息，影響TSRS后續的檢測和識別；如前所述，Ref.[14]中的基于雙邊濾波的圖像去霧算法處理結果存在過飽和現象，導致圖像的整體質量欠佳；Ling等人的基于霧密度預測的方式進行去霧，雖然取得了較好的去霧效果，但是由于該方法忽略了先驗信息，導致對濃霧區域進行處理時，部分圖像會出現去霧后圖像黃色模糊的現象，部分區域處理過于嚴重，造成部分信息丟失。相比之下，本文算法雖然對極遠處目標和夜間霧圖的處理能力有待優化，但日間霧圖的去霧后圖像更加真實和清晰，對于天空區域的顏色失真以及光暈現象都能很好地避免，保留了更加豐富的圖像細節，整體效果更好，能夠滿足后續的TSRS對于交通標志區域的檢測和識別操作的需要。

圖7 不同算法去霧結果對比Fig.7 Comparison of defogging results with different methods

3.2 去霧效果客觀量化評估

有霧圖像經過復原，圖像的細節、顏色以及對比度等指標均有一定的改善。為了進一步評價各算法的去霧質量，分別采用前述各項指標對去霧后圖像進行客觀對比分析。其中，PSNR值越大，表示失真越小。SSIM值越大，說明人眼所得到的結構信息越多。IE表征一幅圖像中的有用信息的多少，其值越大，有用信息越多。AG越大對應越高的清晰度。此外，運行時間越短，實時性越好。

表1～3分別描述了五種圖像去霧算法的客觀評價參數的數值。

表1 各圖像PSNR和SSIM對比Table 1 Comparison of PSNR and SSIM of each image

從表1至表3可知，在PSNR和SSIM方面，五種算法均具備較好的性能，但是本文算法結果的PSNR值均最高，說明去霧處理后的失真更小。雖然部分圖像SSIM值略小于He等人原始算法，但是對于大多數含有天空區域的有霧圖像，本文算法處理效果更優。圖像IE方面，各算法均能不同程度上保留圖像信息，雖然部分結果稍遜于Zhou等人的方法，但整體來講丟失的信息更少，即能最大限度地保留圖像細節。本文算法AG指標略勝一籌，主要是引入了高斯濾波清晰化處理。所以，對于四個客觀質量評價指標整體而言，文中去霧方法的綜合能力明顯優于其他四種方法。此外，運行時間消耗上，He、Zhou等人算法表現一般。Ling等人算法消耗的時間較長，這是因為該方法沒有利用暗先驗知識，而是通過預測感知的方法進行去霧，這消耗了一定的時間。特別地，本文算法運行速度與Ref.[14]中的基于雙邊濾波的去霧方法相差不大，但本文的去霧結果明顯優于Ref.[14]中方法，具備更好的保留整幅圖像有用信息的能力。因此，綜上所述，本文方法基本能夠滿足TSRS的要求。

表2 各圖像IE和AG對比Table 2 Comparison of IE and AG of each image

表3 處理各圖像時間消耗對比Table 3 Comparison of running time of processing each image s

4 結語

基于TSRS在霧天環境下的應用，傳統的去霧算法在實際應用中效果不理想，提出了一種基于天空區域分割的霧天單幅交通標志圖像去霧算法。首先依據OTSU算法結合圖像灰度特征得到自適應閾值將霧天交通標志圖像進行天空區域和非天空區域的分割，對天空區域和非天空區域采取不同的方法分別進行去霧處理，隨后將分別處理后的圖像進行融合，得到去霧后的清晰無霧圖像，最后，針對現有TSRS霧天采集的常規圖像普遍存在質量較差問題，使用一種基于高斯濾波的去霧后圖像清晰化處理方法。經過對實驗結果的主客觀分析表明，相比于其他幾種去霧方法，不僅明顯克服了現有去霧方法在實際應用中的缺點，去霧后的質量也較高，能夠較好地保留圖像信息，具備較好的清晰度，而且時間復雜度較低，基本滿足TSRS應用需求。最后，本文算法雖然取得了較好的效果，但是算法對于極遠處目標和夜間條件下的去霧能力仍有待優化，這將是下一步工作的重點。