基于深度多級小波U-Net 的車牌霧圖去霧算法

陳炳權，朱熙，汪政陽，梁寅聰

（吉首大學信息科學與工程學院，湖南吉首 416000）

在大霧天氣下使用光學成像器件（如相機、監控攝像頭等）對目標場景或物體進行拍攝時，往往會使得圖像對比度低，邊緣、字符等細節信息模糊.圖像去霧是圖像處理中典型的不適定問題，旨在從霧天圖像中復原出相應的無霧圖像，作為一種提升圖像質量的方法，已被廣泛應用于圖像分類、識別、交通監控等領域.近年來，針對不同場景（室內家居場景、室外自然場景、交通道路場景、夜間霧霾場景等）下均勻霧度或非均勻霧度圖像的去霧技術引起了廣泛關注與研究，但由于實際霧霾對圖像影響的復雜多變性，從真實的霧天圖像中復原無霧圖像仍具有諸多挑戰性.

圖像去霧技術發展至今，主要分為以下三類：基于數學模型的去霧技術，如直方圖均衡［1］、小波變換［2］、色彩恒常性理論［3］（Retinex）等；基于大氣散射模型（ASM）和相關統計先驗的去霧技術，如暗通道先驗［4-5］（DCP）、色衰減先驗［6］（CAP）、非局部先驗［7］（NLP）等；基于深度學習的去霧技術，如Deha?zeNet［8］、DCPDN［9］、AODNet［10］等.近年來，深度卷積神經網絡在計算機視覺中應用廣泛，2019 年Liu等［11］認為傳統的卷積神經網絡（CNN）在采用池化或空洞濾波器來增大感受野時勢必會造成信息的丟失或網格效應，于是將多級小波變換嵌入到CNN中，在感受野大小和計算效率之間取得了良好的折中，因而首次提出了多級小波卷積神經網絡（MWCNN）模型，并證實了其在諸如圖像去噪、單圖像超分辨率、圖像分類等任務中的有效性.同年，Yang 等［12］也認為離散小波變換及其逆變化可以很好地替代U-Net中的下采樣和上采樣操作，因而提出了一種用于單幅圖像去霧的小波U-Net網絡，該網絡與MWCNN結構非常相似.2020 年，Yang 等［13］將多級小波與通道注意力相結合設計了一種小波通道注意力模塊，據此構建了單幅圖像去雨網絡模型.同年，Peng 等［14］則將殘差塊與MWCNN 相結合提出了一種用于圖像去噪的多級小波殘差網絡（MWRN）.2021年，陳書貞等［15］在已有的MWCNN 結構上加入多尺度稠密塊以提取圖像的多尺度信息，并在空間域對重構圖像進行進一步細化處理，以彌補小波域和空間域對圖像信息表示存在的差異性，從而實現了圖像的盲去模糊.

為了解決大霧天氣下車牌圖像對比度低和邊緣、字符等信息模糊不清的問題，很多研究人員開始將已有的圖像去霧技術應用于車牌識別的預處理中.但大多數只是對已有圖像去霧算法進行了簡單改進，如對Retinex 或DCP 等去霧算法進行改進，直接應用于車牌檢測識別中.雖然取得了一定的去霧效果，但其并沒有很好地復原出車牌圖像的特征，且很難應對中等霧和濃霧下的車牌圖像.2020 年王巧月等［16］則有意識地針對車牌圖像的顏色和字符信息進行車牌圖像的去霧，提高了車牌圖像的質量.

受上述研究的啟發，本文提出一種基于深度多級小波U-Net 的車牌霧圖去霧算法，以端到端的方式來實現不同霧度下不同車牌類型的去霧.首先，提出了一種結合DWT、通道注意力（CA）和像素注意力（PA）的三分支結構，該結構可以對編碼器每層輸出特征的通道和像素進行加權處理，從而讓去霧網絡聚焦于車牌霧圖中的有霧區域；其次，在解碼器中引入“SOS”增強模塊（“SOS”Block）來對解碼器和下層輸入的特征進行進一步融合和增強，提高去霧圖像的峰值信噪比，并在U-Net 編解碼結構之間進行了層與層之間的連接，以此來充分利用不同網絡層和尺度上的特征信息；最后，為彌補小波域和空間域之間網絡表達圖像信息的差異，提出了一種結合跨尺度聚合（CSA）的多尺度殘差增強模塊（CSAE Block），在空間域上進一步豐富網絡對于圖像細節信息的表達，有效地提高去霧圖像的質量.

1 去霧網絡結構

本文去霧網絡結構如圖1所示.

圖1 去霧網絡結構Fig.1 Defogging network structure

該網絡主要分為A 與B這2大模塊，前者在小波域中實現對車牌霧圖xLPHaze的去霧，后者在空間域上對模塊A 輸出的無霧圖像進行進一步優化，模塊A的網絡結構參數見表1.整個網絡結構的輸出為：

表1 模塊A網絡結構參數Tab.1 Network structure parameters of module A

式中：yB(?)和yA(?)分別為模塊A 和B 的輸出，θA和θB分別表示模塊A和B的可學習參數.

1.1 小波U-Net

二維離散小波變換（2D-DWT）可以實現對給定的圖像I的小波域分解，分解過程可視為將圖像I與4 個濾波器進行卷積，即1 個低通濾波器fLL和3 個高通濾波器（fLH、fHL和fHH），這4個濾波器（即卷積核）分別由低通濾波器fL和高通濾波器fH構成.以Haar 小波為例，該卷積核表示為：

因此，2D-DWT 可以通過將輸入圖像I與4 個濾波器進行卷積和下采樣來實現，從而獲得4 個子帶圖像ILL、ILH、IHL和IHH.其操作定義如下：

其中：?表示卷積操作；↓2表示尺度因子為2的標準下采樣操作.低通濾波器用于捕獲圖像中光滑的平面和紋理信息，其它3 個高通濾波器則提取圖像中存在的水平、垂直和對角線方向上的邊緣信息.同時，由于2D-DWT 的雙正交性質，可以通過二維逆DWT 的精確重建出原始圖像.2D-DWT 及其逆變換的分解和重建示意圖如圖2所示.

圖2 2D-DWT及其逆變換Fig.2 2D-DWT and its inverse transformation

本文將2D-DWT 及其逆變換嵌入到U-Net 網絡結構中，改善原始U-Net 網絡的結構.首先，對輸入的3 通道車牌霧圖進行離散小波變換處理，輸出圖像的通道數變為原來的4 倍，圖像大小變為原來的；然后，使用一個單獨的卷積層（“3×3卷積+Lea?kyReLU”）將輸入圖像擴展為16 通道的圖像；最后，在U-Net 的每層中迭代使用卷積層和離散小波變換用于提取多尺度邊緣特征.

1.2 基于2D-DWT 的通道-像素聯合注意力塊（DCPA Block）

在去霧網絡中平等對待不同的通道和像素特征，對于處理非均勻霧度圖像是不利的.為了能靈活處理不同類型的特征信息，Qin 等［17］和Wu 等［18］均采用CA 和PA，前者主要用于對不同通道特征進行加權，而后者則是對具有不同霧度的圖像像素進行加權，從而使網絡更關注霧度濃厚的像素和高頻區域.

引入Hao-Hsiang Yang 等［13］的小波通道注意力塊，本文提出了一種基于二維DWT 的通道-像素聯合注意力模塊，將DWT、CA和PA構建并行的三分支結構，如圖3所示.

圖3 基于二維DWT的特征融合注意力模塊結構Fig.3 Attention module structure of feature fusion based on two-dimensional DWT

其中，兩分支結構的注意力塊結合了PA（上分支）和CA（下分支）的特點，將具有通道數為C，高和寬分別為H、W的特征圖x∈RC×H×W分別輸入到CA和PA 中，前者通過平均池化將C×H×W 的空間信息轉換為C×1×1 的通道權重信息，而后者則通過卷積來將C×H×W 的圖像轉換成1×H×W.CA 由一個平均池化層、一個卷積層和一個LeakyReLU 層構成，其輸出為：

式中：yCA∈R1×H×W；表示卷積核大小為i×i、步長為j的卷積操作；LeakyReLU0.2(?)表示參數為0.2的LeakyReLU 激活函數；AvgPool(?)表示平均池化操作.

類似地，PA 有一個卷積層和一個LeakyReLU層，但沒有平均池化層，其輸出為：

式中：yPA∈RC×1×1.CA 和PA 通過逐像素相加，并共用一個Sigmoid 激活函數來分別為輸入圖像通道和像素配置相應的權重參數，其輸出為：

式中：yA∈RC×H×W；⊕表示逐元素相加；Sigmoid(?)表示Sigmoid激活函數.最后，和經離散小波變換、卷積層和殘差組處理后的特征圖進行逐元素相乘，從而實現對特征圖的加權，其最終輸出為：

式中：yDCPA∈RC×H×W；DWT(?)為離散小波變換；?表示逐元素相乘；ResGroup(?)表示殘差組函數.

1.3 層間多尺度聚合（LMSA）

受到Park等［19］在圖像去霧任務中采用多級連接來復原圖像細節信息的啟示，將U-Net編碼器中前3層中DCPA Block 的輸出進行跨層和跨尺度的特征聚合，使網絡能充分利用圖像潛在的特征信息，其結構如圖4所示.

圖4 層間多尺度聚合結構Fig.4 Multi-scale aggregation structure

式中：FC(?)表示全連接層函數；ReLU(?)為ReLU非線性激活函數.SEBlock的結構如圖5所示.

圖5 SEBlock結構Fig.5 SEBlock structure

通過“LeakyRelu-Conv-LeakyRelu”操作減少每層輸出特征的通道數，輸入到U-Net解碼器中前3層的“SOS”Block中，提升重構圖像的峰值信噪比.

U-Net 網絡中的第4 層則聚合前2 層的DCPA Block 輸出特征和第3層的DWT 輸出特征，同樣經過SEBlock 和“LeakyRelu-Conv-LeakyRelu”操作后作為第4層的輸入特征進行后續操作.其數學表達式為：

1.4 “SOS”增強模塊（“SOS”Block）

從Romano 等［20］和Dong 等［21］對“Strengthen-Operate-Subtract”增強策略（“SOS”）的開發和利用中可知，該增強算法能對輸入的圖像特征進行細化處理，可以提高輸出圖像的峰值信噪比.因此，在本文的車牌圖像去霧網絡解碼器結構中，直接將Dong等［21］采用的“SOS”增強算法嵌入到U-Net結構中，提升車牌去霧圖像的質量.Dong 等［21］所采用的“SOS”增強算法的近似數學表達式如下：

其中：I為輸入霧圖像為第n層估計的去霧圖像；I+表示使用輸入霧圖進行增強的圖像；g(?)表示去霧方法或者優化方法.

在U-Net 中編解碼器之間的嵌入方式如下：將U-Net 編解碼器之間的連接方式改為了逐元素相加，即編碼器第i層輸出的聚合特征加上對應的解碼器的第i層輸入特征（經上采樣操作得到與相同的圖片大小）；將逐元素相加后的輸出接入到優化單元（即殘差組）中進行進一步的特征細化，隨后減去解碼器的第i層輸入.通過上述嵌入方式，模塊輸出為：

其中：↑2 表示尺度因子為2 的上采樣操作.其與UNet相結合的結構示意圖如圖6所示.

圖6 “SOS”深度增強模塊Fig.6 "SOS"depth enhancement module

1.5 跨尺度聚合增強模塊（CSAE Block）

為了彌補小波域中去霧網絡所忽略的精細空間域圖像特征信息，本文提出了一種基于殘差組的跨尺度聚合增強模塊（CSAE Block），對小波域網絡（模塊A）最后輸出的重構圖像進行空間域上的圖像細節特征補充.CSAE Block結構如圖7所示.

圖7 CSAE Block結構Fig.7 CSAE block

CSAE Block 主要由卷積層（即“3×3 卷積-Lea?kyReLU”）、殘差組、平均池化、CSA 和級聯操作構成.首先，卷積層和殘差組負責對模塊A 輸出的空間域圖像y模塊A進行特征提取，平均池化將輸入特征分解為4 個不同尺度和的輸出，即：

然后，CSA 實現對輸入的不同尺度、空間分辨率的特征信息進行聚合，從而達到在所有尺度級別上有用信息的融合，并在每個分辨率級別上生成精細特征；最后，通過“LeakyRelu-Conv-LeakyRelu”操作來對輸入特征的通道數進行調整.

該模塊可以通過聚合不同尺度之間、不同分辨率之間的特征來使去霧網絡獲得較強的上下文信息處理能力.該聚合操作可表示如下：

綜上所述，CSAE Block總的輸出表達式為：

其中yCSACat表示對上采樣為統一大小的輸出特征進行級聯操作.

1.6 損失函數

為了獲得更好的去霧效果，本文使用3 個損失函數（有圖像去霧損失Lrh、邊緣損失Ledge以及對比度增強損失Lce）作為網絡訓練的總損失Ltotal，即：

其中：α，γ和λ均為任意非負常數.

1）圖像去霧損失函數.本文將L1損失和L2損失進行簡單結合，構成車牌圖像去霧損失函數：

式中：N表示輸入圖像像素數；Igt為干凈圖像；Ihaze為車牌霧圖；FNet(?)表示車牌去霧網絡函數.一方面通過L1損失函數來獲得較高的PSNR 和SSIM 值，另一方面則通過L2損失函數來盡可能提高去霧圖像的保真度.

2）邊緣損失函數.為了加強輸出去霧圖像的邊緣輪廓信息，本文利用Sobel 邊緣檢測算法來獲得車牌去霧圖像和干凈圖像的邊緣輪廓圖，分別為和計算兩者的L1范數，獲得邊緣損失函數：

3）對比度增強損失.為了提高車牌去霧圖像的顏色對比度，本文最大限度地提升每個單獨顏色通道的方差，即最大化如下表達式：

式中：x表示圖像的像素索引為去霧網絡輸出圖像FNet(Ihaze)的平均像素值.值得注意的是，所期望的輸出去霧圖像應該增強其對比度，所以Lce需要最大化，因此在總損失Ltotal中應減去該項.

2 訓練與測試

2.1 車牌霧圖數據集（LPHaze Dataset）的制作

為了解決車牌去霧網絡訓練過程中缺失的車牌霧圖數據集問題，受RESIDE 數據集制作方法的啟示，本文采用成熟的ASM 理論來進行車牌霧圖數據集的制作.車牌圖像數據主要來源于OpenITS 提供的OpenData V3.1-SYSU 功能性能車牌圖像數據庫，并以中科大開源數據集CCPD［22］作為補充，具體制作方法如下：

1）預處理.從OpenITS 和CCPD 數據集中隨機選取2291 張清晰圖像，并對這些清晰車牌圖像的車牌區域進行截取；

2）配置大氣散射模型參數值.參照RESIDE 數據集所選取的參數值范圍，隨機選取如下一組大氣光值A=［0.6，0.7，0.8，0.9，1.0］和一組大氣散射系數值β=［0.4，0.6，0.8，1.0，1.2，1.4，1.6］，并將場景深度d(x)置為1；

3）合成車牌有霧-無霧圖像對.采取一張清晰車牌圖像對應多張車牌霧圖的方法來合成圖像對，即根據大氣散射模型，結合步驟2 中選定的參數值，以一張車牌無霧圖像對應35 張有霧圖像的方法來合成數據集.合成車牌霧圖示例如圖8所示.

圖8 合成車牌霧圖示例Fig.8 Example of fog map of composite license plate

4）劃分訓練集和驗證集.訓練集中干凈車牌圖像共1 697 張，對應的車牌霧圖共59 395 張；驗證集中干凈圖像共594張，對應車牌霧圖共20 790張.

2.2 實驗設置

本文采用自制的車牌霧圖數據集（LPHaze Data?set）作為車牌圖像去霧網絡的訓練和驗證數據，其中所有圖像像素大小均設置為64×128×3，batch size為64.并對訓練數據進行數據增強操作：隨機水平翻轉和隨機垂直翻轉（翻轉概率隨機取值0 或1），以提升網絡的魯棒性.此外，在訓練過程中，使用Adam優化器來優化網絡，其參數均采用默認值（β1=0.9 和β2=0.999），并通過梯度裁剪策略加速網絡收斂，訓練800 個epoch，初始學習率為1e-4，總損失函數中α=1、γ=0.1 和λ=0.01.采用Pytorch 包進行車牌霧圖去霧網絡結構代碼的編寫和訓練，整個訓練過程均在NVIDIA Tesla T4的顯卡上運行.

實驗主要包括兩個部分：其一，測試本文提出的車牌霧圖去霧網絡模型，其二，對其進行消融實驗.上述實驗在合成車牌霧圖和自然拍攝的車牌霧圖上進行測試，所有測試圖像均隨機選自OpenITS 提供的車牌圖像數據庫（與LPHaze Dataset 訓練集中的數據不重合），并從測試結果中選取如下5 種組合類型進行定性和定量分析，分別為（A=0.6，β=0.8）、（A=0.7，β=1.0）、（A=0.8，β=1.2）、（A=0.9，β=1.4）和（A=1.0，β=1.6），同時對其依次編號為組合A到E.

3 結果與分析

3.1 測試實驗

1）合成車牌霧圖去霧結果

為了進一步評估算法性能，將本文算法與最近出現的經典去霧算法（基于引導濾波器的暗通道先驗算法［4］（GFDCP）、基于深度學習的端到端的去霧網 絡［8］（DehazeNet）、端到端的一體化去霧網絡（AODNet）、端到端門控上下文聚合去霧網絡［23］（GCANet）和端到端特征融合注意力去霧網絡［17］（FFANet））進行比較.以上算法統一在LPHaze Data?set 的驗證集上進行測試，并選取其中5 類合成車牌霧圖的測試結果進行實驗分析，其結果見表2.

表2 合成車牌霧圖去霧圖像的PSNR（dB）/SSIM 均值Tab.2 PSNR（dB）/SSIM mean of defogging image of composite license plate fog image

由表2可以看出，在5類不同大氣光和散射系數的合成車牌霧圖上，與GCANet 得到的結果相比，在PSNR均值上分別提高了5.64、6.74、8.84、10.52、11.88 dB，SSIM均值上則分別提高了0.036 8、0.059 9、0.099 1、0.149 6、0.222 5.同時，在圖9 中的PSNR 和SSIM 均值曲線圖中亦可知，在重構圖像質量方面，本文算法在處理不同霧度的合成車牌霧圖上明顯優于上述5 類經典算法.最后，從合成車牌霧圖的去霧圖像中選取部分圖片進行效果展示，如圖10 所示.從去霧效果中可以直觀感受到，本文算法相較于其它算法而言，具有較少的霧度殘留以及顏色失真.

圖9 6種算法在5類合成車牌霧圖上的PSNR和SSIM均值曲線Fig.9 PSNR and SSIM mean curves of 6 algorithms on 5 types of composite license plate fog map

圖10 合成車牌霧圖去霧效果展示Fig.10 Fog removal effect display of composite license plate

2）自然車牌霧圖去霧結果

本文還對實際拍攝的自然車牌霧圖進行測試，并與上述5 種經典算法的去霧效果進行視覺比較.該測試數據選自OpenITS 的車牌圖像數據庫，共915 張實際拍攝的車牌霧圖，視覺對比結果如圖11 所示.

從圖11 可知：在處理常見的藍底車牌霧圖時，本文算法很少出現過度曝光和圖像整體偏暗的問題，且霧度殘留也很少；對于其它底色的車牌霧圖（如圖11 中的黃底和藍底車牌），本文算法在去霧效果上相較于上述5 種經典算法仍能保持自身優勢，并且在顏色、字符等圖像信息上也能得到較好的恢復.

圖11 實際拍攝的車牌霧圖去霧效果展示比較Fig.11 Comparison of defogging effect of actual license plate fog map

3.2 不同模塊對網絡性能的影響

為了分析其中各個模塊的重要性，本文在LP?Haze Dataset 數據集上進行消融研究分析，以基于ResGroup 和“SOS”Block 的MWCNN 去霧網絡作為基準網絡模塊，對于其他不同的網絡模塊，其簡化形式及說明如下，R1：基于ResGroup 和“SOS”Block 的MWCNN 作為基準網絡，該網絡不包含DCPA Block、LMSA 和CSAE Block；R2：具有DCPA Block 的基準網絡；R3：具有DCPA Block、LMSA 和CSAE Block 的基準網絡，即最終的車牌霧圖去霧網絡.上述網絡模塊均只訓練150 個epoch，且初始學習率均為1e-4，并在LPHaze Dataset 的驗證集上進行測試，其測試結果如表3所示.

表3 不同網絡模塊在LPHaze Dataset的驗證集上測試結果的均值Tab.3 Mean value of test results of different network modules on the verification set of LPHaze Dataset

由表3 可得，在不加入DCPA Block、LMSA 和CSAE Block 的情形下，PSNR 和SSIM 的均值分別可以達到22.47 dB 和0.942 1，而在加入三者后，PSNR和SSIM 均值則分別提升了0.8 dB 和0.009 2，從而使網絡能重建出高質量的去霧圖像.

3.3 不同損失函數對網絡性能的影響

為了分析損失函數的有效性，本文算法分別采用L1、L2、Lrh（即L1和L2損失的簡單結合）和Ltotal這四類損失函數來進行網絡模型的訓練，訓練150 個ep?och，且初始學習率為1e-4.分別在LPHaze Dataset 的驗證集上進行PSNR 和SSIM 的指標測試，其實驗結果如表4所示.從表4可知，只使用Lrh損失函數時，平均PSNR 和SSIM 可達到23.06 dB 和0.947 1，且相較于單獨使用L1或L2時均有著明顯提升.而使用總損失函數Ltotal時，平均PSNR 和SSIM 分別提升了0.21 dB 和0.004 2，從而使網絡性能得到較大的改善.

表4 不同損失函數下車牌去霧網絡測試結果Tab.4 Test results of license plate defogging network under different loss functions

4 結論

本文提出了一種基于深度多級小波U-Net 的車牌霧圖去霧算法，該算法以MWCNN 作為去霧網絡主體框架.首先，為了在小波域和空間域中盡可能地整合不同層級和尺度的圖像特征，引入了“SOS”增強策略，并在MWCNN 中間進行跨層連接，以此對圖像特征進行整合、完善和優化；其次，本文將像素注意力、通道注意力和離散小波變換進行有效融合，從而盡可能去除車牌霧圖中的霧度；最后，通過跨尺度聚合增強模塊來彌補小波域和空間域之間存在的圖像信息差異，進一步提高了重構圖像質量.自然車牌霧圖和LPHaze Dataset 的驗證集上的實驗結果表明，在處理具有不同大氣光照和霧度的車牌霧圖上，本文算法具有較好的去霧表現，并且在處理具有不同底色的車牌霧圖時具有一定的優勢.