基于深度多級小波U-Net的車牌霧圖去霧算法

陳炳權(quán) 朱熙 汪政陽 梁寅聰

摘要：為了解決霧天拍攝的車牌圖像邊緣模糊、色彩失真的問題，提出了端到端的基于深度多級小波U-Net的車牌霧圖去霧算法.以MWCNN為去霧網(wǎng)絡(luò)的主體框架，利用“SOS”增強(qiáng)策略和編解碼器之間的跨層連接整合小波域中的特征信息，采用離散小波變換的像素-通道聯(lián)合注意力塊降低去霧車牌圖像中的霧度殘留.此外，利用跨尺度聚合增強(qiáng)塊補(bǔ)充小波域圖像中缺失的空間域圖像信息，進(jìn)一步提高了去霧車牌圖像質(zhì)量.仿真實驗表明，該網(wǎng)絡(luò)在結(jié)構(gòu)相似度和峰值信噪比上具有明顯的優(yōu)勢，在處理合成車牌霧圖和實際拍攝的車牌霧圖上，去霧效果表現(xiàn)良好.

關(guān)鍵詞：車牌霧圖去霧；MWCNN；“SOS”增強(qiáng)策略；跨層連接；注意力；跨尺度聚合

中圖分類號：TP391.41文獻(xiàn)標(biāo)志碼：A

Dehazing Algorithm of License Plate Fog Image Based on Deep Multi-level Wavelet U-Net

CHEN Bingquan，ZHU Xi，WANG Zhengyang，LIANG Yincong

（College of Information Science and Engineering，Jishou University，Jishou 416000，China）

Abstract：To solve the problem of edge blurring and color distortion of license plate images taken in foggy weather，an end-to-end depth multilevel wavelet U-Net based algorithm for license plate fog image removal is presented. Taking MWCNN as the main frame work of the defogging network，the feature information in the wavelet domain is integrated using the “SOS”enhancement strategy and the cross-layer connection between the codec. The pixel-channel joint attention block of the discrete wavelet transform is used to reduce the fog residue in the defrosted license plate image. In addition，the cross-scale aggregation enhancement blocks are used to supplement the missing spatial domain image information in the wavelet domain image，which further improves the quality of the defogging license plate image. The simulation results show that the network has obvious advantages in structural similarity and peak signal-to-noise ratio，and it performs well in dealing with the composite plate fog image and the actual photographed plate fog image.

Key words：license plate fog image defogging；MWCNN；“SOS”enhancement strategy；cross-layer connection；attention mechanism；cross-scale aggregation

在大霧天氣下使用光學(xué)成像器件（如相機(jī)、監(jiān)控攝像頭等）對目標(biāo)場景或物體進(jìn)行拍攝時，往往會使得圖像對比度低，邊緣、字符等細(xì)節(jié)信息模糊.圖像去霧是圖像處理中典型的不適定問題，旨在從霧天圖像中復(fù)原出相應(yīng)的無霧圖像，作為一種提升圖像質(zhì)量的方法，已被廣泛應(yīng)用于圖像分類、識別、交通監(jiān)控等領(lǐng)域.近年來，針對不同場景（室內(nèi)家居場景、室外自然場景、交通道路場景、夜間霧霾場景等）下均勻霧度或非均勻霧度圖像的去霧技術(shù)引起了廣泛關(guān)注與研究，但由于實際霧霾對圖像影響的復(fù)雜多變性，從真實的霧天圖像中復(fù)原無霧圖像仍具有諸多挑戰(zhàn)性.

圖像去霧技術(shù)發(fā)展至今，主要分為以下三類：基于數(shù)學(xué)模型的去霧技術(shù)，如直方圖均衡[1]、小波變換[2]、色彩恒常性理論[3]（Retinex）等；基于大氣散射模型（ASM）和相關(guān)統(tǒng)計先驗的去霧技術(shù)，如暗通道先驗[4-5]（DCP）、色衰減先驗[6]（CAP）、非局部先驗[7]（NLP）等；基于深度學(xué)習(xí)的去霧技術(shù)，如DehazeNet[8]、DCPDN[9]、AODNet[10].近年來，深度卷積神經(jīng)網(wǎng)絡(luò)在計算機(jī)視覺中應(yīng)用廣泛，2019年Liu等[11]認(rèn)為傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)（CNN）在采用池化或空洞濾波器來增大感受野時勢必會造成信息的丟失或網(wǎng)格效應(yīng)，于是將多級小波變換嵌入到CNN中，在感受野大小和計算效率之間取得了良好的折中，因而首次提出了多級小波卷積神經(jīng)網(wǎng)絡(luò)（MWCNN）模型，并證實了其在諸如圖像去噪、單圖像超分辨率、圖像分類等任務(wù)中的有效性.同年，Yang等[12]也認(rèn)為離散小波變換及其逆變化可以很好地替代U-Net中的下采樣和上采樣操作，因而提出了一種用于單幅圖像去霧的小波U-Net網(wǎng)絡(luò)，該網(wǎng)絡(luò)與MWCNN結(jié)構(gòu)非常相似.2020年，Yang等[13]將多級小波與通道注意力相結(jié)合設(shè)計了一種小波通道注意力模塊，據(jù)此構(gòu)建了單幅圖像去雨網(wǎng)絡(luò)模型.同年，Peng等[14]則將殘差塊與MWCNN相結(jié)合提出了一種用于圖像去噪的多級小波殘差網(wǎng)絡(luò)（MWRN）.2021年，陳書貞等[15]在已有的MWCNN結(jié)構(gòu)上加入多尺度稠密塊以提取圖像的多尺度信息，并在空間域?qū)χ貥?gòu)圖像進(jìn)行進(jìn)一步細(xì)化處理，以彌補(bǔ)小波域和空間域?qū)D像信息表示存在的差異性，從而實現(xiàn)了圖像的盲去模糊.

為了解決大霧天氣下車牌圖像對比度低和邊緣、字符等信息模糊不清的問題，很多研究人員開始將已有的圖像去霧技術(shù)應(yīng)用于車牌識別的預(yù)處理中.但大多數(shù)只是對已有圖像去霧算法進(jìn)行了簡單改進(jìn)，如對Retinex或DCP等去霧算法進(jìn)行改進(jìn)，直接應(yīng)用于車牌檢測識別中.雖然取得了一定的去霧效果，但其并沒有很好地復(fù)原出車牌圖像的特征，且很難應(yīng)對中等霧和濃霧下的車牌圖像.2020年王巧月等[16]則有意識地針對車牌圖像的顏色和字符信息進(jìn)行車牌圖像的去霧，提高了車牌圖像的質(zhì)量.

受上述研究的啟發(fā)，本文提出一種基于深度多級小波U-Net的車牌霧圖去霧算法，以端到端的方式來實現(xiàn)不同霧度下不同車牌類型的去霧.首先，提出了一種結(jié)合DWT、通道注意力（CA）和像素注意力（PA）的三分支結(jié)構(gòu)，該結(jié)構(gòu)可以對編碼器每層輸出特征的通道和像素進(jìn)行加權(quán)處理，從而讓去霧網(wǎng)絡(luò)聚焦于車牌霧圖中的有霧區(qū)域；其次，在解碼器中引入“SOS”增強(qiáng)模塊（“SOS”Block）來對解碼器和下層輸入的特征進(jìn)行進(jìn)一步融合和增強(qiáng)，提高去霧圖像的峰值信噪比，并在U-Net編解碼結(jié)構(gòu)之間進(jìn)行了層與層之間的連接，以此來充分利用不同網(wǎng)絡(luò)層和尺度上的特征信息；最后，為彌補(bǔ)小波域和空間域之間網(wǎng)絡(luò)表達(dá)圖像信息的差異，提出了一種結(jié)合跨尺度聚合（CSA）的多尺度殘差增強(qiáng)模塊（CSAE Block），在空間域上進(jìn)一步豐富網(wǎng)絡(luò)對于圖像細(xì)節(jié)信息的表達(dá)，有效地提高去霧圖像的質(zhì)量.

1去霧網(wǎng)絡(luò)結(jié)構(gòu)

本文去霧網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示.

該網(wǎng)絡(luò)主要分為A與B這2大模塊，前者在小波域中實現(xiàn)對車牌霧圖x的去霧，后者在空間域上對模塊A輸出的無霧圖像進(jìn)行進(jìn)一步優(yōu)化，模塊A 的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)見表1.整個網(wǎng)絡(luò)結(jié)構(gòu)的輸出為：

y=y（y（x；θ）；θ）（1）

式中：y（·）和y（·）分別為模塊A和B的輸出，θ

和θ分別表示模塊A和B的可學(xué)習(xí)參數(shù).

1.1小波U-Net

二維離散小波變換（2D-DWT）可以實現(xiàn)對給定的圖像I的小波域分解，分解過程可視為將圖像I與4個濾波器進(jìn)行卷積，即1個低通濾波器f和3個高通濾波器（f、f和f），這4個濾波器（即卷積核）分別由低通濾波器f和高通濾波器f構(gòu)成.以Haar小波為例，該卷積核表示為：

因此，2D-DWT可以通過將輸入圖像I與4個濾波器進(jìn)行卷積和下采樣來實現(xiàn)，從而獲得4個子帶圖像I、I、I和I.其操作定義如下：

I=（f*I）↓2I=（f*I）↓2

I=（f*I）↓2I=（f*I）↓2（3）

其中：*表示卷積操作；↓2表示尺度因子為2的標(biāo)準(zhǔn)下采樣操作.低通濾波器用于捕獲圖像中光滑的平面和紋理信息，其它3個高通濾波器則提取圖像中存在的水平、垂直和對角線方向上的邊緣信息.同時，由于2D-DWT的雙正交性質(zhì)，可以通過二維逆DWT的精確重建出原始圖像.2D-DWT及其逆變換的分解和重建示意圖如圖2所示.

本文將2D-DWT及其逆變換嵌入到U-Net網(wǎng)絡(luò)結(jié)構(gòu)中，改善原始U-Net網(wǎng)絡(luò)的結(jié)構(gòu).首先，對輸入的3通道車牌霧圖進(jìn)行離散小波變換處理，輸出圖像的通道數(shù)變?yōu)樵瓉淼?倍，圖像大小變?yōu)樵瓉淼?/2；然后，使用一個單獨的卷積層“3×3卷積+Lea- kyReLU”）將輸入圖像擴(kuò)展為16通道的圖像；最后，在U-Net的每層中迭代使用卷積層和離散小波變換用于提取多尺度邊緣特征.

1.2基于2D-DWT的通道-像素聯(lián)合注意力塊（DCPA Block）

在去霧網(wǎng)絡(luò)中平等對待不同的通道和像素特征，對于處理非均勻霧度圖像是不利的.為了能靈活處理不同類型的特征信息，Qin等[17]和Wu等[18]均采用CA和PA，前者主要用于對不同通道特征進(jìn)行加權(quán)，而后者則是對具有不同霧度的圖像像素進(jìn)行加權(quán)，從而使網(wǎng)絡(luò)更關(guān)注霧度濃厚的像素和高頻區(qū)域.

引入Hao-Hsiang Yang等[13]的小波通道注意力塊，本文提出了一種基于二維DWT的通道-像素聯(lián)合注意力模塊，將DWT、CA和PA構(gòu)建并行的三分支結(jié)構(gòu)，如圖3所示.

其中，兩分支結(jié)構(gòu)的注意力塊結(jié)合了PA（上分支）和CA（下分支）的特點，將具有通道數(shù)為C，高和寬分別為H、W的特征圖x∈R分別輸入到CA和PA中，前者通過平均池化將C×H×W的空間信息轉(zhuǎn)換為C×1×1的通道權(quán)重信息，而后者則通過卷積來將C×H×W的圖像轉(zhuǎn)換成1×H×W.CA由一個平均池化層、一個卷積層和一個LeakyReLU層構(gòu)成，其輸出為：

類似地，PA有一個卷積層和一個LeakyReLU 層，但沒有平均池化層，其輸出為：

式中：y∈R.CA和PA通過逐像素相加，并共用一個Sigmoid激活函數(shù)來分別為輸入圖像通道和像素配置相應(yīng)的權(quán)重參數(shù)，其輸出為：

y=Sigmoid（y⊕y）（6）

式中：y∈R；⊕表示逐元素相加；Sigmoid（·）表示Sigmoid激活函數(shù).最后，和經(jīng)離散小波變換、卷積層和殘差組處理后的特征圖進(jìn)行逐元素相乘，從而實現(xiàn)對特征圖的加權(quán)，其最終輸出為：

1.3層間多尺度聚合（LMSA）

受到Park等[19]在圖像去霧任務(wù)中采用多級連接來復(fù)原圖像細(xì)節(jié)信息的啟示，將U-Net編碼器中前3 層中DCPA Block的輸出進(jìn)行跨層和跨尺度的特征聚合，使網(wǎng)絡(luò)能充分利用圖像潛在的特征信息，其結(jié)構(gòu)如圖4所示.

式中：FC（·）表示全連接層函數(shù)；ReLU（·）為ReLU非線性激活函數(shù).SEBlock的結(jié)構(gòu)如圖5所示.

通過“LeakyRelu-Conv-LeakyRelu”操作減少每層輸出特征的通道數(shù)，輸入到U-Net解碼器中前3層的“USOS”Block中，提升重構(gòu)圖像的峰值信噪比.

U-Net網(wǎng)絡(luò)中的第4層則聚合前2層的DCPA Block輸出特征和第3層的DWT輸出特征，同樣經(jīng)過SEBlock 和“LeakyRelu-Conv-LeakyRelu”操作后作為第4層的輸入特征進(jìn)行后續(xù)操作.其數(shù)學(xué)表達(dá)式為：

1.4“SOS”增強(qiáng)模塊（“SOS”Block）

從Romano等[20]和Dong等[21]對“Strengthen- Operate-Subtract”增強(qiáng)策略（“SOS”）的開發(fā)和利用中可知，該增強(qiáng)算法能對輸入的圖像特征進(jìn)行細(xì)化處理，可以提高輸出圖像的峰值信噪比.因此，在本文的車牌圖像去霧網(wǎng)絡(luò)解碼器結(jié)構(gòu)中，直接將Dong等[21]采用的“SOS”增強(qiáng)算法嵌入到U-Net結(jié)構(gòu)中，提升車牌去霧圖像的質(zhì)量.Dong等[21]所采用的“SOS”增強(qiáng)算法的近似數(shù)學(xué)表達(dá)式如下：

其中：↑2表示尺度因子為2的上采樣操作.其與U- Net相結(jié)合的結(jié)構(gòu)示意圖如圖6所示.

1.5跨尺度聚合增強(qiáng)模塊（CSAE Block）

為了彌補(bǔ)小波域中去霧網(wǎng)絡(luò)所忽略的精細(xì)空間域圖像特征信息，本文提出了一種基于殘差組的跨尺度聚合增強(qiáng)模塊（CSAE Block），對小波域網(wǎng)絡(luò)（模塊A）最后輸出的重構(gòu)圖像進(jìn)行空間域上的圖像細(xì)節(jié)特征補(bǔ)充.CSAE Block結(jié)構(gòu)如圖7所示.

CSAE Block主要由卷積層（即“3×3卷積-LeakyReLU”）、殘差組、平均池化、CSA和級聯(lián)操作構(gòu)成.首先，卷積層和殘差組負(fù)責(zé)對模塊A輸出的空間域圖像y進(jìn)行特征提取，平均池化將輸入特征分解為4個不同尺度（S=1/4，S=1/8，S=1/16和S=1/32）的輸出，即：

然后，CSA實現(xiàn)對輸入的不同尺度、空間分辨率的特征信息進(jìn)行聚合，從而達(dá)到在所有尺度級別上有用信息的融合，并在每個分辨率級別上生成精細(xì)特征；最后，通過“LeakyRelu-Conv-LeakyRelu”操作來對輸入特征的通道數(shù)進(jìn)行調(diào)整.

該模塊可以通過聚合不同尺度之間、不同分辨率之間的特征來使去霧網(wǎng)絡(luò)獲得較強(qiáng)的上下文信息處理能力.該聚合操作可表示如下：

善其梯度流.

綜上所述，CSAE Block總的輸出表達(dá)式為：

其中y表示對上采樣為統(tǒng)一大小的輸出特征進(jìn)行級聯(lián)操作.

1.6損失函數(shù)

為了獲得更好的去霧效果，本文使用3個損失函數(shù)（有圖像去霧損失L_rh、邊緣損失L以及對比度增強(qiáng)損失L）作為網(wǎng)絡(luò)訓(xùn)練的總損失L，即：

L=αL+γL-λL（18）

其中：α，γ和λ均為任意非負(fù)常數(shù).

1）圖像去霧損失函數(shù).本文將L損失和L損失進(jìn)行簡單結(jié)合，構(gòu)成車牌圖像去霧損失函數(shù)：

式中：N表示輸入圖像像素數(shù)；I為干凈圖像；I為車牌霧圖；F（·）表示車牌去霧網(wǎng)絡(luò)函數(shù).一方面通過L損失函數(shù)來獲得較高的PSNR和SSIM值，另一方面則通過L損失函數(shù)來盡可能提高去霧圖像的保真度.

3）對比度增強(qiáng)損失.為了提高車牌去霧圖像的顏色對比度，本文最大限度地提升每個單獨顏色通道的方差，即最大化如下表達(dá)式：

2訓(xùn)練與測試

2.1車牌霧圖數(shù)據(jù)集（LPHazeDataset）的制作

為了解決車牌去霧網(wǎng)絡(luò)訓(xùn)練過程中缺失的車牌霧圖數(shù)據(jù)集問題，受RESIDE數(shù)據(jù)集制作方法的啟示，本文采用成熟的ASM理論來進(jìn)行車牌霧圖數(shù)據(jù)集的制作.車牌圖像數(shù)據(jù)主要來源于OpenITS提供的OpenData V3.1-SYSU功能性能車牌圖像數(shù)據(jù)庫，并以中科大開源數(shù)據(jù)集CCPD3作為補(bǔ)充，具體制作方法如下：

1）預(yù)處理.從OpenITS和CCPD數(shù)據(jù)集中隨機(jī)選取2291張清晰圖像，并對這些清晰車牌圖像的車牌區(qū)域進(jìn)行截??；

2）配置大氣散射模型參數(shù)值.參照RESIDE數(shù)據(jù)集所選取的參數(shù)值范圍，隨機(jī)選取如下一組大氣光值A(chǔ) =[0.6，0.7，0.8，0.9，1.0]和一組大氣散射系數(shù)值B=[0.4，0.6，0.8，1.0，1.2，1.4，1.6]，并將場景深度d（x）置為1；

3）合成車牌有霧-無霧圖像對.采取一張清晰車牌圖像對應(yīng)多張車牌霧圖的方法來合成圖像對，即根據(jù)大氣散射模型，結(jié)合步驟2中選定的參數(shù)值，以一張車牌無霧圖像對應(yīng)35張有霧圖像的方法來合成數(shù)據(jù)集.合成車牌霧圖示例如圖8所示.

4）劃分訓(xùn)練集和驗證集.訓(xùn)練集中干凈車牌圖像共1 697張，對應(yīng)的車牌霧圖共59 395張；驗證集中干凈圖像共594張，對應(yīng)車牌霧圖共20 790張.

2.2實驗設(shè)置

本文采用自制的車牌霧圖數(shù)據(jù)集（LPHaze Dataset）作為車牌圖像去霧網(wǎng)絡(luò)的訓(xùn)練和驗證數(shù)據(jù)，其中所有圖像像素大小均設(shè)置為64×128×3，batch size 為64.并對訓(xùn)練數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)操作：隨機(jī)水平翻轉(zhuǎn)和隨機(jī)垂直翻轉(zhuǎn)（翻轉(zhuǎn)概率隨機(jī)取值0或1），以提升網(wǎng)絡(luò)的魯棒性.此外，在訓(xùn)練過程中，使用Adam優(yōu)化器來優(yōu)化網(wǎng)絡(luò)，其參數(shù)均采用默認(rèn)值（β=0.9和β=0.999），并通過梯度裁剪策略加速網(wǎng)絡(luò)收斂，訓(xùn)練800個epoch，初始學(xué)習(xí)率為1e，總損失函數(shù)中α=1、γ=0.1和λ=0.01.采用Pytorch包進(jìn)行車牌霧圖去霧網(wǎng)絡(luò)結(jié)構(gòu)代碼的編寫和訓(xùn)練，整個訓(xùn)練過程均在NVIDIA Tesla T4的顯卡上運行.

實驗主要包括兩個部分：其一，測試本文提出的車牌霧圖去霧網(wǎng)絡(luò)模型，其二，對其進(jìn)行消融實驗.上述實驗在合成車牌霧圖和自然拍攝的車牌霧圖上進(jìn)行測試，所有測試圖像均隨機(jī)選自O(shè)penITS提供的車牌圖像數(shù)據(jù)庫（與LPHaze Dataset訓(xùn)練集中的數(shù)據(jù)不重合），并從測試結(jié)果中選取如下5種組合類型進(jìn)行定性和定量分析，分別為（A=0.6，β=0.8）、（A=0.7，β=1.0）、（A=0.8，β=1.2）、（A=0.9，β=1.4）和（A=1.0，β=1.6），同時對其依次編號為組合A到E.

3結(jié)果與分析

3.1測試實驗

1）合成車牌霧圖去霧結(jié)果

為了進(jìn)一步評估算法性能，將本文算法與最近出現(xiàn)的經(jīng)典去霧算法（基于引導(dǎo)濾波器的暗通道先驗算法[4]（GFDCP）、基于深度學(xué)習(xí)的端到端的去霧網(wǎng)絡(luò)[8]（DehazeNet）、端到端的一體化去霧網(wǎng)絡(luò)（AODNet）、端到端門控上下文聚合去霧網(wǎng)絡(luò)[23]（GCANet）和端到端特征融合注意力去霧網(wǎng)絡(luò)[17]（FFANet）進(jìn)行比較.以上算法統(tǒng)一在LPHaze Dataset的驗證集上進(jìn)行測試，并選取其中5類合成車牌霧圖的測試結(jié)果進(jìn)行實驗分析，其結(jié)果見表2.

由表2可以看出，在5類不同大氣光和散射系數(shù)的合成車牌霧圖上，與GCANet得到的結(jié)果相比，在PSNR 均值上分別提高了5.64、6.74、8.84、10.52、11.88 dB，SSIM均值上則分別提高了0.036 8、0.059 9、0.099 1、0.149 6、0.222 5.同時，在圖9中的PSNR和SSIM均值曲線圖中亦可知，在重構(gòu)圖像質(zhì)量方面，本文算法在處理不同霧度的合成車牌霧圖上明顯優(yōu)于上述5類經(jīng)典算法.最后，從合成車牌霧圖的去霧圖像中選取部分圖片進(jìn)行效果展示，如圖10所示. 從去霧效果中可以直觀感受到，本文算法相較于其它算法而言，具有較少的霧度殘留以及顏色失真.

2）自然車牌霧圖去霧結(jié)果

本文還對實際拍攝的自然車牌霧圖進(jìn)行測試，并與上述5種經(jīng)典算法的去霧效果進(jìn)行視覺比較. 該測試數(shù)據(jù)選自O(shè)penITS的車牌圖像數(shù)據(jù)庫，共915張實際拍攝的車牌霧圖，視覺對比結(jié)果如圖11所示.

從圖11可知：在處理常見的藍(lán)底車牌霧圖時，本文算法很少出現(xiàn)過度曝光和圖像整體偏暗的問題，且霧度殘留也很少；對于其它底色的車牌霧圖（如圖11中的黃底和藍(lán)底車牌），本文算法在去霧效果上相較于上述5種經(jīng)典算法仍能保持自身優(yōu)勢，并且在顏色、字符等圖像信息上也能得到較好的恢復(fù).

3.2不同模塊對網(wǎng)絡(luò)性能的影響

為了分析其中各個模塊的重要性，本文在LPHaze Dataset數(shù)據(jù)集上進(jìn)行消融研究分析，以基于ResGroup和“SOS”Block的MWCNN去霧網(wǎng)絡(luò)作為基準(zhǔn)網(wǎng)絡(luò)模塊，對于其他不同的網(wǎng)絡(luò)模塊，其簡化形式及說明如下，R：基于ResGroup和“SOS”Block的MWCNN作為基準(zhǔn)網(wǎng)絡(luò)，該網(wǎng)絡(luò)不包含DCPA Block、LMSA和CSAE Block；R：具有DCPA Block的基準(zhǔn)網(wǎng)絡(luò)；R：具有DCPA Block、LMSA和CSAE Block的基準(zhǔn)網(wǎng)絡(luò)，即最終的車牌霧圖去霧網(wǎng)絡(luò).上述網(wǎng)絡(luò)模塊均只訓(xùn)練150個epoch，且初始學(xué)習(xí)率均為1e，并在LPHaze Dataset的驗證集上進(jìn)行測試，其測試結(jié)果如表3所示.

由表3可得，在不加入DCPA Block、LMSA和CSAE Block的情形下，PSNR和SSIM的均值分別可以達(dá)到22.47 dB和0.942 1，而在加入三者后，PSNR和SSIM均值則分別提升了0.8 dB和0.009 2，從而使網(wǎng)絡(luò)能重建出高質(zhì)量的去霧圖像.

3.3不同損失函數(shù)對網(wǎng)絡(luò)性能的影響

為了分析損失函數(shù)的有效性，本文算法分別采用L、L、L（即L和L損失的簡單結(jié)合）和L這四類損失函數(shù)來進(jìn)行網(wǎng)絡(luò)模型的訓(xùn)練，訓(xùn)練150個epoch，且初始學(xué)習(xí)率為1e.分別在LPHaze Dataset的驗證集上進(jìn)行PSNR和SSIM的指標(biāo)測試，其實驗結(jié)果如表4所示.從表4可知，只使用L損失函數(shù)時，平均PSNR和SSIM可達(dá)到23.06 dB和0.947 1，且相較于單獨使用L或L時均有著明顯提升.而使用總損失函數(shù)L時，平均PSNR和SSIM分別提升了0.21 dB和0.004 2，從而使網(wǎng)絡(luò)性能得到較大的改善.

4結(jié)論

本文提出了一種基于深度多級小波U-Net的車牌霧圖去霧算法，該算法以MWCNN作為去霧網(wǎng)絡(luò)主體框架.首先，為了在小波域和空間域中盡可能地整合不同層級和尺度的圖像特征，引入了“SOS”增強(qiáng)策略，并在MWCNN中間進(jìn)行跨層連接，以此對圖像特征進(jìn)行整合、完善和優(yōu)化；其次，本文將像素注意力、通道注意力和離散小波變換進(jìn)行有效融合，從而盡可能去除車牌霧圖中的霧度；最后，通過跨尺度聚合增強(qiáng)模塊來彌補(bǔ)小波域和空間域之間存在的圖像信息差異，進(jìn)一步提高了重構(gòu)圖像質(zhì)量.自然車牌霧圖和LPHaze Dataset的驗證集上的實驗結(jié)果表明，在處理具有不同大氣光照和霧度的車牌霧圖上，本文算法具有較好的去霧表現(xiàn)，并且在處理具有不同底色的車牌霧圖時具有一定的優(yōu)勢.

參考文獻(xiàn)

[1] YADAV G，MAHESHWARI S，AGARWAL A. Foggy image enhancement using contrast limited adaptive histogram equalization of digitally filtered image：performance improvement[C]//2014 International Conference on Advances in Computing，Communications and Informatics（ICACCI）. September 24-27，2014，Delhi，India. IEEE，2014：2225-2231.

[2] RUSSO F. An image enhancement technique combining sharpening and noise reduction[J]. IEEE Transactions on Instrumentation and Measurement，2002，51（4）：824-828.

[3] GALDRAN A，BRIA A，ALVAREZ-GILA A，et al. On the duality between retinex and image dehazing [C]//2018 IEEE/CVF （Conference on Computer Vision and Pattern Recognition. June 18- 23，2018，Salt Lake City，UT，USA. IEEE，2018：8212-8221.

[4] HE K，SUN J，TANG X. Guided image filtering[C]//DANIILIDIS K，MARAGOS P，PARAGIOS N. Computer Vision - ECCV 2010，11th European Conference on Computer Vision，Heraklion，Crete，Greece，September 5-11，2010，Proceedings，Part I. Springer，2010，6311：1-14.

[5] HE K M，SUN J，TANG X O.Single image haze removal using dark channel prior [C]//IEEE Transactions on Pattern Analysis and Machine Intelligence.IEEE，：2341-2353.

[6] ZHU Q S，MAI J M，SHAO L. A fast single image haze removalalgorithm using color attenuation prior[J]. IEEE Transactions on Image Processing，2015，24（11）：3522-3533.

[7] BERMAN D，TREIBITZ T，AVIDAN S. Non-local image dehazing[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. June 27-30，2016，Las Vegas，NV，USA. IEEE，2016：1674-1682.

[8] CAI B L，XU X M，JIA K，et al. DehazeNet：an end-to-end system for single image haze removal[J]. IEEE Transactions on Image Processing：a Publication of the IEEE Signal Processing Society，2016，25（11）：5187-5198.

[9] ZHANG H，PATEL V M. Densely connected pyramid dehazing network[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. June 18-23，2018，Salt Lake City，UT，USA.IEEE，2018：3194-3203.

[10] LI B Y，PENG X L，WANG Z Y，et al. AOD-net：all-in-one dehazing network [C]//2017 IEEE International Conference on Computer Vision （ICCV）. October 22-29，2017. Venice. IEEE，2017：4780-4788.

[11] LIU P J，ZHANG H Z，LIAN W，et al.Multi-level wavelet convolutional neural networks[J].IEEE Access，2019，7：74973- 74985.

[12] YANG H H，F(xiàn)U Y W.Wavelet U-net and the chromatic adaptation transform for single image dehazing[C]//2019 IEEE International Conference on Image Processing.September 22-25，2019，Taipei，Taiwan，China.IEEE，2019：2736-2740.

[13] YANG H H，YANG C H H，WANG Y C F.Wavelet channel attention module with A fusion network for single image deraining [C]//2020 IEEE International Conference on Image Processing. October 25-28，2020，Abu Dhabi，United Arab Emirates.IEEE，2020：883-887.

[14] PENG Y L，CAO Y，LIU S G，et al.Progressive training of multilevel wavelet residual networks for image denoising[EB/OL].2020：arXiv：2010.12422 [eess. IV]. https：//arxiv.org/abs/2010.12422.

[15]陳書貞，曹世鵬，崔美玥，等.基于深度多級小波變換的圖像盲去模糊算法[J].電子與信息學(xué)報，2021，43（1）：154-161.

CHEN S Z，CAO S P，CUI M Y，et al.Image blind deblurring algorithm based on deep multi-level wavelet transform[J].Journal of Electronics & Information Technology，2021，43（1）：154-161. （In Chinese）.

[16]王巧月，陳樹越.車牌圖像色彩遷移與正則化約束去霧算法[J].計算機(jī)工程與應(yīng)用，2021，57（14）：217-222.

WANG Q Y，CHEN S Y. Defogging algorithm based on color transfer and regularization constraints of license plate images[J].Computer Engineering and Applications，2021，57（14）：217-222. （In Chinese）

[17] QIN X，WANG Z L，BAI Y C，et al.FFA-net：feature fusion attention network for single image dehazing[J].Proceedings of the AAAI Conference on Artificial Intelligence，2020，34（7）：11908- 11915.

[18] WU H Y，LIU J，XIE Y，et al.Knowledge transfer dehazing network for NonHomogeneous dehazing[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）.June 14-19，2020，Seattle，WA，USA.IEEE，2020：1975-1983.

[19] PARK Y，JEON M，LEE J，et al.MCW-net：single image deraining with multi-level connections and wide regional non-local blocks[EB/OL].2020：arXiv：2009.13990[cs.CV].https：//arxiv.org/abs/2009.13990.

[20] ROMANO Y，ELAD M.Boosting of image denoising algorithms [J].SIAM Journal on Imaging Sciences，2015，8（2）：1187- 1219.

[21] DONG H，PAN J S，XIANG L，et al.Multi-scale boosted dehazing network with dense feature fusion[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）.June 13-19，2020，Seattle，WA，USA.IEEE，2020：2154-2164.

[22] XU Z B，YANG W，MENG A J，et al.Towards end-to-end license plate detection and recognition：A large dataset and baseline[M]//Computer Vision - ECCV 2018.Cham：Springer International Publishing，2018：261-277.

[23] CHEN D D，HE M M，F(xiàn)AN Q N，et al. Gated context aggregation network for image dehazing and deraining[C]//2019 IEEE Winter Conference on Applications of Computer Vision.January 7-11，2019，Waikoloa，HI，USA.IEEE，2019：1375-1383.