基于Transformer 和多尺度CNN 的圖像去模糊

李現(xiàn)國，李 濱

（1.天津工業(yè)大學(xué) 電子與信息工程學(xué)院，天津 300387；2.天津市光電檢測技術(shù)與系統(tǒng)重點實驗室，天津 300387）

0 概述

圖像去模糊是利用圖像處理技術(shù)將模糊圖像恢復(fù)成有清晰邊緣結(jié)構(gòu)和豐富細節(jié)的圖像。由于造成圖像模糊的原因很多，因此圖像去模糊問題是一個有多個未知解的高度不適定問題。在圖像去模糊任務(wù)中，傳統(tǒng)方法多數(shù)是將其建模為模糊核估計問題進行求解，但在現(xiàn)實世界中模糊核是未知的且非常復(fù)雜，最終會因為模糊核估計的不準(zhǔn)確而導(dǎo)致模糊圖像的恢復(fù)效果不佳。傳統(tǒng)圖像去模糊方法主要有基于最大后驗概率（Maximum A Posterior，MAP）［1-3］、基于變分貝葉斯（Variational Bayesian，VB）［4-5］和基于LMS 自適應(yīng)算法［6］。通過將原始圖像與模糊核的聯(lián)合后驗概率在圖像空間邊際化，然后求解模糊核的邊際分布，進而實現(xiàn)圖像盲復(fù)原。傳統(tǒng)圖像去模糊研究通常集中于解決簡單的相機抖動或者目標(biāo)運動產(chǎn)生的模糊問題，僅在特定模糊圖像上具有良好的效果。

近年來，學(xué)者們對基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的圖像去模糊方法進行了廣泛研究［7-9］。早期，基于CNN 的圖像去模糊方法將CNN 作為模糊核估計器，構(gòu)建基于CNN 的模糊核估計和基于核反卷積的兩階段圖像去模糊框架［10-11］。JIAN 等［11］提出使用CNN 估計運動模糊的空間變化核，去除非均勻模糊，但由于模糊特性復(fù)雜，模糊核估計方法在實際場景中不能很好地恢復(fù)模糊圖像。目前，基于CNN 的圖像去模糊方法旨在以端到端方式直接學(xué)習(xí)模糊-清晰圖像對之間的復(fù)雜關(guān)系［12-14］。KUPYN 等［12］提出DeblurGAN，基于GAN 和內(nèi)容損失，以單尺度的方式實現(xiàn)圖像去模糊。盡管單尺度在去模糊效率上表現(xiàn)良好，但由于未能提取多種特征信息，導(dǎo)致去模糊性能和恢復(fù)圖像細節(jié)上效果欠佳。NAH 等［13］基于coarse-to-fine 策略，引入一種用于動態(tài)場景去模糊的深度多尺度CNN 網(wǎng)絡(luò)DeepDeblur，在不估計任何模糊核的情況下提取圖像多尺度信息，直接從模糊圖像中恢復(fù)清晰圖像。ZHAO 等［14］提出一種輕量化和實時的無監(jiān)督圖像盲去模糊方法FCL-GAN，既沒有圖像域限制，也沒有圖像分辨率限制，保證了輕量化和性能優(yōu)勢。ZHAO 等［15］提出一種用于盲運動去模糊的通用無監(jiān)督顏色保留網(wǎng)絡(luò)CRNet，易于擴展到其他受色彩影響的畸變?nèi)蝿?wù)，同時引入模糊偏移估計和自適應(yīng)模糊校正，改進去模糊任務(wù)。

雖然CNN 在單圖像去模糊領(lǐng)域取得了良好的效果，但存在以下問題：1）卷積算子的感受野有限，難以捕獲到遠程像素的信息，若要增加感受野，則只能增加網(wǎng)絡(luò)深度，然而會造成計算量過大和信息丟失問題；2）卷積核在推理時有靜態(tài)權(quán)值，不能靈活地適應(yīng)輸入內(nèi)容。受Transformer［16-17］具有全局信息建模特性的啟發(fā)，DOSOVITSKIY等［18］提出視覺Transformer（Vision Transformer，ViT）來執(zhí)行圖像識別任務(wù)，以具有位置嵌入的2D 圖像塊為輸入，在大數(shù)據(jù)集上進行預(yù)訓(xùn)練，取得了與基于CNN 的方法相當(dāng)?shù)男阅?。TOUVRON 等［19］將Transformer 與蒸餾方法相結(jié)合，提出一種高效的圖像Transformer（DeiT），可在中型數(shù)據(jù)集上訓(xùn)練Transformer，具有較好的魯棒性。

受UNet多尺度單圖像去模糊［20］和Transformer［16，21-22］工作的啟發(fā)，本文將Transformer 引入CNN 網(wǎng)絡(luò)，但直接將Transformer 嵌入CNN 網(wǎng)絡(luò)存在以下問題：1）嵌入后應(yīng)用CNN 網(wǎng)絡(luò)的訓(xùn)練策略因Transformer參數(shù)量過多導(dǎo)致無法訓(xùn)練；2）應(yīng)用局部方式計算多頭自注意力（Multi-Head Self-Attention，MHSA）會造成局部窗口之間缺少信息聯(lián)系且去模糊效果差。針對上述問題，本文提出一種基于Transformer 和多尺度CNN 的圖像去模糊網(wǎng)絡(luò)（T-MIMO-UNet）。利用CNN 網(wǎng)絡(luò)提取空間特征，同時對輸入圖像進行下采樣得到多尺度的特征圖，通過將多尺度特征相互融合和補充，有效利用每個尺度的信息，更好地處理各種圖像模糊問題。設(shè)計一種局部增強Transformer 模塊（Enhanced Local Transformer Module，EL-TM），能夠利用Transformer 的全局特性有效獲取全局信息。當(dāng)每個尺度的特征輸入到EL-TM 中進行全局建模時，針對輸入圖像尺寸過大的問題，設(shè)計一種局部多頭自注意力計算網(wǎng)絡(luò)（Local Multi-Head Self-Attention Network，L-MHSAN），采用窗口的方式在局部逐塊計算MHSA，以解決圖像尺寸過大導(dǎo)致的訓(xùn)練難度增加的問題。針對在L-MHSAN 中劃分窗口計算MHSA 后跨窗口的信息交互消失問題，設(shè)計一種增強前饋網(wǎng)絡(luò)（Enhanced Feed-Forward Network，EFFN），通過增加深度可分離卷積層，促進不同窗口之間的信息交互，有效獲取全局信息，提升圖像清晰度和計算效率。

1 圖像去模糊網(wǎng)絡(luò)

本文提出的T-MIMO-UNet 結(jié)構(gòu)如圖1 所示。該網(wǎng)絡(luò)主要由多尺度輸入編碼器、EL-TM、非對稱特征融合（Asymmetric Feature Fusion，AFF）模塊和多尺度輸出解碼器組成，其中，編碼器采用兩個編碼塊（Encoder Block，EB），解碼器采用3 個解碼 塊（Decoder Block，DB），EL-TM采用12 個局部增強Transformer 層（Enhanced Local Transformer Layer，EL-TL）。

T-MIMO-UNet 建立在基于編碼器-解碼器的單一UNet 架構(gòu)上，可充分利用CNN 從圖像中提取的多尺度空間特征。此外，為了捕獲全局依賴關(guān)系，利用Transformer 編碼器對全局空間進行建模，并基于EL-TM 進行局部窗口之間的信息交互，實現(xiàn)多尺度去模糊。

1.1 多尺度輸入編碼器

多尺度架構(gòu)可以有效地處理不同程度的圖像模糊［23］，同時各種基于CNN 的去模糊方法［13，24-25］也都采用將不同尺度的模糊圖像作為網(wǎng)絡(luò)的基本輸入。在T-MIMO-UNet 的編碼器中，通過編碼塊將不同尺度的模糊圖像作為輸入，其中，EB1由卷積層、殘差塊構(gòu)成，EB2由卷積層、特征融合模塊（FAM）［20］和殘差塊構(gòu)成，已有實驗［20］證明了FAM 能夠提高模型性能。

使用多尺度策略作為單個U-Net 的輸入，將原始尺度的模糊圖像B1進行2 次1/2 下采樣，得到另外2 個尺度的模糊圖像B2和B3。B1和B2尺度的模糊圖像通過EB1和EB2提取特征，B3尺度的模糊圖像在經(jīng)過預(yù)處理后輸入Transformer架構(gòu)EL-TM 進行全局特征建模。此外，除了在每個尺度的編碼器或EL-TM 中提取特征外，對于B2和B3尺度，還會分別從上面尺度的模糊圖像中提取縮小的特征，然后將這2 種特征融合，2種信息相互補充，更有助于處理圖像模糊問題。

在每個尺度的編碼器或Transformer 模塊中提取特征時，使用淺卷積模塊（Shallow Convolution Module，SCM）［20］對下采樣圖像B2和B3進行特征提取處理。SCM 使用2 個堆疊的3×3 和1×1 的卷積層，然后在最后一個1×1 卷積層中將提取的特征與輸入的當(dāng)前尺度圖像連接起來，再使用一個1×1 卷積層進一步細化連接，經(jīng)過SCM 的輸出用Zk,out表示。

對于原始尺度的模糊圖像B1，沒有使用SCM，而是直接輸入編碼塊EB1。對于使用了SCM 的模糊圖像B2，將SCM 的輸出Z2,out與B1尺度的編碼器輸出E1,out使用FAM 進行融合，在融合前使用stride 取值為2 的卷積層以保證2 個特征具有相同的尺寸，最后使用1 個殘差塊繼續(xù)細化特征。

對于B3尺度的模糊圖像，將此時SCM 的輸出Z3,out與B2尺度的編碼器輸出E2,out進行特征融合，此時的特征圖經(jīng)過多次淺層特征提取和前2 個尺度的卷積特征提取后，每個像素具備了更深的感受野，這時輸入EL-TM 利用Transformer 的全局特征信息建模能力，進一步學(xué)習(xí)與全局感受野的遠程相關(guān)性，之后將提取的全局特征輸入殘差塊。

1.2 局部增強Transformer 模塊

自Transformer 架構(gòu)［16］被應(yīng)用于深度學(xué)習(xí)領(lǐng)域以來，其全局信息建模特性引起了學(xué)者們的廣泛關(guān)注。CNN 作為視覺領(lǐng)域的通用主干網(wǎng)絡(luò)，在圖像去模糊任務(wù)中應(yīng)用廣泛，但CNN 卷積算子存在感受野有限的問題，隨著網(wǎng)絡(luò)層數(shù)的不斷加深，CNN 這一問題體現(xiàn)的越發(fā)明顯，Transformer 的全局性可以緩解這一缺陷。在處理模糊圖像時，Transformer往往因數(shù)據(jù)集中過大的圖像尺寸而造成計算復(fù)雜度過高，最終使去模糊的視覺任務(wù)失敗。為了增強Transformer 架構(gòu)在去模糊領(lǐng)域的通用性，設(shè)計一種局部增強Transformer 模塊，如圖2 所示。局部增強Transformer 模塊由多個局部增強Transformer 層構(gòu)成。每個局部增強Transformer層由L-MHSAN 和EFFN 構(gòu)成。

圖2 局部增強Transformer 模塊結(jié)構(gòu)Fig.2 Structure of the enhanced local Transformer module

在T-MIMO-UNet 結(jié)構(gòu)中，將B1和B2尺度提取的特征與B3尺度融合，然后將所獲得的特征圖I?RN×D通過EL-TM 進一步進行特征提取，其中，N表示輸入分辨率H×W，H表示圖像高度，W表示圖像寬度，D表示輸入通道數(shù)。

B3尺度的圖像特征在與其他尺度特征相加并輸入局部增強Transformer 模塊計算MHSA 前，需要經(jīng)過淺卷積模塊的處理，處理后的圖像與B2尺度的編碼器輸出E2,out相融合。由于圖像去模糊數(shù)據(jù)集的大尺寸特性導(dǎo)致計算MHSA 時計算量過大，大大增加了訓(xùn)練難度。為了解決這個問題，在局部增強Transformer 層中設(shè)計了一種局部多頭自注意力計算網(wǎng)絡(luò)。

局部多頭自注意力計算網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。首先讀取融合特征的維度并進行記錄，由于融合特征仍然與圖像維度一致，即（Y，H，W，D），其中，Y表示圖像批處理大小。使用Flatten 操作將圖像的寬度、高度等展開成一維數(shù)據(jù)的形式，即（Y，D，H×W），之后將展開后的數(shù)據(jù)形式轉(zhuǎn)換為（Y，H×W，D），便可將融合后的圖像特征輸入局部增強Transformer 層計算MHSA。

圖3 局部多頭自注意力計算網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Structure of the local multi-head self-attention network

圖像特征輸入局部增強Transformer 層后，局部多頭自注意力計算網(wǎng)絡(luò)將特征圖I?RN×D劃分成P個不重疊的窗口I→{I1,I2,…,IP}，窗口個數(shù)P的計算公式如式（1）所示。在每個窗口中獨立計算多頭自注意力。針對一個局部窗口特征圖X?RM2×D，Query、Key、Value 矩陣Q、K、V計算公式如式（2）所示?；诰植看翱诘淖宰⒁饬τ嬎愎饺缡剑?）所示。將AQ,K,V并行計算C次并連接，得到多頭自注意力計算結(jié)果AQ,K,V，然后經(jīng)過窗口特征合并操作重構(gòu)得到中間特征fM，計算公式如式（4）所示。

其中：M2表示被劃分的窗口尺寸；PQ、PK、PV分別表示在不同窗口共享的投影矩陣；d表示，C為多頭自注意力的頭數(shù)量；View 表示重構(gòu)操作；Window-reverse表示窗口特征合并操作；fM特征維度為（Y，H，W，D）。

將多頭自注意力在局部不重疊的窗口中分別計算時，不同窗口之間信息交互會消失，跨窗口之間沒有信息交流會限制建模能力。為了解決這個問題，在局部增強Transformer 層中的前饋網(wǎng)絡(luò)（Feed-Forward Network，F(xiàn)FN）結(jié)構(gòu)上進行改進，設(shè)計一種增強前饋網(wǎng)絡(luò)，在2 個全連接層間增加了2 個深度可分離卷積層（Depthwise separable Convolution，DepthConv），并合理利用跳躍連接與輸入特征建立聯(lián)系。增強前饋網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示。

圖4 增強前饋網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Structure of the enhanced feed-forward network

首先，對于輸入的中間特征fM，經(jīng)過第1 個全連接層，再經(jīng)過正則化和激活操作輸入第1 個深度可分離卷積層后以殘差的方式進行跳躍連接得到中間特征計算的第1 個階段的計算結(jié)果，計算過程可表示如下：

其中：LN 表示全連接操作；DepthConv 表示深度可分離卷積操作。

然后，fM,1經(jīng)過正則化操作和第2 個深度可分離卷積層，通過殘差相加得到中間特征計算的第2 個階段的計算結(jié)果fM,2，fM、fM,1和fM,2跳躍連接得到中間特征計算的第3 個階段的計算結(jié)果fM,3，即：

最后，fM,3經(jīng)過第2 個全連接層和正則化、卷積操作后與fI相加得到EL-TL 模塊最終提取的特征fF。

深度可分離卷積不僅能增強局部性，而且能增加窗口之間特征的局部信息交互［26］，同時相對于普通卷積而言，深度可分離卷積能有效減少模型的參數(shù)量。

1.3 非對稱特征融合模塊

使用AFF 模塊［20］將編碼器中提取的特征進行融合。特征融合策略沒有使用對稱融合［27］及只進行相鄰2 個尺度的特征融合［13］，而是將3 個尺度的特征再次進行融合輸入至DB1和DB2。

1.4 多尺度輸出解碼器

使用上采樣或下采樣操作將不同尺度的特征輸入AFF 模塊進行特征融合后，將這些特征輸入網(wǎng)絡(luò)解碼端，對每個尺寸的圖像進行重建。解碼器依然采用單個U 形網(wǎng)絡(luò)模擬多級聯(lián)U 型網(wǎng)絡(luò)輸出不同尺度的去模糊圖像。解碼塊均由卷積層和殘差塊構(gòu)成。由于解碼塊的輸出是一個特征圖而不是一幅圖像，因此在重建每一層圖像時，使用一個卷積層作為生成圖像的映射函數(shù)。在實驗過程中，因無需B2和B3尺度的去模糊圖像S2和S3，本文模型只將原始B1尺度進行去模糊，輸出S1在后面的實驗中進行對比。

2 實驗與結(jié)果分析

網(wǎng)絡(luò)模 型在訓(xùn) 練時使 用Intel?Xeon?Silver 4210 CPU @ 2.20 GHz 硬件平臺，內(nèi)存為93.1 GB，GTX1080Ti 11 GB。軟件環(huán)境為Ubuntu18.04 操作系統(tǒng)，深度學(xué)習(xí)環(huán)境為PyTorch1.4.0。

2.1 數(shù)據(jù)集和實現(xiàn)細節(jié)

使用GoPro［13］訓(xùn)練數(shù)據(jù)集來訓(xùn)練網(wǎng)絡(luò)，訓(xùn)練數(shù)據(jù)集中包括2 103 對模糊和清晰的圖像對；使用GoPro 測試數(shù)據(jù)集來測試網(wǎng)絡(luò)，測試數(shù)據(jù)集中包括1 111 對圖像 對。此外，在RealBlur［28］真實場 景數(shù)據(jù)集中測試了模型的有效性，RealBlur 測試數(shù)據(jù)集包含RealBlur-R 和RealBlur-J 這2 個子數(shù)據(jù)集，每個數(shù)據(jù)集包括980 對圖像對。

網(wǎng)絡(luò)訓(xùn)練的初始學(xué)習(xí)率為10-4，之后每迭代訓(xùn)練500 輪就下降50%。對于每次迭代訓(xùn)練，都將圖像隨機剪切為256×256 像素。為了使模型充分收斂，在GoPro 訓(xùn)練數(shù)據(jù)集中進行3 000 輪的迭代訓(xùn)練，以使模型收斂。

2.2 損失函數(shù)

在優(yōu)化網(wǎng)絡(luò)參數(shù)時，使用多尺度內(nèi)容損失函數(shù)［13］，定義如下：

其中：K表示尺度；SK和GK分別表示模型預(yù)測的清晰圖像和真實清晰圖像；使用每一輪計算的損失次數(shù)tK進行歸一化處理。

研究表明：增加輔助損失項可以提高模型性能，且最小化特征空間中輸入和輸出之間距離的輔助損失項已在圖像恢復(fù)任務(wù)中得到廣泛應(yīng)用，并取得了良好的效果［29］。去模糊主要是恢復(fù)圖像高頻分量的特性，使用多尺度頻率重建（Multi-Scale Frequency Reconstruction，MSFR）損失函 數(shù)［20］作為輔 助損失項。尺度頻率重建損失函數(shù)能夠測量頻域中多尺度真實圖像和去模糊圖像之間的L1 距離，定義如下：

其中：FT 表示快速傅里葉變換。

網(wǎng)絡(luò)訓(xùn)練的損失函數(shù)可表示如下：

2.3 去模糊定量效果分析

將T-MIMO-UNet與DeblurGAN［12］、DeepDeblur［13］、FCL-GAN［14］、CRNet［15］、MIMO-UNet［20］、MIMOUNet+［20］、PSS-NSC［24］、SRN［25］、DMPHN［30］、MPRNet［31］、DeblurGAN-v2［32］等經(jīng)典的去模糊網(wǎng)絡(luò)進行比較，定量地分析其性能。為了實現(xiàn)計算復(fù)雜度和去模糊精度之間的權(quán)衡，同時提出T-MIMO-UNet 的變體，即T-MIMO-UNet+和T-MIMO-UNet++，其中，T-MIMOUNet 中使用10 個殘差塊和12 個EL-TM，T-MIMOUNet+中使用20 個殘差塊和6 個EL-TM，T-MIMOUNet++是在T-MIMO-UNet+的基礎(chǔ)上將EFFN 中的深度可分離卷積替換成普通卷積。在GoPro 測試數(shù)據(jù)集上與其他網(wǎng)絡(luò)的測試結(jié)果比較如表1 所示，其中，粗體表示每列最優(yōu)值，下劃線表示每列次優(yōu)值。由表1 可以看出：與MIMO-UNet 基礎(chǔ)網(wǎng)絡(luò)相比，T-MIMO-UNet 及其2 個變體網(wǎng)絡(luò)的峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）分別提升了0.39 dB、0.54 dB、0.66 dB；與DeepDeblur、DeblurGAN、SRN網(wǎng)絡(luò)相比，T-MIMO-UNet 的PSNR 分別提升了2.89 dB、3.42 dB、1.86 dB；特別是在平均SSIM 指標(biāo)上，T-MIMO-UNet 及其變體網(wǎng)絡(luò)明顯優(yōu)于對比網(wǎng)絡(luò)；與MPRNet 網(wǎng)絡(luò)相比，T-MIMO-UNet 及其變體網(wǎng)絡(luò)盡管PSNR 略有欠缺，但在模型參數(shù)量和去模糊處理時間上有更好的表現(xiàn)，T-MIMO-UNet 參數(shù)量減少為MPRNet 的1/2，處理時間減少為MPRNet 的1/8。

表1 在GoPro 測試數(shù)據(jù)集上的測試結(jié)果比較 Table 1 Comparison of test results on the GoPro test dataset

為了驗證多尺度策略去模糊性能的優(yōu)越性，與基 于CNN 的單尺 度去模 糊網(wǎng)絡(luò)Deblur-GAN［12］、SDWNet［33］和基于 雙尺度 策略的 去模糊網(wǎng)絡(luò)DeblurGAN-v2［32］進行比較。在GoPro 測試數(shù)據(jù)集上單尺度、雙尺度與多尺度定量性能比較結(jié)果如表2所示。由表2 可以看出，多尺度特征提取方式優(yōu)于單尺度和雙尺度特征提取方式，驗證了多尺度信息提取的優(yōu)勢。

表2 在GoPro 測試數(shù)據(jù)集上單尺度、雙尺度與多尺度定量性能比較 Table 2 Comparison of quantitative performance among single-scale，double-scale and multi-scale on the GoPro test dataset

為了驗證T-MIMO-UNet 在真實場景中的有效性，在RealBlur 測試數(shù)據(jù)集［28］上將T-MIMO-UNet 與DeblurGAN［12］、DeepDeblur［13］、FCL-GAN［14］、MIMOUNet［20］、MIMO-UNet+［20］、SRN［25］、DMPHN［30］、MPRNet［31］、DeblurGAN-v2［32］等經(jīng)典的去模糊網(wǎng)絡(luò)進行比較，平均PSNR 和SSIM 定量比較結(jié)果如表3 所示，其中，粗體表示每列最優(yōu)值，下劃線表示每列次優(yōu)值，可以看出T-MIMO-UNet 及其變體網(wǎng)絡(luò)仍然取得了比較好的效果，PSNR 和SSIM 值非常接近MPRNet。

表3 在RealBlur 測試數(shù)據(jù)集上的平均PSNR 和SSIM Table 3 Average PSNR and SSIM on the RealBlur test dataset

2.4 去模糊定性結(jié)果分析和消融實驗

對T-MIMO-UNet 的圖像去模糊效果進行主觀分析，并將其與其他網(wǎng)絡(luò)的圖像去模糊效果進行比較，如圖5 所示，為了充分展示去模糊效果，放大了圖中的細節(jié)。由圖5 可以看出，與其他網(wǎng)絡(luò)的去模糊結(jié)果相比，T-MIMO-UNet 獲取的去模糊圖像紋理更清晰，視覺效果更好。

圖5 在GoPro 測試數(shù)據(jù)集上的去模糊效果Fig.5 Deblurring effects on the GoPro test dataset

為了證明增強前饋網(wǎng)絡(luò)中使用深度可分離卷積對于降低網(wǎng)絡(luò)模型參數(shù)量的有效性，在T-MIMOUNet 中將深度可分離卷積替換為普通卷積進行性能對比實驗，實驗結(jié)果如表4 所示。由表4 可以看出，對于T-MIMO-UNet，在增強前饋網(wǎng)絡(luò)中使用傳統(tǒng)卷積時，相比使用深度可分離卷積的網(wǎng)絡(luò)模型的PSNR 提升了0.09%，參數(shù)量提升了5.6%。在參數(shù)量上使用深度分離卷積的網(wǎng)絡(luò)模型具備較大的優(yōu)勢，滿足部分場景中需要模型規(guī)模小、運行速度快的需求。此外，使用深度分離卷積的網(wǎng)絡(luò)模型能夠增加窗口之間特征的局部信息交互。因此，根據(jù)綜合性能和模型參數(shù)量，在T-MIMO-UNet 模型中使用深度可分離卷積。

表4 深度可分離卷積與普通卷積的性能對比 Table 4 Performance comparison between depthwise separable convolution and ordinary convolution

為了驗證所設(shè)計的EL-TM 的有效性，并驗證所使用EL-TM 中EL-TL 數(shù)量的最優(yōu)選擇，針對EL-TM中EL-TL 數(shù)量在GoPro 測試數(shù)據(jù)集上進行消融實驗，實驗結(jié)果如表5 所示。當(dāng)EL-TL 數(shù)量為0 時表示沒有使用本文提出的EL-TM 時的網(wǎng)絡(luò)模型性能，由表5 可以看出，加入了EL-TM 的網(wǎng)絡(luò)模型相比未加入EL-TM 的網(wǎng)絡(luò)模型在性能上有了明顯的提升，且隨著EL-TL 數(shù)量的增加性能逐漸提升。但在EL-TL數(shù)量大于12 后，由于網(wǎng)絡(luò)模型的復(fù)雜度提升，在本文設(shè)定的硬件條件下難以進行訓(xùn)練，因此選擇ELTL 數(shù)量為12 與CNN 結(jié)合作為最終模型。需要說明的是：若硬件條件允許，則可繼續(xù)增加網(wǎng)絡(luò)模型中的EL-TL 數(shù)量，從而取得更好的PSNR 和SSIM 性能。

表5 在GoPro 測試數(shù)據(jù)集上的EL-TM 消融實驗結(jié)果 Table 5 Ablation experimental results of EL-TM on the GoPro test dataset

3 結(jié)束語

本文提出一個新的去模糊網(wǎng)絡(luò)T-MIMOUNet，將Transformer 整合到基于CNN 的UNet，實現(xiàn)動態(tài)場景下的單圖像盲去模糊，不僅繼承了CNN 在建模局部上下文信息方面的優(yōu)勢，而且還利用了Transformer 學(xué)習(xí)全局語義相關(guān)性。在GoPro 和RealBlur 測試數(shù)據(jù)集上的實驗結(jié)果驗證了T-MIMO-UNet 的有效性。后續(xù)將繼續(xù)對視覺Transformer 進行研究，探索結(jié)合多尺度CNN 與視覺Transformer 的網(wǎng)絡(luò)模型，進一步提升其在動態(tài)場景下的去模糊性能。