基于CA-Res2Net和可變形卷積的圖像去模糊方法

李武斌，李春國，楊綠溪

(東南大學 信息科學與工程學院，江蘇 南京211189)

0 引言

高質量的圖像是眾多基于圖像的智能視覺算法有效運行的基礎，在交通管理、智能監控和醫學影像等各個領域具有廣泛的應用前景。在實際獲取圖像的過程中，相機抖動、物體運動和景深變化等多種因素引起的非均勻運動會帶來圖像模糊，降低圖像質量，在影響主觀感受的同時，更會嚴重降低智能視覺算法的性能。因此，圖像去模糊技術具有重要的研究意義。

傳統圖像去模糊算法[1-5]主要是基于簡單的假設對圖像模糊過程建立退化模型，然后在優化過程中使用不同的圖像先驗來進行正則化約束，估計出近似模糊核。但是這些傳統的優化方法對模糊模型的過度簡化使得它們不適用于非均勻的動態模糊場景，且優化模型引入了非凸和非線性約束函數，導致優化過程計算量大，復原速度慢。

近幾年，基于深度學習的圖像去模糊方法獲得了快速發展。這些方法[6-11]主要基于多尺度框架或圖像分塊框架，跳過了復雜的數學建模過程，利用深度神經網絡強大的擬合能力直接學習一個從模糊圖像到清晰圖像的轉換網絡。盡管這些端到端的深度學習方法在去除非均勻運動模糊方面顯示出了較大優勢，但目前這類方法的網絡參數量仍較大，圖像的局部細節恢復欠佳，去模糊效果仍有提升空間。

本文以自編碼器為基礎架構，提出了一種新的圖像去模糊算法CADNet。為了更好地恢復圖像高頻細節，CADNet主要做出了以下兩方面的改進：在解碼網絡中引入可變形卷積模塊以增強網絡適應復雜形變的能力；為了從更細粒度的層次上表示多尺度的特征信息，提出了一種細粒度多尺度注意力機制模塊CA-Res2Net。CA-Res2Net充分利用細粒度多尺度特征提取機制和注意力機制，有效提升了CADNet的特征表示能力。CADNet相比于當前主要的圖像去模糊算法，在不增加參數復雜度的前提下有效提升了圖像去模糊的效果。

1 CADNet網絡結構

本文提出了一種以編解碼[12](Unet)結構為基礎架構的圖像去模糊算法CADNet。同時為了提升局部細節恢復能力，引入了可變形卷積模塊；為了增大網絡的感受野，充分利用局部多尺度信息，引入了細粒度多尺度殘差[13](Res2Net)模塊；最后，為了充分利用和融合多尺度特征信息，采取對不同尺度的解碼特征進行逐步的跨尺度特征融合，最終重建出清晰圖像。本文將這種去模糊算法命名為CADNet。圖1為CADNet網絡的整體架構圖，下面詳細介紹CADNet的每個部分。

圖1 CADNet網絡整體結構

1.1 可變形卷積編解碼結構

如圖1所示，本文提出的CADNet網絡以編解碼結構為基礎架構，同時CADNet的核心層是可變形卷積特征提取層。傳統的卷積特征提取層由于卷積核構建的固定性，在卷積運算時作用在像素點周圍的一個固定的矩形區域，導致其對未知形狀變換的特征建模存在一定的固有缺陷。Dai等人[14]提出了一種可變采樣點的卷積操作，即可變形卷積操作。

可變形卷積(Deformable Convolution)能夠增強卷積神經網絡對復雜形變的建模能力。標準卷積操作中，對于輸入圖像或特征的每一個像素點，卷積核始終作用在像素點周圍卷積核大小的矩形區域。而如圖2所示，可變形卷積在標準卷積中的每一個采樣點位置上都增加了一個偏移量，這個偏移量是由輸入特征通過卷積層學習得到的，具體包括x和y兩個方向的偏移值，然后偏移后采樣位置的像素值采用線性插值的方式得到。

圖2 可變形卷積模塊示意圖

可變形卷積可以在正常采樣位置附近隨機自適應采樣，增加了對特征的空間采樣位置，從而改變網絡感受野的范圍，提升網絡的學習能力。CADNet選擇在解碼網絡中嵌入可變形卷積模塊，使解碼網絡對提取到的模糊特征進行特征復原時，能夠自適應地關注不同的模糊形變，提升圖像去模糊效果。

1.2 細粒度多尺度注意力殘差模塊CA-Res2Net

通道注意力殘差模塊(Residual Channel Attention Block,ResCAB)是CADNet編解碼結構中的骨干模塊。通道注意力殘差模塊堆疊了卷積層、激活函數、通道注意力層和殘差連接，其中通道注意力機制[15]的引入可自適應地調整通道特征，強化重要的特征信息，增強特征提取能力。

考慮到去模糊網絡需要大的感受野，為了在不增加參數復雜度和時間復雜度的前提下提升網絡的去模糊能力，CADNet對ResCAB殘差模塊進一步改進，嵌入了細粒度多尺度殘差(Res2Net)結構，將正常的卷積層替換為Res2Net結構，并將該模塊命名為CA-Res2Net模塊。CA-Res2Net模塊的具體結構如圖3所示，它由卷積層、激活函數、Res2Net結構層和通道注意力層堆疊組成，并且保留了殘差結構。其中Res2Net結構將輸入特征x∈H×W×C按通道維度均分為s個特征子集xi∈{1,2,…,s}∈H×W×(C/s)，而輸出特征子集用yi∈{1,2,…,s}∈H×W×(C/s)表示。輸入特征子集與輸出特征子集的關系表示為：

圖3 CA-Res2Net模塊結構

(1)

式中，Ki表示3×3的卷積核。最后將輸出特征子集重新在通道維度上進行拼接，得到輸出特征y∈H×W×C。Res2Net結構對特征按通道分組，用一組通道數更少的卷積核替換了原有卷積核，內部結構以類似殘差的層次化方式進行連接，不同組的輸出特征子集的感受野不斷增大，增加了最終輸出特征所包含的多尺度信息，有利于提升網絡恢復高頻細節的能力。同時結合通道注意力機制對重要特征通道信息的進一步強化，CA-Res2Net模塊能夠有效提升圖像去模糊的效果。

問：您在數學建模上的研究一方面啟發了數學教育工作者對于將學生數學建模能力的探究，為數學知識聯系到現實生活世界的教育目標及其相關研究做了重要貢獻，另外一方面也啟示了研究者將數學教育領域與其它學科領域相結合的趨勢．您在大會報告中包括剛剛也提到了心理學在數學教育研究領域內的重要作用，但同時也提出了心理學不是我們唯一可以聯系的學科．在交叉學科研究不斷發展成為一種趨勢的情況下，您認為數學教育領域研究者為什么需要進行交叉學科研究呢？

1.3 跨尺度特征融合模塊

為了充分利用編解碼網絡中的多尺度信息，跨尺度特征融合模塊將淺層的圖像特征與不同尺度下解碼得到的特征進行逐步的跨尺度特征融合，最終重建出清晰圖像，如圖4所示。具體來說，最低分辨率的解碼特征經過上采樣層后與淺層特征相加，然后輸入由多個CA-Res2Net模塊及殘差連接組成的模塊(Residual In Residual Channel Attention Block,RIRCAB)中進行充分的特征融合。之后，輸出特征通過相同結構的RIRCAB模塊與其他尺度下的解碼特征進行特征融合和重建，最終輸出重建的清晰圖像。這樣跨尺度的逐步特征融合可以促進信息的流動，減少信息丟失，從而有效利用了多尺度的特征信息。

圖4 特征融合模塊結構圖

1.4 損失函數

本文使用了多尺度內容損失函數。經過實驗發現L1損失相比于均方誤差(Mean Square Error,MSE)損失，能夠幫助網絡產生更好的最終性能和更快的收斂速度。本文的內容重建損失函數表示為：

(2)

由于圖像的高頻分量是圖像恢復的重要成分，因此本文還對恢復圖像在頻域做了損失計算，損失函數是多尺度頻率重建損失函數(Multi-Scale Frequency Reconstruction,MSFR)[11]。MSFR損失是不同尺度下真實清晰圖像與網絡輸出的去模糊圖像在頻域的L1損失，可表示為：

(3)

Ltotal=Lcont+λLMSFR,

(4)

式中，λ為MSFR損失函數的權重系數，實驗中設置為0.1。

2 實驗結果與分析

2.1 實驗數據集與網絡訓練設置

為了驗證CADNet算法的有效性，本文采用國際公開的GOPRO數據集[6]進行訓練和測試。GORPO數據集總共包含3 214對模糊和真實清晰圖像對，其中2 103對作為訓練集用于訓練，訓練時將訓練集拆分為訓練集和驗證集，1 111對作為測試集用于測試，圖像分辨率大小為1 280×720。

本實驗模型基于Pytorch深度學習框架進行訓練和測試，實驗使用的硬件環境是NVDIA GeForce GTX 3090 GPU。訓練時對原始圖像數據進行預處理，首先從大小為1 280×720的原始圖片中隨機裁剪出大小為256×256的圖像塊，然后對圖像塊進行數據增強操作。數據增強主要是為了擴增數據集，增加網絡的訓練樣本，使訓練得到的網絡去模糊性能和泛化能力更強。數據增強的方式主要包括隨機水平翻轉、隨機垂直翻轉、90°旋轉、RGB通道轉換和圖像飽和度變化，最后將圖像歸一化到[0,1]作為網絡的初始輸入。訓練過程中，網絡使用Adam作為優化器進行梯度更新，Adam優化器使用默認參數，beta1=0.9，beta2=0.999；初始學習率設置為2×10-4，使用余弦退火策略(Cosine Annealing Strategy)[16]逐步降低學習率至1×10-6；受GPU內存限制，批處理大小(batch size)設置為8，共訓練了1 000個epoch。訓練時編碼網絡中的ResCAB模塊個數和解碼網絡中的CA-Res2Net模塊個數設為16，特征融合模塊中的CA-Res2Net模塊個數設為4，卷積核大小均為3×3。

2.2 與其他算法的去模糊性能對比

本節選取了近幾年主要的幾種基于深度神經網絡的去模糊算法作為對比算法，包括Nah等人[6]提出的DeepDeblur、Tao等人[7]提出的SRNet、Kupyn 等人[17]提出的DeblurGAN-v2、Zhang等人[8]提出的DMPHN、Suin等人[9]提出的SAPHN網絡、Zamir等人[10]提出的MPRNet和Cho等[11]人提出的MIMO-Unet。各算法的去模糊性能對比如表1所示，表1的結果均是以GOPRO數據集作為訓練集訓練，并在GORPO測試集上測試得到的，其中PSNR以dB為單位，參數量以百萬(millions)為單位。需要說明的是，表中的CADNet是完成訓練后直接測試得到的結果，而CADNet+是在CADNet的基礎上增加了幾何自集成(geometic self-ensemble)[18]方法測試得到的。

表1 CADNet與當前主流算法的性能對比

表1中的測試結果表明“CADNet+”在GOPRO測試集上取得了最高的PSNR值和SSIM值，說明了本文方法最終實現的去模糊效果最好。“CADNet+”的PSNR值比表中其他算法中性能最好的MIMO-Unet算法的PNSR值仍高出0.25 dB，即使都不使用幾何自集成方法，CADNet的PSNR值仍比MIMO-Unet算法高出0.13 dB，表明本文方法的去模糊性能取得了較好的提升。從網絡參數量來說，CADNet的參數量與MIMO-Unet算法相近，比MPRNet算法更小，網絡更加輕量化。

為了從主觀的角度評價不同算法的去模糊效果，圖5顯示了不同算法在GOPRO測試圖像的去模糊效果示例。從圖5可以看出，雖然不同算法獲得的結果都比原始模糊圖像的模糊程度要低得多，但從復原圖像的整體質量以及局部圖像細節的恢復效果來看，CADNet的去模糊效果都要優于其他算法，CADNet能夠恢復出更清晰的局部細節和結構。

(a) 原始模糊圖像

2.3 關鍵策略的有效性分析

本節設計了消融實驗來分析評估各結構的有效性。需要說明的是，消融實驗在數據集GOPRO上進行，其中編碼網絡中的ResCAB模塊個數和解碼網絡中的CA-Res2Net模塊個數設為8，特征融合模塊中的CA-Res2Net模塊個數設為2。實驗結果如表2所示，同時包含不同組件的網絡模型的PSNR收斂曲線如圖6所示。

圖6 不同結構模型的PSNR收斂曲線

本文主要測試了可變形卷積模塊(DCN)、CA-Res2Net模塊和多尺度頻域重建損失函數(MSFR)的有效性。首先在不使用這3個組件的情況下訓練基線模型(baseline)，得到的PSNR均值為31.42 dB。如表2所示，相比于基線模型，可變形卷積模塊的使用將PSNR提升了0.22 dB，多尺度頻域重建函數的使用則進一步提升了0.27 dB 的PSNR。在使用這兩個組件的基礎上添加CA-Res2Net模塊將PSNR進一步提升了0.12 dB。相比于基線模型，同時使用這3個組件時PSNR均值提高了0.61 dB。實驗結果說明這3個組件都能夠有效幫助提升圖像去模糊的效果。

表2 CADNet不同組件的消融實驗結果

3 結束語

本文針對動態場景下的非均勻模糊問題，提出了基于CA-Res2Net和可變形卷積的圖像去模糊方法CADNet。CADNet網絡的特點是以可變形卷積增強自編碼結構適應復雜模糊形變的能力；提出CA-Res2Net模塊從更細粒度的層次上表示多尺度特征信息，增大網絡感受野，增強網絡的特征表示能力。實驗結果表明，相比于MPRNet和MIMO-Unet等主要去模糊算法,CADNet在各個測試指標上均取得了有效的提升，同時在復雜度方面沒有增加，證明了CADNet能夠更好地恢復圖像細節，提升了圖像去模糊的效果。