注意力殘差網(wǎng)絡(luò)的單圖像去雨方法研究

徐愛生，唐麗娟，陳冠楠

(福建師范大學(xué)醫(yī)學(xué)光電科學(xué)與技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，福建省光子技術(shù)重點(diǎn)實(shí)驗(yàn)室，福州350007)

(福建師范大學(xué)福建省科技廳光電傳感應(yīng)用工程技術(shù)研究中心，福州350007)

1 引 言

具有雨條紋的圖像通常由戶外監(jiān)控設(shè)備拍攝得到，直接使用這些照片作為計(jì)算機(jī)視覺系統(tǒng)的數(shù)據(jù)集，往往會(huì)降低其性能，還可能給一些多媒體應(yīng)用帶來糟糕的視覺體驗(yàn).因此在計(jì)算機(jī)視覺和多媒體應(yīng)用領(lǐng)域，自動(dòng)去除雨條紋已經(jīng)變成一種至關(guān)重要的研究任務(wù)，而且對(duì)單個(gè)圖像自動(dòng)去除雨條紋還可以應(yīng)用到很多其他領(lǐng)域，例如視頻監(jiān)控領(lǐng)域、自動(dòng)駕駛領(lǐng)域中的目標(biāo)檢測(cè)和追蹤、基于內(nèi)容的圖像編輯領(lǐng)域等.

在視覺上對(duì)圖像除雨的研究可以追蹤到十幾年前，針對(duì)研究主題的不同，可以分為視頻序列的除雨方法和單張圖像的除雨方法.早期研究關(guān)注靜態(tài)攝像機(jī)拍攝的視頻序列的雨條紋去除，主要是通過利用連續(xù)幀之間的時(shí)序相關(guān)性來解決除雨問題，因此從視頻中去除雨條紋相對(duì)簡(jiǎn)單，然而對(duì)單個(gè)圖像除雨而言，由于缺少時(shí)序信息，所以更具挑戰(zhàn)性.本文關(guān)注的是單個(gè)圖像除雨任務(wù).對(duì)于單圖像除雨而言，傳統(tǒng)的方法主要在探索雨條紋在物理特性上的先驗(yàn)信息，然后將除雨看成是信號(hào)分離問題.例如基于字典學(xué)習(xí)，文獻(xiàn)［1］將雨圖像的高頻部分分解成有雨和無雨的部分.文獻(xiàn)［2］基于圖像塊提出判別稀疏編碼框架.在［3］中，高斯混合模型被用作一種先驗(yàn)將雨圖分解成背景層和雨條紋層.文獻(xiàn)［4］利用雨條紋的低秩特性分離這兩層.文獻(xiàn)［5］結(jié)合這三種圖像的先驗(yàn).由于這些方法是固定的雨條紋先驗(yàn)假設(shè)，他們往往只能處理有特定形狀、尺度和強(qiáng)度的雨條紋，會(huì)破壞圖像中和雨條紋類似的圖像細(xì)節(jié).

近年來，由于卷積神經(jīng)網(wǎng)絡(luò)的強(qiáng)大的特征表示能力及端到端的數(shù)據(jù)推斷能力，基于深度學(xué)習(xí)的圖像除雨研究取得了顯著的性能提升.文獻(xiàn)［6］首先將深度學(xué)習(xí)的方法引入到圖像除雨領(lǐng)域，和［1］類似，他們也將雨圖像分解成高頻和低頻部分，然后使用深度殘差網(wǎng)絡(luò)將高頻部分映射到雨條紋層.文獻(xiàn)［7］提出一種強(qiáng)度感知的多級(jí)連接的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，可以同時(shí)估計(jì)雨條紋的強(qiáng)度和去除雨條紋.在［8，9］，提出注意力遞歸網(wǎng)絡(luò)用于單張影像雨滴去除任務(wù).以上是卷積神經(jīng)網(wǎng)絡(luò)的方法，由于生成對(duì)抗網(wǎng)絡(luò)的的對(duì)抗性，一些方法將此應(yīng)用到圖像除雨領(lǐng)域，文獻(xiàn)［10，11］使用生成對(duì)抗網(wǎng)絡(luò)來防止從雨圖中提取背景圖像時(shí)導(dǎo)致的背景圖像變質(zhì)，他們還利用了感知損失來確保圖像的視覺質(zhì)量.

盡管和傳統(tǒng)的方法相比，基于深度學(xué)習(xí)的方法已經(jīng)取得了很大的進(jìn)步.但是在卷積神經(jīng)網(wǎng)絡(luò)中，卷積層是在局部小區(qū)域中建立像素之間的相關(guān)性，而長(zhǎng)范圍的相關(guān)性是通過深度堆疊卷積層實(shí)現(xiàn)的，如果想要在一張?zhí)卣鲌D上，對(duì)距離比較遠(yuǎn)的位置進(jìn)行信息傳遞，就會(huì)很困難，這種直接堆疊卷積層的操作在計(jì)算上效率低而且很難訓(xùn)練.基于這一問題，本文充分利用注意力機(jī)制在長(zhǎng)范圍相關(guān)性上的優(yōu)勢(shì)，提出將注意力模塊與深度殘差網(wǎng)絡(luò)相結(jié)合，對(duì)于輸入的特征圖而言，分別進(jìn)行通道維度和空間維度的注意力模塊操作，最終得到精細(xì)化的特征輸出圖，該模塊不會(huì)改變特征圖的大小，但是能夠自適應(yīng)調(diào)整通道上特征的權(quán)重和捕獲空間維度上雨條紋像素之間的相關(guān)性，更有利于從有雨的圖像中得到干凈的背景圖.

2 單個(gè)圖像去雨方法

2.1 雨模型

在圖像去雨的研究中，雨模型是被廣泛使用的［2］，它將觀察到的雨天圖像O 定義成干凈的無雨的背景圖像B 與雨條紋層R 的疊加:

由公式(1)式可知，從觀察到的雨圖O 中去除雨條紋層B，便可以獲得無雨的背景圖像.

2.2 網(wǎng)絡(luò)架構(gòu)

圖1 整體架構(gòu)結(jié)構(gòu)圖Fig.1 Overall architecture of our proposed methods

近年來大多數(shù)方法都是學(xué)習(xí)從有雨圖像直接到干凈的背景圖像的映射.但是由于雨條紋層有很多區(qū)域的像素值接近0，所以和背景圖像相比，它更具有稀疏性，這種性質(zhì)的好處是降低了網(wǎng)絡(luò)學(xué)習(xí)的難度，還可更快收斂，減少訓(xùn)練間.基于該思想，本文網(wǎng)絡(luò)整體架構(gòu)如圖1所示，網(wǎng)絡(luò)輸入是單張有雨圖像，然后使用一個(gè)卷積層將圖像轉(zhuǎn)換到特征空間，接著將特征圖送入到一系列堆疊的殘差注意力模塊(ResBlock+CBAM)中進(jìn)行特征提取與變換，之后通過一個(gè)通道數(shù)為3 的卷積層將特征圖變換到圖像域.其中不同的注意力殘差模塊數(shù)量對(duì)最終的性能有不同的影響，但鑒于殘差網(wǎng)絡(luò)采用18 個(gè)卷積層即9 個(gè)殘差模塊堆疊，所以將模塊數(shù)固定為9，重點(diǎn)討論注意力機(jī)制對(duì)除雨性能的影響.此外，最終所需的干凈的背景圖是通過網(wǎng)絡(luò)輸入的有雨圖像逐像素減去網(wǎng)絡(luò)的輸出獲得的，因此網(wǎng)絡(luò)只需學(xué)習(xí)雨條紋的結(jié)構(gòu)分布.網(wǎng)絡(luò)的中間部分由殘差模塊和注意力模塊組合而成，詳見后續(xù)介紹.

2.3 殘差模塊

圖2 殘差模塊結(jié)構(gòu)圖Fig.2 Structure of resblock

殘差模塊的堆疊形成殘差網(wǎng)絡(luò)［12］，殘差網(wǎng)絡(luò)在圖像分類的應(yīng)用中表現(xiàn)出優(yōu)越的性能.殘差模塊的結(jié)構(gòu)如圖2 所示，給定一個(gè)特征圖，首先經(jīng)過一個(gè)帶有激活函數(shù)為Relu 的卷積層，然后再次經(jīng)過一個(gè)卷積層得到特征圖，給定的特征圖和經(jīng)過兩次卷積層的特征圖進(jìn)行相加并通過Relu+得到模塊的最終輸出.其過程可通過公式(2)表示:

其中x 表示輸入特征圖，y 表示輸出特征圖，F(xiàn)(x，{wi})表示中間卷積層，{wi}表示要訓(xùn)練的參數(shù).

殘差模塊的核心思想是跳轉(zhuǎn)連接的操作，它可以解決在反向傳播時(shí)梯度消失的問題，從而為訓(xùn)練大型的深度網(wǎng)絡(luò)提供了可能.

2.4 注意力模塊

通常注意力模塊在通道和空間兩個(gè)維度上進(jìn)行建立.在CBAM［13］中的注意力模塊如圖3 所示，(a)(b)分別是通道和空間注意力模塊.對(duì)于空間注意力模塊，在給定的特征圖上，首先獲得每個(gè)通道上最大和平均像素值來表示該通道，然后分別將他們作為一個(gè)兩層的全連接網(wǎng)絡(luò)的輸入來自適應(yīng)調(diào)整不同通道的權(quán)重，之后通過相加的方式進(jìn)行特征融合，最后經(jīng)過一個(gè)sigmoid 函數(shù)將所有的值歸一化在0 到1 之間得到通道注意力圖，其過程可用公式(3)表示:

其中x 表示輸入的特征圖，W1和W0分別表示多層感知機(jī)的權(quán)重，×表示逐像素相乘.

圖3 注意力模塊結(jié)構(gòu)圖Fig.3 Structure of attention module

對(duì)于空間注意力模塊，在給定的特征圖上沿著通道方向計(jì)算出最大值和平均值，然后將他們?cè)傺刂ǖ婪较蚱唇釉谝黄穑笸ㄟ^一個(gè)卷積核大小為7×7 激活函數(shù)為Relu 的卷積層來自適應(yīng)的學(xué)習(xí)出不同位置之間的相互依賴關(guān)系，接著經(jīng)過sigmoid 函數(shù)將空間上的值歸一化在0 到1 之間得到空間注意力圖，最后將輸入的特征圖和空間注意力圖相乘來調(diào)整特征圖上的值.過程可表示為公式(4):其中σ 表示sigmoid 函數(shù)，f7×7表示卷積核大小為 7×7 的卷積操作，×表示逐像素相乘.

2.5 注意力殘差模塊

對(duì)單圖像除雨問題來說，通過注意力模塊，可以使網(wǎng)絡(luò)相對(duì)于背景圖而言更高效的集中在雨條紋的特征提取和重建上.因?yàn)榫矸e是通過卷積核在整張圖像上按一定規(guī)則進(jìn)行窗口式滑動(dòng)完成加權(quán)和的操作，這種局部操作的局限性是很難得到圖像的全局信息，但是在很多情況下，全局信息至關(guān)重要.近年注意力機(jī)制得到越來越多研究人員的關(guān)注，一種通過注意力機(jī)制的思想可以在一定程度上解決卷積操作固有的缺陷，提高卷積的表示能力.

本文將注意力模塊和殘差模塊相結(jié)合，構(gòu)成注意力殘差模塊單元，這有利于堆疊成深度模型來提高網(wǎng)絡(luò)性能.如圖4所示，特征圖經(jīng)過兩個(gè)卷積層后依次通過通道注意力模塊和空間注意力模塊，最后通過相加的方式將輸入特征圖直接傳遞到輸出部分并和殘差模塊一樣通過激活函數(shù)Relu 后輸出.其過程可表示為公式(5):

由于標(biāo)準(zhǔn)的一個(gè)卷積層有一定的通道數(shù)，每一個(gè)通道自適應(yīng)的學(xué)習(xí)特定的某個(gè)特征，在除雨的過程中，雨條紋的特征比其它如背景圖的特征要重要很多，通過通道注意力模塊可以在每一個(gè)卷積層中促進(jìn)雨條紋特征的學(xué)習(xí)而抑制其它特征的學(xué)習(xí).經(jīng)過一系列的操作，每一個(gè)通道得到最終的權(quán)重，將輸入的特征圖和所得權(quán)重相乘，可以讓網(wǎng)絡(luò)集中在所需的特征上，抑制不需要的特征.

圖4 注意力殘差模塊Fig.4 Residual attention module

與通道注意力機(jī)制不同的是空間注意力機(jī)制是基于每一個(gè)特征圖的空間像素值的相關(guān)性程度不同而建立的.由于雨條紋內(nèi)在相關(guān)性強(qiáng)于雨條紋與背景圖之間的相關(guān)性，所以通過空間注意力機(jī)制可以讓網(wǎng)絡(luò)集中于有雨的位置，這有利于網(wǎng)絡(luò)對(duì)雨條紋進(jìn)行重建.

2.6 損失函數(shù)

本文的損失函數(shù)定義為L(zhǎng)1+LSSIM的和，表示真實(shí)圖像與網(wǎng)絡(luò)輸出結(jié)果圖像之間的誤差.L1損失函數(shù)可以測(cè)量網(wǎng)絡(luò)輸出的圖像像素值的準(zhǔn)確性，LSSIM［14］可以衡量?jī)煞鶊D像結(jié)構(gòu)的相似性.L1損失函數(shù)可表示成公式(6):

其中H，W，C 分別表示圖像的高度、寬度和通道數(shù).^I 和I分別表示網(wǎng)絡(luò)輸出的圖像和相應(yīng)的無雨圖片.

SSIM 可表示如下:

其中 μI和是圖像I 的均值和方差和是圖像的均值和方差是圖像和 I 的協(xié)方差，k1，k2為常數(shù)項(xiàng)，避免分母為0.

LSSIM損失函數(shù)表示如下:

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集與網(wǎng)絡(luò)配置

本文首先用合成數(shù)據(jù)集Rain100L 和Rain100H［8］來訓(xùn)練和測(cè)試所提的方法，并且用真實(shí)的雨天圖像評(píng)估訓(xùn)練好的模型.Rain100L 是小雨數(shù)據(jù)集，用圖像處理軟件在背景圖上添加單一的雨條紋，其數(shù)據(jù)集包括200 對(duì)訓(xùn)練圖像和100 對(duì)測(cè)試圖像.Rain100H 是大雨數(shù)據(jù)集更具挑戰(zhàn)性，人工添加5 種不同方向不同強(qiáng)度的雨條紋，其數(shù)據(jù)集包括1800 對(duì)訓(xùn)練圖像和100 對(duì)測(cè)試圖像.最后真實(shí)世界的雨圖由文獻(xiàn)［8］提供，可用來評(píng)估所提方法的有效性.

本文所提的方法所有卷積層的通道數(shù)設(shè)定為32，輸入輸出卷積層沒有激活函數(shù)，通道注意力模塊中共享權(quán)重的全連接網(wǎng)絡(luò)的中間層的神經(jīng)元個(gè)數(shù)為通道數(shù)的一半.

所提方法在開發(fā)工具Pycharm 平臺(tái)上通過深度學(xué)習(xí)框架Pytrch0.41 實(shí)施，訓(xùn)練時(shí)采用隨機(jī)水平翻轉(zhuǎn)進(jìn)行數(shù)據(jù)增強(qiáng)，輸入為RGB3 通道彩色圖像并隨機(jī)裁剪成128×128 的圖像塊，批量大小設(shè)定為16，裁剪成圖像塊可以豐富數(shù)據(jù)集，提供相對(duì)大的感受野，減少硬件空間的消耗.使用Adam優(yōu)化器來更新網(wǎng)絡(luò)參數(shù)，初始學(xué)習(xí)率設(shè)置為0.001，總共訓(xùn)練 100 次，在第 30，50，80 次時(shí)，學(xué)習(xí)率乘以 0.2 衰減，優(yōu)化器的其他設(shè)置保持默認(rèn)，所有的實(shí)驗(yàn)是在一臺(tái)win10 系統(tǒng)帶有英偉達(dá)GTX1080Ti 顯卡和英特爾 i7-8700 CPU 上完成.

3.2 對(duì)比實(shí)驗(yàn)

A)不同圖像去除雨方法對(duì)比

鑒于合成數(shù)據(jù)集提供真實(shí)的無雨標(biāo)簽圖像，本文采用峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)在客觀數(shù)值上比較所提方法和 DDN［6］，JORDER［8］以及 RESCAN［9］的性能.本文將RGB 圖片轉(zhuǎn)到Y(jié)crcb 空間取Y 通道既亮度通道進(jìn)行計(jì)算.PSNR 和 SSIM 結(jié)果分別總結(jié)在表1 和表2 中.PSNR 和SSIM 越大表示兩幅圖片越接近，從表中可以看出本文所提方法在PSNR 和SSIM 上都高于其他兩種方法.

表1 在合成數(shù)據(jù)集上PSNR 的實(shí)驗(yàn)結(jié)果Table 1 Results on synthesized datasets in terms of PSNR

表2 在合成數(shù)據(jù)集上SSIM 的實(shí)驗(yàn)結(jié)果Table 2 Results on synthesized datasets in terms of SSIM

圖5、圖6 分別展示不同方法在合成數(shù)據(jù)集Rain100L 和Rain100H 上的主觀視覺效果.小雨數(shù)據(jù)集上不同的方法整體上都可以有效去除雨條紋，但是在細(xì)節(jié)上即圖中用矩形框標(biāo)記出的區(qū)域本文的方法更具優(yōu)勢(shì).大雨數(shù)據(jù)集上，JORDRER有明顯殘留的雨條紋痕跡，本文所提方法與RESCAN 相比視覺上圖片更光滑自然，紋理和色彩上所提方法都更接近無圖像，進(jìn)一步說明所提方法性能的優(yōu)越性.

圖5 Rain100L 中不同圖像去除雨條紋方法的視覺展示Fig.5 Visual comparison of rain-streaks removal results on Rain100L

圖6 Rain100H 中不同圖像去除雨條紋方法的視覺展示Fig.6 Visual comparison of rain-streaks removal results on Rain100H

B)注意力殘差模塊數(shù)量對(duì)性能的影響

圖7 不同注意力殘差模塊數(shù)量的收斂性分析Fig.7 Training convergence analysis on PSNR of different modules

為了驗(yàn)證注意力機(jī)制對(duì)除雨性能的影響，以及訓(xùn)練次數(shù)與PSNR 的關(guān)系，本文給出了一組對(duì)比試驗(yàn).本文將9 個(gè)堆疊的注意力殘差模塊替換成殘差模塊作為基準(zhǔn)模型，用圖7中的曲線1 表示;其次將靠近網(wǎng)絡(luò)輸出的注意力殘差模塊保留，其余8 個(gè)替換成殘差模塊作為對(duì)比模型，圖7 中曲線2 表示;最后是本文所提的模型，用曲線3 表示.對(duì)比試驗(yàn)在合成數(shù)據(jù)集Rain100L 上訓(xùn)練與測(cè)試.

從圖7 中可以看出對(duì)比模型較基準(zhǔn)模型而言，性能提升明顯，這說明基于注意力機(jī)制的模塊對(duì)除雨性能提升貢獻(xiàn)很大.這是因?yàn)樽⒁饬C(jī)制在長(zhǎng)范圍相關(guān)性上的優(yōu)勢(shì)，將注意力模塊與深度殘差網(wǎng)絡(luò)相結(jié)合，對(duì)于輸入的特征圖而言，分別進(jìn)行通道維度和空間維度的注意力模塊操作，最終得到精細(xì)化的特征輸出圖，該模塊不會(huì)改變特征圖的大小，但是能夠自適應(yīng)調(diào)整通道上特征的權(quán)重和捕獲空間維度上雨條紋像素之間的相關(guān)性，更有利于從有雨的圖像中得到干凈的背景圖.通過圖7 可以進(jìn)一步證明所提方法的優(yōu)越性.

C)真實(shí)的雨圖測(cè)試

為測(cè)試不同圖像除雨方法的實(shí)際效果，本文還在真實(shí)世界的雨天圖像上測(cè)試來評(píng)估性能.先將所提的方法在合成數(shù)據(jù)集Rain100L 上進(jìn)行訓(xùn)練并保存模型，然后用真實(shí)雨圖直接進(jìn)行測(cè)試來驗(yàn)證所提方法的有效性.圖8 展示的是在真實(shí)的雨圖的去雨效果.從圖中可以看出，對(duì)于真實(shí)世界的有雨圖像，本文方法可以恢復(fù)干凈的背景圖像，而且將本文所提的方法與 JORDER 相比，很大程度上還可以保持背景圖像的紋理特性.

圖8 真實(shí)雨圖的效果展示Fig.8 Visual performance of our proposed methods on real-world rainy images

4 結(jié) 論

本文提出一種基于注意力殘差網(wǎng)絡(luò)的單圖像去雨方法，網(wǎng)絡(luò)中采用的注意力模塊由通道維度和空間維度組成，它們可以自適應(yīng)學(xué)習(xí)所需的雨條紋的特征，還可以在空間上捕獲像素之間的相關(guān)性.通過在合成數(shù)據(jù)集小雨和大雨以及真實(shí)場(chǎng)景中的雨圖進(jìn)行實(shí)驗(yàn)，結(jié)果表明所提的方法可以有效去除雨條紋，與其他方法相比在主觀視覺上和客觀數(shù)值上均具有優(yōu)越性.