基于藍圖可分離卷積的輕量級水下圖像超分辨率重建

李 艷，諶雨章，郭煜瑋，胡世娥

（1.湖北大學 計算機與信息工程學院，武漢 430062；2.國電河南新能源有限公司，鄭州 450003）

0 引言

目前，隨著地球人口的增多，在陸地空間和資源壓力日益增加的條件下，對于水下空間及資源的開發變得十分迫切，因此水下圖像處理領域的研究已引起廣泛關注。但是由于水中光線的選擇性衰減與水中粒子散射問題、水中浮游物以及水體本身的散射和吸收作用，水下圖像會表現出顏色扭曲、細節模糊、對比度低、明亮的偽影等其他失真的問題，這給水下工作帶來了極大的挑戰和困難，因此近年來有許多學者為提高水下圖像的質量專注研究水下圖像的處理。

已經有許多算法應用在水下圖像增強，包括基于暗通道先驗知識［1］、基于Retinex算法［2］等，該類方法由于水中成像的特殊性存在局限性，因此近年來水下圖像超分辨率重建引起了學者們的廣泛關注，陳龍彪［3］等人在卷積網絡中引入改良的密集塊應用到水下圖像進行重建；宋婭菲等人［4］將殘差密集塊與自適應機制相融合，提出了基于殘差的水下圖像重建方法；袁紅春等人［5］在普通殘差網絡上引用了信息蒸餾機制和空間注意力模塊。在圖像超分辨率算法中，深度學習已經成為圖像處理領域的主流算法，隨著科技與時代的進步以及網絡重建性能的不斷提升，網絡結構越來越復雜、參數量顯著增加，這造成了巨大的計算開銷，為此輕量級網絡也開啟了高飛猛進的發展模式。2017年Lim 等人［6］提出了增強型深度殘差網絡（enhanced deep super-resolution network），首次在圖像超分辨率重建處理中移除傳統殘差網絡中的BN 層以簡化網絡體系結構，將內存需求減少約40%，輕量化思想初步得以實現；后來Zhang等人深度殘差通道注意網絡（RCAN，residual channel attention networks）中提出殘差嵌套（RIR，residual in residual）結構使網絡繞過低頻信息來提高特征處理的效率，同時引入通道注意力（CA，channel attention）機制來提取具有更重要信息的特征，模型性能取得了極大提升［7］。

但是這些方法由于網絡深度的增加網絡參數量也隨之增加，導致了重建速度的降低，并沒有實質上的實現輕量級網絡的構建。為解決此問題，Hui等人［8］提出的信息蒸餾網絡（IDN，information distillation network）利用蒸餾塊和跳躍連接逐步提取豐富有效的特征，減少了濾波器的數量，在保持更好的重建精度的同時實時速度更快，Hui等人［9］后來提出的多尺度特征蒸餾網絡（IMDN，information multi-distillation network）對IDN 進行改進，構造了級聯多蒸餾塊（IMDB，information multi-distillation module）來提取分層特征，并根據特征的重要性進行聚合；再接著Liu等人［10］提出了基于殘差的特征蒸餾網絡（RFDN，residual feature disillation network）進一步對IMDN 進行了改進，提出的特征蒸餾連接使得特征提取塊更加簡潔。2022年Li等人［11］提出了藍圖可分離殘差網絡（BSRN，blueprint separable residual network），通過引入藍圖可分離卷積（BSconv，blueprint separable convolution）更是進一步減少了參數、優化了卷積操作，同時引入空間和通道注意力塊來增強特征，在保證重建質量的基礎上，減小了網絡模型及計算復雜度［12］。

為了進一步提高其性能并且減少模型參數、提高重建速度，本文設計了一種基于藍圖可分離卷積的輕量級超分辨率網絡，利用藍圖可分離卷積代替普通卷積進行運算，減少特征冗余；同時使用增強空間注意（ESA）和對比度感知注意（CCA）［9］來增強模型能力；相比BSRN，去除ESDB模塊中的特征蒸餾連接，簡化了網絡模型，同時更好地利用了剩余的局部特征進行特征濃縮細化。

1 基于藍圖可分離卷積的超分辨率重建方法

1.1 網絡概述

本文算法整體網絡結構如圖1所示，通過優化卷積運算、引入有效的注意模塊、僅使用級聯的藍圖卷積＋RELU層［13］進行局部特征提取3個方面來提高網絡的效率，減少網絡的冗余計算，從而實現輕量化操作。

圖1 整體網絡結構

該算法結構整體分為4個階段：淺層特征提取、深層特征提取、多層特征融合以及圖像重建階段。在特征提取階段，輸入的低分辨率圖像先經過藍圖可分離卷積BSConv得到淺層特征F0，然后將淺層特征F0輸入到多個基于藍圖卷積的特征提取塊中提取出每層特征［F0，F1，…，Fn］，再經過1×1卷積和GELU 激活函數將特征進行融合與映射，最后通過藍圖卷積BSConv提取深層特征Fj。在圖像重建階段，將淺層特征F0和深層特征Fj相加后輸入到上采樣模塊，完成重建過程。

1.2 淺層特征提取階段

在淺層特征提取階段，首先將輸入圖像ILR復制n次并沿通道維度連接至一起得到，再經過BSConv提取到淺層特征F0，該過程可表示為：

其中：Concat（·）表示沿通道維度的連接操作，n是需要連接的ILR圖像的數目；HSF（·）表示淺層特征提取塊。

1.2.1 藍圖可分離卷積

藍圖可分離卷積［13］BSConv是Daniel受啟發于預訓練模型所提出，能夠更好地利用核內相關性允許更有效的分離規則卷積。BSConv的卷積原理如圖2所示，標準卷積［14］每個卷積核尺寸是M×K×K，可訓練參數為M·N·K2，藍圖可分離卷積的卷積核將M×K×K分離成M個K×K尺寸的卷積核，可訓練參數僅需N·K2＋M×N，在輕量級網絡中，使用藍圖可分離卷積相比標準卷積更具優勢，效率更高。

圖2 BSConv卷積原理

本文中BSConv的作用是擴展通道至更高維度并進行淺層特征提取，其結構如圖3所示。

圖3 藍圖可分離卷積BSConv模塊

1.3 深層特征提取階段

該階段是由多個基于藍圖卷積特征提取模塊組成，采用殘差連接進行局部特征學習，將淺層特征F0輸入到深層特征模塊逐步細化提取每層的特征。該過程可表示為：

其中：Hn（·）表示第n個特征提取模塊函數，Fn（·）表示第n個輸出特征映射。

1.3.1 基于藍圖可分離卷積的特征提取模塊

該模塊是整個算法的核心部分，相比NTIRE2022挑戰賽中獲得冠軍方案的BSRN 算法，新提出的模塊中去掉了特征蒸餾分支、采用增加通道數進行補償，每個特征細化模塊包含藍圖卷積BSConv層、GeLU 激活函數、1×1卷積層、增強空間注意層（ESA）［15］、對比感知通道注意層（CCA）［9］，本文所提模塊如圖4所示。給定輸入特征Fin，整個結構的描述如下：

圖4 基于藍圖可分離卷積的特征提取模塊

其中：RMj表示第j個細化模塊，Frefinedj表示第j個細化特征。經過多個局部特征細化步驟后，將最后的細化特征Frefined3和輸入特征Fin相加，得到最終優化的輸出特征Frefined。

接下來將輸出特征Frefined輸入到1×1卷積層以增強模型的表征能力，同時為了保持重建效率，引入一個輕量級增強空間注意力模塊（ESA）和一個對比度感知通道注意力模塊（CCA），ESA 模塊和CCA 模塊分別從空間和通道角度增強模型的表達能力。

其中：Fenhanced為增強功能，HCCA（·）和HESA（·）分別表示CCA 和ESA 模塊，使用注意力模型旨在聚合上下文信息。

1.3.2 增強的空間注意力模塊

增強的空間注意力ESA 模塊［15］的具體架構如圖5（a）所示。它首先使用一個1×1卷積層以減少輸入特征的通道尺寸，從而達到減少特征冗余的目的，接著為了降低空間尺寸使用步長為2的卷積和2×2的最大池化層，再使用一組由7×7最大池化層和步長為3的卷積組成的卷積組提取特征，最后對上采樣操作得到的特征進行1×1卷積操作恢復信道大小并通過Sigmoid函數［16］生成注意矩陣后與輸入進行點乘，得到最終的輸出特征。此模塊應用了兩個跳躍連接，具有調節激活值的作用，比普通的注意力模塊更加輕巧并且具有更好的性能。

圖5 具體架構

1.3.3 對比度感知通道注意力模塊

通道注意力機制［17］最初是通過對特征的不同通道重新分配權重，更利于分類或檢測，但是對于超分辨率重建網絡缺少如紋理、邊緣等增強圖像細節的信息。因此，在ESA 空間注意力模塊后添加CCA 對比度感知通道注意力模塊，該模塊是利用對比度信息，包括均值和標準差的總和來計算通道注意權重以增強圖像細節信息。對比度感知通道注意力模塊CCA 具體架構如圖5（b）所示，對比度信息值可通過以下公式進行計算：

其中：zc是輸出的第c個元素，HGC（·）表示全局對比度（GC）信息評估函數。

1.4 圖像融合與重建階段

進行深層特征提取后，將每一特征模塊的生成特征輸出相加通過1×1卷積和GELU 激活函數來平滑逐漸細化的深層特征以進行融合和映射，再使用BSConv進行特征優化，最后使用長跳躍連接通過上采樣模塊進行圖像重建，多層特征融合公式和重建階段的分別如式（10）和（11）表示：

其中：F0～Fn為逐步細化提取的每層特征，Hfusion（·）表示融合模塊，Ffused表示融合特征，Hrec（·）表示重建模塊，該模塊由一個3×3 標準卷積層和一個亞像素卷積組成，其結構如圖6表示。

圖6 上采樣操作

亞像素卷積［17］就是通過卷積和多通道間的重組得到高分辨率圖像，具體過程如圖7所示，先對圖像進行特征提取生成r＊r個特征通道圖（r即上采樣倍數），再按照一定的規則將這r＊r個通道的特征圖組合為w＊r、h＊r的上采樣結果即完成亞像素卷積操作。

圖7 亞像素卷積操作

整個網絡模型利用L1損失函數進行優化，其公式如下：

2 實驗結果與分析

2.1 實驗設置

本文在由Minnesota University交互式機器人與視覺實驗室最新公開的水下圖像數據集USR-248上進行了2倍和4倍的超分辨率重建實驗［18］。該數據集包含了大量的水下實體，包括水母、章魚、鯨類、蝦類、蟹類、貝類等多種生物以及水下航行器殘骸、潛水員等圖片。訓練集包含1 060張分辨率為480×640的真實高清水下圖像及其對應的使用Bicubic下采樣獲得的低分辨率圖像；測試集包含248張高分辨率圖像與其對應的低分辨率圖像。從USR-248訓練集中選取編號1～1 040作為本文的訓練集，從編號1 041～1 060中選取5張內容豐富，紋理清晰的圖像作為本文的驗證集，使用USR-248全部的測試集在Y通道上對本文提出的模型進行測量評估［19］。

本實驗的訓練平臺為：操作系統為64位的Windows10，采用單塊GPU 訓練網絡，顯卡為NVIDIA Quadro RTX5000，處理器為Intel（R）Xeon（R）Silver 4210CPU＠2.20GHz。訓練測試 平臺為CUDA10.2，cuDNN8.0.4，pytorch1.8.1，python3.8。在主要參數學習率的設置上，為了避免出現過擬合、欠擬合，訓練時間過長，本文采用的是學習率衰減的辦法。設定初始學習率為1×10-3，每迭代100 000次學習率降為原來的1／10，同時采用隨機梯度下降法（SGD）以及Adam 優化器對網絡進行更新迭代訓練。參數β1＝0.9，β2＝0.999，ε＝10-7，輸入patch大小設置為64×64，batchsize設為16，一共訓練1 000 000次。

2.2 評價指標

本文使用峰值信噪比（PSNR，peak signal-to-noise ratio）、結構相似比（SSIM，structure similarity）、UIQM 作為評價指標。

2.2.1 PSNR

PSNR［20］是一種評價圖像的客觀標準，用于衡量兩張圖像之間的差異，定義式如下：

PSNR值越大代表失真越小，表示圖像質量越好。式中yi表示高分辨率圖像中第i個位置上的像素值，表示重建后圖像中第i個位置上的像素值，m表示圖像的總像素，為圖像像素可取到的最大值，例如8位像素為28-1＝255；MSE為兩張圖的均方誤差值，表達的是兩幅圖在每一個位置上的像素值的差異的平均，數值越大，表示兩張圖片在相似度上越低。

2.2.2 SSIM

SSIM［20］比傳統方式更符合人眼視覺感知，其定義式如下：

其中：μ、σ分別為圖像像素的均值和標準差，σ2、σxy分別表示方差和協方差，C1＝（k1L）2，C2＝（k2L）2是維持穩定的常數。SSIM≤1，SSIM值越大表示重建圖像質量越好。

2.2.3 UIQM［21］

UIQM 是一種基于人類視覺系統（HVS）的無參考水下圖像評價指標，由3個測量指標線性結合而成，分別是色彩（UICM）、清晰度（UISM）和對比度（UIConM），UIQM 的值越大，表示圖像質量越佳，UIQM 如式（16）所示：

式中，c1、c2、c3為固定常數，分別設為0.028 2、0.295 3、3.575 3。

2.3 實驗結果與分析

為了驗證本文所提算法性能，本文算法與近年來所提出的EDSR、RCAN、BSRN、RFDN、IMDN、SwinIR［22］主流輕量級圖像超分辨率重建算法在相同的數據集上進行性能及模型復雜度的比較。在數據集USR-248上，不同輕量級圖像超分辨率網絡中放大倍數分別為2 倍和4 倍的PSNR、SSIM、UIQM 對比如表1 所示，模型參數大小、網絡重建時間、浮點運算量（FLOPs）對比如表2 所示。其中表中加粗字體為最優數據。

表2 不同網絡模型大小、重建時間、浮點運算量對比

2.3.1 網絡重建性能對比

從表1看出，在不考慮模型、參數的條件下，當放大倍數為2時，RCAN 網絡的PSNR 和SSIM 結果最優，EDSR 網絡的PSNR 和SwinIR 的SSIM 次之，除此之外，本 文與IMDN、RFDN、BSRN 三種輕量級超分辨率重建網絡相比，整體性能較優，其中UIQM 值優于所有網絡；當放大倍數為4 倍時，本文方法的PSNR 值優于其他所有網絡，與SwinIR、IMDN、RFDN、BSRN 四種輕量級網絡相比，SSIM 和UIQM 值均取得了較好的結果，其中與取得2022NTIRE挑戰賽冠軍方法的BSRN 網絡相比，PSNR 值提高了0.022dB。實驗結果表明，本文算法在提高圖像對比度、飽和度方面能達到較好的重建效果。

2.3.2 網絡參數量、重建時間、浮點運算量（FLOPs）分析

從表2可以看出，本文網絡的參數量、運行時間、浮點運算量均為最小，進一步從輕量化方面表現出所提方法的優越性。從模型參數量方面，在不同放大倍數下本文模型參數量僅230K、250.77K，遠小于所對比的其他網絡模型參數量，相比BSRN 模型減少了將近31%，相較于RFDN 參數量減少約45%，相較于IMDN 網絡參數量減少約67%，相較于SwinIR 網絡參數量減少約74%，相較于EDSR 網絡參數量減少約83%，相較于RCAN 網絡參數量的減少更是達到了98%以上。

從重建時間方面，本文網絡在不同放大倍數情況下重建時間均最短，BSRN 和RFDN 次之。放大倍數為2時每迭代一次僅需144 ms，放大倍數為4 時每迭代一次僅需277ms，所用時間不及EDSR 網絡的1／3，相比SwinIR 縮短了63%，相比IMDN 縮短了20%，相比RCAN 縮短了將近7倍。所有方法重建時間均是在GPU 顯存有部分占用的情況下測出，不同設備所測結果不同。

從浮點運算量方面，在放大倍數為2倍和4倍時本文方法每幀的浮點運算量僅為92.2G、99.29G，相比EDSR、SwinIR 網絡減少了約4／5，相比IMDN 網絡減少了約3／5，相比AIM2020 冠軍方法RFDN 和NTIRE2022 冠軍方法BSRN 減少了約1／3，相比RCAN 網絡，本文的浮點運算量的減少達到了97%。

2.3.3 不同通道注意力機制對網絡模型的影響

通道注意力機制的作用是給每個通道分配不同的權重以充分提取圖片中有用的特征信息，本文除了與現有方法進行對比，還對比了CCA、SE［23］、ECA［24］3種通道注意力機制對網絡模型的影響，結果如表3所示，表中加粗字體為最優數據。實驗結果表明，3種通道注意力模塊的浮點運算量相同，在模型參數方面，本文使用的CCA 模塊參數量最大，與ECA 模塊相差約5K，與SE模塊相差不到0.5K，在模型參數大小、浮點運算量相差甚小的情況下本文所提方法PSNR、SSIM、UIQM 值都達到了最優，其中在放大倍數為2 時，PSNR 值比使用ECA 注意力模塊提高了達0.9dB，因此本文模型在重建質量和模型復雜度之間取得了更好的平衡。

表3 不同注意力機制對網絡模型的影響

2.3.4 網絡重建結果分析

在對比實驗中，圖像實際的重建效果除了通過評價指標進行對比，還從視覺效果上與其他算法進行比較。本文從USR-248測試集中選取四張高分辨率圖像，當放大倍數為2時重建結果如圖8～9所示，當放大倍數為4時重建結果如圖10～11所示，本文網絡重建效果與RFDN、BSRN網絡重建效果視覺上無明顯差異，效果良好，但是圖片整體存在過度平滑的情況，細節紋理不夠清晰。

圖8 不同算法對USR-248數據集中im＿xb＿22＿進行2倍處理的效果

圖9 不同算法對USR-248數據集中im＿xb＿304＿進行2倍處理的效果

圖10 不同算法對USR-248數據集中im＿xb＿1115＿進行4倍處理的效果

圖11 不同算法對USR-248數據集中im＿xb＿7396＿進行4倍處理的效果

綜上通過重建性能、模型參數量對比、重建時間對比、浮點運算量對比以及網絡重建結果對比可以得知，在重建性能及視覺效果方面，所提方法落后于RCAN、EDSR，但是兩者之間差距并不大，PSNR 均值的整體差值不到0.1 dB，在實現高質量重建性能的同時相比其他主流輕量級圖像超分辨率重建網絡，本文的參數量、重建時間、浮點運算量成倍減少，大大減少了網絡規模、計算量及對硬件設備的要求，提升了運算效率，綜合對比可知，本文方法在算法性能和網絡模型方面實現了更好的平衡，在實際應用中更加具有競爭力。本文網絡與EDSR、RCAN、SwinIR、IMDN、RFDN、BSRN 網絡的參數量、重建時間及浮點運算量對比如圖12所示。

圖12 不同方法的參數量、重建時間及浮點運算量對比

3 結束語

本文提出了一種基于藍圖可分離卷積的輕量級水下圖像超分辨率重建算法，首先使用藍圖卷積對圖像提取淺層特征，再通過級聯的特征提取模塊進行深層特征提取，該模塊中去除了特征蒸餾分支、采用增加通道數進行補償，同時利用3個藍圖卷積來進行殘差局部特征學習以簡化特征聚合，通過減少網絡層的數量和簡化層之間的連接實現輕量化操作，最后進行圖像的融合與重建，模型參數量、運行時間浮點運算量方面均優于對比算法，實現輕量化的同時重建質量也取得了較好的效果。本文方法應用于水下領域，所使用的訓練集是基于水下圖像，是否能在自然圖像集上取得好的效果即本文算法的泛化性還有待研究。