基于并行通道-空間注意力機制的腹部MRI影像多尺度超分辨率重建

樊 帆，高 媛，秦品樂，王麗芳

（中北大學大數據學院，太原 030051）

（?通信作者電子郵箱843933175@qq.com）

0 引言

圖像超分辨率（Super-Resolution，SR）是指將低分辨率圖像（Low Resolution，LR）重建成高分辨率圖像（High Resolution，HR）的技術。SR 在諸如高光譜成像［1］、醫學影像［2-3］、面部識別［4］等領域均有著廣泛應用。

腹部包含人體的肝、膽、胰、脾等臟器，磁共振成像（Magnetic Resonance Imaging，MRI）能夠對不同的腹部器官返回不同頻率的信號，明確病變的程度范圍及其特征［5］。醫生可通過腹部MRI 影像進行有效的病原診斷，有利于病人及早發現問題，并及早提醒病人腹部病變位置。超分辨率可以在現有設備條件下獲得特征明顯、細節清晰、更有利于輔助醫生診斷的高清腹部MRI影像。

SR 屬于不適定問題，即一張LR 圖像重建后會獲取多張可能的HR 圖像［6］，不存在唯一解，因此重建圖像質量受到很大的限制。傳統的SR 算法有插值法［7-8］和重建法［9-10］，由于復雜度較低，適應性較弱，獲得的重建圖像極易出現失真和棋盤偽影等現象。伴隨著神經網絡的不斷發展，當前主流基于神經網絡的超分辨率算法采用網絡末端上采樣策略，該策略將網絡分為特征提取和特征上采樣兩個部分，先在計算復雜度較低的LR空間提取特征，再將特征輸入位于網絡末端的上采樣層獲取重建后的SR 圖像。Shi等［11］在使用亞像素卷積層實現實時圖像視頻超分辨率（real-time single image and video super-resolution using an Efficient Sub-Pixel Convolutional Neural network，ESPCN）中提出了能夠放在網絡末端實現超分辨率圖像重建過程的亞像素卷積層（Pixel Shuffle）；Hu等［12］在任意超分辨率放大網絡（Magnification-arbitrary network for Super-Resolution，Meta-SR）中提出了能夠實現任意尺度上采樣的多尺度上采樣層（Meta-Upscale Module）。這兩種算法通過改進上采樣層，均有效提升了網絡的重建效果。而Lim等［13］提出的單圖像增強型深度殘差超分辨率網絡（Enhanced Deep residual networks for single image Super-Resolution，EDSR）去除了殘差塊的批量標準化層（Batch Normalization，BN），減小了網絡尺寸；Yu 等［14］提出的寬殘差超分辨率網絡（WiDe activation for efficient and accurate image Super-Resolution，WDSR）拓寬了網絡寬度以增加流入深層的特征，均有效提升了圖像的重建質量。但是以上網絡未充分識別圖像的顯著信息［15］，這也限制了其性能的進一步提升。由Zhang 等［16］提出的深層殘差通道注意力超分辨率網絡（image super-resolution using very deep Residual Channel Attention Network，RCAN）認為僅通過堆疊網絡深度無法進一步提升重建圖像的質量，將壓縮激勵網絡（Squeeze and Excitation network，SE-net）［17］提出的通道注意力機制引入超分辨率任務，通過學習圖像各通道特征間的相互依賴性自適應調整提取到的特征，成功提升了網絡的性能表現，為超分辨率圖像重建貢獻了新的思路。

受RCAN 啟發，本文提出了基于并行通道-空間注意力的腹部MRI 影像多尺度超分辨率重建網絡（abdominal MRI Image multi-scale Super-Resolution reconstruction network based on Parallel channel-spatial Attention mechanism，PASR）。PASR

構造了新的并行通道-空間注意力殘差塊，利用拓寬的卷積層提取特征，優化了通道注意力模塊，能夠更好地捕捉各通道特征相互依賴性，并添加了尺寸更小的空間注意力模塊以學習圖像重點區域與高頻信息的相關性。通過拓寬后的特征提取層使豐富的全局圖像特征流入注意力模塊進行自適應調整，提升了腹部MRI影像超分辨率重建時的細節收益。為了方便醫生診療使用，該算法在網絡末端應用多尺度上采樣層，使得網絡在更少的參數下實現對腹部MRI影像的多尺度超分辨率重建。實驗結果表明，并行通道-空間注意力殘差塊與多尺度上采樣層結合使用的效果顯著，與WDSR、RCAN 等算法相比，PASR 在峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結構相似性（Structural SIMilarity index，SSIM）指標上取得了更好的結果。

1 相關工作

1.1 注意力機制

注意力機制是當前計算機視覺領域的熱點問題，就像人類會選擇性地關注圖像信息顯著的部分，神經網絡也可以通過對顯著信息的識別以確定圖像所表達的具體意義［15］。腹部MRI 圖像細節相較自然圖像而言更加復雜，高低頻信號對比明顯，辨識度不及彩色圖像，實際診斷中需要重建圖像展現更清晰的腹部周邊組織形狀。雖然卷積網絡已經在深度學習中體現了其高性能，但是標準卷積神經網絡的卷積核是平移不變的，所以卷積核會平等對待不同區域不同通道的特征［18］，這導致網絡很難利用上下文信息來學習到有效的特征；而引入注意力機制可以幫助網絡學習特征通道的相互依賴性以及高頻信息與圖像空間位置的相關性，有效提升網絡的性能。

注意力機制主要有通道注意力（Channel Attention，CA）和空間注意力（Spatial Attention，SA），分別在通道維度和空間維度上強調對任務有用的圖像特征信息［19］。SE-net提出的SE模塊如圖1 所示，用于計算通道注意力。SE 模塊采用全局平均池化層（Global Average Pooling，GAP）［20］對輸入維度為h×w×C的特征信息在h×w維度上壓縮獲取特征描述符v∈R1×1×C，再通過由全連接層和激活函數組成的門控機制來生成注意力值CA，最終通過乘法將CA逐通道加權到輸入特征上，獲取對關鍵信息相應程度更高的通道特征圖，有效提升了分類任務的準確性。然而SE-net只根據通道維度的權重對特征進行調整，忽略了特征空間維度的重要性。

圖1 SE模塊結構Fig.1 SE module structure

Woo 等［21］提出的卷積塊注意力模塊（Convolutional Block Attention Module，CBAM）除了采用通道注意力之外，還設計了空間注意力模塊，如圖2 所示。先使用GAP 和全局最大池化層（Global Max Pooling，GMP）在通道維度上壓縮輸入特征以獲取特征描述符favg、fmax∈Rh×w×1，級聯后通過全連接層和Sigmoid 激活函數計算二維空間注意力SA，最終與輸入特征相乘，能夠強調空間維度上對任務更有效的圖像特征區域。CBAM 同時應用通道和空間注意力，成功提升了圖像分類任務的準確性。

圖2 CBAM的空間注意力模塊Fig.2 Spatial attention module of CBAM

本文結合通道注意力與空間注意力設計了注意力模塊，旨在使網絡獲取對關鍵信息響應程度更高的通道特征圖，強調含有豐富高頻信息的圖像區域，減少冗余低頻信息的傳遞，進而提升重建圖像的細節紋理效果。

1.2 寬殘差超分辨率網絡

WDSR 在超分辨率的重建效果上取得了巨大的提升，該算法采用了網絡末端上采樣策略，主要針對EDSR 的特征提取部分進行了改進。網絡結構如圖3所示。

圖3 WDSR網絡結構Fig.3 Network structure of WDSR

WDSR 認為激活函數ReLU（Rectified Linear Unit）對特征從淺層到深層的流動造成了阻礙，若在ReLU 前利用卷積層將特征圖的通道數增多，可以有效提升網絡的性能。因此WDSR 提出了改進后的殘差塊WDSR-A，結構如圖4 所示。WDSR-A 將3×3 卷積核的寬度由64 拓寬到192，同時在每個3×3 卷積層后采用權重歸一化（Weight Normalization，WN）層代替BN層以加速網絡收斂，降低了過寬網絡的訓練難度。

圖4 WDSR-A殘差塊Fig.4 WDSR-A residual block

網絡先使用3×3卷積層提取輸入圖像的淺層特征，通過遞歸殘差塊（Residual Body）學習到圖像的高級特征后再使用Pixel Shuffle 層將提取到的圖像特征上采樣處理，同樣將低分辨率圖像通過Pixel Shuffle 層上采樣處理后與遞歸網絡學習到的特征疊加輸出結果。

本文在殘差塊內應用寬殘差網絡提取特征，使得注意力模塊學習到更多的上下文信息，使對重建更有效的特征能夠流入網絡深層。

1.3 上采樣層

在SR 中，常用的上采樣層有反卷積層［22］和Pixel Shuffle層。如圖5 所示，反卷積層通過先補充零值以執行卷積來增加圖像尺寸，但是容易產生棋盤偽影，影響重建效果。

如圖6所示，Pixel Shuffle 層也是端到端學習的上采樣層，通過卷積操作生成多個通道，最后為特征通道重新排序以獲取最終的重建圖像［11］。與反卷積層相比，Shuffle 層具有較大的感受野，能夠提供更多的上下文信息，但是Shuffle層的感受野分布不均勻，這導致重建圖像邊界可能會出現畸變。

圖5 反卷積層工作原理Fig.5 Working principle of deconvolution layer

圖6 Pixel Shuffle層工作原理Fig.6 Working principle of Pixel Shuffle

多尺度上采樣層結構如圖7 所示。不同于Shuffle 層和反卷積層，多尺度上采樣層分為三個部分：位置投影層（Location Projection）、權重預測層（Weight Prediction）以及特征映射層（Feature Mapping）。通過三個模塊的計算，對于輸入的任意尺度，多尺度上采樣層都能夠動態預測其所需要上采樣卷積核的權重，使得網絡無需保存每個尺度所對應模型的權重，實現對輸入低分辨率圖像的任意尺度超分辨率放大。

圖7 多尺度上采樣層Fig.7 Meta-upscale module

2 基于注意力機制的多尺度圖像重建網絡

2.1 改進思想

RCAN 將通道注意力機制引入了超分辨率任務，取得了較優的結果，但網絡沒有學習圖像各位置特征之間的相關性，未強調富含高頻信息的圖像區域，只能完成單尺度超分辨率任務，限制了性能的提升和實際應用效果。本文提出了基于并行通道-空間注意力的腹部MRI 多尺度超分辨率重建網絡（PASR），設計了并行通道-空間注意力殘差塊，將殘差塊內提取特征的卷積層拓寬，允許更多的上下文信息流入并行通道-空間注意力模塊，以使網絡提取有效特征，減少了冗余信息的傳遞，同時在每個卷積層后添加WN 層以保證網絡的收斂效率。最后，結合多尺度上采樣層，實現了單模型多尺度超分辨率，增加了網絡的靈活可應用性。

2.2 PASR

2.2.1 網絡結構

PASR 網絡主體結構如圖8 所示，采用網絡末端上采樣策略，包含用于提取淺層特征的3×3卷積層、遞歸殘差組、用于全局殘差學習的跳層連接和用于重建圖像的多尺度上采樣層。遞歸殘差組由8個殘差組（Residual Group，RG）和用于控制特征通道數的3×3 卷積層構成。每個殘差組包含10 個并行通道-空間注意力殘差塊和1 個用于局部殘差學習的跳層連接。

網絡采用低分辨率圖像ILR作為輸入，先通過3×3 卷積層提取淺層特征F0：

其中：HSF代表3×3 卷積層；F0也被用于全局殘差學習。將F0輸入遞歸殘差組，計算完成后與F0疊加得到FDF，有：

其中，HBody代表遞歸殘差組。通過多尺度上采樣層映射特征，最終輸出超分辨率圖像ISR：

其中，HMeta代表多尺度上采樣層。為了保證網絡的簡潔性以避免繁瑣的訓練，PASR 在訓練中采用L1 損失來對網絡進行優化，有：

其中：HPASR代表PASR 算法；IHR代表HR 圖像；θ代表PASR 網絡的參數。通過計算每一個訓練期間（epoch）迭代SR 和HR之間的L1損失來優化PASR的參數。

圖8 PASR網絡結構Fig.8 Network structure of PASR

2.2.2 并行通道-空間注意力殘差塊

并行通道-空間注意力殘差塊（Parallel channel-spatial Attention Residual Block，PARB）結構如圖9 所示。以第g組第m個殘差塊為例，維度為h×w×64 的特征在輸入網絡后先經過拓寬后的特征提取層，有：

其中：δ代表Sigmoid 激活函數；ωU和ωD分別代表下采樣和上采樣卷積層的參數集。再使用GAP 和GMP 將輸入特征Z在通道維度上壓縮成兩個特征描述符favg、fmax∈Rh×w×1。并利用空洞卷積相較普通卷積層在相同的尺寸下感受野更大的特性［23］，將favg、fmax級聯后通過空洞率為2 的空洞卷積層（Dilation Conv），使網絡學習到可以檢測目標區域的特征信息，最后通過Sigmoid 函數獲取二維的空間注意力圖SA，SA的計算式如下：

其中：δ代表Sigmoid激活函數；Hconv代表空洞率為2、卷積核尺寸為3×3 的空洞卷積層。將SA與CA分別與殘差塊內學習到的特征Z相乘后疊加輸出，有：

其中，Fg，m代表第g組第m個殘差塊的最終輸出。

圖9 并行通道-空間注意力殘差塊Fig.9 Parallel channel-spatial attention residual block

與RCAN 的殘差塊相比，PARB 同時應用了CA 和SA 機制，并拓寬特征提取層以增加流入注意力模塊的特征信息，在每個卷積層后添加了WN 層以加速網絡收斂。此外，在CA 模塊內添加了GMP 層以獲取各特征通道的最大響應值描述符vmax，配合GAP層能夠獲取更完整的特征通道數值信息。相較于解決分類任務的CBAM 的注意力模塊，PARB 的SA 模塊中采用空洞率為2 的空洞卷積層合并特征描述符，縮小卷積核尺寸的同時獲取了相同大小的感受野，并通過實驗采用了更適合超分辨率任務的并行模塊設計。因此，PARB 能夠學習復雜的圖像特征，通過并行通道-空間注意力模塊學習各位置通道特征的相互聯系性并進行相應調整，有效增強了特征的表達能力，使其在上采樣中能夠恢復更多的紋理細節。

2.2.3 多尺度上采樣層

在網絡末端使用多尺度上采樣層，首先通過位置投影層在LR上定位每個像素對應的SR的像素位置：

其中：T代表轉換函數；代表向下取整函數。在得到SR 的像素點(i，j)對應的LR 像素點(i′，j′)后，權重預測層使用一個簡單的預測網絡來預測像素點(i，j)在不同縮放尺度下對應的上采樣卷積核的權重W，計算式如下：

其中：W(i，j)代表SR 圖像中像素(i，j)的權重；ui，j代表與(i，j)相關的矢量；φ代表權重預測網絡；θ代表權重預測網絡的參數集。最后，通過特征映射層將網絡從(i′，j′)提取到的特征FDF投影到對應的像素點(i，j)，獲得最終超分辨率圖像，有

其中，?代表特征映射操作。通過結合多尺度上采樣層，PASR 訓練好的單個模型即可實現對LR 圖像的×2、×3、×4 尺度超分辨率重建。

3 實驗與結果分析

3.1 實驗參數

本文實驗采用的數據集是開源的Kaggle數據庫中的腹部MRI 數據集，并從中選取了縱隔清晰、高低頻信號對比明顯、富含紋理細節的440 張360×360 高質量圖像進行實驗，其中400 張用于訓練、40 張用于測試，高分辨率圖像通過雙三次插值法下采樣2、3、4 倍得到LR 圖像，并采用文獻［13］提出的數據增強方法，對每個LR圖像執行水平翻轉等幾何變換以獲取額外的7 張LR 圖片，最終將訓練集擴大至3 200 張圖像。同時，從測試集中選出20張圖像作為每個訓練epoch 的驗證集。將LR 圖像隨機裁剪后得到尺寸為30×30的補丁輸入網絡進行訓練。在每個epoch 訓練結束后，將驗證集輸入模型以跟蹤該epoch 的訓練結果，在200 個epoch 訓練完成后使用測試集進行最終測試。由額外的LR 圖像重建得到的SR 圖像經逆變換后再與HR圖像對比計算PSNR和SSIM值。

本文算法使用ADAM 優化器，初始參數設置為β1=0.9，β2=0.999，ε=10-8；使用mini-batch 策略訓練，batch 的尺寸設為16；初始學習率為10-4；軟件采用PyTorch V0.4.1 框架，在一塊內存為12 GB 的NVIDIA Tesla M40 上訓練共計48 h。

3.2 對比實驗分析

3.2.1 改進注意力殘差塊的對比實驗

為了進一步驗證同時應用通道-空間注意力機制的作用，該組實驗在PASR 的網絡主體上，分別使用去掉SA 模塊僅有CA 模塊的PARB、去掉CA 模塊僅有SA 模塊的PARB 與完整的PARB作為殘差塊進行效果對比。表1給出了實驗結果，可以看到完整的PARB 在3 個尺度下的PSNR 和SSIM 指標均達到了最高，這也表明了應用通道-空間注意力機制有效提升了重建圖像質量。

表1 殘差塊各種改進方法的PSNR和SSIMTab.1 PSNR and SSIM of various improvement methods of residual block

本文同時對PARB 內SA 模塊和CA 模塊的組合方式進行了探討。該組實驗在PASR 的網絡主體上分別對先SA 再CA（串行）、先CA 再SA（串行）和SA、CA 并行計算的PARB 進行了效果對比。表2 給出了不同注意力模塊組合方式的實驗結果。可以看到，并行連接CA 模塊和SA 模塊的方式在不同尺度下均取得了最好的效果，表現最優。

表2 PARB內CA、SA模塊不同組合的PSNR和SSIMTab.2 PSNR and SSIM of different combinations of CA and SA modules in PARB

3.2.2 網絡收斂

該組實驗對RCAN和PASR訓練的收斂情況進行了對比。如圖10 所示，上下兩條曲線分別為RCAN 和PASR 的L1 損失收斂曲線。PASR 算法在25 個epoch 出現明顯收斂，最終L1損失為1.80，RCAN 算法在第50 個epoch 時才出現明顯收斂，最終L1 損失為2.01。PASR 算法的損失小于RCAN 算法，相較于RCAN，通過在殘差塊內卷積層后添加WN層以及應用多尺度上采樣層，PASR算法的收斂性更好。

3.2.3 和其他算法的對比

為了測試PASR 算法的性能，本文將PASR 與傳統的雙線性插值法（Bilinear）、雙三次插值法（Bicubic），和基于神經網絡的SRCNN、VDSR、EDSR、RCAN，以及同樣可以實現單模型多尺度上采樣的MDSR算法［13］進行了效果對比。

表3 給出了尺度分別為×2、×3、×4 時不同算法的PSNR 值和SSIM 指標。與同樣可以實現單模型多尺度超分辨率的MDSR相比，PASR在各個尺度上均提升了1～2 dB的PSNR值。與其他方法相比，RCAN和PASR的結果更為優秀，而PASR在各個尺度上的指標均比RCAN要高，這是由于PASR添加了空間注意力模塊，使網絡重點關注圖像中高頻信息較為豐富的區域。

圖10 PASR和RCAN的Loss曲線Fig.10 Loss curves of PASR and RCAN

表3 不同算法在測試集上的PSNR和SSIMTab.3 PSNR and SSIM of different algorithms on test set

為了客觀顯示PASR 與各個算法的重建效果，本文從測試集中選取了2幅高分辨率圖像通過Bicubic 下采樣4倍后分別輸入以上8 個網絡，重建效果如圖11 所示。由圖11 可以看出，相較對比的7 種方法，從視覺效果上來看，PASR 算法效果提升明顯，且與RCAN 相比，在圖像的細節上取得了更逼真的還原度。

圖11 不同算法重建效果對比Fig.11 Comparison of reconstruction effects of different algorithms

3.3 模型尺寸分析與殘差組數量的選取

該組實驗對EDSR、RCAN 和PASR 模型的尺寸進行了分析，其中PASR 分別采用堆疊6 個殘差組、8 個殘差組（即本文方法）及10 個殘差組的模型進行對比。表4 給出了5 種模型結構的參數數量與不同尺度的PSNR 值。表4數據表明，堆疊8 個殘差組的PASR 和堆疊10 個殘差組的PASR 的性能相近，均比只堆疊6 個殘差組的PASR 性能要好，由于堆疊10 個殘差組所需參數較多且效果提升不明顯，最終PASR 選取殘差組數量為8，其參數數量相較于RCAN 稍多，但只需要1 個模型即可實現3 個尺度的圖像超分辨率重建，而RCAN 每個上采樣尺度都需要訓練單獨的模型。與EDSR 和RCAN 相比，PASR在模型尺寸和性能之間實現了更好的權衡。

表4 不同模型參數數量以及不同尺度下的PSNRTab.4 Different models’parameter numbers and their PSNRs at different scales

4 結語

本文針對腹部MRI 影像提出了一種基于并行通道-空間注意力機制的多尺度超分辨率算法，該算法設計了新的殘差塊，將網絡拓寬，并通過添加權重歸一化層以保證網絡的運行效率；構建了新的并行通道-空間注意力模塊，與拓寬后的網絡結合能夠有效強調圖像重點特征，減少網絡內部冗余信息的傳遞；最后，結合多尺度上采樣層，達到了性能和尺寸的最佳權衡。在這樣的設計下，PASR 提升了重建效果，實現了針對腹部MRI影像的單模型多尺度超分辨率重建。在之后的研究中，將嘗試新的損失計算方法以及網絡結構，探討收斂性更強、重建效果更好的超分辨率算法。