基于大核注意力循環網絡的醫學圖像超分辨率重建

摘" 要： 醫學影像在醫生的臨床診斷中發揮著重要的作用。由于成像原理和設備的限制，很多時候獲得的圖片成像效果都不理想。將超分辨率技術引入醫學圖像領域，在超分辨率任務中使用大核分解和注意力機制，可以使卷積神經網絡取得類似于基于Transformer方法的效果。于是提出一種基于循環生成對抗網絡的醫學圖像超分辨率方法，使用大核注意力機制來提升成像質量，使用循環生成對抗網絡來提升圖片的細節恢復的質量和準確性。

關鍵詞： 大核分解； 循環生成對抗網絡； 醫學圖像； 超分辨率重建； 注意力機制

中圖分類號：TP391" " " " " 文獻標識碼：A" " "文章編號：1006-8228（2023）12-55-05

Medical image super-resolution reconstruction based on large

kernel attention cycle network

Sun Lexian， Duanmu Chunjiang

（School of Physics and Electronic Information Engineering， Zhejiang Normal University， Jinhua， Zhejiang 321004， China）

Abstract： Medical imaging plays an important role in the clinical diagnosis of doctors. Due to the limitation of imaging principle and equipment， many times the images obtained are not ideal. Introducing super-resolution technology into the field of medical images and using large kernel decomposition and attention mechanism in super-resolution tasks can make convolutional neural network not inferior to the method based on Transformer. In this paper， a super-resolution method for medical images based on cycle generative adversarial networks is proposed. The large kernel attention mechanism is used to improve the image quality， and the cycle generative adversarial network is used to improve the quality and accuracy of image detail recovery.

Key words： large kernel decomposition; cycle generative adversarial network; medical images; super-resolution reconstruction; attention mechanism

0 引言

在現代醫學的診斷中，醫學成像扮演著不可或缺的角色，是一種在醫療行業中廣泛實踐和推廣的醫療診斷工具。超聲成像對身體無長期副作用，無其他輻射影響，可以實時生成圖像且使用成本低，便攜性好等特點，在整個醫療行業的應用極其廣泛。但在實際應用中，由于成像原理有著聲波衍射的限制，在一些情況下很難產生高質量的超聲圖像[1]。CT圖像的臨床診斷則應用于新冠肺炎，肺腫瘤，縱隔內原發性腫瘤等疾病的確診和篩查[2]，所以這些醫學圖像的分辨率和細節的準確性至關重要。

醫學圖像超分辨率需要考慮以下兩個問題：①由于輻射和其他對身體的影響，成對的超聲或者CT圖像的數量都是極為有限，所以要求患者進行額外輻射劑量的CT掃描是不切實際的；②在超分辨率任務中，由于退化空間具有不確定性，同一個LR圖像可能對應著多個HR圖像，從而導致可能恢復出現實中并不存在的細節，這種潛在的風險使得醫生在臨床的診斷中出現誤判的可能性增加。為了解決這些問題，我們在以下幾個方面做了努力：使用自監督的CycleGan框架，從而保證恢復圖片和原始圖片的一致性；引入了大核注意力，基于此提出了全新的大核殘差注意力結構，并針對不同的醫學圖像的特點進行了改進。

1 大核注意力循環網絡

1.1 所提出的網絡模型結構

在基于深度學習的圖像超分辨率任務中，使用CNN前饋網絡來進行超分辨率任務的映射可以寫為：

[y=GθX]" ⑴

其中，[X]表示低分辨率圖像，[y]則為通過生成器[Gθ]得到的高分辨率圖像，我們的任務目標是得到足夠好的[y]，那么就要通過引入損失函數來不斷更新[Gθ]從而得到理想的[y]，從而可以這樣描述：

[θ=argminθil（yiθ，yi）]" ⑵

其中，[yi]，[yi]分別是生成的高分辨率圖像和真實的高分辨率圖像，[θ]為參數。通過損失函數去優化參數，從而更新生成器。在文獻[3-4]的啟發下，我們使用CycleGan結構，并引入Cycleloss來保證生成圖片與原圖的循環一致。與傳統CNN模型不同的是，我們使用生成器G和生成器L去生成高分辨率圖像和低分辨率圖像，包括兩個映射[G：G（x）→y]和[F：F（y）→x]。由于使用的是生成對抗網絡，使用兩個鑒別器分別對生成器生成的圖片進行鑒別，生成器的目的就是為了愚弄欺騙鑒別器從而可以生成高質量的重建圖片，可以用以下公式概括：

[minG，LmaxDlGanG，D+lGanL，D]" ⑶

其中，[lGan]為完整的網絡結構，[G]，[L]，[D]分別為生成器，退化器和鑒別器。我們提出的模型如圖1所示，使用對抗損失Advenersarial Loss和內容損失Perceptual Loss來訓練鑒別器[D]，組成生成對抗網絡。

1.2 生成器網絡

在我們的結構中，我們提出了基于卷積組成的混合注意力模塊MAB（Mix Attention Block），每一個MAB由三個注意力融合模塊AFM（Attention Fusion Modular）組成，其結構如圖2所示。在我們的結構中，我們用[3×3]的卷積來提取圖像的特征，使用可以自適應地學習矯正線性單元的參數的PReLU函數去提升模型的擬合能力和防止過擬合的發生。

1.2.1 引用注意力機制

與文獻[5]等人的工作相似，我們采用大核注意力機制來提取特征。我們的大核注意力包括深度卷積（DW-Conv）、深度膨脹卷積（DW-D-Conv）和點卷積（[1×1] Conv）三部分。例如一個[7×7]的卷積可以分解為一個[5×5]的深度卷積，[3×3]的深度膨脹卷積和一個[1×1]的點卷積。依次通過上述卷積可以用較小的計算成本數量較少的參數去獲取圖像不同塊之間的聯系，我們的[LKA]可以用公式⑷表示為：

[LKAX = fPWfDWDfDWX]" ⑷

其中，[fDW]為深度卷積，[fDWD]為深度膨脹卷積，[fPW]為點卷積。

我們的注意力融合模塊AFM如圖3所示。首先使用通道注意力來關注通道上的特征并處理提取到的特征，給予不同通道的特征不同權重，使用全局池化層來將上下文的全局信息重新編碼和Sigmoid激活函數去重新縮放特征。

為了彌補大核注意力在空間相關性上的不足，在大核注意力的基礎上添加另一個空間注意力分支來矯正輸入的特征圖，使用全局平均池化和最大池化操作去處理特征，通過卷積操作和Sigmoid激活函數獲得空間注意力的映射。在重構部分，使用[6]提出的亞像素卷積去重構圖像從而提高圖像的分辨率。

CT圖像是一種高分辨率、高對比度的三維圖像，其數據量較大，特別是對于大量的層面數據，2D卷積只能處理單個層面，需要通過堆疊多個2D卷積的結果來進行三維處理，而這樣會導致計算量和存儲量的大幅增加。傳統的空間注意力機制需要計算每個位置的注意力權重，這需要大量的計算資源。受到[7]的啟發，對于 CT圖像的處理我們引入3D注意力模塊來替代AFM模塊中的空間注意力模塊。

我們的3D注意力模塊如圖4所示，首先通過定義一個三維卷積層，將輸入的特征圖x沿著通道維度進行卷積，生成通道維度上的特征映射。為了提高模型的泛化能力和收斂速度，還加入了一層三維的批歸一化層。將通道維度上的特征映射輸入到Sigmoid函數中進行非線性變換，生成通道維度上的注意力權重。最后，將注意力權重乘上原始輸入特征圖，加權合并得到增強后的特征圖。具體可以用以下公式表示：

[F3Dx=βαfBNf3Dx⊙Fx+Fx]" " ⑸

其中，[α]是激活函數Sigmiod，[⊙]為元素的乘積，[β]為尺度因子，其會在訓練迭代中逐漸更新。[fBN]和[f3D]分別為批歸一化層和3D卷積，[Fx]為輸入的特征圖。我們的3D注意力模塊可以同時關注尺度維度和通道維度的信息，可以同時處理所有位置的特征信息，從而減少計算量和模型復雜度。處理數據時不考慮局部的注意力權重，可以更好地捕捉空間信息，減少特征重復，從而提高模型的準確性和效果。

1.3 判別器網絡

為了獲得生成的高分辨率圖像更多的全局信息和更多的局部紋理，如圖5所示，我們使用基于U-Net的鑒別器D對生成器G生成的圖片進行判別，從而優化生成器進一步生成更高質量的圖片。其中，鑒別器D通過使用譜歸一正則化來幫助訓練和防止過度銳化和偽影，從而使得生成器生成質量更高的圖像。

1.4 損失函數

我們使用對抗損失函數和內容損失聯合訓練的[ltotal]如公式⑹所示：

[ltotal=α1ladv+α2lp]" ⑹

其中，[α1]，[α2]，分別是在不同損失函數中調節平衡的權重系數。[ladv]和[lp]是對抗損失和內容損失。損失[ladv]可以表示為：

[ladv=1Ni=1NlnDGxi]" "⑺

內容損失可以表示為：

[lp=1Ni=1N||?Gxi-yi||2]" ⑻

其中，映射[?]表示在VGG19網絡中第12個卷積層的最大池化層之前的輸出映射。

2 實驗結果

2.1 數據集

我們使用CCA-US，US-CASE和CT_COVID三種醫學數據集，包含109張超聲圖像和349張CT圖像，分別與不同的超分算法進行對比。表1是三種數據集四倍放大下不同算法的PSNR，各算法的峰值信噪比（PSNR）和結構相似性（SSIM）的結果。

2.2 實驗比較和分析

我們使用客觀指標評價不同方法在相同數據集上的表現。從表1可以看到與SSSR，SRCNN，SRGAN等相比，我們的方法（Massrgan和Macsrgan-3D）在CCA-US，US-CASE和CT_COVID三個數據集上的指標要優于上述方法。

如圖6，圖7所示，在客觀的PSNR/SSIM指標上，我們的效果領先于其他超分辨率算法。在圖片的紋理細節和與原片的一致性上，我們的算法也更具優勢。我們的方法在感官上的偽影明顯降低，對于紋理細節的恢復更加清晰，也更加接近于HR，同時PSNR/SSIM的數值也優于其他方法。應用不同數據集進行測試也表明了我們的模型在不同類型醫學圖像上應用的可行性。我們的方法在參數量和浮點數運算次數上也占據優勢，輕量化模型可以在保證一定的精度的情況下，減少計算和存儲資源的消耗，在計算資源有限的情況下，仍然能夠提供高效的超分辨率處理能力。表2是在Us-image數據集上不同方法的參數（Parameters），浮點數（FLOPs）和峰值信噪比（PSNR）的結果。我們的模型由于使用了大核注意力機制，故依靠更小的參數和更小的FLOPs實現了比其他超分方法更好的性能，這足以證明它的輕量化和高效率。

2.3 消融研究

為了分析我們方法中各個部分對于超分辨率性能的影響，我們提出了模型的一些變體：①只有GAN，沒有循環損失和融合注意力模塊；②GAN+MA，包括GAN部分和融合注意力模塊部分，不包含循環結構和循環損失；③GAN+Cycle，去掉了融合注意力模塊，包含GAN和循環一致結構和循環損失；④GAN+MA+Cycle。在GAN的基礎上既包括循環損失又包括融合注意力模塊；⑤GAN+3D+Cycle，是將融合注意力模塊中的空間注意力替換成3D注意力模塊。表3是這些變體與原始模型在相同的條件下峰值信噪比（PSNR）和結構相似性（SSIM）的結果。

消融實驗證明了循環結構和融合注意力模塊分別對于超分辨率性能的提升是有貢獻的，將循環結構和融合注意力模塊加在一起可以達到更好的效果。

3 結論

本文是應用在醫學圖像上的循環生成對抗網絡模型。我們提出先用通道注意力提取特征，再使用空間注意力加大核注意力融合的模塊去進一步細化的處理特征，使用循環結構去保證生成圖片與原始圖片的一致性，針對不同醫學圖像的特點來改進，從而在超分辨率任務中達到更好的效果。我們在三個不同的數據集上評估，結果表明我們的方法在客觀數據和視覺感官效果上取得了優異的性能，而在運行速度和訓練穩定性方面未來還可以進行深入研究。

參考文獻（References）：

[1] Hayit， G.， Super-Resolution in Medical Imaging. The

Computer Journal，2009（1）：43-63.

[2] Brenner， D.， Estimated risks of radiation-induced fatal

cancer from pediatric CT，2001：289-296.

[3] You， C.， et al. CT Super-resolution GAN Constrained by

the Identical， Residual， and Cycle Learning Ensemble（GAN-CIRCLE），2019.6（14）：188-203.

[4] Liu， H.， et al. Perception Consistency Ultrasound Image

Super-resolution via Self-supervised CycleGAN，2021：833-1844.

[5] Guo， M.-H.， et al. Visual Attention Network，2022：

286-295.

[6] Ledig， C.， et al. Photo-Realistic Single Image Super-

Resolution Using a Generative Adversarial Network，2017：105-114.

[7] Niu， B.， et al. Single Image Super-Resolution via a Holistic

Attention Network，2020：191-207.