基于超分辨率網絡的CT三維重建算法

李俊伯，秦品樂，曾建潮*，李 萌

（1.山西省醫學影像與數據分析工程研究中心（中北大學），太原 030051；2.中北大學大數據學院，太原 030051；3.山西省醫學影像人工智能工程技術研究中心（中北大學），太原 030051）

0 引言

在現代醫學領域中，計算機斷層掃描（Computed Tomography，CT）和核磁共振成像（Magnetic Resonance Imaging，MRI）等層析成像技術被廣泛應用于醫學研究和臨床診斷。作為臨床醫學最基本的影像之一，CT 由于其本身掃描速度快且圖像清晰，又可結合Hu 值調整窗寬窗位以獲得各種組織最佳顯示的特點，被應用于多種生物疾病的檢查。因為CT 影像本身屬于連續完整的二維數據切片，可通過疊加重建技術將其轉化為體數據，所以可實現人體組織和器官的三維可視化［1］。盡管CT 掃描使用的電離X 射線輻射可能增加癌癥的風險，可對于臨床醫學診斷與治療領域其仍需要被大量使用，所以根據病例需求和設備條件，通常會在確保診斷正確的情況下盡量采用較大的層厚掃描。具有厚度的掃描造成了CT 的部分容積效應，切片與切片之間的間距往往比軸狀位圖中像相鄰像素之間的物理間距大得多，直接對這種體數據進行可視化會導致三維模型在非冠狀位視角中的鋸齒狀邊緣、條紋狀偽影和不連續表面等現象，直接影響到病變判斷，因此基于層間插值［2-6］的層析影像體數據的三維重建成為了熱門的研究方向。

近年來，深度卷積神經網絡由于能夠學習到復雜圖像中高低頻結構特征信息，在醫學圖像處理方向取得了優于傳統算法［2，7-9］的結果，基于深度學習的層析影像三維重建算法一定程度上消除了容積效應，保持了體數據各向同性。然而先前的上采樣方法大都只考慮相鄰的兩張切片的數據預測中間像素值，并沒有利用到二維切片正交方向上的整體融合信息。Peng 等［10］在邊緣超分辨率深度切片插值方法中提出在單軸方向上的超分辨率任務以完成MRI 圖像冠狀位和矢狀位上采樣重建，結合了切片正交方向上的上下文內容。受其啟發，本文基于單個方向上的超分辨率方法進行腹部CT 序列圖像的三維重建，意在降低輻射強度的同時，提高CT 層析影像三維模型的質量。

基于學習的圖像超分辨率（Super-Resolution，SR）［11-13］通過學習一系列高低分辨率圖像之間的像素結構映射關系，可預測像素值提高圖像分辨率。回顧圖像超分辨率技術的發展歷程，Dong 等［11］提出 SRCNN（Super-Resolution Convolutional Neural Network）首次將深度學習用于SISR（Single Image Super-Resolution），網絡一開始就采用雙三次插值然后使用簡單的三個卷積層學習特征。Shi 等［14］提出的ESPCN（Efficient Sub-Pixel Convolutional Neural Network）直接在低分辨率圖像上做提取特征以縮短訓練時間，然后以亞像素卷積層（Sub-pixel Convolution）上采樣圖像，但這很可能會導致棋盤效應。Lim 等［15］提出的增強型單幅圖像深度殘差超分辨率網絡EDSR（Enhanced Deep residual network for single image Super-Resolution），去除掉了批量標準化處理（Batch Normalization，BN）操作，但未充分學習圖像特征，進而限制了網絡的性能。在分辨率問題中引入殘差機制具有很好的效果［16-18］，Zhang 等［18］在RDN（Residual Dense Network）中結合殘差學習和密集塊提出了殘差學習塊，利用全部層級特征關系增強了模型的表達能力，顯著提高模型特征提取的能力。之后Zhang 等［19］結合通道注意力機制提出RCAN（Residual Channel Attention Network），成功提高了特征學習能力。Hu 等［20］于2019 年提出Meta-SR，通過動態生成上采樣濾波器，使得單一模型就能夠支持任意縮放因子的上采樣任務。Liu 等［21］提出的RFA（Residual Feature Aggregation）結構組通過添加跳躍將多個殘差塊組合，并提出改進的空間注意力塊，強化學習關鍵空間內容。

到目前為止，主流的超分網絡多采用后端上采樣（postupsampling）結構。本文提出了一種基于超分辨率網絡的CT三維重建算法，模型為具有雙重損失的優化學習縱軸超分辨率重建網絡（Double Loss Refinement Network，DLRNet），在模型的上采樣層后設計了繼續優化學習模塊，并將上采樣層的輸出也和基準圖也做損失，雙重損失使網絡產生了更接近基準圖的結果。除此之外，在特征提取部分的密集殘差塊中引入了空間特征金字塔池化和通道注意力機制，不同感受野的卷積和不同通道的加權學習非常適合應對CT 圖像中不同粗細以及規模不一的血管組織的特征；為了滿足任意尺度的上采樣倍數，采樣上采樣模塊動態生成上采樣濾波器參數，但與Meta 不同的是，本文生成多組而非單組濾波器計算后融合結果；并且不同于以往的圖像超分辨任務，本文只在縱軸方向上做上采樣，再將高分辨率的冠狀位圖像疊加重建，從而更有針對性地獲得了更高質量的CT 層析影像三維模型。

1 相關工作

1.1 縱軸方向超分辨率

在以往的SR 任務中，大都對單幅圖像沿著長寬方向進行同比例放大。針對CT 體數據三維重建問題，需要對每幅冠狀位圖像做單一方向上的尺寸放大。令I(x，y，z)∈RN×N×N表示具有各向同性的CT 體數據。其中沿x、y、z各軸方向觀察的視角分別為矢狀位、冠狀位和軸狀位。因此，冠狀位切片圖可表示為：

Ix和Iz以此類推。在縱軸超分辨率任務中，考慮沿著z軸方向進行切片插值。所以可將相對應的原始各向異性CT 體數據定義為：

其中：k為縮放因子。其目標是找到一個映射關系T：→RN×N×N使得I↓k(x，y，z)變換后盡量逼近基準I(x，y，z)。

1.2 通道注意力機制

計算機視覺（computer vision）中的通道注意力機制（attention）［22］作為近幾年來的熱點問題，在圖像和自然語言處理等領域中都取得了重要的突破，被證明有益于提高模型的性能，而其本身也是符合人腦和人眼的感知機制。腹部CT 影像不同于自然圖像，其本身屬于結構較為復雜的連續灰度圖序列，在真實的應用場景中，更需要觀察影像中各組織與結構的邊緣細節，通過器官邊緣來判斷病變區域嚴重程度。本文的思路是通過縱軸超分上采樣冠狀位的二維影像來重建三維模型，所以二維圖像中各結構的邊緣質量直接影響三維重建的效果。這就需要強調圖像中邊緣的重建準確度。雖然各種深度卷積神經網絡已經在醫學影像的超分辨率任務中表現出了優于傳統方法的效果，但現在的大多數卷積神經網絡（Convolutional Neural Network，CNN）都平等對待特征的每一個通道，會使得網絡無法區分高低頻信息來學習特征。圖像超分辨是為了盡可能多地恢復高頻信息，而低分辨率的圖片卻包含著許多可以直接被傳播到輸出的低頻信息，因此，特征的所有通道如果被平等對待則會使網絡缺乏辨別學習能力。

從原理上來說，通道注意力模型（Channel Attention，CA）如圖1 所示，輸入為H×W×C的特征圖，經過一個全局平均池化（Global Average Pooling，GAP）操作得到1×1×C的通道描述v∈R1×1×C，然后對該矢量依次用1×1 卷積層進行下采樣再上采樣，再使用Sigmoid 激活函數得到映射后的1×1×C的通道權重描述，最后將其與原始特征圖相乘得到通道注意力處理后的特征圖，其中r為特征通道縮放倍數即縮放因子factor。而將CA 和殘差思想結合在一起就是RCAB（Residual Channel Attention Block），如圖2 所示為RCAB 結構，輸入特征input，首先進行卷積-池化-卷積操作得到，再將f輸入到CA 模塊進行通道注意力學習得到fCA，然后用一個長跳層將fCA與input 相加得到RCAB 塊的輸出。

圖1 通道注意力機制模型Fig.1 Channel attention mechanism model

圖2 RCAB結構Fig.2 Structure of RCAB

受RCAB 和RDN 中密集殘差學習的啟發，本文提出密集通道注意力機制塊（Dense Channel Attention Block，DCAB），通過通道注意力機制幫助抑制CT 灰度圖像特征圖中無用信息，通過對特征通道之間的相互依賴性建模來自適應地重新縮放每個通道的特征，對邊緣紋理等響應程度更高的通道特征圖進行著重學習，優化網絡學習CT 中的器官組織邊緣等感興趣信息，有效提高了深層網絡的性能。稠密連接使得各層級特征圖之間直接溝通，增強了網絡的表達能力。

1.3 任意縮放因子的上采樣層

上采樣是圖像進行超分重建的必要步驟，SR 本身通過預測像素值擴大圖像尺寸。一般在原始輸入圖像經過升維特征提取后，通過上采樣層擴大圖像尺寸。深度學習模型處理SR 問題中常用到的上采樣方法為反卷積和亞像素卷積層（Sub-pixel Convolution），反卷積通過用0 填充特征圖邊緣來逐步擴大圖像尺寸，這對于SR 任務來說很容易引入偏差，直接限制了模型的性能。Shi 等［14］提出的亞像素卷積如圖3 所示，尺寸為H×W×1 的低分辨率輸入圖像經過特征提取后，最后一層卷積將通道數降為r2，此時輸出圖形狀為H×W×r2，然后根據圖中的變換方式轉為H×r×W×r的輸出圖，其中H和W均為3，r為2。

圖3 亞像素卷積層Fig.3 Sub-pixel convolutional layer

亞像素卷積層可以讓網絡學習四個通道的參數，從而完成插值方法，整個過程無需填充特征圖，使用較小的卷積核避免了使用網絡一開始就進行線性插值擴大尺寸帶來的誤差，而且線性插值類上采樣方法本身就是卷積操作的一種特殊情況，使用卷積操作可以更高效地擬合結果。亞像素卷積具有更大的感受野，能學習到更多的周邊結構信息，但是因為Shuffle 層感受野分布不均勻，會導致一定程度上的棋盤效應和邊緣偽影。

真實應用場景中CT 層析掃描的層厚大都在2 mm～5 mm不固定，所以重建縮小層間距時會需要各種大小的縮放因子，這時模型就需要為各種大小scale factor 設計一個特定的上采樣模塊來支撐任意縮放因子的上采樣任務，而且只能縮放整數倍，這一缺點嚴重限制了其在現實中的應用。多尺度上采樣層Meta-SR 通過動態生成上采樣卷積濾波器，使得單一模型只需要進行一次訓練，就可以支持任意縮放因子（包括小數倍）的上采樣任務。如圖4 所示，SR 中的每一個像素（i，j）都是由其在LR（Low Resolution）上對應像素（i′，j′）上的特征和對應濾波器計算出來的。

圖4 多尺度上采樣層Fig.4 Multi-scale upsampling layer

Meta-Upscale 由三個模塊組成：位置投影（Location Projection）、權重預測（Weight Prediction）和特征映射（Feature Mapping）。本文模型在縱軸上采樣模塊也動態生成卷積核濾波器，從而解決了三維重建難以在實際場景中應用于各種縮放因子的問題。與Meta-SR 不同的是，本文只做縱軸單方向上的上采樣；同時，動態生成多組而非一組濾波器，這意味著本文的上采樣模塊能夠獲得更多通道的特征，自適應融合后效果也有所提高。

2 具有雙重損失的優化學習縱軸超分辨率重建網絡

2.1 網絡整體結構

對于CT 冠狀位圖像縱軸方向任意縮放因子的上采樣重建任務，本文設計的具有雙重損失的優化學習縱軸超分辨率重建網絡結構如圖5 所示，輸入圖像在進入模型后依次經歷三個模塊：1）特征提取模塊；2）任意尺度的縱軸上采樣模塊VM-Meta（Vertical Multiple-Meta）；3）優化學習模塊CRM（Continuous Refinement Module）。

圖5 具有雙重損失的優化學習縱軸超分辨率重建網絡Fig.5 Double Loss Refinement Network（DLRNet）

本文模型以低分辨率的圖像ILR作為輸入，首先經過兩個連續的MASPP（Multiscale Atrous Spatial Pyramid Pooling）塊提取淺層特征，有：

其中：HMASPP代表本文的多尺度特征提取層；F-1和F0分別代表兩個卷積層計算出來的結果。接著F0進入密集通道注意力塊組DCAB 學習各級層深度特征，它包含n個DCAB層，有：

其中：HDCAB，n代表第n個DCAB 操作；Fn和Fn-1均是每個對應DCAB 內部特征融合與殘差學習的結果。本文的HDCAB，1的輸入為MASPP 的輸出F0。DCAB 抽取足夠多的密集特征后，將各DCAB 學習到的級層局部特征進行全局特征信息整合。其包含兩個部分：全局特征融合（Global Feature Fusion，GFF）和全局殘差學習（Global Residual Learning，GRL）。GFF 具體操作為圖中Concat 以及之后的1×1 卷積的減少多余特征和3×3 卷積再學習，有：

其中：HGFF代表全局特征融合操作；[F1，F2，…，FN]代表N個DCAB 的結果Concat 起來。因為是各個層級的特征圖Concat起來的，所以有必要使用1×1 卷積操作減少特征通道數。此時再將淺層特征F-1和最高層的全局融合特征進行殘差連接得到FLR，有：

至此FLR結合了淺層特征和N個層級抽取的深度特征，包含最豐富、全面的圖像特征信息。

將這些特征作為輸入送進縱軸上采樣層VM-Meta 得到目標尺寸的初步超分辨圖像ISR′，最后把初步超分辨率圖ISR′送入優化學習模塊CRM，繼續細化學習得到最終的縱軸超分辨率圖像ISR，有：

其中：優化學習模塊CRM 類似于特征提取模塊但結構更簡單，在開頭和結尾分別具有一個3×3 卷積核。中間為三個殘差密集塊，塊中卷積大小均為3×3，然后同樣進行全局特征融合，最后有一個殘差連接ISR′。

2.2 多尺度特征融合（空間特征金字塔）

由于腹部CT 圖像本身的特征多樣性和結構復雜性，對圖像中不同尺寸目標使用相同大小的卷積核操作無疑會給學習帶來困難，使得網絡最終無法恢復出足夠清晰的紋理特征，不同粗細的血管和不同規模的器官組織往往需要不同視野的濾波器提取特征。為了獲取更加強大的特征表達，本文在網絡中引入了多尺度特征融合塊。在傳統圖像處理算法中，有一個很重要的概念，即圖像金字塔和高斯金字塔。而卷積神經網絡通過逐層抽象的方式來提取目標的特征，其中一個重要的概念就是感受野。如果感受野太小，則只能觀察到局部的特征，如果感受野太大，則獲取了過多的無效信息。空洞空間卷積金字塔池化ASPP（Atrous Spatial Pyramid Pooling）對所給定的輸入以不同采樣率的空洞卷積并行采樣，相當于以多個比例捕捉圖像的上下文信息。

本文針對醫學層析影像超分辨率網絡模型配置了一種并行多尺度特征融合模塊MASPP 以代替網絡剛開始的兩個淺層特征提取卷積層，如圖6 所示。MASPP 由五個尺度的卷積并行，包含一個1×1 卷積，一個3×3 卷積，以及三個空洞率不同的5×5 空洞卷積，其特征圖用Concat 連接然后通過1×1卷積進行融合。由于超分辨任務不適合使用池化操作降低特征尺寸，本文去除了一般ASPP 中的池化操作。

圖6 MASPP塊結構Fig.6 Structure of MASPP block

2.3 稠密連接的通道注意力學習DCAB

CT 冠狀位超分辨率任務中的LR 圖像具有豐富的低頻信息和部分關鍵的高頻信息，其中低頻部分容易理解，更加扁平化，而高頻信息一般都是區域的，充滿組織紋理、邊緣以及其他細節的，這就需要合理利用高低頻通道之間的關系。如果直接適用卷積層會完全平等對待高低頻通道信號，這就限制了CNN 的性能。本文結合RCAN 和RDN 提出稠密連接的通道注意力學習DCAB。網絡的特征提取模塊使用DCAB進行深層特征學習，它在RDB（Residual Dense Block）的基礎上，引入了通道注意力機制。具體使用RCAB 代替3×3 卷積和ReLU 激活函數，如圖7 所示為DCAB 塊結構。

圖7 DCAB塊結構Fig.7 Structure of DCAB block

DCAB 中每個RCAB 塊依次連接，之后將各RCAB 提取的特征全部Concat 起來充分利用，使用1×1 卷積是為減少Concat 得到的過多通道數，得到具有代表性的局部融合特征。除此之外，DCAB 塊的輸入以及塊中每一個RCAB 的結果都被發送到后續所有的RCAB 中，最后殘差連接塊的輸入和輸出，使得所有的RCAB 都有直接接觸。

在深層特征提取模塊引入通道注意力塊RCAB 較直接卷積而言關注到了更多的信息，隨著網絡深度地不斷增加，各層級特征圖都利用到了其特征通道之間的相互依賴性。同時使用局部特征融合和局部殘差學習充分利用到了所有層的信息特征，進一步提高了信息流和網絡特征提取模塊的表達能力，所以獲得了更高的性能。

2.4 任意縮放因子的縱軸上采樣層VM-Meta

在CT 影像醫學診斷實際應用場景中，考慮到不同部位、病情、儀器條件和輻射劑量，會進行不同層厚的厚層CT 掃描。軸狀位矩陣尺寸通常為512×512，其相鄰像素點間物理空間間隔為5 dm/512≈1 mm。而z軸方向上層厚相對寬得多，這導致縱軸上物理空間間隔大于1 mm。據實際調查了解，醫學影像應用中大部分CT 的層厚普遍在2 mm～5 mm，造成了多平面重建中的偽影。所以本文模型用于預測并提高CT體數據在z軸方向上的分辨率，提高三維重建的質量。值得注意的是，大多數不同病例原始數據層厚為2 mm～5 mm 不等，為了將實際應用中各種層厚CT 切片均重建縮小至1 mm左右，需要一個可以實現不同縮放因子插值的模型。受CVPR2019 中Hu 等［20］的Meta 上采樣層啟發，如圖8 所示，本文設計了一個類似的縱軸上采樣層VM-Meta，動態生成上采樣的卷積核，這使得單個模型可實現任意縮放因子（包括非整數）情況下的縱軸超分重建，以保證三維CT 數據的各向同性。與Meta 不同的是，本文的上采樣層動態生成多組而非一組卷積核，并且做的是縱軸方向的上采樣。

圖8 多尺度縱軸上采樣層Fig.8 Vertical Multiple-Meta

縱軸上采樣層VM-Meta 分為三部分：位置投影層、權重預測層和特征映射層。其中權重預測層預測的是上采樣層濾波器的參數，本文濾波器的參數并不是從主干網絡的訓練數據中學習到的，而是由另外一個網絡預測出來的。FLR為特征提取模塊之后提取到的特征圖，FLR′為與動態卷積計算之后的特征圖，r為scale factor 即放大因子（可以為小數）。本文動態生成上采樣卷積層的思想是，對于FLR′中每一個點（i，j），都有LR 圖像上唯一一個像素點（i′，j′）與之相對應，不同的通道對應不同的動態卷積核組。其中（i′，j′）有：

權重預測網絡為全連接網絡，輸入為二維的vi，輸出維度為W×inC×outC×k×k，其中inC為FLR的通道數，outC為最終SR 通道數，k為動態卷積核的尺寸，W為卷積核的組數，這里取3。用來輸入到權重預測全連接網絡的向量為：

像素點（i，j）的值由LR 上像素點（i′，j′）和對應的濾波器組計算得出，之后由3×3 卷積融合多通道為一，得到粗略提升的高分辨率圖像ISR′。所以動態上采樣層可以看成是FLR到ISR′的映射函數。

通過動態生成上采樣卷積核的方法可以解決CT 體數據重建在實際應用場景中很難支持各種大小縮放因子上采樣任務的問題。權重預測層生成了多組上采樣卷積核，提升了網絡學習多通道信號的能力，豐富了剛采樣上來的信息流，使上采樣層得到了更好的性能。

2.5 損失函數

在超分辨率任務中，為了使輸出圖像盡量接近基準圖，研究人員通常使用最小絕對值偏差，即L1 作為目標函數。對于輸入低分辨率圖I和基準圖G，基于L1 損失函數的定義為：

其中：θ為神經網絡參數；f為模型映射結構；W和H分別為高分辨率圖像G的寬度和高度。

由于本文在VM-Meta 上采樣操作之后設置的繼續優化模塊與基準圖做損失繼續細化提高了圖像質量，進而本文考慮到上采樣操作之后的大尺寸圖ISR′也應該盡量接近于基準圖。因此本文方法除了計算基準圖IHR與ISR之間的損失外，還計算ISR′即粗略重建與基準圖的損失，即：

其中：α是控制附加損失LSR′占總損失權重的參數。假設f為整個DLRNet 模型映射函數，f1代表特征提取模塊加上采樣模塊的映射函數，f2代表優化學習模塊CRM 的映射函數，有：

其中：θ1為前兩個模塊卷積核參數；θ2為CRM 模塊卷積核參數。LSR′可表示為：

所以本文整體損失函數Lall可表示為：

其中：LSR學習模型的參數為θ，而LSR′學習模型的參數為θ1，二者分別以粗略超分辨率圖像與優化超分辨率圖像的角度觸發計算損失，雙重損失加速了模型的收斂，從而迫使網絡產生了接近于基準圖的結果。

3 實驗與結果分析

3.1 數據集與預處理

本文數據來源是KITS19 Challenge Homepage 中的腹部CT 公開數據集，該數據集中大部分病例的切片數據層厚大于1 mm，將這些厚層掃描的數據作為本文任務數據集中的基準圖顯然不利于真實場景的應用。因此針對超分辨率任務，應盡可能獲得低層厚的原始圖像作為數據集，挑選出其中CT 層厚最小的15 組病例作為本文任務的原始數據集，其層厚均為0.5 mm～1 mm。接著將原始的軸狀位圖像多平面重建為冠狀位圖像，由于每個病例的體分辨率均為512×512×N（N為切片數），所以每個病例的冠狀位切片序列切片數均為512 張，最后去除這512 張圖像中不包含主要器官和組織的圖像。共得到15 個病例共3 124 張紋理豐富，高低頻信號對比明顯的冠狀位圖像，挑選其中324 張包含各種形態的冠狀位圖像作為測試集，其余2 800 張作為訓練集，測試集中挑選20 張作為驗證集。考慮到CT 厚層掃描的成像原理，高分辨率圖像通過雙三次線性插值法下采樣2、3、4 倍得到不同縮放倍數的低分辨率圖像。

3.2 實驗參數

本文進行了一系列的初步實驗來確定最佳卷積寬度（卷積濾波器的數量）和最佳的補丁大小。為了找到最優的補丁大小，本文嘗試了14×14，28×28 和36×36 像素的補丁。在濾波器數目方面，嘗試將DCAG（Dense Channel Attention Group）組中卷積濾波器的數量設置為32、64 和128。這些參數在本文的數據集進行100 次迭代得到的結果如表1 所示，峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結構相似性（Structural SIMilarity，SSIM）在縮放倍數為2 時的結果。

表1 本文模型各參數選取所對應的訓練結果（倍數為2）Tab.1 Training results corresponding to selection of each parameter of the proposed model（scaling factor of 2）

其次，本文模型優化器選用ADAM（Adaptive Moment Estimation）算法，它結合了AdaGrad（Adaptive Gradient Algorithm）和RMSProp（Root Mean Square Prop）算法的最優性能，可根據損失函數針對參數一二階矩估計自適應改變學習速率，促使模型收斂。參數設置為β1=0.9，β2=0.999，ε=10-8。初始學習率為10-4，使用mini-batch 作為批量輸入策略，batch-size 為16。項目基于Pytorch V0.4.1 框架進行開發，在一塊顯存為16 GB 的NVIDIA Tesla P100 GPU 上進行訓練。

3.3 對比實驗

3.3.1 評價指標

為了客觀描述不同算法的結果，本文采用通用的圖像質量評價指標：峰值信噪比和結構相似性對近年來在SR 任務上表現優越的深度學習算法進行比較。

3.3.2 與其他方法的對比

為了驗證本文模型的性能，將DLRNet 與傳統的雙三次插值法（Bicubic）［23］、PIL（Python Image Library）庫高質量抗鋸齒升采樣法（Antialias），以及基于深度學習的EDSR、RDN、RCAN 算法結合縱軸上采樣模塊V-Meta 做對比（其中RDN為Peng 等［10］使用的特征提取方法）。

如表2 所示，深度學習類方法較傳統的Bicubic 和Antialias 算法在評價指標上有了巨大的提升，而基于深度學習的RCAN 模型相較其他模型引入了通道注意力機制，表現更為出色。本文設計了繼續優化學習等結構，在增加模型復雜度的情況下明顯提高了模型的學習能力。PSNR 平均較RCAN 模型在縮放2、3、4 倍任務下分別提升了0.816 dB、0.778 dB、0.773 dB，即在不同縮放倍數任務下平均提高0.789 dB。

表2 各種模型在測試集上的PSNR值和SSIM值（倍數分別為2、3、4）Tab.2 PSNR and SSIM of each algorithm on test set（scaling factor of 2，3，4）

為了直接可視化本文模型的效果，首先選取了數據集中一張腹部CT 冠狀位圖像，通過Bicubic 算法在縱軸方向下采樣4 倍后，使用以上的6 種算法做縱軸上采樣，如圖9 所示。

圖9 不同算法在冠狀位圖上的重建效果對比Fig.9 Comparison of coronal image reconstruction effect of different algorithms

深度學習方法相對于傳統方法有了巨大的提升，而RCAN 和本文方法在深度學習方法中表現更為出色。而相較于RCAN 的縱軸上采樣，本文方法恢復了更接近于基準圖細節中的光滑邊緣，相對無鋸齒，對比度也更加清晰。本文三維重建并可視化KITS19 腹部CT 影像數據集中的一個病例，同樣做了縮放倍數為4 的對比實驗，如果圖10 所示。傳統方法上采樣后的三維重建模型細節有較多丟失，紋理更加模糊。基于深度學習的方法恢復了更接近于基準圖的結構，包括血管組織表面紋理，較粗血管的輪廓和較細血管的連貫。本文方法相較于RCAN 來說在細節上恢復程度更高。

圖10 不同算法用于三維重建時的效果對比Fig.10 Comparison of three-dimensional reconstruction effect of different algorithms

3.3.3 消融實驗

為了驗證本文提出的各模塊作用，在DLRNet 上進行了一系列消融實驗，分別去掉了CRM 優化學習模塊，生成多組濾波器的VM-Meta 改進，以及空間特征金字塔和通道注意力機制。實驗結果如表3 所示，各模塊的去除均使模型的效果有所下降。本文模型基于RDN 密集殘差的特征提取模塊，在加入通道注意力機制的同時，使用MASPP 模塊代替網絡一開始的前兩個卷積層，增強了網絡學習不同規模組織淺層特征的能力，同時在上采樣操作后加入了CRM 模塊繼續優化細節，細化了邊緣紋理的學習。在上采樣層動態生成多組卷積核獲得更豐富的各通道信息。實驗結果也證明了本文模型的所有改進模塊均有效提高了縱軸方向上采樣圖像質量，一定程度上縮小了層間距，從而提高了三維重建的質量。

表3 測試集上的消融實驗Tab.3 Ablation experimental on result test set

4 結語

本文針對腹部CT 三維重建問題提出了一種具有雙重損失的優化學習縱軸超分辨率網絡，通過對冠狀位圖像的縱軸上采樣縮小了CT 體數據的層間距。本文方法使用動態生成上采樣卷積核解決了實際應用場景中單一模型難以上采樣多種縮放因子影像的問題。引入空間特征金字塔增強了淺層特征提取的感受野，使得網絡能夠更好地學習不同粗細血管、不同規模組織的細節特征。引入通道注意力機制加權學習了深層特征中高低頻信號的相互依賴；并在上采樣層后設置繼續細化學習的模塊，又引入了新的損失，這促使網絡輸出更接近于基準圖的結果，從而提高了腹部CT 體數據重建可視化的效果。在后續的工作中，將繼續探討是否可以找到一種有效的方法能夠融合多幅冠狀位圖像序列之間信息進行超分辨率重建，同時具備時效性。