基于深度可分離卷積和寬殘差網絡的醫學影像超分辨率重建

高媛 王曉晨 秦品樂 王麗芳

摘 要：為提高醫學影像超分辨率的重建質量，提出了一種基于深度可分離卷積的寬殘差超分辨率神經網絡算法。首先，利用深度可分離卷積改進網絡的殘差塊，擴寬殘差塊中卷積層的通道，將更多的特征信息傳入了激活函數，使得網絡中淺層低級圖像特征更容易地傳播到高層，提高了醫學影像超分辨率的重建質量;然后，采用組歸一化的方法訓練網絡，將卷積層的通道維度劃分為組，在每個組內計算歸一化的均值和方差，使得網絡訓練過程更快地收斂，解決了深度可分離卷積擴寬通道數導致網絡訓練難度增加的問題，同時網絡表現出更好的性能。實驗結果表明，對比傳統的最近鄰插值、雙三次插值超分辨率算法，以及基于稀疏表達的超分辨率算法，所提算法重建出的醫學影像紋理細節更加豐富、視覺效果更加逼真。對比基于卷積神經網絡的超分辨率算法，基于寬殘差超分辨率神經網絡算法和生成對抗網絡超分辨率算法，所提算法在峰值信噪比（PSNR）和結構相似性（SSIM）上有顯著的提升。

關鍵詞：超分辨率;寬殘差;深度可分離卷積;組歸一化;殘差塊

中圖分類號：TP391.41

文獻標志碼：A

Medical image super-resolution reconstruction based on depthwise separable convolution and wide residual network

GAO Yuan*， WANG Xiaochen， QIN Pinle， WANG Lifang

School of Data Science， North University of China， Taiyuan Shanxi 030051， China

Abstract：

In order to improve the quality of medical image super-resolution reconstruction， a wide residual super-resolution neural network algorithm based on depthwise separable convolution was proposed. Firstly， the depthwise separable convolution was used to improve the residual block of the network， widen the channel of the convolution layer in the residual block， and pass more feature information into the activation function， making the shallow low-level image features in the network easier transmitted to the upper level， so that the quality of medical image super-resolution reconstruction was enhanced. Then， the network was trained by group normalization， the channel dimension of the convolutional layer was divided into groups， and the normalized mean and variance were calculated in each group， which made the network training process converge faster， and solved the difficulty of network training because the depthwise separable convolution widens the number of channels. Meanwhile， the network showed better performance. The experimental results show that compared with the traditional nearest neighbor interpolation， bicubic interpolation super-resolution algorithm and the super-resolution algorithm based on sparse expression， the medical image reconstructed by the proposed algorithm has richer texture detail and more realistic visual effects. Compared with the super-resolution algorithm based on convolutional neural network， the super-resolution neural network algorithm based on wide residual and the generative adversarial-network super-resolution algorithm， the proposed algorithm has a significant improvement in PSNR （Peak Signal-to-Noise Ratio） and SSIM （Structural SIMilarity index）.

Key words：

super resolution; wide residual; depthwise separable convolution; group normalization; residual block

0 引言

隨著醫學影像在醫療實踐中的不斷發展和廣泛使用，計算機斷層成像（Computed Tomography， CT）[1]、磁共振成像（Magnetic Resonance Imaging， MRI）[2]、正電子發射計算機斷層掃描（Positron Emission Tomography， PET）[3]等技術成為臨床診斷不可或缺的工具，而清晰的醫學影像可以提供豐富的病灶信息，輔助醫生進行更加精確的診斷。但由于成像技術和成像原理的不同，獲得的醫學影像的分辨率也就不同，低分辨率的醫學影像中，噪聲和偽影會損害診斷信息，在臨床上很難進行全面綜合的診斷，因此，對醫學影像進行超分辨率重建，可以在不增加高分辨率成像技術成本的基礎上，降低對成像環境的要求，通過復原出的清晰醫學影像，實現對病變部位的精準探測，有助于醫生對患者病情作出更好的診斷[4]。

目前，圖像超分辨率（Super Resolution， SR）技術的研究方向分為兩類：1）基于整體視覺效果的超分辨率重建。經典算法如基于生成對抗的超分辨率網絡（photo-realistic single image Super-Resolution using a Generative Adversarial Network， SRGAN）[5]，以及具有感知損耗的實時傳輸超分辨率網絡（perceptual losses for Real-time style Transfer and Super-Resolution， RTSR）[6]等。該類方法追求符合人類認知視覺的整體效果，但對細節部分的重建要求不高。應用場景如低分辨率電視視頻的恢復、相機模糊圖像的恢復等。2）基于細節的超分辨率重建。傳統算法如最近鄰插值（bilinear）[7]和雙三次插值（bicubic）[8]，以及基于稀疏表達的圖像超分辨率（image Super-Resolution Via Sparse Representation， SRVSR）[9];基于深度學習的算法如使用深度卷積網絡的圖像超分辨率（image Super-Resolution using Deep Convolutional Networks， SRCNN）[10]，單圖像超分辨率的增強型深度殘差網絡（Enhanced Deep residual networks for single image Super-Resolution， EDSR）[11]，以及寬殘差的高效超分辨率網絡（Wide activation for efficient and accurate image Super-Resolution， WDSR）[12]等。該類方法對細節要求苛刻，力求恢復出圖像真實可靠的細節及紋理信息，應用場景如醫學影像上的超分辨率重建、低分辨率攝像頭人臉或者外形的恢復等。

傳統的超分辨率算法，如基于稀疏表達的圖像超分辨率，通過強化高分辨率圖像和低分辨率圖像的字典之間稀疏表示的相似性，學習低分辨率圖像和高分辨率圖像之間的稀疏系數，使用學習到的稀疏系數和高分辨率字典重建出了較為清晰的高分辨率圖片。而基于深度學習的超分辨率神經網絡算法，通過加深網絡的深度，學習圖像的高級特征信息，重建出的圖像更加清晰，在PSNR和SSIM上均取得比傳統方法更好的效果。醫學影像的超分辨率重建要求細節明顯、紋理清晰，同時減弱噪聲的影響。因此，在對醫學影像進行超分辨率重建時，定位在對超分辨率神經網絡的優化上：即如何在圖像尺寸放大的同時獲得更好的細節收益，且不放大噪聲，減弱噪聲對重建的影響。

Yu等[12]提出的WDSR網絡認為，在單圖像超分辨率（Single Image Super-Resolution， SISR）網絡的問題中，具有更廣泛特征信息激活的網絡具有更好的性能，因此，基于WDSR算法，本文提出了基于深度可分離卷積的寬殘差超分辨率神經網絡算法（Wide Residual Super-Resolution neural network based on depthwise separable convolution， WR-SR）。該算法利用深度可分離卷積（Depthwise separable convolution）[13]進一步擴寬了卷積層的通道數，使得淺層更多的特征信息傳入到深層，增大了醫學影像在上采樣4倍時的細節收益，同時利用組歸一化（Group Normalization， GN）[14]方法在卷積層的通道維度內計算均值和方差，在提升網絡訓練速度的同時提高了網絡的性能。實驗結果顯示，使用深度可分離卷積擴寬卷積層通道這一方法效果顯著，與SRGAN、WDSR等超分辨率算法相比，獲得了更高的峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）和結構相似性（Structural SIMilarity index， SSIM）。

1 相關理論

1.1 寬殘差的高效超分辨率網絡算法

寬殘差的高效超分辨率（WDSR）網絡算法在NTIRE 2018數據集DIV2K（一個大型的自然圖像數據集，具有大量的RGB圖像）的超分辨率挑戰賽上獲得了3個比賽方向上的冠軍。該算法的網絡結構如圖1所示，包括全局殘差學習、遞歸學習和上采樣處理3個模塊。網絡使用低分辨率圖片作為輸入，在低分辨率階段使用3×3卷積核（3×3 Conv）提取圖像所有特征;之后在遞歸殘差塊（Residual Body）內學習圖像的高級特征，再使用3×3卷積核（3×3 Conv）提取學習到的高級特征;最后在上采樣層中使用像素重組（Pixel Shuffle）的方式對圖像進行放大。同時使用全局殘差學習（Global Residual Learning）將原始低分辨率圖像進行上采樣處理，與學習的高級特征疊加后輸出超分辨率圖片。

網絡深度的增加給表示能力帶來了好處，但同時未充分使用來自淺層的特征信息。WDSR中證明非線性激活函數（Rectified Linear Unit， ReLU）阻礙了從淺層到深層的信息流，不同于在其他網絡中添加各種跳過連接（Skip Connection）的方式，只需在激活函數ReLU之前擴展特征圖（Feature map）的大小，即可顯著改善圖像的重建質量。為此，該算法提出了線性低秩卷積（如圖2所示）構建超分辨率網絡的殘差塊，它將大卷積核分解為兩個低秩卷積核，其中一個1×1的卷積核用于減少特征圖的通道數，另一個3×3的卷積核用于提取特征。

WDSR使用殘差塊擴展特征圖大小的同時，又使用了1×1卷積核減少了特征圖的通道數，解決了網絡過寬導致難以訓練的難題。但是，該方法限制了網絡寬度的增加，使得之后的3×3卷積層提取的特征信息不足，導致網絡學習的淺層特征較少，從而影響了網絡的重建效果。

1.2 深度可分離卷積

線性低秩卷積是實現空間相關性和通道相關性的聯合映射，即同時考慮輸入的空間特征和通道特征。Sifre等[14]認為，卷積層通道間的相關性和空間相關性是可以解耦合的，將它們分開映射，能達到更好的效果。提出深度可分離卷積模塊將空間和通道的計算分開，在輸入的每個通道上單獨地執行通道卷積，之后再進行不添加非線性激活函數的空間卷積。

如圖3所示，Input表示卷積核的輸入通道數，Output表示卷積核的輸出通道數，該模塊將線性低秩卷積的3×3×Input×Output卷積核分解為一個3×3×1×Input的卷積核和一個1×1×Input×Output的卷積核。線性低秩卷積核所需參數為3×3×Input×Output，而深度可分離卷積核所需的參數為3×3×1×Input+1×1×Input×Output。當網絡的寬度增大時，即輸入與輸出通道數增大時，深度可分離卷積操作所需的參數將遠小于線性低秩卷積所需的參數。

深度可分離卷積首先使用3×3的卷積核將特征圖的各個通道映射到一個新的空間，在這一過程中學習通道的相關性，再通過1×1的卷積核進行卷積，以同時學習空間上的相關性和通道間的相關性。與同時學習通道和空間相關性的線性低秩卷積操作相比，深度可分離卷積實現了通道和空間的分離，不僅比線性低秩卷積減少了所需要的參數，使得網絡的訓練速度變快，而且進一步提升了網絡的寬度，使得更多的特征信息能夠在網絡中進行傳播，提高了網絡的重建質量。

1.3 歸一化層

神經網絡中的每一層都面臨輸入的分布隨訓練而變化的情況，所以每個中間層需要不斷適應其輸入的變化，導致網絡變得難以訓練。歸一化層通過標準化輸入的均值和方差，使得每一層都能夠學習到更穩定的輸入分布，確保網絡能夠使用更大的學習率，從而提高了網絡的訓練速度，提高了網絡表達能力。

在深度學習中，常見的歸一化層有以下四種。如圖4所示，其中每個圖表示特征圖張量，H和W表示特征圖的高和寬，C表示通道維度，N表示批量維度，深色區域的內容表示使用的是相同的均值和方差，通過聚合該區域的像素值來計算該歸一化。1）批量歸一化（Batch Normalization， BN）[16]。BN沿樣本的批量維度N執行全局歸一化，當輸入分布發生變化時，之前計算的數據分布也可能改變，這導致網絡每層的權重訓練不一致。Nah等[17]在圖像去模糊工作中認為，由于批量標準化層對特征進行了規范化，導致網絡變得不靈活，并且消耗了計算資源，去除BN層后使網絡的重建性能獲得了提升。2）層歸一化（Layer Normalization， LN）[18]。LN沿通道維度C進行歸一化，僅針對每個樣本操作，解決了批量歸一化中網絡過度依賴批量大小的問題，但在大多數卷積神經網絡中，LN訓練的效果不如BN。3）權重歸一化（Weight Normalization， WN）[19]。WN對卷積核的權重進行歸一化，而不是對特征進行操作。WN層同樣不會受到批量維度的影響，但WN僅針對卷積核的參數歸一化，擴寬卷積核的通道后將導致網絡的訓練速度降低。4）組歸一化，簡稱GN層，將通道維度C劃分為不同的組，在組內進行歸一化。

由于圖像的形狀、照明、紋理等特征的系數相互依賴，它們的依賴關系在網絡中表現為前后不同的幾組通道。因此，將網絡通道進行分組歸一化來處理，可使超分辨率網絡學習到這些特征之間的依賴關系，有效提升網絡的性能。本文將在擴寬網絡寬度的基礎上，使用GN層在卷積核的通道維度內進行歸一化，從而加快網絡在訓練時的收斂速度并提高網絡的性能。

2 深度可分離卷積寬殘差超分辨率神經網絡

2.1 改進思想

影響超分辨率網絡重建性能的兩個重要因素是網絡的寬度和深度?；诟嗟奶卣餍畔⒂幸嬗谔岣叱直媛示W絡的重建性能這一思想，WDSR算法提出線性低秩卷積，用以擴展輸入通道的特征維度，但隨著網絡寬度的增加，網絡變得難以訓練，限制了其寬度的繼續增長。本文運用深度可分離卷積，改進WDSR算法的殘差塊，進一步提升網絡的寬度，提出了基于深度可分離卷積的寬殘差超分辨率神經網絡（WR-SR）。同時，運用組歸一化的方法，解決了由于網絡變寬導致難以訓練的難題，將輸入特征的維度進行分組歸一化處理，不僅可以加快網絡的訓練速度，而且可以提升網絡的性能。

2.2 網絡結構

2.2.1 基于深度可分離卷積的寬殘差超分辨率神經網絡

WR-SR的網絡深度為34層，包括32層的殘差塊（Residual Body）以及殘差塊前后2個提取特征的卷積層。通過改進殘差塊與使用組歸一化方法，設計的整個WR-SR網絡結構如圖5所示。

WR-SR算法直接使用隨機裁剪的3×24×24大小的補丁作為輸入，在殘差塊前后使用大小為3×3的卷積核（Conv）提取特征，使用GN層進行歸一化;之后在殘差塊內學習圖像之間的高級特征，輸出3×42×24×24的補丁，其中4是上采樣的比例;最后通過像素重組（Pixel Shuffle）的方式將補丁上采樣為3×96×96的大小。同時，使用全局殘差學習（Global Residual Learning）將輸入圖像的原始特征信息與深層學習的高級特征信息疊加，輸出重建的超分辨率圖像。最終將原始的低分辨率圖像放大4倍為超分辨率圖像，且重建的圖像細節信息豐富，同時減弱了噪聲的影響。

2.2.2 構建殘差塊

為擴展卷積層的特征維度，即通道數，基于Laurent Sifre提出的深度可分離卷積模塊對WDSR算法的殘差塊作了改進：通過分別計算通道和空間上的特征，使用3×3的卷積核和1×1的卷積核線性組合的方式重新設計了維度更高的殘差塊，將網絡的特征維度分別擴展至了1536維和2048維。同時使用GN層對卷積層的通道數進行歸一化，以加快網絡在訓練時的收斂速度。

每個殘差塊內輸入的特征圖大小是x×x×256，其中x表示特征圖的高或寬，256表示其通道數。首先，在通道相關性上，使用3×3大小的卷積核提取通道特征，得到x×x×256大小的特征圖，再使用1×1大小的卷積核對這些特征圖提取空間特征，即聯合映射所有維度的相關性，得到x×x×1536大小的特征圖;其次，繼續使用3×3卷積核和1×1卷積核以同樣的方式將特征圖擴寬至x×x×2048;之后，使用ReLU作為激活函數，以增加輸入的非線性;最后，使用3×3和1×1的卷積核，將卷積層的通道數由2048維降到256維，以實現網絡的快速訓練。最終輸出x×x×256大小的特征圖。殘差塊的深度為32層，前一層的輸出為后一層的輸入。每層殘差塊的定義如圖6所示。

通過該殘差塊結構以及擴寬特征維度的方式，網絡中來自淺層的低級圖像特征可以更容易地傳播到深層。改進的殘差塊獲得了更清晰的細節及紋理信息，同時減弱了圖像的噪聲及偽影的影響。

2.2.3 組歸一化

針對醫學影像超分辨率，小批量的醫學影像其均值和方差差異較大，因此不適用使用BN層進行歸一化。由于WR-SR擴寬了卷積層的通道，LN層和WN層歸一化也不適用于該網絡的訓練。因此，本文采用了GN層對WR-SR網絡進行歸一化。

描述特征歸一化的一般公式：

i =（xi-μi）/σi（1）

其中：xi是由某一層計算的特征，i是索引，在二維圖像的情況下，i=（iN，iC，iH，iW）是以（N，C，H，W）順序索引的4維向量，其中N是批量向量，C是通道向量，H是高度向量，W是寬度向量。 μ和σ是由式（2）和式（3）計算的均值和標準差：

μi=1m∑k∈Sixk（2）

σi=1m∑k∈Si（xk-μi）2+ε（3）

其中：m是該集合的大小，ε是一個常數，k是索引。如式（4）所示，Si為μ和σ的約束條件，它是計算均值和方差的像素集合。

Si=kkN=iN，kCC/G=iCC/G（4）

其中：iN和kN表示沿批量向量N的i和k的索引，這表示相同批量索引的像素被一起歸一化。iC和kC表示索引i和k在同一組通道中。G是組的數量，它是預定義的超參數。C/G是每組的通道數。 GN沿（H，W）向量在一組通道內計算μ和σ。如Razavian等[20]在通過減少內部協變量偏移來加速深度網絡訓練中所述相同，組歸一化也學習了一個通道線性變換，以補償表示能力的可能丟失：

yi=γi+β（5）

其中：γ和β是可訓練的比例和位移。

綜上所述，GN層由等式（1）、（2）、（3）、（4）、（5）定義。具體而言，同一組中的像素通過計算相同的μ和σ被一起歸一化。除此之外，GN還學習每個通道的γ和β。通過運用組歸一化的方法，WR-SR算法在訓練期間加快L1損失收斂速度的同時獲得了更高的PSNR值。

2.3 實驗參數及訓練過程

實驗所采用的數據集來源于開源的美國國家醫學圖書館MedPix數據庫中的肺部淋巴結數據，并從中選取了不同病人的900張512×512高分辨率醫學影像用作訓練與測試。實驗使用800張圖像作為訓練集，100張圖像作為測試集。為減少測試所需的時間，在訓練期間取測試集中的10張圖像作為驗證集，以驗證訓練期間的L1損失和PSNR值。在訓練期間，使用隨機水平和旋轉兩種方式增強訓練集。在訓練之前將512×512的醫學影像轉為png格式的RGB圖片，之后使用隨機裁剪的方式將512×512的圖像裁剪為96×96大小的補丁，并將其作為高分辨率（High Resolution， HR）圖像，接著將96×96的HR圖像下采樣為24×24的低分辨率（Low Resolution， LR）圖像并作為網絡的輸入。網絡通過端到端的映射將LR圖像上采樣4倍為96×96大小的超分辨率（Super Resolution， SR）圖像，通過計算并不斷迭代SR和HR之間的L1損失以優化網絡中的參數。

實驗采用PSNR和SSIM作為醫學影像超分辨率的評價指標，同時以L1損失驗證網絡訓練期間的收斂速度。

3 實驗結果

本文的實驗采用mini-batch的訓練方式，mini-batch大小設置為16。初始學習率設置為10-4，每迭代2×105次，學習率減半，以加快網絡的訓練。本文的實驗環境為Ubuntu 14.01.5 LTS操作系統，Pytorch V0.4.1，CUDA Toolkit 9.0，Python3.6。整個網絡在兩塊NVIDIA Tesla M40上運行了2天?；跉埐顗K的改進與GN層的替換，本文在相同的實驗環境下做了兩組對比實驗，以驗證改進算法WR-SR在醫學影像超分辨率上的PSNR值和SSIM指標，該評價指標以驗證集作為參考圖像，通過計算測試結果與參考圖像之間的差異評判網絡的準確性。此外，在相同的實驗環境和數據集下，與傳統的超分辨率方法（包括Biliner和Bicubic）以及基于深度學習的超分辨率算法（包括SRGAN、WDSR）作了對比，以顯示WR-SR算法的優越性。本文共做了三組對比實驗，實驗證明WR-SR算法在性能和評價指標上與其他算法相比，確實有明顯提高。

3.1 改進殘差塊對比實驗

為了驗證進一步擴寬特征維度的改進殘差塊與未改進的殘差塊的效果，在使用GN歸一化層的基礎上，以及相同的實驗環境和數據集條件下做了兩種殘差塊的對比實驗。實驗運行了250個時期（epoch），每個epoch內迭代了1000次，共迭代了2.5×105次。同時在10張圖像的驗證集上計算了網絡的L1損失和PSNR值以驗證網絡的收斂性和準確性，同時對測試結果計算了SSIM，以評價各殘差塊在醫學影像超分辨率上的優劣。兩種方法的L1損失及PSNR值如圖7和圖8所示。

圖7中，上下兩條線分別代表WDSR網絡和WR-SR網絡的訓練結果。從圖7中可以看出，在迭代相同的250個Epoch的情況下，與WDSR網絡相比，WR-SR網絡在訓練過程中，其L1損失收斂得更快，且獲得了更低的損失值。證明WR-SR算法在改進殘差塊后，加快了網絡的訓練速度，同時提升了網絡性能。

圖8中，上下兩條線分別代表WR-SR網絡和WDSR網絡的訓練結果。從圖8中可以看出：兩種方法均在200至250個Epoch期間趨于穩定。同時，與WDSR網絡對比，WR-SR在改進殘差塊后收斂得更快，且獲得更高了PSNR值。

該組對比實驗證明，通過使用深度可分離卷積擴展殘差塊的特征維度，改進的WR-SR網絡獲得了更快的收斂性和更高的準確性。

3.2 GN對比實驗

該組實驗在相同的數據集以及實驗環境下分別使用GN歸一化層和WN歸一化層進行了實驗。實驗在10張圖片的驗證集上以L1損失評估兩種方法的訓練過程的準確性及收斂速度，其結果如圖9所示。

從圖9（a）中可以看出，使用WN層歸一化WR-SR網絡時，其開始的L1損失較高。在網絡訓練至20個Epoch后，L1損失才出現明顯收斂。

從圖9（b）中可以看出，使用GN層歸一化WR-SR的網絡其L1損失開始值遠小于使用WN層歸一化的網絡。網絡在訓練至10個Epoch后出現明顯收斂，且其L1損失為3.97，遠小于使用WN層訓練的網絡，表示網絡的準確性更高。

該組對比實驗證明，通過使用組歸一化的方法，WR-SR網絡獲得了更快的收斂性，顯著提升了網絡的性能。同時，實驗對比了各個方法的PSNR值和SSIM指標，其結果如表1所示。

從表1中可以看出，同時修改殘差塊和添加GN層歸一化的方法，其PSNR值和SSIM指標均高于其余任何方法。且單獨修改殘差塊的方法，其PSNR值和SSIM指標均顯著高于單獨未修改殘差塊的方法。同時，添加GN層的方法其PSNR值和SSIM指標均高于使用WN層的方法。

3.3 改進算法的對比實驗

本文將修改的殘差塊和使用GN層訓練的網絡作為最終模型，在測試集中選取了4幅圖像，與傳統的超分辨率算法（包括Bilinear、Bicubic算法和SRVSR算法）以及基于深度學習的SRCNN算法、SRGAN算法和WDSR算法進行了對比，并以PSNR與SSIM作為評價指標計算原圖像與各算法生成的圖像之間的差異。各算法的評價指標如表2所示，實驗結果如圖10所示。

由表2可以看出，WR-SR算法在PSNR和SSIM上均顯著高于傳統方法與基于深度學習的算法，此外，WR-SR算法與WDSR原始算法對比，亦提升了1～2dB的PSNR值與0.2～0.3的SSIM指標。

圖10（a）為原始高清圖像（Ground Truth），圖10（b）～（h）為表2中提到的各個算法訓練出的實驗結果。由圖10顯示的結果可以看出，使用WR-SR網絡訓練的實驗結果其圖像更加接近于原始圖像，且均明顯優于其他方法，得到了較好的超分辨率圖像。該組對比實驗證明，WR-SR算法在醫學影像超分辨率上顯示出了更好的細節收益以及更少的噪聲以及偽影信息。

4 結語

本文提出了一種基于深度可分離卷積的寬殘差超分辨率神經網絡算法，該算法使用深度可分離卷積構建殘差塊，以擴寬卷積層的特征維度，即通道數;使用組歸一化方法對卷積層的通道分組，在組內進行歸一化。三組對比實驗顯示，對于肺部淋巴結的4倍超分辨率圖像，WR-SR算法在測試集上的PSNR和SSIM指標上均顯著高于傳統的超分辨率方法和其他基于深度學習的超分辨率算法。同時生成的圖像細節豐富，減弱了噪聲的影響，充分證明了改進算法在醫學影像超分辨率上高效與準確性。在下一步的工作中，將使WR-SR算法結合生成式對抗網絡（Generative Adversarial Network， GAN）框架，探討感知質量良好但PSNR值較低的GAN網絡對于醫學影像，其超分辨率的結果是否也具有較高的準確性。

參考文獻

[1]RIVIERE P J L， VARGAS P， FU G. et al. Accelerating X-ray fluorescence computed tomography [C]// Proceedings of the 2009 Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Piscataway， NJ： IEEE， 2009：1000-1003.

[2]PELEDS， YESHURUNY. Superresolution in MRI： application to human white matter fiber tract visualization by diffusion tensor imaging[J]. Magnetic Resonance in Medicine， 2001， 45（1）： 29-35.

[3]SUBBARAO M. High-sensitivity Single-Photon Emission Computed Tomography （SPECT）： safer， faster， and more accurate SPECT [C]// Proceedings of the 8th International Conference and Expo on Emerging Technologies for a Smarter World. Piscataway， NJ： IEEE， 2011： 1-2.

[4]PARK S C， PARK M K， KANG M G. Super-resolution image reconstruction： a technical overview[J]. IEEE Signal Processing Magazine， 2003， 20（3）： 21-36.

[5]LEDIG C， THEIS L， HUSZAR F， et al. Photo-realistic single image super-resolution using a generative adversarial network [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2017： 105-114.

[6]JOHNSON J， ALAHI A， LI F. Perceptual losses for real-time style transfer and super-resolution [C]// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9906. Berlin： Springer， 2016： 694-711.

[7]蘇衡，周杰，張志浩.超分辨率圖像重建方法綜述[J].自動化學報，2013，39（8）： 1202-1213.（SU H， ZHOU J， ZHANG Z H. Survey of super-resolution image reconstruction methods [J]. Acta Automatica Sinica， 2013， 39（8）： 1202-1213.）

[8]KEYS R. Cubic convolution interpolation for digital image processing[J]. IEEE Transactions on Acoustics， Speech and Signal Processing， 1981， 29（6）： 1153-1160.

[9]YANG J， WRIGHT J， HUANG T S， et al. Image super-resolution via sparse representation [J]. IEEE Transactions on Image Processing，2010，19（11）：2861-2873.

[10]DONG C， LOY C C， HE K. et al. Image super-resolution using deep convolutional networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38（2）： 295-307.

[11]LIM B， SON S， KIM H， et al. Enhanced deep residual networks for single image super-resolution [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway， NJ： IEEE， 2017： 1132-1440.

[12]YU J， FAN Y， YANG J， et al. Wide activation for efficient and accurate image super-resolution [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway， NJ：IEEE， 2018. 2621-2624.

YU J， FAN Y， YANG J， et al. Wide activation for efficient and accurate image super-resolution [EB/OL]. [2019-01-23]. https：//arxiv.org/pdf/1808.08718v1.pdf.

[13]CHOLLET F. Xception： deep learning with depthwise separable convolutions [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2017： 1800-1807.

[14]WU Y， HE K. Group normalization [EB/OL]. [2018-12-12]. https：//arxiv.org/pdf/1803.08494.pdf.

[15]SIFRE L， MALLAT S. Rotation， scaling and deformation invariant scattering for texture discrimination [C]// Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ ：IEEE， 2013： 1233-1240.

[16]IOFFE S， SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift [C]// Proceedings of the 32nd International Conference on International Conference on Machine Learning. 2015，37： 448-456.

IOFFE S， SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift [EB/OL]. [2019-01-10]. https：//arxiv.org/pdf/1502.03167.pdf.

[17]NAH S， KIM T H， LEE K M. Deep multi-scale convolutional neural network for dynamic scene deblurring [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2017： 257-265.

[18]BA J L， KIROS J R， HINTON G E. Layer normalization [EB/OL]. [2019-01-20]. https：//arxiv.org/pdf/1607.06450.pdf.

[19]SALIMANS T， KIMGMA D P. Weight normalization： a simple reparameterization to accelerate training of deep neural networks [C]// Proceedings of the 30th Neural Information Processing Systems. New York： NIPS， 2016： 901-909.

[20]RAZAVIAN A S， AZIZPOUR H， SULLIVAN J， et al. CNN features off-the-shelf： an astounding baseline for recognition [C]// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway， NJ： IEEE， 2014：512-519.

GAO Yuan， born in 1972， M. S.， associate professor. Her Research interests include image processing， artificial intelligence.

WANG Xiaochen， born in 1995， M. S. candidate. His research interests include deep learning， computer vision.

QIN Pinle， born in 1978， Ph. D.， associate professor. His research interests include machine vision， big data processing.

WANG Lifang， born in 1977， Ph. D.， associate professor. Her research interest include machine vision， big data processing.