基于殘差網絡編解碼的磁共振圖像修復算法

劉 哲，劉劍毅，劉 凱，彭 召

(西安交通大學 軟件學院，陜西 西安 710049)

0 引 言

由于磁共振成像MRI(magnetic resonance images)[1]特殊的成像方式，致使成像過程中產生偽影和噪聲，進而影響對病情的判斷。因此，MRI受損圖像的修復成了當今磁共振成像最為關鍵的研究熱點之一。

為了消除圖像中的偽影和噪聲，獲得更好的圖像修復效果，相關研究人員提出了許多圖像修復算法。傳統去噪算法利用圖像自身的自相似結構塊做加權平均來估計參考塊的中心點，例如非局部均值算法(NLM)[2]、全變差去噪算法(TV)[3]，但該類算法對原圖像的結構信息保護不夠以及對平坦區域抑制噪聲不充分。貝葉斯最小二乘-高斯尺度混合模型算法(BLS-GSM)[4]和3維塊匹配濾波算法(BM3D)[5]對圖像進行多尺度、非局部去噪，但該算法的實現過程比較復雜。近年來，隨著深度學習方法在圖像修復問題上取得了良好效果。例如生成對抗網絡算法(GAN)[6]利用G網絡將低分辨率的圖像生成高分辨率圖像，然后由D網絡判斷獲得的圖像是否是來自G網絡生成的，但是該網絡存在訓練不穩定、模式崩潰的問題。基于卷積神經網絡算法(CNN)[7]用于圖像修復，但是該算法的缺點是隨著網絡深度的增加，容易出現梯度爆炸或梯度消失的問題。

針對上述算法的圖像修復效果不佳、性能不足、算法復雜等問題，本文提出了一個基于深度的殘差神經網絡編碼-解碼框架算法，用來解決受損圖像的修復問題。該算法由多層的殘差神經網絡層和反卷積層組成，學習一個從受損圖像到高質量圖像的端到端映射。殘差網絡層實現圖像特征的提取，捕獲圖像內容的抽象信息，同時消除噪聲和損失。相對應地，反卷積層用來恢復圖像細節，進而達到良好的修復效果。

1 網絡結構與原理

本文所提出的網絡包含一系列殘差網絡層和反卷積層，使用殘差網絡的原因在于該網絡采用跳躍結構進行連接，較好地解決了網絡深度變深以后的性能退化問題以及梯度消失問題。殘差網絡層主要用于受損圖像的編碼，該編碼過程基于修改的resnet 101-layer[8]，并將該網絡中最后全連接層和全局平均池化層操作去掉，原因在于本文使用該網絡主要用來提取受損圖像的主要特征，不做圖像分類。通過深層殘差網絡編解碼框架完成受損圖像修復。

圖1、表1分別給出了本文算法的網絡結構和相關參數配置。編碼(Encoder)和解碼(Decoder)過程結構對稱。在編碼過程中，采用深層殘差網絡作為特征提取器，使更多的特征傳入到下一層，進而更完整地保留原始輸入圖像的上下文信息。解碼過程采用反卷積操作，用來恢復圖像的邊界信息。編解碼過程主要是在受損圖像和高質量標簽圖像的相關空間中優化學習字典，該字典表示為受損圖像和高質量標簽圖像間的補丁以及輸入的最近鄰特征，在受損圖像的空間中找到補丁，其相應的高分辨率補丁用于重建。本文設計的網絡優勢在于殘差網絡層保留了主要的圖像特征，通過網絡將編碼層的特征圖傳遞到解碼層，有助于解碼層擁有更多的特征圖像信息，因此在較好地保留了原始圖像內容的同時，也達到了去除偽影和噪聲的效果。網絡遵循恒等映射，確保輸入輸出圖像的大小一致。

圖1 網絡結構

表1 網絡結構參數配置

2 網絡設計與訓練

2.1 網絡預處理

本文首先使用雙三次插值算法將每幅受損圖像調整到我們期望的大小320×320，然后將該類圖像裁剪為4幅160×160大小作為網絡的輸入圖像X，將圖像X的集合稱之為訓練集。使用雙三次插值算法對圖像進行預處理的目的在于：①放大受損圖像的噪聲和偽影，起到增強數據特征信息的效果，從而利于網絡提取特征，更好地修復受損圖像。②擴大網絡訓練的樣本數。本文算法的目標是將輸入圖像X盡可能修復成為接近于高質量的標簽圖像Y。圖像X與Y的大小相同，網絡通過學習一個從受損圖像到高質量圖像的端到端映射，從而完成圖像修復工作。

2.2 網絡的訓練

本網絡訓練過程由特征提取、非線性映射、反卷積重建構成。特征提取操作需要從受損圖像X和高質量標簽圖像Y中提取特征信息，建立從受損圖像到標簽圖像的補丁，然后將每組補丁表示為高維向量。這些高維向量包含一組特征映射，其大小等于高維向量的維數。通過一組過濾器對受損圖像進行卷積，形式上將f1(X) 定義為特征提取操作的輸出，如式(1)所示

f1(X)=W1*X+B1

(1)

其中，W1和B1分別表示卷積核權重和偏移值，W1的維度為c×n1×n1，c表示特征圖像的通道數，n1表示卷積核的大小。*表示卷積操作。

在非線性映射操作中，將一個高維向量映射到另一個高維向量，每一個映射向量表示一個高分辨率補丁，這些向量組成另一個特征映射，用于后續的反卷積重建操作，本文使用Leaky Relu作為激活函數，如式(2)所示

f2(X)=max(0.01f1(X),f1(X))

(2)

原因是對零段線加了一定的斜率,防止網絡實際的訓練太容易飽和和梯度彌散[9]。

反卷積重建操作的目的是恢復更多的圖像細節；隨著深層殘差神經網絡的特征提取操作，使得特征圖像的大小逐漸減小，反卷積層再逐漸增大特征圖的大小至原始輸入圖像，完成圖像的重建操作。該過程首先將卷積核反轉，就是將卷積核在上下左右方向進行遞序操作。然后將卷積結果作為輸入，做補0擴充操作，即往每一個元素后面補0。將f(X)定義為反卷積重建圖像操作，如式(3)所示

f(X)=W3*f2(X)+B3

(3)

其中，W3和B3分別為卷積核權重和偏移值，f2(X)為非線性映射操作的輸出。

本文提出的網絡是通過學習從受損圖像到高質量圖像間的端到端的映射，從而完成去除受損圖像中的偽影和噪聲，達到圖像恢復的目的。本文分別選取8500幅受損圖像和與其相對應的高質量圖像進行網絡訓練。將本文2.1小節中處理的圖像作為網絡輸入，首先，采用大小為7的卷積核將單通道圖像提升為64通道，圖像大小縮小至40，然后采用大小為1、3的卷積核完成特征提取和反卷積重建，最后，通過指定學習率的優化器不斷減小重建圖像與真實圖像間的損失。網絡訓練的過程如圖2所示。

圖2 網絡訓練流程

2.3 網絡參數的調整及設定

(4)

其中，n為訓練樣本的數量，在本文中n取值為8500。使用該損失函數，主要有利于加快網絡權重的優化調整以及網絡的收斂速度，進而縮小重建圖像與真實標簽圖像的差別,提高受損圖像的修復效果。使用標準反向傳播的隨機梯度下降算法SGD最小化損失函數(4)。權重矩陣的更新如式(5)、式(6)所示[10]

(5)

(6)

3 實驗結果與分析

3.1 實驗參數配置

本文提出的算法通過在集群服務器上運行該網絡模型進行實驗，集群服務器參數為：Intel Xeon處理器2.5 GHz，開發軟件Pycharm，Tensorflow 1.3，Anaconda 3，CUDA 8.0，GPU GeForce GTX1080TI，運行內存32 G。本文實驗的數據樣本是由某醫院數據庫提供，采用本文2.1小節中的算法對其進行預處理，然后從中選取8500幅受損圖像和與其相對應的高質量圖像作為網絡的訓練樣本，每個訓練樣本的分辨率為160像素×160像素。在該集群服務器上訓練時長51小時。

3.2 算法修復穩定性對比

本文采用峰值信噪比PSNR(peak signal noise ratio)和結構相似性SSIM(structural similarity)[11]這兩個衡量指標來客觀評價圖像恢復的質量。PSNR是基于對應像素點之間的誤差，即基于誤差敏感的圖像質量進行評價。SSIM是一種綜合參考的圖像質量評價指標，它分別從亮度、對比度、結構三方面度量圖像相似性。PSNR和SSIM是通過對受損圖像采用相關算法進行處理后的重建圖像和高質量的標簽圖像進行比較的結果，二者能較好地評價圖像處理算法恢復后的圖像質量。本文隨機選取100幅受損圖像作為修復效果測試集，為保證算法的公平性，所選取的測試集圖像均不在訓練集中。將測試集采用各算法修復后的重建圖像與真實標簽圖像間的PSNR和SSIM的均值及方差作為衡量圖像修復算法的評判標準。

各算法在測試集上修復后的圖像PSNR和SSIM均值的浮動情況如圖3、圖4所示，從圖中可看出，基于深度學習的圖像修復算法的穩定性相比于傳統的去噪算法較好，同時殘差網絡的修復性能和效果相比于卷積神經網絡較優，表明深層的殘差網絡更好地提取圖像特征，也解決了隨著網絡深度的增加所出現的網絡模型退化問題。

圖3 各算法處理后的PSNR對比

圖4 各算法處理后的SSIM對比

表2、表3分別給出了各算法在測試集上修復后的PSNR和SSIM的具體均值和方差值，從表中可看出本文修復算法獲得了較高的PSNR值和SSIM值，同時具有較低的方差，說明本文算法具有良好的修復效果和穩定的修復性能。原因在于深層殘差網絡通過大樣本數據的訓練，使該網絡更好地學習從受損圖像到標簽圖像之間的補丁，不斷地調整及優化相應的網絡參數權重，進而完整地恢復圖像細節[18]。

3.3 算法修復效果與性能對比

為了驗證本文算法的修復能力，本文任意選取一幅受損較為嚴重的磁共振圖像進行修復效果測試。如圖5所示，本文中提出的算法與其它算法的修復效果進行對比。

直觀地從以上算法修復效果圖上進行分析，文獻[12]算法、文獻[14]算法和文獻[17]算法處理后的圖像比

表2 各算法處理后的PSNR均值和方差對比

表3 各算法處理后的SSIM均值和方差對比

原圖像在視覺效果上有很大改善，但明顯略帶有少部分噪聲。文獻[15]算法盡管消除了受損圖像的噪聲和偽影，但是該算法處理后的圖像清晰度大幅降低，影響醫學應用價值。雖然文獻[13]算法和文獻[16]算法達到了圖像超分辨的效果，但是圖像失真比較嚴重，影響醫生的判斷。本文提出的算法修復效果幾乎接近原始標簽圖像，較好地還原了原始圖像信息。

如表4所示，給出了各修復算法在測試集上修復的平均時長和浮動偏差。本文算法在對受損圖像進行修復時，需要加載網絡模型的權重，因此修復耗時較長，有待于進一步優化修復時長。

網絡訓練的損失值較好地反映網絡重建圖像與標簽圖像間的差值，同時也反映了網絡的擬合程度。圖6給出了本文算法與文獻[13]算法的loss值對比結果。結果表明，深度殘差網絡相比于卷積神經網絡可以有效解決網絡的性能退化問題。

4 結束語

本文提出的一種基于深度殘差網絡編解碼的磁共振圖像修復算法，主要解決磁共振圖像的偽影和噪聲問題，提高其醫學應用價值。殘差編碼層用于提取圖像特征，反卷積解碼層用于生成圖像待修復區域對應的預測圖，通過學習一個從受損圖像到高質量的標簽圖像之間的端到端映射，不斷減小預測圖象與真實的標簽圖像間的損失，進而將受

圖5 各算法修復效果對比

表4 各算法在測試集上修復的平均時長

圖6 本文算法和文獻[13]算法loss值

損圖像修復成為接近于真實標簽圖像的高質量圖像。通過大量實驗分析，將原始圖像特征使用雙三次插值算法進行放大，使受損區域特征更明顯,進而有利于網絡提取特征，由此提出一種針對特征學習的深度殘差網絡編解碼來完成核磁共振圖像修復任務。實驗結果表明，該算法與已有的圖像修復算法相比，具有更好的修復效果。

盡管該算法在核磁共振圖像上具有較強的修復能力，但是該算法的訓練需要大量的標簽樣本數據作為要學習的對象，在一些應用場景中很難獲得這些標簽數據。此外，該算法無法保證彩色圖像的修復，如自然圖像和地圖遙感圖像等。這也是今后需要更進一步深入研究的工作。