基于輕量密集神經網絡的醫學圖像超分辨率重建算法

王一寧，趙青杉，秦品樂，胡玉蘭，宗春梅

（1.忻州師范學院計算機系，山西忻州 034000；2.中北大學大數據學院，太原 030051）

0 引言

圖像超分辨率（Super-Resolution，SR）技術的應用非常廣泛，在醫學成像、人臉識別、高清音視頻［1］等領域有很高實用價值。醫學影像發展至今，在醫學界占有重要地位，高分辨率的醫學圖像可以提高醫生的工作效率及降低漏診率［2］。引導放射治療時常用到電子計算機斷層掃描（Computed Tomography，CT）圖像，因此獲得高清晰度的CT 圖像有很大意義。

SR 技術分可為序列圖像SR［3-4］與單幅圖像SR［5］。在現實生活中，很難在同一場景中獲取序列的醫學CT 圖像，所以本文的主要目的是通過SR 技術提高單幅CT 圖像的分辨率。單幅圖像SR 是一種典型的病態問題，任務是從一個低分辨率（Low Resolution，LR）的輸入去產生一個高分辨率（High Resolution，HR）的輸出。因為輸入一幅LR 圖像可能生成多幅有差異的HR 圖像。當超分辨率因子變大時，這個不確定性會變得更大。對于更大的因子（×4），LR 圖像可能丟失大量的高頻細節。在廣泛采用卷積神經網絡（Convolutional Neural Network，CNN）之前，超分辨率重建技術被歸類成了一種基于預測的方法（最近鄰（Nearest Neighbor，NN）［6］、Bilinear［7］和Bicubic［8］）、基于邊緣檢測法［9］、圖像統計學方法［10］、基于實例的方法［11］。在這些方法之中，傳統的單幀圖像超分辨率方法，如NN 選取距離目標位置最近點的像素點作為新插入點的值，在灰度變化的地方易出現明顯的馬賽克和鋸齒現象。Bilinear 在水平和垂直方向分別進行一次線性插值，具有低通濾波器性質，縮放后圖像的高頻分量受到損失，圖像邊緣較模糊。Bicubic 取插值點周圍的16 個采樣點的加權平均求得插值點的像素值，插值后圖像邊緣比前兩者更平滑，但銳度仍存在問題。

上述四種方法中，基于實例的方法復原效果最優?；谕獠繉嵗姆椒ㄓ蒅lasner 等［12］首次提出，隨后陸續出現多種加速優化過程的改良變體形式。這些基于外部實例的方法從外部實例數據集中學習低/高分辨率像素塊之間的映射關系。

在外部實例方法中，基于鄰居嵌入［13］和稀疏表示［14］的方法都可重建出較好的圖像特征。Yang 等［15］提出了基于稀疏編碼的圖像重建方法。Dong 等［16］受稀疏編碼的啟發，將稀疏編碼的原理推廣到了CNN 中，提出了基于卷積神經網絡的圖像超分辨率（Super-Resolution using CNN，SRCNN）算法。SRCNN 在圖像的超分辨率任務中取得了成功，證實了深度學習比傳統方法更易重建出有效的圖像特征。Ledig等［17］利用殘差網絡設計出了一個深層結構的網絡模型ResNet，使梯度更容易傳播到前面的卷積層，解決了深層網絡梯度彌散的問題。Yu 等［18］提出的寬殘差的高效超分辨率（Wide activation for efficient and accurate image Super-Resolution，WDSR）網絡認為，在SR 網絡中線性整流函數（Rectified Linear Unit，ReLU）會阻止信息流的傳遞，因此為了降低激活函數對信息流的影響，對殘差塊中激活函數之前的特征圖數目進行擴展，促使更多低層信息傳遞到前面的卷積層。深度學習方法和其他方法之間的最顯著的區別在于，它們通常直接從訓練數據（例如，完整和損壞的圖像對）學習用于圖像恢復的參數，而不是依賴于預定義的圖像先驗知識。

作者基于殘差神經網絡提出圖像SR 改進算法，其中有3個有代表性網絡模型：雙任務損失卷積神經網絡（Double Task Loss CNN，DTLCNN）、多階段級聯殘差卷積神經網絡（Multi-section Cascade Residual CNN，MCRCNN）和多階段殘差神經網絡（Multi-Section Residual CNN，MSRCNN）［19］。DTLCNN 層數為72，MCRCNN-apart 為38 層，兩者均獲得良好重建指標及重建出有效紋理特征，但由于網絡層數較深、訓練參數多，較低配置的智能終端無法滿足網絡訓練需求，訓練所需時間較長。輕量級MSRCNN-fast 為6 層，算法實時性強，對硬件要求低，超分辨率重建指標及重建細節雖優于SRCNN，但遠不如DTLCNN 和MCRCNN-apart。本文為提升輕量級神經網絡重建效果，在殘差神經網絡基礎上提出了一種輕量密集神經網絡算法。由于SR 這種低抽象任務需要更多的底層信息反映特征，于是本文采用了密集神經網絡以增加低層特征到高層的傳遞通道。首先由密集神經網絡學習得到LR 與HR 醫學圖像塊之間的特征差值；接著把密集神經網絡學到的差值與原圖的特征進行疊加；再使用反卷積對圖像進行上采樣操作，重構出對應的高分辨率圖像；最后，將重構出的2 倍與4 倍HR 醫學圖像與相應大小的原圖同時做雙任務損失。密集網絡結構，每層均與前層連接，相較于殘差網絡可獲取更多輸入信息，使較淺層網絡可提取更豐富的紋理特征。實驗結果顯示，本文算法的網絡結果與NN、Liner、Bicubic 插值、SRCNN、ResNet 超分辨率重建算法相比，在擁有較少網絡層次與參數條件下，獲得了更好視覺效果與更高評價指標。

1 相關理論

1.1 ResNet算法

在卷積神經網絡中，隨著網絡深度的加深，梯度消失問題愈加明顯。針對此問題，ResNet 有較好的表現。ResNet 結構較SRCNN 復雜很多，網絡中使用了16 層的殘差塊，如圖1所示，很大程度上加大了網絡對圖像紋理的學習。

圖1 ResNet殘差塊Fig.1 Residual block of ResNet

其中：x為輸入；y為輸出；F(x)為殘差映射。ResNet 中殘差塊寬度有兩層：第一層是堆疊的Conv、批量正則化（Batch Normalization，BN）層、ReLU、Conv、BN；第二層是從x連接到BN 的跳層連接，x與F(x)直接相加的前提為Conv 沒有改變x的維度。當F(x) →0 時，殘差結構y=F(x) +x退化為y=x，即殘差網絡訓練最差結果是退化為未添加殘差映射F(x)的結構。殘差塊在前向傳播時，淺層特征可以在深層得到重用。反向傳播時，深層梯度可直接傳回淺層。

ResNet 的跳層結構一定程度上解決了網絡加深出現的原始特征的部分丟失和梯度消失問題。但是跳層結構將網絡中層數靠前的輸出x與殘差塊輸出直接相加，低層與高層的特征圖有較大的特征差異，可能影響網絡中圖像特征參數信息更好的流動。

1.2 DenseNet算法

DenseNet［20］不是通過加深網絡層數和加寬網絡結構提升網絡性能而是通過特征重用提升網絡的效率。相較于ResNet，DenseNet 提出了一個密集連接機制，每層都會與前面所有層進行連接，作為其額外的數據輸入，使較淺層的網絡也可提取更豐富的圖像特征。同時DenseNet 大量用到跳層結構，使梯度消失問題得到優化。DenseNet 的密集連接機制如圖2 所示。

圖2 密集塊Fig.2 Dense block

密集連接將淺層的圖像原始特征與深層學習的高頻特征進行疊加，在原始特征保留的基礎上，添加高頻紋理特征，也可彌補網絡學習過程中丟失的原始信息。

2 輕量密集神經網絡

2.1 改進思想

網絡的寬度和深度影響網絡的性能，特征重用影響網絡的效率。本文基于這三點在ResNet 和DenseNet 的基礎上進行了改進。通過增加網絡架構的層數使深度增加，通過改進層與層的連接機制使寬度增加。深層的網絡結構意味著需要訓練更多的參數、更長的訓練時間、更高的計算機性能。淺層的網絡結構雖然不易產生特征丟失與梯度彌散，但往往難以提取出高頻紋理信息。本文在寬度與深度之間尋求平衡，在保證淺層網絡架構的前提下，加強特征的重用，盡可能地學習高層次的紋理信息，使醫學圖像得到更優的重建效果。

所以本文采用密集連接機制改善網絡層數過淺帶來的一系列問題，使深層網絡能更快更好地達到收斂的效果。本文改進后的網絡結構有跳層連接，可學習到更多的局部特征；同時，對2 倍HR 圖像與4 倍HR 圖像都進行損失函數運算，更好地指導網絡中的參數進行調節優化。最終本文提出8 層的基于雙任務損失的輕量密集神經網絡圖像超分辨率改進算法。

2.2 網絡結構

輕量密集神經網絡（Lightweight Dense Neural Network，LDNN）的設計采用了與加速的超分辨率卷積神經網絡（Fast Super-Resolution CNN，FSRCNN）相同的8 層網絡架構，較淺的層數使網絡可以達到實時的效果。但同樣層數淺會導致網絡中無法提取更豐富的圖片特征，特征也無法進行更好的擬合；于是本文采用了密集連接，不僅增加了網絡的寬度，而且使每層有限的特征達到了更好的傳遞和重用的效果，彌補了層數較淺的不足。

圖3 是本文構建的一種輕量密集神經網絡，LDNN 使用3×24×24 的LR 圖像作為輸入，使用大小為5×5 的卷積核Conv1 提取特征，輸出256×24×24 的特征圖。將特征圖增加到256，可以拓寬網絡的特征維度，使圖像特征更好的傳播。接著輸入到密集塊中學習圖像的高級特征，分別是大小為1×1 的Conv2，大小為3×3 的Conv3，大小為1×1 的Conv4，此3層的步長為1，padding 為SAME，輸出256×24×24 的特征圖。ReLU1 到ReLU4 間的密集連接是256 個特征圖像素的相加，方便每一層可以利用之前層學習到的所有的特征，有利于淺層與深層特征的融合。

圖3 輕量密集神經網絡結構Fig.3 Structure of lightweight dense neural network

最后使用大小為9×9 的轉置卷積DeConv1 對圖像進行上采樣，輸出大小256×48×48 的特征圖，再輸入大小為3×3 的卷積核Conv5，輸出大小為3×48×48 的2 倍HR 圖像Output×2。同時使用9×9 大小的轉置卷積DeConv2 對圖像進行上采樣，輸出3×96×96 的4 倍HR 圖像Output×4。本文網絡將LR 圖像分兩條支路進行超分辨率重建，2 倍HR 圖像和4 倍HR 圖像處分別有均方誤差損失函數對網絡進行監督指導。

由于本文針對圖像的4 倍超分辨率進行研究，淺層與深層特征差異大，于是在密集塊中使用了BN 給數據進行歸一化，易于網絡的訓練。在BN 層后，使用ReLU 激活函數提高網絡的非線性建模能力。

2.3 雙任務損失函數

本文使用均方誤差（Mean-Square Error，MSE）作為損失函數。由于網絡結構有兩條支路，因此設置了兩個損失函數，分別對應圖3 的Output×2 和Output×4。構建雙任務損失函數如下：

當網絡迭代次數至5×104時，網絡的損失變化曲線逐步平穩。

圖4 單任務損失變化Fig.4 Changes in single-task loss

當本文的網絡結構使用損失函數為式（4）時，訓練結果如圖5 所示。

圖5 雙任務損失變化Fig.5 Changes in dual-task loss

當網絡迭代次數至3×104時，網絡的損失變化曲線已逐步平穩。由此可以得出，兩條支路同時進行損失計算可加快網絡的收斂速度。

3 實驗與結果分析

3.1 數據集預處理

訓練數據集：為驗證本文所提LDNN 算法的有效性，本文采用了兩個數據集：一個是擁有127 萬張圖像的ImageNet的圖像識別競賽ILSVRC（ImageNet Large Scale Visual Recognition Challenge）2014 數據集［16］；另一個是962 張肺部醫學圖像，數據集由Kaggle 肺部癌癥識別比賽提供。

ImageNet 數據集處理：任意挑選35 萬張圖片，并統一壓縮為256×256 大小的圖像，接著用隨機裁剪的方式截取96×96 大小的圖像片段作為HR 標簽。對96×96 的原圖像進行區域插值Area 下采樣得到大小為24×24 與48×48 的標簽。高斯濾波核大小為5×5，δ=1.5。24×24 的LR 圖像作為網絡的輸入。

醫學圖像數據集處理：將原圖像重采樣成512×512 大小，并轉為jpg 格式的RGB 圖片，以隨機位置截取96×96 大小的圖像片段，得到HR 標簽。LR 訓練圖像為24×24，由隨機碎片圖像Area 下采樣得到。其余處理同ImageNet 數據集。

3.2 訓練

訓練方式一：使用肺部醫學圖像訓練模型，運用Minibacth 訓練方式，bacth-size 大小為16，采用Adam 優化方法自動調節學習率，學習率初始設置為10-4，訓練6×104次，學習率更改為10-5，接著訓練14×104次。

訓練方式二：網絡先通過自然圖像訓練105次，接著用醫學圖像數據集訓練105次，優化器、學習率等都與方式一相同。圖6 為SRCNN 兩種訓練方式的對比，圖7 為LDNN 兩種訓練方式的對比。

圖6 SRCNN兩種訓練方式對比Fig.6 Comparison of two training methods of SRCNN

圖7 LDNN兩種訓練方式對比Fig.7 Comparison of two training methods of LDNN

ImageNet 數據集中的自然圖像包含復雜的場景和豐富的高頻紋理信息。肺部圖像數據集的紋理特征相近、灰度不連續。場景更加豐富的自然圖像更利于網絡參數學習，可避免網絡訓練過程中過擬合。在自然圖像訓練的基礎上，再使用肺部圖像進行訓練，從而重建出與肺部圖像相關的特征。實驗結果如圖6～7 所示，訓練方式二的HR 重建效果略高于訓練方式一，圖像紋理更清晰。

3.3 實驗結果與分析

為驗證本文算法LDNN 的有效性，使用ImageNet 數據集和Kaggle 肺部癌癥識別比賽提供的醫學圖像數據集對各網絡結構進行4 倍的HR 訓練，以峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結構相似性（Structural SIMilarity，SSIM）作為評價指標。

本文所使用GPU 處理器是NVIDIA Tesla M40，使用Tensorflow 深度學習框架作為開發和訓練工具，運用Python3.5 進行仿真。本文所提到的方法都是基于原論文中論述的模型，在以上的環境中進行驗證，并對醫學圖像超分辨率的結果進行了評估。與傳統的超分辨率方法、基于深度學習的超分辨率算法（例如SRCNN、ResNet、WDSR），以及作者曾提出的DTLCNN、MCRCNN-apart 和MSRCNN-fast 三種SR 算法［19］進行對比分析。

在測試集的8 幅肺部圖像中選了2 幅圖像與其他算法進行對比，實驗結果如圖8 所示。實驗測試指標見表1，其中平均PSNR、平均SSIM 為8 幅測試圖像的PSNR 和SSIM 均值。實驗證明LDNN 算法有較高的應用價值。

圖8 各算法的實驗結果Fig.8 Experimental results of each algorithm

表1 各算法的平均PSNR和平均SSIMTab.1 Average PSNR and SSIM of each algorithm

圖8 中可明顯看出：NN、Biliiner 和Bicubic 方法重建的肺中葉圖像有鋸齒和棋盤效應，紋理邊緣不平滑；SRCNN 與ResNet 相較于傳統超分辨率算法細節表現較好但缺少高頻紋理。WDSR 用到16 個殘差塊，層數達到50，通過擴大殘差塊中ReLU 前的特征圖數量，使有用的信息盡可能地傳遞到網絡的后端，比ResNet 重建出的信息更加接近原始圖像。

作者之前提出算法中，72 層的DTLCNN 與38 層的MCRCNN-apart 表現與50 層的WDSR 相近。MSRCNN-fast 為獲得更好的算法實時性及對硬件的低要求，層數設計為6，但相應算法超分辨率重建效果明顯相對較弱。本文提出的LDNN 相較于前三者層數為8，網絡中使用密集網絡增強網絡中的信息流動，使低層信息更易傳遞到高層，在保證了對智能終端的低硬件要求以及算法運行的實時性的同時，超分辨率重建效果仍在較高水平，與DTLCNN 和MCRCNN-apart的重建效果相差不大，性能遠高于MSRCNN-fast、SRCNN、ResNet 和傳統經典算法。LDNN 相較于WDSR，訓練過程中參數量更少，訓練速度更快，在醫學影像超分辨率上顯示出了更好的細節收益以及更少的噪聲，重建效果相差無幾，為大多數智能終端的硬件運行醫學圖像超分辨率重建網絡模型提供了可能性。從表1 中的評價指標可發現LDNN 相較于NN、Liner、Bicubic 插值以及SRCNN、ResNet 都取得了更好的結果。

4 結語

深度學習的發展為圖像超分辨率重建提供了新的思路。本文提出一種解決醫學影像問題的圖像超分辨率重建算法LDNN。LDNN 算法可用于人任何部位的醫學圖像，可將醫學圖像放大4 倍。對比實驗顯示，對于4 倍醫學HR 圖像，LDNN 算法的評價指標均顯著高于NN、Liner、Bicubic 插值以及SRCNN、ResNet 等SR 算法。重建出的HR 醫學圖像有更好的細節收益和更少的偽影信息。LDNN 的網絡結構較淺，可達到較好的實時處理效果。下一步可在保持網絡實時性的前提下，嘗試進一步提高網絡的精度。