改進3DU-NET在CT影像分割中的應用研究

李林靜 侯軍浩 吳建峰 楊小軍

摘 ?要：對3D U-NET網絡結構進行改進，提出一種CT影像中結節的自動分割方法。該項目在3D U-Net的基礎上對其進行改進，改進的內容是卷積塊操作采用3×3×3，Stride=1，padding=same的卷積，每個卷積后面相繼增加Batch Normalization、Relu 和Dropout操作，池化被卷積操作代替，同時加入long skip connection長鏈接，實現淺層、低水平、粗粒度特征傳遞下去而不消失，提升網絡對形狀在10 mm以下但亮度高結節的輪廓表示能力，同時擴大了感受野、加速了網絡的收斂。實現對CT影像的自動、準確描述。

關鍵詞：3D U-NET;CT影像;長鏈接;感受野;淺層;低水平;粗粒度特征

中圖分類號：TP391.4 ? ? ? ?文獻標識碼：A文章編號：2096-4706（2021）21-0105-04

Abstract： The structure of 3D U-NET network is improved， and an automatic segmentation method of nodules in CT images is proposed. The project improves it on the basis of 3D U-NET. The improved content is that the convolution block operation adopts the convolution of 3×3×3， stripe=1 and padding=same. After each convolution， Batch Normalization， Relu and Dropout operations are added successively. Pooling is replaced by convolution operations. At the same time， long skip connection long links are added to realize the transmission of shallow layer， low level and coarse grained characteristics without disappearing， so as to improve the ability of the network to express the contour of nodules of shape less than 10 mm with high brightness， at the same time， it expands the receptive field and accelerates the convergence of the network. And then realize the automatic and accurate description of CT images.

Keywords： 3D U-NET; CT image; long link; receptive field; shallow layer; low level; coarse grained characteristic

0 ?引 ?言

隨著CT在肺癌早期篩查應用的普及，篩查數量倍增。通常情況下，一名患者的CT影像在80幅～250幅之間，影像科醫生在醫用豎屏顯示器上調閱影像圖片，逐幅觀察。對于肺結節，它的直徑約3 mm到30 mm的球狀陰影，有實性結節、肺內混合磨玻璃密度結節和肺內純磨玻璃密度結節，實性結節肺內亮度較高，容易觀察，肺磨玻璃結節表現為密度輕微增加，呈云霧狀，小于3 cm的局限性病變，其結節的密度不足以遮擋支氣管及血管的結構，形狀多變，容易和周圍的血管、氣管組織混淆，醫生識別難度加大，加上長時間高強度的閱片，醫生難免會產生視覺疲勞，不可避免地導致小結節的漏診和誤診。如何在大量圖像資料中準確檢測出結節并早期定性，已成為臨床迫切需求。

1 ?項目介紹

隨著醫療大數據庫的建立及計算機硬件水平的發展，深度學習算法在醫療診斷領域優勢明顯，為實現醫學影像的自動智能診斷提供了新的契機。自Ronneberger等人于2015年提出U-Net網絡以來，U-Net就成為醫學圖像分割中最著名的框架，隨著U-Net的成功，在U-Net結構上有很多類似的變體，均致力于進一步提高分割性能。然而，由于U-Net網絡的輸入是二維，而醫學圖像往往是三維圖像，因此利用U-Net網絡進行訓練會丟失原始數據在空間上的信息，使得圖像分割精度始終達不到較高水準。由Ahmed Abdulkadir等人于2017年提出的3D U-Net，因其優異的性能被廣泛應用于醫學圖像分割，而3D U-Net網絡由于模型參數數量龐大，難以訓練且容易出現過擬合，因此發展受到限制。在肺結節診斷方面已有的深度學習算法憑借其準確的訓練模型，不僅能在短時間內檢出結節，而且能夠對結節良惡性進行預判，但對小于10 mm的實心結節篩檢及預判結果目前尚無明確定論。因此，小于10 mm的實心結節的分割是醫學圖像處理中一項具有挑戰性的任務。本文在3D U-Net的基礎上，對網絡結構進行改進，提出一種實現對CT影像肺實質中結節的自動分割方法。包括以下步驟：

步驟1：去除CT影像中的噪聲，將圖像歸一化為（0，1）;

步驟2：肺結節Mask圖像生成;

步驟3：構造Patch區域（96，96，16）肺實質CT圖像和Mask圖像3D訓練集;

步驟4：建立改進3D U-Net網絡模型，用3D訓練樣本訓練該網絡;然后用訓練的模型對測試3D樣本進行預測，從而對目標病灶區域實現自動分割，其流程如圖1所示。

2 ?網絡架構設計

在醫學圖像分割領域，為了擴大receptive field，減少訓練參數和計算時間，讓網絡參數量減少使其計算量與U-Net網絡相當，同時保持三維圖像的空間語義信息使其性能又可以媲美3D U-Net網絡，該項目在3D U-Net的基礎上對其進行改進，改進的網絡結構示意圖如圖2所示。在圖2中，網絡的總深度為5，其U型結構由壓縮路徑和擴展路徑組成。在壓縮路徑上，左邊由L1、L2、L3、L4層卷積模塊和4個下采樣操作組成;在擴展路徑上有同等數量上采樣操作和R1、R2、R3、R4層卷積塊組成。在壓縮路徑上，每層有4個卷積塊操作，卷積塊操作包括采用3×3×3卷積核，Stride=1，padding=same卷積操作，每個卷積操作后面相繼增加Batch Normalization、Relu 和Dropout操作。本文改進的卷積塊如圖3所示。每層池化操作使用3×3×3卷積核，Stride=2，padding=same卷積操作替換，在每個下采樣操作中，通道數增加一倍，特征圖大小減半。在擴展路徑上，每層有1個上采樣upsampling和3個卷積塊操作組成，upsampling采樣采用3×3×3卷積核，Stride=2，padding=same卷積操作替換，在每個上采樣操作中，通道數降低一半，特征圖大小放大1倍，卷積塊操作包括采用3×3×3卷積核，Stride=1，adding=same卷積操作，每個卷積操作后面相繼增加Batch Normalization、Relu 和Dropout操作。

同時加入來自壓縮路徑中相等分辨率層的長連接long skip connection為擴展路徑提供了必要的高分辨率特征，實現shallow，low-level，coarse-grained特征（淺層、低水平、粗粒度）傳遞下去而不消失，提升網絡對形狀在3 cm以下但亮度高結節的輪廓表示能力，同時加速網絡的收斂。U型結構的對等層次模塊如圖4所示。在最后一層，使用1×1×1卷積將輸出通道的數量減少到1，作為0-1分類。總的來說，網絡有39個卷積操作，4個downsampling下采樣，4個upsampling，L1卷積層的通道個數都為32，L2卷積層的通道個數都為64，L3卷積層的通道個數都為128，L4卷積層的通道個數都為256，bottom層的通道個數是512。

3 ?損失函數及評價指標

3.1 ?損失函數

在本文的中，所使用的損失函數如公式（1）

在式（1）中pi是3D Crop的預測值，gi是3D Crop的ground truth。為了避免CT圖像中沒有肺結節的情況，在損失函數中加入平滑系數smooth=1e-5，這樣可以防止除數為0的情況。本文我們需要判斷預測區域是否出現肺結節，可以看作一個二分類問題，對于二分類問題，ground truth分割圖只有0，1兩個值，因此在預測3D Crop和ground truth之間做點乘可以有效地將在預測分割圖中未在ground truth分割圖中激活的所有像素清零。對于激活的像素，主要是懲罰低置信度的預測，較高值會得到更好的Dice系數。

3.2 ?靈敏度sensitivity

本文從肺結節檢出靈敏度（sensitivity），平均分割精度和分割標準差來評價肺結節分割勾畫的精準性能。假設正樣本為肺結節，負樣本為正常肺內組織。通常用1來表示正樣本，0來表示負樣本。對于是否分割出結節的模型，可以用混淆矩陣來表示預測值和真實值之間的關系，如下表1所示。從混淆矩陣中，通常衍生出靈敏度或查全率評價的指標。

靈敏度定義為：Sensitivity=TP/TP+FN ? ?（2）

式（2）是預測肺結節真陽性個數除以真實肺結節的個數，實現對肺結節檢出率。

4 ?項目實施內容

該項目使用Luna2016數據集在配備有NVIDIA GTX 1080Ti GPU工作站上實現了所提出的方法，實施的具體內容步驟包括：

步驟1：首先去除CT影像中的如骨頭的亮點，CT床的金屬線等噪聲，將圖像歸一化為（0，1）;

步驟2：接下來根據醫生提供的結節標注信息，在圖像中找到相應的肺結節位置，將醫生標注的世界坐標轉換化圖像坐標，坐標轉化后，對CT三維圖像按z軸方向進行展開，找到沿z軸方向上所有含結節區域二維切片，即我們訓練時的標簽Mask;為了豐富樣本，接著將厚度為2.5，1.5，1.25，2等大于1 mm情況的CT切片插值采樣后層厚變為為1mm，在這里將CT圖像采用線性插值法，Mask圖像采用最近鄰插值法;

步驟3：通過對層厚為1 mm的CT切片進行閾值化、聚類、腐蝕和和膨脹實現肺部ROI的提取。原CT影像是三維圖像，每個患者包含一系列胸腔的多個軸向切片，為了充分使用切片間的空間信息，將含有結節肺實質CT圖像和Mask圖像取（96，96，16）大小Patch區域，實現3D數據集的構建;

步驟4：最后建立基于改進3D U-Net網絡模型，使用3D數據集中的訓練樣本訓練該網絡模型，然后用訓練的模型對測試3D樣本進行預測，從而對目標病灶區域實現自動分割。

5 ?實驗效果

在Ubuntu16系統下，使用TensorFlow調用GPU加速進行卷積神經網絡訓練。Adam Optimizer用于優化整個網絡權重，學習率固定為1e-3，batch_size=6，訓練圖像和mask的大小為（96，96，16）。項目根據Luna2016數據集通過滑動步驟和結節篩選進行標記，生成帶16 996個3D crop肺結節信息，整個數據集以8：2的比例隨機分成訓練集和測試集，我們以13 595個肺結節作為訓練集，3 401個肺結節作為測試集。采用Mean Dice、STD 、Sensitivity來評價，其結果如表2所示。在表2中我們看到，改進后的3D U-Net在Mean Dice=87.93%，標準差為9.52%，

Sensitivity=96.23%，與原模型相比，分割效果均有提升。

以5.63 mm實心高亮結節預測結果為例，如圖5所示，我們可以看到3D U-Net的預測結果=0.79改進的3D U-Net的預測結果=0.91，改進后模型在高亮小結節輪廓的表示能力優于3D U-Net模型。

6 ?結 ?論

該項目通過對3D U-Net網絡的改進和融入long ?skip ?connection實現3D U-Net對小于10 mm結節的分割，不僅解決了梯度消失和梯度爆炸的問題，還提升了網絡對形狀直徑在10 mm以下但亮度高結節的輪廓表示能力。實現對CT影像肺部區域結節的自動、準確的描述。

參考文獻：

[1] LIVNE M，RIEGER J，AYDIN O U，et al. A U-Net Deep Learning Framework for High Performance Vessel Segmentation in Patients With Cerebrovascular Disease [J]. Frontiers in Neuroscience，2019，13：97.DOI：10.3389/fnins.2019.00097.eCollection 2019.

[2] ?I?EK ?，ABDULKADIR A，LIENKAMP S.S ， et al. 3D U-Net：Learning Dense Volumetric Segmentation from Sparse Annotation. In：Ourselin S.，Joskowicz L.，Sabuncu M.，Unal G.，Wells W.（eds）Medical Image Computing and Computer-Assisted Intervention – MICCAI 2016. MICCAI 2016. Lecture Notes in Computer Science，vol 9901. Springer，Cham. https：//doi.org/10.1007/978-3-319-46723-8_49.

[3] 金征宇.人工智能醫學影像應用：現實與挑戰 [J].放射學實踐，2018，33（10）：989-991.

[4] Roy A G ，Siddiqui S ，Plsterl S ，et al.‘Squeeze & Excite Guided Few-Shot Segmentation of Volumetric Images [J]. Medical Image Analysis，2020，59（1）：234-238.

[5] 鄒應誠.基于卷積神經網絡的顱內動脈瘤檢測方法研究 [D].武漢：華中科技大學，2019.

作者簡介：李林靜（1976.03—），女，漢族，四川遂寧人，副教授，碩士，研究方向：圖像理解。