基于U—Net的結節分割方法

徐峰 鄭斌 郭進祥

摘要：針對肺結節特征復雜、人工提取特征困難、分割結果不準確的問題，使用一種卷積神經網絡模型U-Net對肺結節進行分割。首先對LUNA16數據集提供的肺部CT圖像數據和結節標注數據進行預處理，根據結節標注數據，提取對應的肺部CT圖像切片，對切片進行歸一化、二值化、腐蝕和膨脹從而提取ROI區域，并根據結節位置信息生成掩膜，然后將處理后的肺部CT圖像切片與對應的掩膜送入U-Net模型進行訓練，最后使用測試數據集對U-Net模型分割效果進行測試。實驗結果表明，U-Net模型可以對肺部結節進行有效分割。

關鍵詞：

肺結節；圖像分割；U-Net

DOIDOI：10.11907/rjdk.181773

中圖分類號：TP319

文獻標識碼：A 文章編號文章編號：1672-7800（2018）008-0161-04

英文摘要Abstract：For the complicated features of pulmonary nodules， difficulties in manual extraction and inaccurate segmentation results，we propose a convolutional neural network model of U-Net to segment lung nodules. First， CT data provided by LUNA16 needs to be preprocessed. According to the nodule annotation data， corresponding lung CT image slices are extracted， and the slices are normalized， binarized， eroded， and dilated to extract the ROI region， and a mask is generated according to the nodule position information； and the treated lung CT is obtained. Second， the image slice and the corresponding mask are sent to the U-Net model for training； the test data set is used to test the segmentation effect of the U-Net model. The experimental results show that the U-Net model can effectively segment lung nodules.

英文關鍵詞Key Words：lung nodule；image segmentation；U-Net

0 引言

肺癌是死亡率最高的癌癥之一，如何在肺癌早期發現癌癥，對提高病人生存率有重要意義。肺結節是肺癌早期表現形式，在CT圖像中有效分割肺結節可幫助醫生提高診斷效率，降低漏診、誤診率[1]。目前，深度學習在人工智能領域引起了高度關注。肺結節分割是當前深度學習研究熱點之一，其主要功能是利用深度神經網絡實現圖像分割。現有肺結節分割方法主要是將肺結節特征與機器學習算法結合。程立英等[2]采用基于改進的C-V模型方法，結合肺結節區域信息和邊緣信息實現肺結節分割。韓貴來等[3]采用基于視覺注意的肺結節顯著性區域分割方法，在肺中尋找實質的顯著區域并將其連通，在每個連同區域中進行區域生長，得到最終分割結果。該方法雖然可以有效分割肺結節，但是人工選取特征的誤差以及肺結節多樣性導致適用性不強。董林佳等[4]提出了一種基于三維形狀指數和Hessian矩陣特征值的肺結節分割與檢測方法，該方法從三維數據入手，通過對肺結節三維特征建模實現肺結節分割。該方法準確率較高，但是三維數據特征選取具有一定難度，使三維特征建模難以實現。廖曉磊[5]提出了一個結合超像素和自生成神經森林的肺實質序列圖像分割方法，并使用多尺度增強濾波器和3D形狀特征實現肺結節檢測。蘇志遠[6]提出了改進的模糊C均值方法，利用圖像中像素點灰度值作為特征劃分肺結節區域。還有一些使用閾值分割、基于C-V模型等方法的肺結節分割技術，都存在需要人工選取肺結節特征的問題[7-9]。部分針對某些具有特殊特征肺結節的分割方法，雖然對某類肺結節效果較好，但是普適性較差[10-15]。隨著深度學習技術的發展，越來越多的學者將深度神經網絡技術運用在醫療圖像領域。Alakwaa等[16]使用3D卷積神經網絡對肺結節進行分割與檢測。Tan等[17]設計了一個基于深度神經網絡和卷積神經網絡的肺結節診斷框架，可以有效發現肺結節。Wang等[18]提出了一種多視角卷積神經網絡（MV-CNN），該網絡利用全連接層整合了3條卷積神經網絡分支，可有效對多種肺結節進行分割。U-Net是一種適用于醫療圖像分割領域的深度學習網絡模型，該網絡已經在角膜圖像分割、皮膚病變分割以及膝關節MR圖像分割等領域得到了應用[19-21]。本文方法利用U-Net網絡模型，使用LUNA16提供的數據集作為訓練集，對U-Net進行訓練從而實現肺結節自動分割。相對于需要人工提取特征的方法，本文方法對肺結節種類及其特征不敏感，也更利于輔助診斷，對肺癌的早發現早診斷有重要意義。

1 材料與方法

1.1 數據集

本文使用LUNA16（Lung Nodule Analysis 2016）比賽提供的數據集。該數據集包含888例患者肺部CT圖像及醫生對圖像的標注。標注內容主要包括結節坐標和直徑。每一位患者的CT圖像數據都包含若干512×512大小的切片[22]。本文分別取710例和178例患者數據作為訓練集與測試集。

1.2 數據預處理

為了構建用于U-Net的訓練集與測試集，去除外圍無用數據，只保留訓練網絡所需的肺實質部分，并對原始數據進行預處理。圖1為數據預處理流程。

由于CT原始切片圖像未經處理，肺實質部分并不突出，為了更好地分割肺實質部分，需對圖像作直方圖均衡化處理。如圖2所示，處理后的圖像肺實質部分較為突出，與周邊組織形成鮮明對比，以便后續處理。

直方圖均衡化后，各組織灰度值差距較大，對分割肺實質區域有較強干擾，需要對圖像進行二值化處理。如圖3所示，二值化后的圖像，肺實質部分形成了鮮明的大片連通區域，對提取肺實質部分有較大幫助。

在二值化處理之后，肺實質內部有較多噪聲，對肺實質分割有一定影響，于是使用腐蝕和膨脹兩種數學形態學方法消除肺實質內部噪聲。如圖4所示，經過腐蝕與膨脹處理之后，肺實質內部噪聲被明顯消除，與周圍組織的黑色形成鮮明對比，有助于后續提取ROI區域。

經過上述處理，肺實質分割已初步完成。在此基礎之上，提取ROI區域，即得到肺實質的分割結果。如圖5所示，圖中保留了肺實質部分數據，剔除了對訓練U-Net無用的周邊組織。

1.3 生成掩膜

由于U-Net網絡需要使用掩膜數據作為標簽，根據LUNA16提供的標注數據生成對應肺部CT切片圖像的結節掩膜圖像。掩膜為一張僅含有1和0的圖像，其中1代表肺結節所在像素。圖6（右）中白色區域為根據結節位置與直徑數據生成的圓形。

1.4 U-Net分割

U-Net是一個2D全卷積神經網絡[23]，是目前比較流行的生物醫學圖像分割網絡。圖7為U-Net網絡結構。U-Net具有對稱的U型網絡結構，左側為收縮路徑，右側為擴張路徑。整個網絡具有4個maxpool層和4個upconv層，以及20個卷積層。U-Net架構是一種重復結構，每次重復中都有2個卷積層和一個pooling層，卷積層中卷積核大小均為3×3，激活函數使用ReLU，兩個卷積層之后是一個大小為2×2、步長為2的maxpooling層。每一次下采樣都將特征通道數量加倍。收縮路徑每一步都先采用反卷積（up-conv），每次使用反卷積將特征通道數量減半，特征圖大小加倍。反卷積后，將其結果與收縮路徑中對應步驟的特征圖拼接起來。對拼接后結果進行兩次3×3的卷積。最后一層卷積核大小為1×1。

2 結果與分析

實驗選取178例患者的CT圖像為測試數據集。每例患者的圖像都經過與訓練集相同的預處理，圖像大小為512×512，格式為npy，實驗采用python2.7及Tensorflow，GPU使用英偉達QuadroP5000。通過訓練好的U-Net對測試集進行處理，并得到分割結果，然后將結果與LUNA16提供的結節標注數據進行比較。

2.1 實驗結果

對測試數據集預處理后，將測試數據集送入U-Net模型進行預測，輸出結果為肺結節分割結果。如圖8所示，右圖為原肺部CT圖像，正圓部分為根據LUNA16數據集提供的結節位置與直徑生成的圓形，正圓中深色部分為U-Net分割結果。

2.2 結果評價與分析

分割結果如表1所示，模型準確度為86.7%，錯分率為13.4%，假陽性為11.9%，假陰性為14.7%。數據表明U-Net對于肺結節分割效果良好，對于大部分病患可以起到輔助診斷的作用。

為進一步分析本文方法的分割性能，選取目前肺結節分割領域中兩種較為常見的方法進行比較。表2實驗數據顯示，基于改進的C-V模型方法準確率為83.5%，基于視覺注意的顯著性區域方法準確率為85.5%。相較而言，本文方法準確率最高。

3 結語

本研究基于U-Net深度學習網絡模型，使用LUNA16肺部CT圖像數據集作為訓練數據，實現肺結節分割，主要特點是不需要人工提取肺結節特征，利用深度神經網絡學習特性，自動分割肺結節。從實驗結果可知，該方法可以對肺結節進行有效分割。但分割結果含較多假陽性及假陰性肺結節，因此改善假陽性及假陰性肺結節分割結果是下一步研究工作重點。

參考文獻：

[1] 李為民，趙爽，劉倫旭.肺癌早期診斷方法及臨床意義[J].四川大學學報：醫學版，2017，48（3）：331-335，326.

[2] 程立英，劉曼，李瑤，等.改進C-V模型的CT圖像肺結節分割方法研究[J].科技資訊，2016，14（14）：165-166.

[3] 韓貴來，詹何慶，鄧丹瓊.基于視覺注意的肺結節顯著性區域分割方法[J].電腦知識與技術，2017，13（16）：165-167.

[4] 董林佳，強彥，趙涓涓，等.基于三維形狀指數的肺結節自動檢測方法[J].計算機應用，2017，37（11）：3182-3187.

[5] 廖曉磊.薄掃CT序列圖像的肺實質分割和肺結節檢測方法研究[D].太原：太原理工大學，2017.

[6] 蘇志遠.基于模糊C均值聚類和字典學習的肺結節分割[D].濟南：山東財經大學，2016.

[7] 王國明.基于CT圖像的肺結節分割方法研究[D].長春：長春工業大學，2017.

[8] 樸春赫，曹鵬，趙海，等.基于CV模型與改進ME模型的肺癌檢測算法[J].東北大學學報：自然科學版，2017，38（5）：639-644.

[9] 鄭文松.亞實性肺結節CT閾值分割：實性成分識別與定量[D].天津：天津醫科大學，2017.

[10] 劉麗偉，王國明.基于FVFACM的JV肺結節分割[J].長春工業大學學報，2017，38（3）：270-275.

[11] 劉霽雨，龔敬，聶生東.利用測地線距離直方圖分割血管粘連型肺結節的算法[J].計算機輔助設計與圖形學學報，2017，29（3）：493-500.

[12] 紀國華.基于PET-CT的孤立性肺結節分割及分類方法的研究[D].太原：太原理工大學，2016.

[13] 張曉慧.基于PET/CT低劑量掃描的疑似惡性肺結節分割方法研究[D].太原：太原理工大學，2016.

[14] 邢謙謙.不規則形態肺結節的分割及毛刺檢測研究[D].廣州：南方醫科大學，2015.

[15] WANG J， GUO H. Automatic approach for lung segmentation with Juxta-Pleural nodules from thoracic CT based on contour tracing and correction[J]. Computational and Mathematical Methods in Medicine， 2016（3）：1-13.

[16] ALAKWAA W， NASSEF M， BADR A. Lung cancer detection and classification with 3D convolutional neural network （3D-CNN）[J]. International Journal of Advanced Computer Science and Applications， 2017，8（8）：409-417.

[17] TAN J， HUO Y， LIANG Z， et al. A comparison study on the effect of false positive reduction in deep learning based detection for juxta-pleural lung nodules： CNN vs DNN[C]. Proceedings of the Symposium on Modeling and Simulation in Medicine. 2017：1-8.

[18] WANG S， ZHOU M， GEVAERT O， et al. A multi-view deep convolutional neural networks for lung nodule segmentation[C]. Proceedings of Annual International Conference of the IEEE Engineering in Medicine and Biology Society， 2017：1752-1755.

[19] FABIJASKA A. Segmentation of corneal endothelium images using a U-Net-based convolutional neural network[J]. Artificial Intelligence in Medicine， 2018，6（88）：1-13.

[20] LIN B S， KALRA S， TIZHOOSH H R. Skin lesion segmentation： U-Nets versus clustering[C]. IEEE Symposium Series on Computational Intelligence， 2017：1-7.

[21] NORMAN B， PEDOIA V， MAJUMDAR S. Use of 2D U-Net convolutional neural networks for automated cartilage and meniscus segmentation of knee MR imaging data to determine relaxometry and morphometry[J]. Radiology， 2018（3）：172-180.

[22] SETIO A A A， TRAVERSO A， PROKOP M， et al. Validation， comparison， and combination of algorithms for automatic detection of pulmonary nodules in computed tomography images： the LUNA16 challenge[J]. Medical Image Analysis， 2017，42：1-3.

[23] RONNEBERGER O， FISCHER P， BROX T. U-Net： convolutional networks for biomedical image segmentation[C]. International Conference on Medical Image Computing and Computer-asisted Intervention， 2015：234-241.

（責任編輯：江 艷）