基于V-Net模型的肺結(jié)節(jié)分割研究

梁富娥，張偉，呂珊珊，顧旋，劉東華

（甘肅中醫(yī)藥大學(xué) 信息工程學(xué)院，甘肅 蘭州 730000）

0 引 言

肺癌作為當(dāng)今社會(huì)死亡率較高的癌癥之一，已經(jīng)影響到人類社會(huì)的正常生活，所以如何在早期發(fā)現(xiàn)并及時(shí)的進(jìn)行診斷治療是防止死亡率增加的有效措施。肺癌在人體內(nèi)早期的表現(xiàn)形式為結(jié)節(jié)，表現(xiàn)形式并不顯著，由于結(jié)節(jié)在人體的位置不同且種類多樣等原因，個(gè)體出現(xiàn)的病理反應(yīng)也不同，這一系列原因均導(dǎo)致了許多患者一經(jīng)診斷就是晚期，這極大的增加了治療的難度。有研究報(bào)告顯示，肺癌早期患者如果能及時(shí)發(fā)現(xiàn)，并進(jìn)行規(guī)范治療，術(shù)后5年生存率可達(dá)到60%～90%，若在發(fā)病初期進(jìn)行行之有效的治療，其5年生存率可提升至90%以上，但若臨床診斷為晚期，即使經(jīng)過治療，其術(shù)后5年生存率也遠(yuǎn)低于5%[1]。目前，深度學(xué)習(xí)在人工智能領(lǐng)域引起了巨大的反響，在各個(gè)領(lǐng)域被廣泛應(yīng)用。在醫(yī)學(xué)領(lǐng)域中，利用深度學(xué)習(xí)方法輔助醫(yī)生診斷治療已取得有效成果，肺結(jié)節(jié)分割作為當(dāng)前深度學(xué)習(xí)研究熱點(diǎn)之一，其主要功能是利用深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)圖像分割，現(xiàn)有肺結(jié)節(jié)分割方法主要是將肺結(jié)節(jié)特征與機(jī)器學(xué)習(xí)算法結(jié)合[2]。Ronneberger 等[3]人提出了U-Net 網(wǎng)絡(luò)模型，該模型使用較少的數(shù)據(jù)集進(jìn)行端到端的訓(xùn)練方式，結(jié)果表明該模型對(duì)肺結(jié)節(jié)的分割具有良好的效果；張佳[4]基于短跳躍連接方式提出了一種改進(jìn)的SCV-Net 模型，該模型可以更加充分的利用特征圖信息，使得肺結(jié)節(jié)的漏檢情況得到了有效的解決，明顯提高肺部結(jié)節(jié)的分割精度；苗語等人[5]針對(duì)肺部CT 圖像特征信息復(fù)雜程度較高及經(jīng)典U 型卷積網(wǎng)絡(luò)分割準(zhǔn)確率較低的問題提出一種改進(jìn)的網(wǎng)絡(luò)，通過將U-Net 和DenseNet網(wǎng)絡(luò)融合的方法對(duì)模型的分割性能進(jìn)行提高，采用LUNA16數(shù)據(jù)集驗(yàn)證這一模型的有效性；鐘思華等人[6]提出一種改進(jìn)的V-Net 網(wǎng)絡(luò)模型方法，即基于MSVNet 網(wǎng)絡(luò)的肺結(jié)節(jié)分割模型，在繼承原始V-Net 方法的基礎(chǔ)上采用了多尺度結(jié)構(gòu)和深監(jiān)督策略來提取肺結(jié)節(jié)圖像詳細(xì)特征，有效提高了肺結(jié)節(jié)分割性能和分割魯棒性。目前已有很多深度學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)被廣泛用于醫(yī)學(xué)圖像的處理中。本文利用V-Net 分割模型對(duì)肺結(jié)節(jié)數(shù)據(jù)集LUNA16 進(jìn)行實(shí)驗(yàn)，對(duì)LUNA16 數(shù)據(jù)集進(jìn)行預(yù)處理后用V-Net 模型訓(xùn)練后評(píng)估預(yù)測(cè)，從而實(shí)現(xiàn)肺結(jié)節(jié)的自動(dòng)分割，這一方法相對(duì)于人工特征提取分割的方法更加準(zhǔn)確和快速，對(duì)肺癌患者的早發(fā)現(xiàn)和早診斷治療有一定的參考價(jià)值。肺結(jié)節(jié)分割的基本過程如圖1 所示。

圖1 肺結(jié)節(jié)分割流程

1 數(shù)據(jù)與方法

1.1 數(shù)據(jù)集

本文采用的是LUNA16（Lung nodule analysis 2016）比賽提供的數(shù)據(jù)集。LUNA16 是由更大的肺數(shù)據(jù)集LIDC-IDRI進(jìn)行選取后產(chǎn)生的一部分?jǐn)?shù)據(jù)集，LIDC-IDRI 數(shù)據(jù)集共有1 018 個(gè)病例，每個(gè)病例對(duì)應(yīng)的CT 圖像都對(duì)應(yīng)有xml 格式的標(biāo)簽文件。該數(shù)據(jù)集主要?jiǎng)h除了切片厚度大于3 mm 和肺結(jié)節(jié)小于3 mm 的CT 影像，最后只剩下888 例患者低劑量肺部CT 圖像構(gòu)成了LUNA16 數(shù)據(jù)集[7]。LUNA16 數(shù)據(jù)集中的結(jié)節(jié)至少由四名專業(yè)影像醫(yī)生進(jìn)行標(biāo)記后產(chǎn)生，其中每個(gè)CT 影像包含一系列胸腔的多個(gè)軸向切片，其中切片的數(shù)量受掃描機(jī)器、患者不同以及掃描層厚等不同的影響。需要說明的是每個(gè)CT 圖中可能不是只有一個(gè)結(jié)節(jié)，也并不是每個(gè)CT 圖中都有一個(gè)或多個(gè)結(jié)節(jié)。原始的肺部CT 圖像都是三維圖像，每個(gè)圖像是由胸腔的多個(gè)二維軸向切片組合而成，切片大小是512 像素×512 像素。LUNA16 數(shù)據(jù)集中的888個(gè)CT 圖像被均勻的劃分成10 個(gè)子集，分別存放在subset0到subset9 這10 個(gè)子文件夾中，該數(shù)據(jù)集的圖像存儲(chǔ)方式為MetaImage（mhd/raw）的格式，每個(gè)mhd 文件都存儲(chǔ)有一個(gè)單獨(dú)的對(duì)應(yīng)的raw 二進(jìn)制文件，mhd 文件存放信息，raw文件用于存放像素?cái)?shù)據(jù)，這兩部分是同時(shí)存在的。

LUNA16 數(shù)據(jù)集作為目前肺結(jié)節(jié)檢測(cè)大賽的公開數(shù)據(jù)集，其圖像質(zhì)量具有較高的可靠性，此外許多相關(guān)專家對(duì)肺結(jié)節(jié)的位置進(jìn)行了標(biāo)注，許多肺結(jié)節(jié)方面的研究均基于該數(shù)據(jù)集展開[8]。因此利用該數(shù)據(jù)集作為模型的訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)具有較高的可靠性以及良好的模型性能對(duì)比性。

1.2 數(shù)據(jù)預(yù)處理

為了使得肺結(jié)節(jié)分割不受其他組織的影響，結(jié)節(jié)分割的更加準(zhǔn)確，我們需要對(duì)得到的肺部CT 圖像進(jìn)行一些數(shù)據(jù)預(yù)處理操作。基本的處理流程如圖2 所示。

圖2 預(yù)處理

對(duì)原始CT 圖像進(jìn)行直方圖均衡化使得肺實(shí)質(zhì)部分顏色加深更加突出；隨后進(jìn)行二值化處理是由于肺實(shí)質(zhì)部分的灰度值和周圍組織差距較大，對(duì)圖像進(jìn)行二值化可以初步分割出肺實(shí)質(zhì)部分；接著對(duì)初步分割出的肺實(shí)質(zhì)進(jìn)行數(shù)學(xué)形態(tài)學(xué)處理，主要通過膨脹和腐蝕這兩種方法來消除肺實(shí)質(zhì)內(nèi)部噪聲和平滑邊緣部分；最后將得到的肺實(shí)質(zhì)掩膜進(jìn)行感興趣區(qū)域（ROI）的提取。經(jīng)過上述處理流程產(chǎn)生的肺實(shí)質(zhì)分割圖像如圖3 所示。

圖3 原始圖像與對(duì)應(yīng)的肺實(shí)質(zhì)

肺實(shí)質(zhì)圖像的獲得對(duì)結(jié)節(jié)掩膜的提取更加方便，由于LUNA16 提供的標(biāo)注數(shù)據(jù)，可以生成對(duì)應(yīng)肺部CT 切片圖像的結(jié)節(jié)掩膜圖像，其中結(jié)節(jié)掩膜為一張僅含有1 和0 兩個(gè)像素的圖像，其中1 代表肺結(jié)節(jié)所在像素[2]。圖4（右）中白色區(qū)域?yàn)楦鶕?jù)結(jié)節(jié)的標(biāo)記位置和結(jié)節(jié)直徑生成的圓形。

圖4 肺實(shí)質(zhì)與對(duì)應(yīng)的結(jié)節(jié)掩膜

在LUNA16 數(shù)據(jù)集中提供了annotations.csv 文件，該文件中存放的是某一結(jié)節(jié)CT 圖像的病例編號(hào)、結(jié)節(jié)在世界坐標(biāo)系下的（x，y，z）以及結(jié)節(jié)的直徑大小。不同結(jié)節(jié)直徑產(chǎn)生的像素圖像也有很大差別，圖5 可以通過肉眼直觀的看到不同結(jié)節(jié)掩膜的大小，此外結(jié)節(jié)掩碼的大小也可判定結(jié)節(jié)的良惡性，對(duì)肺結(jié)節(jié)的良惡性分類提供了良好的依據(jù)。

圖5 肺實(shí)質(zhì)（左）與對(duì)應(yīng)的結(jié)節(jié)掩膜（右）

1.3 V-Net 分割模型

在醫(yī)學(xué)圖像分割領(lǐng)域中，U-Net 網(wǎng)絡(luò)模型是最為經(jīng)典的生物醫(yī)學(xué)圖像分割模型，該模型借鑒了全卷積神經(jīng)網(wǎng)絡(luò)的思想，最大的特點(diǎn)是采用了編碼-解碼的網(wǎng)絡(luò)結(jié)構(gòu)以及跳躍連接機(jī)制[3]。V-Net 模型作為U-Net 網(wǎng)絡(luò)模型的一個(gè)變體，采用的也是編碼-解碼的結(jié)構(gòu)，并且編碼部分和解碼部分的層數(shù)都是四層，兩者有著很多的共同之處，但作為U-Net 的變體，V-Net 模型的獨(dú)特之處在于V-Net 網(wǎng)絡(luò)結(jié)構(gòu)的每一層都融入了殘差學(xué)習(xí)機(jī)制，加入該機(jī)制的主要作用是用來減緩模型訓(xùn)練過程的梯度消失，此外該模型用卷積層來代替池化層從而實(shí)現(xiàn)下采樣，同時(shí)V-Net 是一種基于3D 卷積的三維分割方法，而臨床使用的大多數(shù)醫(yī)療數(shù)據(jù)都是3D 的，它采用端到端的訓(xùn)練方式[9]，這對(duì)于LUNA16 三維圖像有很大的優(yōu)勢(shì)，更利于對(duì)肺結(jié)節(jié)的分割。V-Net 的模型結(jié)構(gòu)如圖6 所示。

圖6 V-Net 網(wǎng)絡(luò)模型

其中V-Net 模型的左側(cè)部分為壓縮路徑，也就是所謂的編碼。編碼部分被分成多層，每一層對(duì)應(yīng)每某一個(gè)圖像尺度的分辨率，每層使用5×5×5 的卷積核，進(jìn)行了21 次卷積操作，所以感受野較大，但隨著數(shù)據(jù)不斷向下傳送到不同的層，其對(duì)應(yīng)的分辨率也會(huì)呈倍數(shù)縮小。該模型的每一層引入了殘差學(xué)習(xí)結(jié)構(gòu)，使用原理是本層最后一層卷積后得到的輸出特征圖同上一層下采樣后的特征圖進(jìn)行了相加，V-Net 模型在每一層的最后均會(huì)進(jìn)行下采樣操作來獲得更大的局部感受野，下采樣操作之后，輸出的特征圖的分辨率會(huì)減半，但數(shù)量會(huì)成倍增加[10]。在圖像的分割任務(wù)中，通過下采樣操作會(huì)使得特征圖的分辨率減小從而保留圖像的細(xì)節(jié)特征。V-Net 模型的右側(cè)部分為擴(kuò)張路徑，也就是所謂的解碼，同編碼部分一樣的是解碼部分的每一層也對(duì)應(yīng)某一尺度的分辨率，隨著數(shù)據(jù)向擴(kuò)張路徑的移動(dòng)，對(duì)應(yīng)的分辨率成倍增加[11]。在解碼階段，每一層使用了反卷積操作來實(shí)現(xiàn)數(shù)據(jù)特征圖的上采樣，進(jìn)行上采樣后會(huì)使得特征圖的尺寸翻倍，通道數(shù)減半，該模型和U-Net 模型都采用了跳躍鏈接，即將編碼部分每一層產(chǎn)生的輸出和同一層對(duì)應(yīng)的解碼部分的輸入連接起來，從而使得特征圖的通道數(shù)不斷變大，很好的融合了在編碼過程中所丟失的一些重要細(xì)節(jié)特征。采用這一方式對(duì)圖像的最終分割精度也會(huì)有較大的提高，這也是U-Net 和V-Net 網(wǎng)絡(luò)模型被廣泛用于醫(yī)學(xué)分割任務(wù)的重要原因之一。

2 實(shí)驗(yàn)結(jié)果

本文通過對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)重采樣、數(shù)據(jù)歸一化、圖像切割和標(biāo)簽生成等操作，可得到若干個(gè)尺寸為（96，96，16）的肺結(jié)節(jié)圖像和掩碼，其中至少包含1 個(gè)結(jié)節(jié)的肺部CT數(shù)據(jù)塊和對(duì)應(yīng)的肺結(jié)節(jié)標(biāo)簽。實(shí)驗(yàn)采用Python 3.8 環(huán)境及Tensforf low 深度學(xué)習(xí)框架。

對(duì)于已經(jīng)訓(xùn)練好的V-Net 網(wǎng)絡(luò)模型，我們對(duì)測(cè)試集部分進(jìn)行相同的數(shù)據(jù)預(yù)處理后輸入到訓(xùn)練好的模型進(jìn)行預(yù)測(cè)。圖7（a）為原始圖像，圖7（b）為L(zhǎng)UNA16 提供的結(jié)節(jié)標(biāo)記數(shù)據(jù)，即金標(biāo)準(zhǔn)圖，圖7（c）為模型預(yù)測(cè)生成的結(jié)果。取其中某三個(gè)測(cè)試集進(jìn)行可視化展示，我們通過肉眼就可以直觀的看到該模型對(duì)結(jié)節(jié)的分割性能。整體來說，模型預(yù)測(cè)的結(jié)果均達(dá)到了90%以上的良好分割精度。

圖7 肺結(jié)節(jié)分割結(jié)果

3 結(jié) 論

本文的研究是基于V-Net 深度學(xué)習(xí)網(wǎng)絡(luò)模型進(jìn)行的肺結(jié)節(jié)分割實(shí)驗(yàn)，采用目前公開且應(yīng)用廣泛的肺結(jié)節(jié)數(shù)據(jù)集LUNA16 作為訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)，經(jīng)過一系列預(yù)處理后，將數(shù)據(jù)通過模型訓(xùn)練和預(yù)測(cè)實(shí)驗(yàn)進(jìn)行肺結(jié)節(jié)的分割。目前采用的深度學(xué)習(xí)方法能夠?qū)崿F(xiàn)自動(dòng)分割任務(wù)，不需要人工提取肺結(jié)節(jié)特征，為醫(yī)學(xué)圖像處理帶來了巨大便利。實(shí)驗(yàn)結(jié)果使用肉眼直觀的展示了該模型的分割性能，但分割結(jié)果較為粗糙，在醫(yī)學(xué)圖像領(lǐng)域，只能輔助醫(yī)生進(jìn)行簡(jiǎn)單的位置診斷和結(jié)節(jié)大小判斷。在接下來的學(xué)習(xí)研究中，采用某醫(yī)院的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行驗(yàn)證是很有必要的，此外對(duì)分割結(jié)果進(jìn)行更加詳細(xì)的可視化任務(wù)和模型對(duì)比分析也是進(jìn)一步要研究的重點(diǎn)內(nèi)容。