基于空洞卷積U-Net模型的胰腺自動(dòng)分割方法研究

秦楠楠，薛旭東，石 軍，郝曉宇，吳愛林，閆 冰，朱雅迪，吳愛東,

隨著計(jì)算機(jī)圖形處理和醫(yī)療裝備技術(shù)的發(fā)展，計(jì)算機(jī)輔助診斷(computer aided diagnosis，CAD)已成為現(xiàn)實(shí)，對身體各器官精準(zhǔn)分割算法成為當(dāng)前研究的熱點(diǎn)之一。目前對于腎臟、肺和心臟等的器官分割研究已經(jīng)取得較好的結(jié)果，但對胰腺等器官的分割精度并不理想。因解剖位置個(gè)體差異性大，易發(fā)生偏移，灰度與周圍組織相近等特點(diǎn)，使得胰腺的精準(zhǔn)分割仍是具有挑戰(zhàn)性的任務(wù)。早期對胰腺的分割主要有邊緣分割算法和基于概率模型的分割算法等，該類方法對較為復(fù)雜的問題會(huì)出現(xiàn)學(xué)習(xí)能力不足的情況，而深度卷積神經(jīng)網(wǎng)絡(luò)在處理復(fù)雜問題、提取抽象和高維度特征方面有著巨大的優(yōu)勢，對胰腺的分割精確度要優(yōu)于傳統(tǒng)的分割方法，Yao et al在文獻(xiàn)中運(yùn)用空洞卷積網(wǎng)絡(luò)模塊對血腫精準(zhǔn)分割，該模塊可以聚合多尺度上下文信息，而不會(huì)丟失分辨率或分析重新縮放的圖像。該研究對先期研究應(yīng)用的標(biāo)準(zhǔn)2D U-Net模型進(jìn)行改進(jìn)得到一種多尺度空洞卷積U-Net模型，并利用實(shí)際病例對改進(jìn)的模型進(jìn)行訓(xùn)練、測試及比較分析。

1 材料與方法

1.1 病例資料

選取100例自2017年6月—2019年8月由安徽醫(yī)科大學(xué)附屬省立醫(yī)院放療科收治的宮頸癌和直腸癌患者的增強(qiáng)CT圖像，病例圖像均包含完整胰腺。患者定位均采取仰臥位行真空袋體位固定，飛利浦Brilliance大孔徑CT定位掃描，掃描厚度為5 mm，圖像重建分辨率為512×512，由主管醫(yī)生在CT圖像上完成100例患者胰腺的勾畫并經(jīng)上級(jí)醫(yī)生審核確認(rèn)。

1.2 數(shù)據(jù)預(yù)處理

為盡可能的排除無關(guān)因素對模型訓(xùn)練的影響，需對圖像裁剪像素值處理。首先通過閾值分割的方式提取患者身體外輪廓并計(jì)算輪廓的中心坐標(biāo)，以坐標(biāo)中心為原點(diǎn)，對圖像進(jìn)行裁剪，裁剪尺寸為256像素×256像素。其次對像素值處理通過比對胰腺區(qū)域像素值出現(xiàn)的頻率，確定胰腺區(qū)域所對應(yīng)像素值范圍為950～1 180，并只保留此范圍像素值。圖像經(jīng)預(yù)處理后對比度更好，且胰腺部分占圖像的比例也有所增加。此外，由于胰腺是軟組織，形狀不規(guī)則且變化較大，運(yùn)用隨機(jī)彈性仿射變換來模仿胰腺在人體內(nèi)的形變，實(shí)現(xiàn)模型對胰腺有效提取。經(jīng)過仿射變換的圖像前后對比情況見圖1，經(jīng)過預(yù)處理后的圖像見圖2。

圖1 通過彈性仿射變換進(jìn)行數(shù)據(jù)增廣A：原始CT圖像；B：經(jīng)過仿射變換后的圖像

圖2 經(jīng)過預(yù)處理和裁剪后的圖像A：CT圖像；B：對應(yīng)標(biāo)簽

1.3 模型構(gòu)建及分割過程

1.3.1

模型構(gòu)建 如圖3所示，以Tensorflow為后端的Keras框架搭建模型。模型的主要模塊是空洞卷積模塊(dilated convolution module, DCM)，它由兩個(gè)四通道的卷積層組成。四通道的卷積對應(yīng)3×3卷積核空洞率分別為1、2、4和6，用于提取不同尺寸的圖像特征。圖像輸入首先經(jīng)過四通道的卷積層卷積，在通道維度上進(jìn)行特征融合，經(jīng)過相同的卷積處理后經(jīng)過BN層和池化層(最大池化)通道數(shù)增加一倍，圖像尺寸減半。DCM和池化層共同組成編碼模塊，在U形底部是DCM模塊。圖像在底部經(jīng)過上采樣模塊后進(jìn)行1×1的卷積進(jìn)行輸出，與標(biāo)準(zhǔn)2D U-Net結(jié)構(gòu)一致，在解碼模塊中，對應(yīng)編碼模塊的圖像與輸出進(jìn)行特征融合。在上采樣過程中，路徑收縮減半，圖像尺寸增加一倍。解碼模塊由上采樣、1×1卷積、特征拼接和DCM組成，最后采用Dropout用來防止過擬合。

圖3 基于標(biāo)準(zhǔn)U-Net改進(jìn)的模型主體結(jié)構(gòu)

1.3.2

分割流程及數(shù)據(jù)后處理 圖4所示為胰腺勾畫的流程，圖像經(jīng)過預(yù)處理后，輸入尺寸為256像素×256像素的圖像隨機(jī)打亂送入網(wǎng)絡(luò)進(jìn)行訓(xùn)練。新的圖像輸入到訓(xùn)練完成的模型中，輸出勾畫的輪廓，計(jì)算輪廓大小，清除較小的噪聲點(diǎn)。

圖4 胰腺自動(dòng)勾畫流程圖

1.3.3

評(píng)估標(biāo)準(zhǔn) 模型分割性能通過4個(gè)指標(biāo)進(jìn)行量化：戴斯相似系數(shù)(dice similarity coefficient,DSC)、豪斯多夫距離(hausdorff distance, HD)、杰卡德相似系數(shù)(jaccard similarity coefficient, JSC)和平均表面距離(average surface distance, ASD)來評(píng)估模型對測試集分割的精準(zhǔn)度。

DSC計(jì)算預(yù)測和手動(dòng)勾畫輪廓的符合程度：

其中A為手動(dòng)勾畫的輪廓，B為自動(dòng)勾畫(預(yù)測)輪廓，兩者的交集部分表示手動(dòng)勾畫與自動(dòng)勾畫輪廓的重合部分。DSC越大，表明兩種勾畫結(jié)果的重合度越高，DSC介于0～1。

HD(A,B)是單向距離h(B,A)和h(A,B)中較大的一個(gè)，它表征了兩個(gè)點(diǎn)集之間的最大失配距離，具體如下：

HD(A,B)=max(h(A,B),h(B,A))
h(A,B)=max(min‖a-b‖) a∈A,b∈B

其中，h(A,B)表示A集合中每一個(gè)點(diǎn)到B集合最小距離，HD越小，表示A，B重合度越高，分割的效果越好。

JSC是類似于DSC統(tǒng)計(jì)量，表示交叉區(qū)域的重合程度，其計(jì)算公式為：

其中，0≤JSC(A,B)≤1，JSC值越大，勾畫相似度越高。

ASD預(yù)測值和真實(shí)值的平均表面距離，ASD越大，表明預(yù)測值與真實(shí)值差別越大，勾畫結(jié)果越差。

其中|A|和|B|分別表示A和B邊界像素的集合, (min‖a-b‖)為A集合中每一個(gè)點(diǎn)到B集合各點(diǎn)的最小距離。最完美的分割是ASD的值為0。

1.4 統(tǒng)計(jì)學(xué)處理

使用基于python軟件自編的程序分別對兩個(gè)搭建的胰腺自動(dòng)分割模型進(jìn)行評(píng)估參數(shù)提取，并利用SPSS 22.2軟件對結(jié)果進(jìn)行統(tǒng)計(jì)分析和配對

t

檢驗(yàn)，

P

<0.05為差異有統(tǒng)計(jì)學(xué)意義。

2 結(jié)果

隨機(jī)選擇100例數(shù)據(jù)中的20例作為測試集，來評(píng)估所搭建的空洞卷積U-Net模型對胰腺自動(dòng)分割的性能，其余80例數(shù)據(jù)并經(jīng)過仿射變換處理的圖像用作訓(xùn)練集，其中參數(shù)設(shè)置和相關(guān)配置：驗(yàn)證拆分(Validation)設(shè)置為0.2，訓(xùn)練輪次Epoch為200，單次放入樣本量batch_size設(shè)置為8，優(yōu)化器選擇為Adam optimizer，學(xué)習(xí)率參數(shù)取0.000 1。訓(xùn)練模型使用的GPU型號(hào)為NVIDIA Tesla V100，訓(xùn)練時(shí)長為15 h。同時(shí)為評(píng)估改進(jìn)的空洞卷積U-Net模型性能，本研究也利用標(biāo)準(zhǔn)2D U-Net模型對相同的病例數(shù)據(jù)對進(jìn)行訓(xùn)練和測試，得到胰腺自動(dòng)分割的數(shù)據(jù)，并對兩模型結(jié)果進(jìn)行比較分析。

兩模型對胰腺自動(dòng)分割性能的量化指標(biāo)值及手動(dòng)與自動(dòng)分割分割情況見表1和圖5。本研究搭建的空洞卷積U-Net模型的DSC均值達(dá)到0.87，JSC、HD和ASD均值也分別為0.78、9.85 mm和1.62 mm，且差異有統(tǒng)計(jì)學(xué)意義(

P

<0.05)。其中標(biāo)準(zhǔn)U-Net模型HD指標(biāo)明顯偏高，與空洞卷積模型的HD值相差2.5倍之多，主要表現(xiàn)在當(dāng)同一CT層面存在兩個(gè)及以上連通區(qū)時(shí)兩模型手動(dòng)與自動(dòng)分割結(jié)果差異大(見圖6)。

圖5 胰腺手動(dòng)與自動(dòng)分割結(jié)果比較紅線：手動(dòng)勾畫的輪廓；藍(lán)線：自動(dòng)分割的輪廓

圖6 兩模型在兩個(gè)連通區(qū)手動(dòng)和自動(dòng)分割結(jié)果比較紅線：手動(dòng)勾畫的輪廓；藍(lán)線：自動(dòng)分割的輪廓；上行：改進(jìn)后的模型；下行：標(biāo)準(zhǔn)U-Net模型

表1 Dilated U-Net模型和標(biāo)準(zhǔn)U-Net模型分割性能對比

3 討論

本研究基于標(biāo)準(zhǔn)2D U-Net改進(jìn)的空洞卷積U-Net模型對胰腺組織進(jìn)行分割，最終得到比較好結(jié)果。但由于數(shù)據(jù)集的差異，結(jié)果無法與其它相關(guān)研究進(jìn)行橫向比較，因此利用本課題組先前研究的標(biāo)準(zhǔn)U-Net模型，用相同的數(shù)據(jù)集進(jìn)行訓(xùn)練和測試，并將二者的結(jié)果進(jìn)行比較。在測試集中，改進(jìn)的分割模型對胰腺自動(dòng)分割DSC與HD分別達(dá)到0.87和9.85 mm，與標(biāo)準(zhǔn)U-Net比較，DSC提高了約4.5%，HD提高了2.5倍。

由于胰腺形狀位置個(gè)體性差異大，胰腺背景的復(fù)雜性(其與周圍器官灰度值相近，分割中容易錯(cuò)誤識(shí)別)，使得對胰腺分割難度大。對此情況，有研究對CT圖像進(jìn)行粗細(xì)分割：第一步先識(shí)別胰腺部分，并盡可能的裁剪出包含胰腺的圖像尺寸，作為分割候選區(qū)，用來排除圖像其他部分的干擾，盡可能提高胰腺在輸入圖像中所占的比例；第二步評(píng)估分割候選區(qū)的準(zhǔn)確度，評(píng)估后裁剪出胰腺分布的圖像作為模型輸入，來提高分割準(zhǔn)確率。Recall是用于評(píng)估分割候選區(qū)分割的準(zhǔn)確度，即與原有手動(dòng)分割的后選區(qū)的重合程度，確定是否包含完整胰腺。Roth et al使用整體空間聚集方法將胰腺分割性能提高到平均DSC為81.27%，Recall接近100%。 Fu et al使用分層組合深度學(xué)習(xí)架構(gòu)獲得胰腺分割的DSC為82.41%。Man et al在胰腺分割中使用深層卷積神經(jīng)網(wǎng)絡(luò)模型，DSC達(dá)到86.93%，Recall為86.91%。但這種方法在裁剪出候選區(qū)不完全包含胰腺時(shí)，將導(dǎo)致信息的丟失，使得分割結(jié)果出現(xiàn)差異。

本研究的空洞卷積模型使用分辨率為256×256的CT圖像作為輸入，以確保100%包括胰腺，具有不同感受野的四個(gè)通道用于多尺寸特征特的提取，這種結(jié)構(gòu)補(bǔ)償了由Maxpooling引起的信息丟失，并且有利于多聯(lián)通區(qū)域特征識(shí)別。與標(biāo)準(zhǔn)U-Net的HD比較，空洞卷積U-Net模型的HD提高了2.5倍，這主要由于標(biāo)準(zhǔn)U-Net在兩個(gè)相連區(qū)域的分割上表現(xiàn)不佳，不能很好的識(shí)別第二個(gè)連同區(qū)域，甚至?xí)霈F(xiàn)無法識(shí)別的情形，在空洞卷積模型中使用的大感受野有助于提取更遠(yuǎn)的連接區(qū)域形狀特征。

綜上所述，本研究利用改進(jìn)的空洞卷積U-Net模型對胰腺進(jìn)行分割，以四通道空洞卷積替代原有的卷積層，通過聚合多尺度特征信息完成分割。研究結(jié)果表明，改進(jìn)后的分割模型評(píng)估指標(biāo)均優(yōu)于標(biāo)準(zhǔn)U-Net模型，可以更準(zhǔn)確地完成胰腺分割。