三維多尺度交叉融合網(wǎng)絡(luò)肺結(jié)節(jié)分類(lèi)研究

楊建利，朱德江，邵嘉俊，劉秀玲

1.河北大學(xué) 電子信息工程學(xué)院，河北 保定 071002

2.河北省數(shù)字醫(yī)療工程重點(diǎn)實(shí)驗(yàn)室，河北 保定 071002

肺癌是所有癌癥中死亡率最高的，肺癌的早期診斷和治療是預(yù)防死亡的關(guān)鍵。早期肺癌表現(xiàn)為肺結(jié)節(jié)。肺結(jié)節(jié)的準(zhǔn)確檢測(cè)和分類(lèi)對(duì)于實(shí)現(xiàn)早期診斷和精確治療至關(guān)重要[1-4]。計(jì)算機(jī)斷層掃描（computed tomography，CT）是臨床應(yīng)用中最常用的診斷工具[5-6]，肺結(jié)節(jié)的良、惡性界限難以區(qū)分，且放射科醫(yī)生的診斷存在主觀性，使得肺癌初期的精確診斷變得非常困難。深度學(xué)習(xí)已經(jīng)成功地應(yīng)用于包括醫(yī)學(xué)圖像分析在內(nèi)的許多研究領(lǐng)域。與放射科醫(yī)師相比，這項(xiàng)技術(shù)可以自動(dòng)從醫(yī)學(xué)圖像中提取深層次的特征，并且能夠發(fā)現(xiàn)有效的隱藏特征幫助人們自動(dòng)進(jìn)行肺結(jié)節(jié)的良性和惡性分類(lèi)。

1 相關(guān)研究進(jìn)展

Xie等[7]將紋理和形狀特征與深度卷積神經(jīng)網(wǎng)絡(luò)提取的特征相融合，以更好地表征肺結(jié)節(jié)。通過(guò)特征融合的方式，準(zhǔn)確率和靈敏度分別達(dá)到了89.53%和84.19%。與人工選擇的特征相比，深度神經(jīng)網(wǎng)絡(luò)自動(dòng)提取的特征效果更好。Filho等[8]提出了兩個(gè)拓?fù)渲笜?biāo)，即基本分類(lèi)權(quán)重和標(biāo)準(zhǔn)化分類(lèi)權(quán)重之和，來(lái)描述肺結(jié)節(jié)的紋理特征，并使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)這些特征進(jìn)行分類(lèi)。該方法使用50 580個(gè)肺結(jié)節(jié)進(jìn)行驗(yàn)證并取得了92.63%的準(zhǔn)確度和90.70%的靈敏度。徐久強(qiáng)等[9]針對(duì)數(shù)據(jù)集中肺結(jié)節(jié)良惡性樣本數(shù)量不平衡的問(wèn)題設(shè)計(jì)了生成對(duì)抗網(wǎng)絡(luò)，實(shí)現(xiàn)肺結(jié)節(jié)良惡性準(zhǔn)確分類(lèi)。吳世洋等[10]先提取肺實(shí)質(zhì)影響，利用深度神經(jīng)網(wǎng)絡(luò)提取結(jié)節(jié)特征，結(jié)合羅杰斯特分類(lèi)器進(jìn)行良惡性分類(lèi)決策。Shen等[11]設(shè)計(jì)了多尺度卷積神經(jīng)網(wǎng)絡(luò)，可從交替堆疊層中提取特征來(lái)捕獲結(jié)節(jié)的異質(zhì)性。Shen等[12]還提出了多裁剪卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)使用最大池化操作提取特征圖中不同區(qū)域的特征，使結(jié)節(jié)語(yǔ)義屬性得到有效的表征。Lei等[13]使用U-net網(wǎng)絡(luò)結(jié)構(gòu)來(lái)分別提取特征并對(duì)比分類(lèi)結(jié)果，并將特征可視化來(lái)證明特征的有效性和可解釋性。

上述研究?jī)H關(guān)注肺結(jié)節(jié)二維特征，因此不能完全描述肺結(jié)節(jié)的整體特征。Xie等[14]后續(xù)提出了一種基于知識(shí)協(xié)同的深度神經(jīng)網(wǎng)絡(luò)來(lái)區(qū)分良性和惡性肺結(jié)節(jié)。從肺結(jié)節(jié)立體信息中截取不同視覺(jué)下的結(jié)節(jié)圖像，并通過(guò)微調(diào)ResNet-50模型來(lái)學(xué)習(xí)每個(gè)視圖中的特征。隨后，這些來(lái)自不同視圖的特征被融合以分類(lèi)出良性和惡性肺結(jié)節(jié)，分類(lèi)結(jié)果達(dá)到了91.60%的準(zhǔn)確度和86.52%的靈敏度。

此外，從結(jié)節(jié)的立體特性考慮，引入了3D卷積神經(jīng)網(wǎng)絡(luò)[15-18]，以便于提取肺結(jié)節(jié)的詳細(xì)特征，為肺結(jié)節(jié)的良性和惡性分類(lèi)提供了更符合實(shí)際的診斷結(jié)果。Jiang等[19]提出了用于提取結(jié)節(jié)細(xì)節(jié)特征的3D雙路徑卷積神經(jīng)網(wǎng)絡(luò)，并通過(guò)在網(wǎng)絡(luò)中添加注意力機(jī)制來(lái)定位特征關(guān)鍵區(qū)域。其肺結(jié)節(jié)分類(lèi)的準(zhǔn)確率為90.24%，靈敏度為92.04%。為了解決關(guān)于肺結(jié)節(jié)的3D特征數(shù)據(jù)量的局限，Hussein等[20]應(yīng)用遷移學(xué)習(xí)提取三維肺結(jié)節(jié)的判別特征，并引入多任務(wù)學(xué)習(xí)進(jìn)行分類(lèi)。

雖然基于深度學(xué)習(xí)的特征提取在肺結(jié)節(jié)分類(lèi)中得到有效應(yīng)用，但是深度學(xué)習(xí)網(wǎng)絡(luò)的黑盒特性使得提取的特征無(wú)法具體解釋。為了解決這個(gè)問(wèn)題，Lei等[13]通過(guò)從包含結(jié)節(jié)的立體數(shù)據(jù)中分別選擇四組不同切片數(shù)的立體數(shù)據(jù)作為初始特征，使用U-net網(wǎng)絡(luò)結(jié)構(gòu)來(lái)分別提取特征并對(duì)比分類(lèi)結(jié)果，還加入特征可視化技術(shù)來(lái)證明其特征的有效性和可解釋性。該方法的驗(yàn)證結(jié)果達(dá)到了99.13%的高精度，證明了深度神經(jīng)網(wǎng)絡(luò)提取的精細(xì)特征能夠取得更好的效果。

雖然許多2D和3D深度學(xué)習(xí)網(wǎng)絡(luò)已經(jīng)被用于肺結(jié)節(jié)分類(lèi)中，但特征提取過(guò)程中不可避免地丟失一些細(xì)節(jié)信息，從而影響肺結(jié)節(jié)分類(lèi)效果。為了盡可能保留微小結(jié)節(jié)的有用信息，本文提出了一種深度三維多尺度交叉融合網(wǎng)絡(luò)來(lái)挖掘肺結(jié)節(jié)的深層特征，提高肺結(jié)節(jié)分類(lèi)算法的準(zhǔn)確性。

2 數(shù)據(jù)和方法

2.1 數(shù)據(jù)預(yù)處理

本文中使用的肺結(jié)節(jié)影像數(shù)據(jù)來(lái)自圖像數(shù)據(jù)庫(kù)聯(lián)合會(huì)圖像收集（lung image database consortium image collection，LIDC-IDRI）[21]，它包含1 018例肺部掃描數(shù)據(jù)。每例數(shù)據(jù)都由四名放射科專(zhuān)家醫(yī)生獨(dú)立注釋?zhuān)ǚ谓Y(jié)節(jié)的位置、惡性程度和鈣化程度等特征描述信息。其中結(jié)節(jié)惡行程度分為1～5級(jí)。平均惡性度為3的被視作不確定結(jié)節(jié)，平均惡性程度低于3的視為良性，平均惡性度高于3的為惡性。最后，得到了509個(gè)良性和635個(gè)惡性肺結(jié)節(jié)。為了消除肺部掃描切片厚度和像素距離差異的影響，在這三個(gè)軸向上使用樣條插值重新采樣到1 mm3/體素。隨后，切片數(shù)據(jù)取[-1 200，600]之間的霍恩斯菲爾德值并標(biāo)準(zhǔn)化。在LIDC-IDRI數(shù)據(jù)集內(nèi)，肺結(jié)節(jié)直徑從2 mm到38 mm不等。因此，根據(jù)結(jié)節(jié)的位置構(gòu)建了以結(jié)節(jié)為中心的48×48×48的三維體數(shù)據(jù)。本文通過(guò)旋轉(zhuǎn)120°、240°和翻轉(zhuǎn)數(shù)據(jù)來(lái)增強(qiáng)數(shù)據(jù)，使得數(shù)據(jù)量擴(kuò)充了三倍防止訓(xùn)練出現(xiàn)過(guò)擬合現(xiàn)象。

2.2 三維多尺度交叉融合深度卷積神經(jīng)網(wǎng)絡(luò)

圖1 三維多尺度交叉融合卷積神經(jīng)網(wǎng)絡(luò)圖Fig.1 Flow chart of 3D multi-scale cross fusion convolution neural network

本文構(gòu)建深度三維多尺度交叉融合深度卷積神經(jīng)網(wǎng)絡(luò)用于肺結(jié)節(jié)的良惡性分類(lèi)，其結(jié)構(gòu)如圖1所示。圖中立方體上方符號(hào)@前后數(shù)字描述了特征圖的大小和通道數(shù)。對(duì)角向下箭頭表示下采樣操作，對(duì)角向上箭頭表示上采樣操作，多箭頭相交表示交叉融合其方式是加法融合，DBi是密集網(wǎng)絡(luò)模塊[22]。網(wǎng)絡(luò)輸入是以結(jié)節(jié)為中心從病例數(shù)據(jù)中截取大小為48×48×48的3D肺結(jié)節(jié)。網(wǎng)絡(luò)輸出的是結(jié)節(jié)惡性（M）和良性（B）的概率。

網(wǎng)絡(luò)縱向由邊長(zhǎng)為24、12、6三種尺度特征層組成，網(wǎng)絡(luò)橫向通過(guò)多次密集連接模塊和交叉融合兩個(gè)關(guān)鍵操作提取特征。利用密集網(wǎng)絡(luò)提取特征前后文信息，利用交叉融合獲得上下文信息。以24@128特征圖為例：首先將該特征圖下采樣與12@256特征圖做加法融合得到新特征。然后12@256特征圖通過(guò)上采樣后與24@128特征圖做加法融合得到新特征。再分別輸入密集連接模塊中繼續(xù)卷積提取特征，分別得到通道數(shù)為256和512的特征圖。特征交叉融合同時(shí)增強(qiáng)深層語(yǔ)義信息和淺層內(nèi)容信息相互的表達(dá)能力。類(lèi)似此過(guò)程，最后得到三種尺度有效特征組（24@256，12@512，6@768），分別將經(jīng)全連接層后，使用softmax分類(lèi)器進(jìn)行分類(lèi)，按投票方式得到分類(lèi)最終結(jié)果。

網(wǎng)絡(luò)中密集連接模塊如圖2所示。立方體表示結(jié)節(jié)三維特征。Lj由卷積核為1×1×1和3×3×3組成。在密集連接過(guò)程中，每層特征可以被描述為所有先前特征的融合，圖中可表示為Nj=(L0,L1,…,Lj)，其每層特征通道數(shù)Nj的計(jì)算如式（1）所示：

其中，N0是密集模塊中初始特征輸入的數(shù)量，k是特征通道增率，n是密集模塊中的卷積層數(shù)。

圖2 密集模塊（DB）結(jié)構(gòu)Fig.2 Dense block（DB）architecture

密集連接操作的優(yōu)點(diǎn)是增強(qiáng)了特征前后文信息的傳遞和多尺度特征間的轉(zhuǎn)移，深度三維多尺度交叉融合卷積神經(jīng)網(wǎng)絡(luò)各個(gè)密集模塊的具體參數(shù)設(shè)置如表1所示。

表1 各密集模塊中的參數(shù)設(shè)置Table 1 Parameter setting of DB

在本文訓(xùn)練模型中所用到的其他參數(shù)具體設(shè)置如表2所示。優(yōu)化器使用小批量隨機(jī)梯度下降算法，最小批量為32，動(dòng)量為0.9，訓(xùn)練次數(shù)為100。初始學(xué)習(xí)率設(shè)為0.000 1，第50次后降為0.000 01。

表2 網(wǎng)絡(luò)訓(xùn)練參數(shù)設(shè)置Table 2 Network training parameter setting

3 結(jié)果和討論

3.1 評(píng)價(jià)指標(biāo)

為了更好地評(píng)估分類(lèi)結(jié)果，定義了四個(gè)常見(jiàn)的評(píng)估指標(biāo)：準(zhǔn)確性（Ac）、特異性（Spe）、敏感性（Se）和接收者操作特性曲線（receiver operating characteristic，ROC）曲線下面積（area under curve，AUC）。Ac、Spe、Se的計(jì)算公式如式（2）、（3）、（4）所示：

其中，TP為正確結(jié)節(jié)的個(gè)數(shù)，TN是未識(shí)別結(jié)節(jié)個(gè)數(shù)，F(xiàn)P是假陽(yáng)性個(gè)數(shù)，F(xiàn)N是假陰性個(gè)數(shù)。本文的實(shí)驗(yàn)結(jié)果是通過(guò)取五次五折交叉驗(yàn)證的平均值來(lái)評(píng)價(jià)模型的好壞。

3.2 輸入體結(jié)節(jié)方式選擇

肺結(jié)節(jié)的分類(lèi)與其形態(tài)特征和背景環(huán)境密切相關(guān)。在特征學(xué)習(xí)中豐富的背景信息對(duì)肺結(jié)節(jié)分類(lèi)是否有重要作用，目前尚不清楚。為了驗(yàn)證，使用了三種方法來(lái)截取以結(jié)節(jié)為中心的體數(shù)據(jù)。第一種方法根據(jù)肺結(jié)節(jié)的大小裁剪得到體數(shù)據(jù)，背景信息擴(kuò)充了10像素，并使用水的值（CT值為0）填充將其擴(kuò)展到48×48×48，名為Nod_p；第二種方法通過(guò)以肺結(jié)節(jié)中心位置來(lái)截取得到三維數(shù)據(jù)48×48×48，名為Nod_d；第三種方式通過(guò)Nod_p和Nod_d像素相加融合得到結(jié)節(jié)灰度增強(qiáng)的數(shù)據(jù)，名為Nod_f。分別使用上述三種類(lèi)型的輸入數(shù)據(jù)來(lái)訓(xùn)練網(wǎng)絡(luò)，結(jié)果如表3所示。Nod_p組的分類(lèi)效果最好，Nod_f組次之，Nod_d最差。Nod_d組的特異性明顯低于Nod_f組和Nod_p組，其主要原因是引入肺結(jié)節(jié)周?chē)S富的背景信息后湮滅肺結(jié)節(jié)本身的特征，致使假陽(yáng)性比例上升，而通過(guò)Nod_p和Nod_d的融合后，能有效地凸顯肺結(jié)節(jié)特征，降低背景信息影響，顯著降低假陽(yáng)性。Nod_p組在四項(xiàng)指標(biāo)中皆是最優(yōu)的，證明了豐富背景信息帶來(lái)的影響和該網(wǎng)絡(luò)能集中關(guān)注到結(jié)節(jié)主要特征。

表3 不同輸入體積結(jié)節(jié)的分類(lèi)結(jié)果Table 3 Classification results of nodules with different input volumes %

3.3 網(wǎng)絡(luò)結(jié)構(gòu)選擇

深度三維多尺度交叉融合卷積神經(jīng)網(wǎng)絡(luò)是一個(gè)多尺度特征融合的框架，它既有效地保留了肺結(jié)節(jié)詳細(xì)的內(nèi)容信息且又具有高級(jí)的抽象信息，網(wǎng)絡(luò)學(xué)習(xí)過(guò)程中同時(shí)利用這兩種信息來(lái)做分類(lèi)決策。實(shí)驗(yàn)中，同時(shí)設(shè)計(jì)了三種網(wǎng)絡(luò)結(jié)構(gòu)來(lái)提取肺結(jié)節(jié)的最優(yōu)特征。第一個(gè)網(wǎng)絡(luò)是深度三維多尺度交叉融合深度卷積神經(jīng)網(wǎng)絡(luò)（DMFN_db）如圖1所示；第二個(gè)網(wǎng)絡(luò)是通過(guò)將圖1中的密集模塊更改為殘差模塊[23]而形成的（DMFN_res）；第三個(gè)網(wǎng)絡(luò)是在圖1網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上去掉多尺度間的融合（DMN_db）。分別利用這三種網(wǎng)絡(luò)結(jié)構(gòu)的肺結(jié)節(jié)分類(lèi)結(jié)果見(jiàn)表4，相應(yīng)的ROC曲線見(jiàn)圖3。從圖和表中數(shù)據(jù)可以看出，DMFN_db在四項(xiàng)指標(biāo)上皆?xún)?yōu)于DMN_db，表明網(wǎng)絡(luò)中的多尺度融合對(duì)提升分類(lèi)效果明顯。DMFN_res雖然在敏感性上高于DMFN_db，但在其他三個(gè)指標(biāo)上皆不如DMFN_db，特別是在特異性上差距明顯，表明密集連接的卷積模塊比殘差卷積模塊更能準(zhǔn)確地提取肺結(jié)節(jié)的關(guān)鍵特征，能有效減少假陽(yáng)性。DMN_db和DMFN_res的分類(lèi)結(jié)果類(lèi)似，也側(cè)面說(shuō)明了卷積的密集連接和多尺度的交叉融合能有效提取肺結(jié)節(jié)的關(guān)鍵特征，對(duì)提升肺結(jié)節(jié)的良惡性分類(lèi)結(jié)果均有較大作用。

表4 不同網(wǎng)絡(luò)結(jié)構(gòu)的分類(lèi)結(jié)果Table 4 Classification results of different network structures %

圖3 三種網(wǎng)絡(luò)結(jié)構(gòu)的ROC曲線Fig.3 ROC curves of three network structures

3.4 方法比較

Xie等[7，14]使用肺結(jié)節(jié)的2D和2D多視角圖像作為數(shù)據(jù)輸入，通過(guò)融合形狀特征、灰度共生矩陣紋理特征和使用基于多視角知識(shí)協(xié)同卷積神經(jīng)網(wǎng)絡(luò)提取的深度特征，從2D角度實(shí)現(xiàn)了良惡性肺結(jié)節(jié)圖像的高精度分類(lèi)。然而，2D分類(lèi)模型需要特殊的2D切片作為輸入，這限制了算法在臨床應(yīng)用中的適應(yīng)性和準(zhǔn)確性。針對(duì)三維肺結(jié)節(jié)良惡性分類(lèi)，Shen等[15]提出了一種深度層次語(yǔ)義卷積神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)從肺結(jié)節(jié)數(shù)據(jù)中提取低層語(yǔ)義特征來(lái)預(yù)測(cè)紋理、鈣化、球形度、檢測(cè)難度、邊緣等低層特征，再結(jié)合高層語(yǔ)義信息預(yù)測(cè)良惡性。在訓(xùn)練過(guò)程中這些低層次的標(biāo)簽會(huì)因醫(yī)生而異，正如該文中棄用了分葉征和毛刺征標(biāo)簽，因?yàn)槲墨I(xiàn)[24]指出該數(shù)據(jù)集中存在不確定子集與這兩個(gè)特征標(biāo)注出現(xiàn)不一致的現(xiàn)象。在實(shí)際中準(zhǔn)確地標(biāo)注這些低層次的特征標(biāo)簽也需要耗費(fèi)大量人力物力。Jiang等[19]提出帶注意力的三維雙路徑網(wǎng)絡(luò)，引入了注意力機(jī)制以闡明靈敏度和誤報(bào)率之間的最佳權(quán)衡，達(dá)到90.24%的準(zhǔn)確率?？紤]到三維肺結(jié)節(jié)的訓(xùn)練數(shù)據(jù)有限，Hussein等[20]引入遷移學(xué)習(xí)來(lái)利用其他數(shù)據(jù)模型參數(shù)學(xué)習(xí)肺結(jié)節(jié)特征和多任務(wù)學(xué)習(xí)對(duì)肺結(jié)節(jié)分類(lèi)，準(zhǔn)確率達(dá)到91.26%，但其他指標(biāo)未提及。與其他三維分類(lèi)方法相比，本文方法不僅具有相當(dāng)?shù)臏?zhǔn)確率和較高的靈敏度，而且可直接從原始肺部CT影像中截取肺結(jié)節(jié)三維數(shù)據(jù)即可得到分類(lèi)結(jié)果，無(wú)需其他復(fù)雜的特征預(yù)處理過(guò)程，如表5。

4 總結(jié)

本文提出深度三維多尺度交叉融合卷積神經(jīng)網(wǎng)絡(luò)用于良性和惡性肺結(jié)節(jié)分類(lèi)。網(wǎng)絡(luò)可以自動(dòng)提取肺結(jié)節(jié)的三維多尺度特征，數(shù)據(jù)輸入方式還加快了網(wǎng)絡(luò)三維卷積的計(jì)算速度。為了解決特征提取過(guò)程中細(xì)節(jié)信息損失的問(wèn)題，對(duì)不同尺度的特征進(jìn)行交叉融合。因此，獲得了三維肺結(jié)節(jié)的完整特征表示，通過(guò)Softmax多分類(lèi)器對(duì)判別特征進(jìn)行硬投票決策，實(shí)現(xiàn)了具有兼顧靈敏性和特異性的高精度分類(lèi)。本文算法采用三維數(shù)據(jù)處理方式，卷積過(guò)程中會(huì)增加計(jì)算量，限制算法的應(yīng)用。同時(shí)算法需要大量的標(biāo)簽數(shù)據(jù)。后期可引入弱監(jiān)督算法，減低對(duì)數(shù)據(jù)標(biāo)注的依賴(lài)。同時(shí)引入遷移學(xué)習(xí)選用合適的模型進(jìn)行參數(shù)初始化，加快網(wǎng)絡(luò)的訓(xùn)練速度和優(yōu)化預(yù)測(cè)結(jié)果。

表5 方法與其他方法的比較Table 5 Comparison of method with other methods %