基于卷積神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)的肺結(jié)節(jié)檢測(cè)

陳道爭(zhēng)，江 倩

(1.上海海事大學(xué) 信息化辦公室，上海 201306；2.上海海事大學(xué) 信息工程學(xué)院，上海 201306)

0 引 言

針對(duì)肺部病變的檢測(cè)，X光胸片仍是目前最常用的醫(yī)學(xué)影像診斷技術(shù)[1]。傳統(tǒng)的人工閱片方式主要存在兩點(diǎn)缺陷：一是放射科每天產(chǎn)生的海量圖像數(shù)據(jù)給醫(yī)生帶來(lái)了沉重的工作負(fù)擔(dān)，診斷效率亟待提升；二是診斷過(guò)程容易受到疲勞、經(jīng)驗(yàn)不足等主觀(guān)因素的影響，進(jìn)而導(dǎo)致較高的誤診、漏診率。由此，計(jì)算機(jī)輔助診斷(computer-aided diagnosis,CAD)技術(shù)應(yīng)運(yùn)而生[2]。現(xiàn)有的肺結(jié)節(jié)檢測(cè)CAD系統(tǒng)主要分為兩類(lèi)：基于手動(dòng)提取特征的機(jī)器學(xué)習(xí)方法[3-5]和基于自動(dòng)提取特征的深度學(xué)習(xí)方法[6-8]。近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)在諸如圖像分類(lèi)[9-11]、目標(biāo)檢測(cè)等任務(wù)中表現(xiàn)出色，成為醫(yī)學(xué)影像分析領(lǐng)域的研究熱點(diǎn)。將CNN應(yīng)用于醫(yī)學(xué)圖像肺結(jié)節(jié)檢測(cè)存在困難：出于對(duì)患者隱私和數(shù)據(jù)安全的考慮，難以獲取充足的訓(xùn)練數(shù)據(jù)；另外，對(duì)醫(yī)學(xué)圖像進(jìn)行專(zhuān)業(yè)標(biāo)注是一項(xiàng)耗時(shí)費(fèi)力的工作。遷移學(xué)習(xí)是指將從源域中學(xué)習(xí)到的知識(shí)作為先驗(yàn)信息應(yīng)用到目標(biāo)域中，能夠有效解決小規(guī)模數(shù)據(jù)集的訓(xùn)練問(wèn)題[12]。隨著越來(lái)越多的研究學(xué)者開(kāi)始探究遷移學(xué)習(xí)策略的有效性，利用這一策略進(jìn)一步改進(jìn)算法性能是目前肺結(jié)節(jié)檢測(cè)CAD系統(tǒng)研究的重點(diǎn)。

1 相關(guān)工作

1.1 基于X光胸片的肺結(jié)節(jié)檢測(cè)

肺結(jié)節(jié)檢測(cè)CAD系統(tǒng)一般包含4個(gè)步驟：圖像預(yù)處理、肺區(qū)域分割、候選結(jié)節(jié)檢測(cè)和假陽(yáng)性去除。Li等[13]針對(duì)傳統(tǒng)肺結(jié)節(jié)檢測(cè)方法存在的低敏感度、高假陽(yáng)性率問(wèn)題，提出一種基于集成卷積神經(jīng)網(wǎng)絡(luò)(ensemble of convolutional neural networks,E-CNNs)的算法框架，用于實(shí)現(xiàn)肺結(jié)節(jié)檢測(cè)中的假陽(yáng)性去除。在JSRT數(shù)據(jù)集[14]上進(jìn)行驗(yàn)證，分別獲得了假陽(yáng)性水平為5.0時(shí)94%的敏感度和假陽(yáng)性水平為2.0時(shí)84%的敏感度，實(shí)現(xiàn)了當(dāng)時(shí)先進(jìn)水平。Dai等[15]提出一種結(jié)構(gòu)校正對(duì)抗網(wǎng)絡(luò)(structure correcting adversa-rial network,SCAN)用于實(shí)現(xiàn)X光胸片肺區(qū)域分割。實(shí)驗(yàn)結(jié)果表明，所提出的方法實(shí)現(xiàn)了較高的準(zhǔn)確度和比較自然的分割結(jié)果。同時(shí)，該方法并不依賴(lài)于網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)和數(shù)據(jù)集規(guī)模，在訓(xùn)練樣本有限的情況下，仍然可以獲得接近甚至達(dá)到人類(lèi)的先進(jìn)診斷水平。Wang等[16]通過(guò)對(duì)從非醫(yī)學(xué)圖像數(shù)據(jù)集中提取的特征和人工提取的醫(yī)學(xué)影像特征進(jìn)行深度特征融合，實(shí)現(xiàn)肺結(jié)節(jié)檢測(cè)中的假陽(yáng)性去除。實(shí)驗(yàn)結(jié)果表明，基于深度特征融合的檢測(cè)方法比采用單一的人工提取特征的檢測(cè)方法獲得了更高的敏感度和特異度，同時(shí)有效降低了假陽(yáng)性率。結(jié)合X光胸片中肺結(jié)節(jié)的孤立性特征，Li等[17]提出了一種新的肺結(jié)節(jié)檢測(cè)方法。通過(guò)采用平穩(wěn)小波變換和收斂指數(shù)濾波器提取肺結(jié)節(jié)的紋理特征，AdaBoost算法用于生成白色結(jié)節(jié)的相似性映射。在日本放射技術(shù)學(xué)會(huì)(Japanese society of radiological technology,JSRT)數(shù)據(jù)集上進(jìn)行驗(yàn)證，該方法分別實(shí)現(xiàn)了假陽(yáng)性水平為2.0時(shí)80%的檢出率和假陽(yáng)性水平為5.0時(shí)93%的檢出率，具有潛在的臨床應(yīng)用價(jià)值。

1.2 卷積神經(jīng)網(wǎng)絡(luò)

相較于傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，CNN的主要優(yōu)勢(shì)在于允許將經(jīng)過(guò)預(yù)處理的圖像數(shù)據(jù)直接作為網(wǎng)絡(luò)輸入，省去了手動(dòng)提取特征的步驟。同時(shí)，權(quán)值共享和反向傳播算法保證了模型的泛化能力并得到概率上的全局最優(yōu)。經(jīng)典的CNN模型主要包括1998年的LeNet、2012年的AlexNet、2014年的VGG-Net以及2015年的GoogLeNet和ResNet[18]。LeNet包含了CNN模型的所有基本層結(jié)構(gòu)，即卷積層、池化層和全連接層，但由于其網(wǎng)絡(luò)層數(shù)較少，在運(yùn)算效率和算法性能方面有一定的局限性。AlexNet取得成功的關(guān)鍵原因主要有4點(diǎn)：一是使用非線(xiàn)性激活函數(shù)ReLU，不僅能夠加快模型收斂速度，同時(shí)可以降低計(jì)算成本；二是在池化層中引入了Dropout正則化技術(shù)，可以有效防止過(guò)擬合；三是采用了數(shù)據(jù)增強(qiáng)技術(shù)和局部響應(yīng)歸一化(local response normalization,LPN)層，能夠提高模型對(duì)未知數(shù)據(jù)的預(yù)測(cè)能力；四是基于雙GPU并行訓(xùn)練，進(jìn)一步縮短了訓(xùn)練時(shí)間。VGG-Net在繼承了LeNet和AlexNet部分網(wǎng)絡(luò)框架的基礎(chǔ)上，繼續(xù)增加其網(wǎng)絡(luò)深度。隨著網(wǎng)絡(luò)深度的增加，可以保證模型處理更復(fù)雜問(wèn)題的能力。GoogLeNet的創(chuàng)新之處在于提出了批量歸一化(batch normalization,BN)層，即通過(guò)歸一化網(wǎng)絡(luò)輸出的均值和標(biāo)準(zhǔn)差來(lái)減少模型訓(xùn)練過(guò)程中產(chǎn)生的數(shù)據(jù)偏移問(wèn)題。ResNet中殘差模塊的提出使得訓(xùn)練一個(gè)具有152個(gè)網(wǎng)絡(luò)層的深度神經(jīng)網(wǎng)絡(luò)模型成為可能。

近年來(lái)，一些新的CNN模型相繼被提出并應(yīng)用于醫(yī)學(xué)圖像肺結(jié)節(jié)檢測(cè)。朱翔宇等[19]開(kāi)創(chuàng)性地提出了一種基于U-Net模型的肺結(jié)節(jié)檢測(cè)CAD系統(tǒng)，由圖像預(yù)處理、肺部分割、模型訓(xùn)練、結(jié)節(jié)檢測(cè)共4個(gè)部分組成。其中，肺部分割分別基于一般形態(tài)學(xué)方法和基于分水嶺算法實(shí)現(xiàn)，能夠有效提高肺結(jié)節(jié)檢測(cè)的準(zhǔn)確率。朱國(guó)策等[20]提出了一種新的基于深度卷積神經(jīng)網(wǎng)絡(luò)(deep convolutional neural network,DCNN)的肺結(jié)節(jié)檢測(cè)方法用于降低假陽(yáng)性率。首先采用USM銳化方法對(duì)X光胸片進(jìn)行預(yù)處理，以突出顯示結(jié)節(jié)信息；然后訓(xùn)練模型，基于滑動(dòng)窗口方法提取出候選結(jié)節(jié)；最后，根據(jù)候選結(jié)節(jié)的區(qū)域面積大小實(shí)現(xiàn)假陽(yáng)性結(jié)節(jié)的篩除。

1.3 遷移學(xué)習(xí)

遷移學(xué)習(xí)能否應(yīng)用于醫(yī)學(xué)影像分析領(lǐng)域主要取決于兩個(gè)方面的因素：一是源數(shù)據(jù)集與目標(biāo)數(shù)據(jù)集的相似性；二是目標(biāo)數(shù)據(jù)集的大小。根據(jù)實(shí)際應(yīng)用場(chǎng)景的不同，需要采取不同的實(shí)現(xiàn)方案：若二者相似且目標(biāo)數(shù)據(jù)集較小，則可以考慮將所有卷積層的權(quán)重參數(shù)遷移到目標(biāo)域中，并設(shè)置這部分網(wǎng)絡(luò)結(jié)構(gòu)不參與訓(xùn)練，只需訓(xùn)練重新定義的頂部層結(jié)構(gòu)即可；若二者相似且目標(biāo)數(shù)據(jù)集較大，由于有充足的訓(xùn)練數(shù)據(jù)，即使微調(diào)整個(gè)預(yù)訓(xùn)練模型也不會(huì)出現(xiàn)過(guò)擬合的問(wèn)題；若二者不相似且目標(biāo)數(shù)據(jù)集較小，則可以考慮重新訓(xùn)練部分卷積層，以充分提取目標(biāo)數(shù)據(jù)集上的特征信息；若二者不相似且目標(biāo)數(shù)據(jù)集較大，則不建議使用遷移學(xué)習(xí)，重新訓(xùn)練一個(gè)網(wǎng)絡(luò)可能更有效。

近年來(lái)，遷移學(xué)習(xí)在醫(yī)學(xué)影像分析領(lǐng)域的應(yīng)用方向大致可以分為兩類(lèi)：一是將預(yù)訓(xùn)練模型作為特征提取器，在此基礎(chǔ)上訓(xùn)練一個(gè)新的分類(lèi)模型；二是更改網(wǎng)絡(luò)結(jié)構(gòu)，例如將頂部的全連接層替換為邏輯回歸層，使得在新的數(shù)據(jù)集上只需訓(xùn)練自定義的頂部層結(jié)構(gòu)。Shin等[21]將遷移學(xué)習(xí)應(yīng)用于兩個(gè)特定的計(jì)算機(jī)輔助診斷任務(wù)，即腹腔淋巴結(jié)檢測(cè)和間質(zhì)性肺病分類(lèi)，并在腹腔淋巴結(jié)檢測(cè)任務(wù)中取得了當(dāng)時(shí)先進(jìn)水平，進(jìn)一步驗(yàn)證了遷移學(xué)習(xí)的有效性。Rajpurkar等[22]通過(guò)固定網(wǎng)絡(luò)的卷積層參數(shù)，將X光胸片直接輸入預(yù)訓(xùn)練模型，僅對(duì)全連接層進(jìn)行參數(shù)微調(diào)。賀智超等[23]提出一種通過(guò)迭代競(jìng)爭(zhēng)的方式找到最佳微調(diào)深度的方法，稱(chēng)之為“自適應(yīng)微調(diào)深度的遷移學(xué)習(xí)方法”，并在多任務(wù)圖像分類(lèi)中獲得了比較理想的實(shí)驗(yàn)結(jié)果。楊涵方等[24]建立了稀疏辨別性遷移模型(sparse discriminating transfer model,SDTM)及其對(duì)應(yīng)的跨領(lǐng)域DCNN模型。實(shí)驗(yàn)結(jié)果表明，所提出的方法實(shí)現(xiàn)了較高的圖像分類(lèi)精度和較好的跨領(lǐng)域?qū)W習(xí)能力。張弛名等[25]提出一種基于深度遷移學(xué)習(xí)的肺結(jié)節(jié)良惡性輔助診斷方法，在LIDC(lung image database consortium)數(shù)據(jù)集[26]上進(jìn)行驗(yàn)證，獲得了91.44%的準(zhǔn)確度和96.21%的AUC值。

2 方 法

本文提出的X光胸片肺結(jié)節(jié)檢測(cè)方法主要包括4個(gè)步驟：圖像預(yù)處理、肺區(qū)域分割、模型訓(xùn)練、肺結(jié)節(jié)檢測(cè)，具體實(shí)現(xiàn)流程如圖1所示。

圖1 系統(tǒng)實(shí)現(xiàn)流程

2.1 圖像預(yù)處理

圖像預(yù)處理旨在通過(guò)一系列像素級(jí)別的操作來(lái)改善圖像質(zhì)量，例如去噪和圖像增強(qiáng)。為了突出顯示結(jié)節(jié)信息，本文對(duì)原始胸片進(jìn)行直方圖均衡化處理，如圖2所示。可以看出，經(jīng)過(guò)增強(qiáng)處理的圖像可以明顯提高結(jié)節(jié)與周?chē)M織結(jié)構(gòu)的對(duì)比度。

圖2 圖像預(yù)處理

2.2 肺區(qū)域分割

肺結(jié)節(jié)多見(jiàn)于肺實(shí)質(zhì)內(nèi)。肺區(qū)域分割是指將肺實(shí)質(zhì)從肺部醫(yī)學(xué)圖像中分離開(kāi)來(lái)，以避免無(wú)關(guān)背景區(qū)域?qū)罄m(xù)實(shí)驗(yàn)步驟的干擾。本文根據(jù)文獻(xiàn)[27]中提出的方法，基于U-Net網(wǎng)絡(luò)模型實(shí)現(xiàn)X光胸片的肺區(qū)域分割，如圖3所示。

圖3 肺區(qū)域分割實(shí)現(xiàn)流程

2.3 肺結(jié)節(jié)檢測(cè)網(wǎng)絡(luò)

2.3.1 ResNet

ResNet的提出，使得在沒(méi)有引入額外參數(shù)且不增加網(wǎng)絡(luò)計(jì)算復(fù)雜度的前提下，仍可利用梯度下降算法訓(xùn)練深度網(wǎng)絡(luò)模型。因此，相比較已有的CNN模型，ResNet在參數(shù)、深度、寬度以及計(jì)算成本上都更具優(yōu)勢(shì)。本文實(shí)驗(yàn)中使用的ResNet50是在現(xiàn)有訓(xùn)練深度網(wǎng)絡(luò)模型的基礎(chǔ)上，提出的一種具有易優(yōu)化、計(jì)算負(fù)擔(dān)小等優(yōu)點(diǎn)的深度殘差網(wǎng)絡(luò)。ResNet50網(wǎng)絡(luò)結(jié)構(gòu)中包含跨層連接和短連接：通過(guò)短連接實(shí)現(xiàn)輸入數(shù)據(jù)的跨層傳遞，然后與經(jīng)過(guò)卷積后的輸出疊加，從而達(dá)到充分訓(xùn)練淺層網(wǎng)絡(luò)的效果。

2.3.2 VGG-Net

VGG-Net通過(guò)使用多個(gè)較小尺寸的卷積核來(lái)代替較大尺寸的卷積核(使用3個(gè)3×3的卷積核代替7×7的卷積核，使用兩個(gè)3×3的卷積核代替5×5的卷積核)，以保證在具有相同感受野的條件下可以繼續(xù)增加網(wǎng)絡(luò)深度。通過(guò)探究CNN深度與模型性能之間的聯(lián)系得出結(jié)論：增加網(wǎng)絡(luò)層數(shù)可以得到更好的訓(xùn)練結(jié)果。本文實(shí)驗(yàn)中使用的兩種具有不同網(wǎng)絡(luò)結(jié)構(gòu)的VGG-Net，即VGG16和VGG19，分別具有16個(gè)隱藏層(13個(gè)卷積層和3個(gè)全連接層)和19個(gè)隱藏層(16個(gè)卷積層和3個(gè)全連接層)，也是Keras深度學(xué)習(xí)框架中適用于圖像分類(lèi)的兩種比較常用的經(jīng)典CNN模型。

2.4 模型訓(xùn)練

本文設(shè)計(jì)實(shí)現(xiàn)的模型訓(xùn)練過(guò)程主要包含3個(gè)階段：加載預(yù)訓(xùn)練模型、遷移學(xué)習(xí)、超參數(shù)微調(diào)，具體實(shí)現(xiàn)流程如圖4所示。

圖4 模型訓(xùn)練過(guò)程

本文選用的3種預(yù)訓(xùn)練模型，即VGG16、VGG19和ResNet50，其權(quán)重參數(shù)均來(lái)自于大型圖像數(shù)據(jù)集ImageNet的訓(xùn)練結(jié)果，已經(jīng)具備一定的圖像識(shí)別能力。通過(guò)將預(yù)訓(xùn)練模型的中低層作為特征提取器、將模型的頂層或接近頂層的部分作為分類(lèi)器，計(jì)算機(jī)視覺(jué)領(lǐng)域的圖像分類(lèi)、目標(biāo)定位、目標(biāo)檢測(cè)等研究工作大多都是基于ImageNet數(shù)據(jù)集展開(kāi)。

所謂遷移學(xué)習(xí)，具體可以分為凍結(jié)全部卷積層和微調(diào)部分網(wǎng)絡(luò)層兩種實(shí)現(xiàn)策略。凍結(jié)全部卷積層是指僅允許預(yù)訓(xùn)練模型的頂層部分參與訓(xùn)練，而中低層的全部卷積層不參與訓(xùn)練。頂層是指神經(jīng)網(wǎng)絡(luò)模型中鄰近輸出層的幾個(gè)隱藏層以及輸出層，在CNN模型中，頂層一般由一個(gè)或多個(gè)全連接層構(gòu)成。微調(diào)部分網(wǎng)絡(luò)層是指允許預(yù)訓(xùn)練模型的部分卷積層(一般指接近頂層的幾個(gè)卷積塊)和頂層同時(shí)參與訓(xùn)練過(guò)程。根據(jù)自定義頂層結(jié)構(gòu)的不同，本文共設(shè)計(jì)實(shí)現(xiàn)了4種情況用于分析遷移學(xué)習(xí)的有效性：①直接輸出，記為D1；②輸出層和一個(gè)含有64個(gè)神經(jīng)元的全連接層，記為D64；③輸出層和一個(gè)含有512個(gè)神經(jīng)元的全連接層，記為D512；④輸出層和一個(gè)含有1024個(gè)神經(jīng)元的全連接層，記為D1024。

超參數(shù)微調(diào)是深度學(xué)習(xí)中的一項(xiàng)必備技能。本文主要研究以下3個(gè)超參數(shù)對(duì)模型分類(lèi)性能的影響：優(yōu)化器、批處理大小和迭代次數(shù)。常見(jiàn)的優(yōu)化器如SGD、Adam和RMSprop：SGD雖然收斂速度偏慢，但加入動(dòng)量后可加快收斂，同時(shí)帶動(dòng)量的SGD可以得到更好的最優(yōu)解；RMSprop適用于帶有循環(huán)結(jié)構(gòu)的深度網(wǎng)絡(luò)模型；Adam同時(shí)結(jié)合了Adagrad善于處理稀疏梯度和RMSprop善于處理非平穩(wěn)目標(biāo)的優(yōu)勢(shì)，對(duì)內(nèi)存需求較小。批處理大小是指每一次訓(xùn)練時(shí)輸入模型的樣本數(shù)，通常取值為8的倍數(shù)，例如8、16、32、64、128、256等。較大的批處理數(shù)量通常可以加快模型收斂速度，但由于受到計(jì)算機(jī)內(nèi)存資源的限制，批處理數(shù)量太大可能會(huì)導(dǎo)致內(nèi)存溢出或程序內(nèi)核崩潰。迭代次數(shù)是指在一次訓(xùn)練過(guò)程中整個(gè)訓(xùn)練集輸入模型的次數(shù)。當(dāng)訓(xùn)練誤差和測(cè)試誤差相差較小時(shí)，可以認(rèn)為當(dāng)前迭代次數(shù)的設(shè)置比較合理；當(dāng)測(cè)試誤差先變小后變大，說(shuō)明迭代次數(shù)過(guò)大，需要相應(yīng)地減小，否則容易出現(xiàn)過(guò)擬合問(wèn)題。

2.5 數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)是指通過(guò)平移、旋轉(zhuǎn)、垂直翻轉(zhuǎn)、水平翻轉(zhuǎn)、縮放等操作，對(duì)原始數(shù)據(jù)進(jìn)行擴(kuò)充。本文實(shí)驗(yàn)中采用水平翻轉(zhuǎn)、旋轉(zhuǎn)等操作對(duì)訓(xùn)練樣本進(jìn)行數(shù)據(jù)增強(qiáng)，如圖5所示。經(jīng)過(guò)數(shù)據(jù)增強(qiáng)處理，可以在一定程度上解決訓(xùn)練樣本不足的問(wèn)題，同時(shí)也有助于提高模型的泛化能力。

圖5 數(shù)據(jù)增強(qiáng)處理

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

本文采用由日本放射技術(shù)學(xué)會(huì)提供的JSRT數(shù)據(jù)集用于X光胸片肺結(jié)節(jié)檢測(cè)。該數(shù)據(jù)集包含247張胸片，收集自世界上14家不同的醫(yī)療機(jī)構(gòu)，包括154例含有結(jié)節(jié)的樣本和93例不含結(jié)節(jié)的樣本，所有結(jié)節(jié)均經(jīng)過(guò)3位放射科醫(yī)生的一致確認(rèn)。每張胸片的尺寸大小為2048像素×2048像素，像素深度為12位，每個(gè)像素對(duì)應(yīng)的實(shí)際分辨率為0.175 mm。通過(guò)將數(shù)據(jù)集中所有胸片從2048像素×2048像素降采樣至1024像素×1024像素，像素深度由12位處理為8位，以此來(lái)減少肺區(qū)域分割所需的時(shí)間，同時(shí)不會(huì)影響分割效果。

3.2 評(píng)價(jià)指標(biāo)

在肺結(jié)節(jié)檢測(cè)方面，通常采用準(zhǔn)確度(accuracy)、敏感度(sensitivity)、特異度(specificity)、ROC曲線(xiàn)和AUC值作為分類(lèi)性能的評(píng)價(jià)指標(biāo)。其中，準(zhǔn)確度、敏感度和特異度的計(jì)算方法如式(1)所示

(1)

其中，TP表示真陽(yáng)性，即結(jié)節(jié)被正確識(shí)別為結(jié)節(jié)；TN表示真陰性，即非結(jié)節(jié)被正確識(shí)別為非結(jié)節(jié)；FP表示假陽(yáng)性，即非結(jié)節(jié)被錯(cuò)誤識(shí)別為結(jié)節(jié)；FN表示假陰性，即結(jié)節(jié)被錯(cuò)誤識(shí)別為非結(jié)節(jié)。ROC曲線(xiàn)越靠近坐標(biāo)軸左上角，AUC值越大，說(shuō)明模型的分類(lèi)性能更好。

3.3 實(shí)驗(yàn)環(huán)境

本文所有實(shí)驗(yàn)均基于Windows 7操作系統(tǒng)、Anaconda Navigator 4.3.30開(kāi)發(fā)平臺(tái)設(shè)計(jì)實(shí)現(xiàn)。Anaconda Navigator開(kāi)發(fā)平臺(tái)允許用戶(hù)根據(jù)需要搭建一個(gè)或多個(gè)開(kāi)發(fā)環(huán)境，不同開(kāi)發(fā)環(huán)境之間可以自由切換，同時(shí)提供下載功能，用戶(hù)可以直接通過(guò)該平臺(tái)下載開(kāi)發(fā)環(huán)境所需的文件。針對(duì)CNN模型的訓(xùn)練過(guò)程，本文采用以TensorFlow-GPU作為后端的Keras深度學(xué)習(xí)框架實(shí)現(xiàn)。采用基于GPU加速的TensorFlow庫(kù)作為后端，可以調(diào)用計(jì)算機(jī)的顯卡資源，進(jìn)而加速深度網(wǎng)絡(luò)模型的計(jì)算過(guò)程。同時(shí)，需要安裝對(duì)應(yīng)版本的CUDA驅(qū)動(dòng)，例如本文安裝的驅(qū)動(dòng)版本為CUDA 10.0.140，對(duì)應(yīng)的顯卡驅(qū)動(dòng)版本為Geforce GTX 950M。

3.4 結(jié)果與分析

3.4.1 不同網(wǎng)絡(luò)模型對(duì)實(shí)驗(yàn)結(jié)果的影響

本文首先對(duì)比分析了不同網(wǎng)絡(luò)模型對(duì)實(shí)驗(yàn)結(jié)果的影響，如圖6所示。可以看出：①3種模型都實(shí)現(xiàn)了較高的準(zhǔn)確度、敏感度和AUC值，適用于X光胸片的自動(dòng)分類(lèi)；②3種模型對(duì)應(yīng)的特異度都不是很高，有待進(jìn)一步改進(jìn)或優(yōu)化；③僅根據(jù)一次實(shí)驗(yàn)結(jié)果，難以直接判斷哪種模型的分類(lèi)性能更優(yōu)。

圖6 不同網(wǎng)絡(luò)模型對(duì)實(shí)驗(yàn)結(jié)果的影響

3.4.2 不同遷移學(xué)習(xí)策略對(duì)實(shí)驗(yàn)結(jié)果的影響

本文通過(guò)設(shè)計(jì)實(shí)現(xiàn)兩種不同的遷移學(xué)習(xí)策略，從定量的角度，充分論證遷移學(xué)習(xí)的有效性。凍結(jié)全部卷積層是指僅允許預(yù)訓(xùn)練模型的頂層部分參與訓(xùn)練，而中低層的全部卷積層不參與，實(shí)驗(yàn)結(jié)果見(jiàn)表1。可以看出：①是否凍結(jié)全部卷積層對(duì)實(shí)驗(yàn)結(jié)果確有一定的影響，整體而言，允許部分卷積層參與訓(xùn)練過(guò)程可以獲得更好的實(shí)驗(yàn)結(jié)果；②遷移學(xué)習(xí)方法的提出，使得以較低的成本實(shí)現(xiàn)深度網(wǎng)絡(luò)模型的訓(xùn)練成為可能，由于模型已經(jīng)在ImageNet數(shù)據(jù)集上進(jìn)行了預(yù)訓(xùn)練，再次應(yīng)用到目標(biāo)數(shù)據(jù)集上時(shí)，訓(xùn)練時(shí)長(zhǎng)明顯縮短，一般僅需0.5小時(shí)～2小時(shí)；③相比較而言，VGG19的綜合分類(lèi)性能更好。

表1 是否凍結(jié)全部卷積層對(duì)實(shí)驗(yàn)結(jié)果的影響

微調(diào)部分網(wǎng)絡(luò)層是指允許預(yù)訓(xùn)練模型的部分卷積層(一般指接近頂層的幾個(gè)卷積塊)和頂層部分同時(shí)參與訓(xùn)練，基于VGG19模型進(jìn)一步探究，實(shí)驗(yàn)結(jié)果見(jiàn)表2。所示。可以看出：①不同結(jié)構(gòu)的自定義頂層設(shè)計(jì)對(duì)實(shí)驗(yàn)結(jié)果確有一定的影響，隨著全連接層神經(jīng)元個(gè)數(shù)的增加，模型的分類(lèi)性能逐漸得到改善；②在醫(yī)學(xué)圖像肺結(jié)節(jié)檢測(cè)方面，研究學(xué)者普遍關(guān)注的評(píng)價(jià)指標(biāo)主要有準(zhǔn)確度、敏感度和特異度，較高的敏感度和特異度意味著較低的漏診率和誤診率。通過(guò)綜合分析，設(shè)置全連接層的神經(jīng)元個(gè)數(shù)為1024時(shí)，可以獲得比較理想的實(shí)驗(yàn)結(jié)果。

表2 微調(diào)部分網(wǎng)絡(luò)層對(duì)實(shí)驗(yàn)結(jié)果的影響

綜上所述，采用微調(diào)部分網(wǎng)絡(luò)層的遷移學(xué)習(xí)策略可以有效改善CNN模型的分類(lèi)性能，有助于解決醫(yī)學(xué)影像分析領(lǐng)域普遍存在的訓(xùn)練樣本不足的問(wèn)題，而凍結(jié)全部卷積層則會(huì)獲得相對(duì)較差的實(shí)驗(yàn)結(jié)果。

3.4.3 超參數(shù)微調(diào)對(duì)實(shí)驗(yàn)結(jié)果的影響

為了進(jìn)一步改進(jìn)實(shí)驗(yàn)結(jié)果，本文對(duì)影響模型分類(lèi)性能的3個(gè)主要超參數(shù)進(jìn)行微調(diào)。其中，不同優(yōu)化器對(duì)實(shí)驗(yàn)結(jié)果的影響見(jiàn)表3。可以看出：①3種優(yōu)化器分別對(duì)應(yīng)的準(zhǔn)確度、敏感度、特異度、AUC值和訓(xùn)練時(shí)長(zhǎng)并沒(méi)有顯著區(qū)別，說(shuō)明不同的優(yōu)化器對(duì)實(shí)驗(yàn)結(jié)果的影響較小；②整體而言，采用SGD可以實(shí)現(xiàn)比較穩(wěn)定的算法性能。

表3 不同優(yōu)化器對(duì)實(shí)驗(yàn)結(jié)果的影響

由于受到計(jì)算機(jī)硬件資源的限制，本文僅設(shè)計(jì)了3組對(duì)比實(shí)驗(yàn)用于分析不同批處理大小對(duì)實(shí)驗(yàn)結(jié)果的影響，見(jiàn)表4。可以看出：不同的批處理大小對(duì)實(shí)驗(yàn)結(jié)果沒(méi)有明顯的影響。一般來(lái)說(shuō)，批處理大小的設(shè)置主要取決于數(shù)據(jù)集規(guī)模和圖像分類(lèi)的類(lèi)別數(shù)，并且批處理大小的值越大，模型的分類(lèi)性能越好。但批處理大小是否與模型的分類(lèi)性能近似呈正相關(guān)，有待進(jìn)一步探究。

表4 不同批處理大小對(duì)實(shí)驗(yàn)結(jié)果的影響

從表5中可以看出，迭代次數(shù)主要影響的是模型的訓(xùn)練時(shí)長(zhǎng)，迭代次數(shù)越多，訓(xùn)練時(shí)間越長(zhǎng)，而對(duì)分類(lèi)準(zhǔn)確度、敏感度、特異度和AUC值則沒(méi)有顯著影響。整體而言，設(shè)置迭代次數(shù)等于16時(shí)可以獲得較好的實(shí)驗(yàn)結(jié)果，猜測(cè)可能與本文使用的數(shù)據(jù)集規(guī)模偏小有關(guān)。

表5 不同迭代次數(shù)對(duì)實(shí)驗(yàn)結(jié)果的影響

JSRT數(shù)據(jù)集中的每張胸片僅含有一個(gè)肺結(jié)節(jié)，采用本文提出的算法進(jìn)行模型預(yù)測(cè)，如圖7所示。分析得出，模型預(yù)測(cè)結(jié)果與該數(shù)據(jù)集提供的樣本標(biāo)注信息基本一致，進(jìn)一步論證了本文算法的正確性和有效性。

圖7 模型預(yù)測(cè)結(jié)果可視化

3.4.4 與其它算法結(jié)果的對(duì)比

當(dāng)前，大多數(shù)關(guān)于肺結(jié)節(jié)檢測(cè)方法的研究都是基于計(jì)算機(jī)斷層掃描(computed tomography, CT)圖像展開(kāi)。相較于CT篩查，X光胸片具有無(wú)創(chuàng)性、放射性低、成本低等優(yōu)勢(shì)。為了對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行客觀(guān)評(píng)價(jià)，將本文算法與已有的同類(lèi)型研究進(jìn)行對(duì)比，見(jiàn)表6。可以看出，本文提出的肺結(jié)節(jié)檢測(cè)方法實(shí)現(xiàn)了最高的敏感度和較低的假陽(yáng)性率。

表6 算法性能對(duì)比

4 結(jié)束語(yǔ)

針對(duì)醫(yī)學(xué)影像分析領(lǐng)域普遍存在的訓(xùn)練樣本不足的問(wèn)題，本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)的X光胸片肺結(jié)節(jié)檢測(cè)算法。在公開(kāi)的JSRT數(shù)據(jù)集上進(jìn)行驗(yàn)證，得出微調(diào)部分網(wǎng)絡(luò)層有助于提升模型分類(lèi)性能的結(jié)論，驗(yàn)證了遷移學(xué)習(xí)的有效性。通過(guò)逐步調(diào)整模型的超參數(shù)設(shè)置，算法性能得到進(jìn)一步改進(jìn)。與已有的其它研究進(jìn)行對(duì)比，本文提出的算法實(shí)現(xiàn)了最高的敏感度和較少的假陽(yáng)性數(shù)。研究結(jié)果表明，肋骨抑制處理有助于提高X光胸片中肺結(jié)節(jié)的檢出率。本文將在接下來(lái)的研究中重點(diǎn)分析肋骨抑制對(duì)于X光胸片肺結(jié)節(jié)檢測(cè)的影響，以期獲得更優(yōu)的實(shí)驗(yàn)結(jié)果。