基于卷積神經(jīng)網(wǎng)絡(luò)的直腸癌淋巴結(jié)轉(zhuǎn)移的智能判斷模型研究

劉今子，董浩，方文璇，黃東

(1.東北石油大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，大慶 163318；2.東北石油大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院，大慶 163318)

直腸癌是消化道最常見的惡性腫瘤之一，醫(yī)生通過CT圖像越早的發(fā)現(xiàn)直腸癌淋巴結(jié)轉(zhuǎn)移，則給患者更多的治療時(shí)間，提升患者存活率[1-3]。

目前，評估直腸癌淋巴結(jié)轉(zhuǎn)移的影像方法有電子計(jì)算機(jī)斷層掃描(computed tomography, CT)、磁共振成像(magnetic resonance imaging, MRI)及正電子發(fā)射型計(jì)算機(jī)斷層顯像(positron emission computed tomography,PET)/CT等。主要依靠醫(yī)生根據(jù)CT圖像，憑借經(jīng)驗(yàn)進(jìn)行觀察判斷，判斷準(zhǔn)確性不能保證，且不方便、不快捷。研究者提出了傅里葉變換紅外光譜(fourier transform infrared spectrometer,FTIR)聯(lián)合主成分分析法(principal component analysis,PCA)，分析直腸癌轉(zhuǎn)移淋巴結(jié)的譜學(xué)特征，不使用CT圖像，根據(jù)峰強(qiáng)、相對峰強(qiáng)比判斷淋巴結(jié)轉(zhuǎn)移情況，尋找譜學(xué)特征[4]。還有研究者通過對比淋巴結(jié)轉(zhuǎn)移與淋巴結(jié)未轉(zhuǎn)移直腸癌患者的T3期磁共振成像(MRI)影像，尋找二者在影像學(xué)表現(xiàn)上的差異，以該差異為判斷淋巴結(jié)轉(zhuǎn)移的標(biāo)準(zhǔn)，利用Logistic回歸進(jìn)行分析[5-6]。該方法沒有深度挖掘已轉(zhuǎn)移淋巴結(jié)的普遍特征，只是對比轉(zhuǎn)移與未轉(zhuǎn)移淋巴結(jié)的差異，缺乏普遍性。同時(shí)，以臨床及實(shí)驗(yàn)室指標(biāo)、常規(guī)超聲評分(ultrasonic score,US)及CT評分為判斷指標(biāo)，對淋巴結(jié)轉(zhuǎn)移與否進(jìn)行判斷[7-8]?？傊?，傳統(tǒng)的影響學(xué)方法基于譜學(xué)特征等統(tǒng)計(jì)信息進(jìn)行研究，缺乏對具體病癥圖像的深入研究，不能更方便地指導(dǎo)臨床使用及普及推廣。

近年來，深度學(xué)習(xí)算法在醫(yī)學(xué)圖像識別領(lǐng)域應(yīng)用較為廣泛，具有一定的普適性。其中，傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)的圖像分類，無法保留全連接網(wǎng)絡(luò)計(jì)算的高效性，準(zhǔn)確率不高，需要進(jìn)行特征融合和改進(jìn)算法[9-15]。文獻(xiàn)[9]利用深度學(xué)習(xí)框架Caffe，實(shí)現(xiàn)深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行圖像的分類。文獻(xiàn)[10-12]改進(jìn)了卷積神經(jīng)網(wǎng)絡(luò)算法，融合多種特征，提高對圖像識別的效果，準(zhǔn)確率接近90%。文獻(xiàn)[13]基于卷積神經(jīng)網(wǎng)絡(luò)AlexNet模型進(jìn)行直腸癌淋巴結(jié)轉(zhuǎn)移的遷移學(xué)習(xí)，準(zhǔn)確率接近80%。文獻(xiàn)[14]基于卷積神經(jīng)網(wǎng)絡(luò)模型，利用多尺度方法結(jié)合反卷積網(wǎng)絡(luò)，研究腺癌病理圖像的分類，具有明顯的良好分類精度。文獻(xiàn)[15]利用卷積神經(jīng)網(wǎng)絡(luò)算法，構(gòu)建直覺模糊集的多任務(wù)中心模型，實(shí)現(xiàn)甲狀腺淋巴結(jié)轉(zhuǎn)移癌病理診斷的研究，提高了準(zhǔn)確率。

特別地，由于醫(yī)學(xué)影像具有結(jié)構(gòu)固定、語義信息較為簡單、小樣本性的特點(diǎn)，與U-Net模型支持少量的數(shù)據(jù)、基于像素點(diǎn)分類等特征相符合，更便于獲得更高的分割準(zhǔn)確率，更快的訓(xùn)練速度。因此，基于生物醫(yī)學(xué)癌病圖像分割的卷積神經(jīng)網(wǎng)絡(luò)U-Net模型，在肺結(jié)節(jié)、結(jié)直腸癌等癌病圖像識別中應(yīng)用廣泛[16-20]。文獻(xiàn)[16]基于深度學(xué)習(xí)算法的卷積神經(jīng)網(wǎng)絡(luò)算法進(jìn)行肺結(jié)節(jié)圖像的識別，準(zhǔn)確率接近90%。文獻(xiàn)[17]融合卷積神經(jīng)網(wǎng)絡(luò)和流形學(xué)習(xí)進(jìn)行肺部CT圖像的分割和檢測，準(zhǔn)確率超過90%。文獻(xiàn)[18]提出一種水平深度多尺度的U-net卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)結(jié)直腸癌CT圖像特征提取及分割，準(zhǔn)確率超過80%?；赨-Net模型進(jìn)行特征提取中嵌入編碼模塊，研究直腸癌腫瘤圖像分割，具有良好的準(zhǔn)確率[19-20]。

然而，U-net網(wǎng)絡(luò)模型具有冗余大、分類準(zhǔn)確度和定位精度不可兼得的明顯缺點(diǎn)，使得其在醫(yī)學(xué)圖像的智能判斷方面受到一定的限制。VGG網(wǎng)絡(luò)模型利用多尺度特征圖做檢測，實(shí)現(xiàn)了堆疊卷積核和大卷積核的效果一樣，計(jì)算量明顯小很多，性能表現(xiàn)得到提高，更加適合醫(yī)學(xué)癌癥的轉(zhuǎn)移及判斷[21-22]。

為此，結(jié)合U-net和VGG網(wǎng)絡(luò)結(jié)構(gòu)的特點(diǎn)，構(gòu)建直腸癌淋巴結(jié)智能判斷模型，驗(yàn)證預(yù)測的準(zhǔn)確率。首先，建立基于U-Net的CT圖像分割模型，對腫瘤部分進(jìn)行識別、分割，獲得腫瘤區(qū)域圖，進(jìn)行自動(dòng)特征挖掘與提取，確定淋巴結(jié)轉(zhuǎn)移的普遍特征，并將圖像以及特征送入傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)和改進(jìn)后的卷積神經(jīng)網(wǎng)絡(luò)VGG16網(wǎng)絡(luò)模型，對模型進(jìn)行迭代訓(xùn)練和驗(yàn)證，得到最優(yōu)參數(shù)。預(yù)處理107位直腸癌動(dòng)脈期CT圖像建立訓(xùn)練數(shù)據(jù)集，利用傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)和VGG16網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和預(yù)測。

1 算法論述

1.1 U-Net圖像分割模型思想

整個(gè)自動(dòng)分割模型建立在U-Net神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)之上。U-Net本質(zhì)上是一種特殊的基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)框架，它的核心工作是將淺層網(wǎng)絡(luò)中的輸出和深層網(wǎng)絡(luò)的輸出合并在一起，使得網(wǎng)絡(luò)在最終輸出的時(shí)候能夠同時(shí)考慮淺層信息和深層信息的貢獻(xiàn)，從而有效避免了FCN網(wǎng)絡(luò)中語義信息和分割細(xì)節(jié)時(shí)此消彼長的情況。其特點(diǎn)在于利用底層信息補(bǔ)充高層信息，淺層的輸出保存了空域細(xì)節(jié)信息，深層的輸出則是保存了相對抽象的語義信息，二者合二為一就提升了分割效果[9-12]。

為了最小化開銷和最大限度地利用顯存，比起輸入一個(gè)較大的批次，更傾向于較大的輸入切片，因而將批次大小縮減為單張圖像。在網(wǎng)絡(luò)的訓(xùn)練過程中，使用能量函數(shù)來獲取最終的特征圖。能量函數(shù)是通過交叉熵?fù)p失函數(shù)相結(jié)合的最終特征圖，利用像素級的softmax函數(shù)來計(jì)算。softmax函數(shù)定義為

(1)

式(1)中：ak(x)為在第x像素點(diǎn)上第k個(gè)特征通道的激活函數(shù)；K為類別數(shù)；pk(x)為最大函數(shù)。

加權(quán)交叉熵定義為

(2)

式(2)中：l={1,2，…,K}為每個(gè)像素正確的標(biāo)簽；Ω為圖像數(shù)量；pl(x)為第x個(gè)樣本屬于l的概率；w為權(quán)重函數(shù)，可定義為

(3)

式(3)中：wc為平衡類別頻率的權(quán)重；d1為到最近細(xì)胞邊界的距離；d2為到第二近細(xì)胞邊界的距離；初始類別權(quán)重w0取10，到細(xì)胞邊界距離的標(biāo)準(zhǔn)差σ取5像素。

1.2 SIFT特征提取

尺度不變換特征變換(scale invarian feature transform，SIFT)旨在解決特征提取及其圖像匹配應(yīng)用中的問題。SIFT方法中的低層次特征提取是選取顯特征，這些特征具有圖像尺度(特征大小)和旋轉(zhuǎn)不變性，而且對光照變化也具有一定程度的不變性。

1.3 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)與普通的神經(jīng)網(wǎng)絡(luò)的不同之處在于卷積層能夠自發(fā)的提取圖像特征。卷積層的計(jì)算公式為

(4)

卷積層運(yùn)算后到下采樣層，對特征圖進(jìn)行池化處理，旨在進(jìn)一步降低特征的維數(shù)和其分辨率，從而縮減規(guī)模問題，設(shè)池化大小為s，其特征圖會縮小為1/s，運(yùn)算公式為

(5)

式(5)中：f(·)為激活函數(shù)；D(·)為池化函數(shù)；βj為權(quán)重系數(shù)。

通過不斷地調(diào)整卷積核、層數(shù)和分類器的輸入特征維數(shù)等參數(shù)，只有設(shè)置合適的參數(shù)值，才能較為有效地提取腫瘤區(qū)域的影像特征并完成對淋巴結(jié)轉(zhuǎn)移情況的預(yù)測[13-15]。

2 數(shù)據(jù)預(yù)處理

本文數(shù)據(jù)集為107位直腸腫瘤患者動(dòng)脈期和門脈期的兩套影像數(shù)據(jù)，主要以動(dòng)脈期影像為準(zhǔn)來進(jìn)行分析挖掘。數(shù)據(jù)預(yù)處理主要有4個(gè)步驟：病例樣本圖像信息統(tǒng)計(jì)、數(shù)據(jù)清洗、數(shù)據(jù)集成和數(shù)據(jù)變換。

2.1 病例樣本圖像信息統(tǒng)計(jì)

(1)圖像數(shù)據(jù)的總體統(tǒng)計(jì)，如表1所示。每個(gè)患者包含序列格式為CT圖像文件和對應(yīng)的掩模圖像。若某幅CT圖像包含腫瘤區(qū)域，則其腫瘤區(qū)域?qū)?yīng)的掩模圖像存在白色區(qū)域。若某幅CT圖像中不存在直腸腫瘤，則對應(yīng)的掩模圖像為全黑。主要以動(dòng)脈期影像為準(zhǔn)來進(jìn)行分析挖掘。

表1 數(shù)據(jù)集樣本統(tǒng)計(jì)

(2)對病例樣本信息根據(jù)性別、陰性和陽性進(jìn)行簡單統(tǒng)計(jì)，陽性為淋巴結(jié)轉(zhuǎn)移，陰性為淋巴結(jié)未轉(zhuǎn)移,如表2所示。

表2 病例樣本信息

在107個(gè)病人樣本中，總體陽性與陰性的比例為2∶3，其中淋巴結(jié)呈陽性的男女比例為1.6∶1。由于性別的不同，男女的直腸CT圖像也存在差異。在后期的處理中，需考慮這一因素，防止其影響對腫瘤的分割。

(3)將年齡劃分為5個(gè)階段，從22歲開始，以12歲為一個(gè)階段，對比男性和女性在不同年齡階段的患病情況，如圖1所示。

由圖1可知，在不同年齡段，男性患者和女性患者的淋巴結(jié)轉(zhuǎn)移情況也不盡相同。樣本中年齡大的樣例個(gè)數(shù)較多，因此年齡的分布情況可能會是影像淋巴結(jié)轉(zhuǎn)移的一個(gè)潛在因素，在后期預(yù)測過程中需要考慮年齡的影響。

圖1 男女在不同年齡的淋巴結(jié)轉(zhuǎn)移情況

(4)患直腸癌后男、女性癌細(xì)胞轉(zhuǎn)移情況如表3所示?？梢钥闯?，相對于女性，男性直腸癌細(xì)胞的轉(zhuǎn)移率較高。

表3 男女癌細(xì)胞轉(zhuǎn)移情況

2.2 數(shù)據(jù)清洗

采取小波閾值去噪法，主要得益于小波變換具有低熵性、多分辨率、去相關(guān)性和選基靈活性等優(yōu)點(diǎn)，如圖2所示。

圖2 數(shù)據(jù)清理前后對比

2.3 數(shù)據(jù)集成

不同病例圖像中的直腸腫瘤區(qū)域和非腫瘤區(qū)域可能有相關(guān)性，若相關(guān)性差距明顯，則可能作為一種新的圖像特征來識別腫瘤區(qū)域和非腫瘤區(qū)域。將圖像轉(zhuǎn)成強(qiáng)度數(shù)值矩陣后，采取皮爾森相關(guān)系數(shù)來反映兩個(gè)不同變量之間的相關(guān)性。

(6)

表4 皮爾森相關(guān)系數(shù)程度

絕對值越接近1，運(yùn)行參數(shù)的相關(guān)程度越密切，越接近0則相關(guān)程度越低。根據(jù)研究，當(dāng)|r|大于0.5表明兩個(gè)參數(shù)顯著相關(guān)，當(dāng)|r|小于0.3表明微相關(guān)。

2.4 數(shù)據(jù)變換

普通的自然圖像和CT圖像是有著明顯的差異，對于同一部位的CT圖像獲取，不同的機(jī)器設(shè)備對圖像的獲取處理方式也不一定相同，故為了盡可能的減少圖像信息丟失，最好是沒有丟失任何信息的前提下，讓圖像值能夠達(dá)到最大限度地保持在同一區(qū)間內(nèi)，必定要對所給的原始CT圖像樣本進(jìn)行數(shù)據(jù)變換。具體步驟如下。

步驟1像素值的填充。CT圖像中均為人體腹部截面，其截面多呈現(xiàn)不規(guī)則形狀，需要人為的對圖像像素增加填充值，讓圖像變?yōu)橛幸欢ㄒ?guī)則的形狀，但是在后續(xù)的圖像處理中，填充值可能會讓圖像值域的變化較大。因此，有必要對填充值進(jìn)行處理。

步驟2像素值的轉(zhuǎn)換。亨氏單位即CT值，它是測定人體某處局部組織或者器官密度的一種計(jì)量單位。不同器官的CT值范圍是不一樣的，如致密骨為+1 000，而空氣為-1 000。同一器官的CT值均在一定的范圍之內(nèi)波動(dòng)，因使用不同的造影劑或者造影劑的用量不同，增強(qiáng)CT的CT值會因此而發(fā)生一定的變化，而將像素值轉(zhuǎn)換為CT值，會利于人體器官的分割。CT值(用HU表示)和像素值的轉(zhuǎn)換關(guān)系式為

HU=pixel_valueRS+RI

(7)

式(7)中：pixel_value為像素值；RS為縮放斜率(rescale slope)；RI為縮放截距(rescale intercept)，除像素值外，RS和RI都可從CT圖像的頭文件中獲得。

步驟3數(shù)據(jù)變換處理。有以下兩種方法：一是將CT值設(shè)定在[-100,400](若HU值小于-10，則將其設(shè)為-100；若HU值大于400，則設(shè)為400)，這樣能夠避免識別到非目標(biāo)區(qū)域的器官；二是直接把原圖輸入到神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，但由于圖像維度過高，會致使訓(xùn)練速度較慢。

步驟4數(shù)據(jù)歸一化。通過最小-最大規(guī)范化進(jìn)行線性變換，把屬性A的值vi映射到區(qū)間[new_minA,new_maxA]，使其規(guī)范化。

(8)

式(8)中：v′i為映射的值；minA和maxA分別為屬性A的最小值和最大值；new_minA和new_maxA分別為映射后v′i所在區(qū)間的最小值和最大值。

3 卷積神經(jīng)網(wǎng)絡(luò)

3.1 基于U-Net的直腸CT影像分割模型

3.1.1 U-Net分割模型的建立

U-Net構(gòu)建的神經(jīng)網(wǎng)絡(luò)架構(gòu)包括兩部分，分別為收縮路徑和擴(kuò)張路徑，呈U形對稱分布。其中，收縮路徑用于提取圖像內(nèi)容，遵循典型的卷積網(wǎng)絡(luò)結(jié)構(gòu)，而擴(kuò)張路徑用于精確定位并還原圖像。網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 U-Net網(wǎng)絡(luò)結(jié)構(gòu)圖

U-Net是一個(gè)輸入端和輸出端都為圖像的全卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，但整個(gè)網(wǎng)絡(luò)并不存在全連接層，整個(gè)網(wǎng)絡(luò)由5個(gè)卷積組、4個(gè)池化層以及5個(gè)上采樣層組成。每個(gè)卷積組包含兩個(gè)卷積層，其中卷積核尺寸為3×3，每個(gè)卷積層及上采樣層之后均采用修正線性單元，每個(gè)池化層采用2×2的最大池化。第1個(gè)卷積組每層維度為64(通道數(shù))×256(圖像高度)×256(圖像寬度)，第2個(gè)卷積組每層維度為128×128×128，第3個(gè)卷積組每層維度為256×64×64，第4個(gè)卷積組每層維度為512×32×32，第5個(gè)卷積層每層維度為1 024×16×16，之后的擴(kuò)張路徑中每層卷積層維度與之前的層對應(yīng)相等，每個(gè)上采樣層中通過反卷積操作減少特征通道數(shù)量以及恢復(fù)圖像維度，其卷積尺寸為2×2，并且每個(gè)上采樣層中，通過Concat層與對應(yīng)收縮路徑的特征圖連接，之后通過兩個(gè)卷積層，提取了兩者組合的信息，實(shí)現(xiàn)了對來自池化層特征圖的重新利用。在最后一層，使用尺寸為1×1的卷積核，通過卷積操作將64組的特征向量映射至網(wǎng)絡(luò)輸出層。

實(shí)驗(yàn)使用肺部腫瘤的CT圖像及其對應(yīng)的分割圖作為訓(xùn)練集來訓(xùn)練網(wǎng)絡(luò)，使用能量函數(shù)計(jì)算每個(gè)像素點(diǎn)的softmax值，其定義為

(9)

式(9)中：ak(x)為像素的位置x處的特征通道類別數(shù)量k的激活值；ai(x)為像素的位置x處的特征通道類別數(shù)量i的激活值；pk(x)為近似的最大函數(shù)。

使用二進(jìn)制交叉熵訓(xùn)練每個(gè)像素，并使用高斯分布(0,0.5)初始化卷積核，使用隨機(jī)梯度下降訓(xùn)練損失函數(shù)，使其快速收斂到最小值，更新策略為

(10)

式(10)中：θi為隨機(jī)梯度下降訓(xùn)練損失函數(shù)，i=1,2,…逐次增加的收斂次數(shù)；J(θ)為損失函數(shù)的函數(shù)；α為學(xué)習(xí)率。

在U-Net模型訓(xùn)練階段，發(fā)現(xiàn)存在4個(gè)參數(shù)的值會對直腸腫瘤圖像分割的精確程度和模型訓(xùn)練時(shí)間產(chǎn)生一定程度的影響。

(1)訓(xùn)練次數(shù)。由于U-Net是一個(gè)深度學(xué)習(xí)的框架，所以需要提高訓(xùn)練次數(shù)來提升該網(wǎng)絡(luò)模型的效果，同時(shí)也得防止訓(xùn)練次數(shù)過多，導(dǎo)致過擬合的情況。在調(diào)整epoch的過程，確定epoch=6或12時(shí)，誤差在設(shè)定范圍內(nèi)，且該網(wǎng)絡(luò)也有較好的收斂效果。

(2)卷積核。卷積核的值會直接關(guān)系到模型運(yùn)行時(shí)的整體效率，通過不斷訓(xùn)練及驗(yàn)證，確定大小為3×3的卷積核能夠使該模型迅速且平滑的收斂。

(3)學(xué)習(xí)率。誤差對權(quán)值的影響取決于學(xué)習(xí)率的值的大小。當(dāng)該值過高時(shí)，可能會出現(xiàn)震蕩或發(fā)散的現(xiàn)象；過低時(shí)，收斂速度可能太慢。為保持模型的穩(wěn)定性，在本次實(shí)驗(yàn)中，學(xué)習(xí)率的值設(shè)置為0.2。

(4)批次處理。在每次挑選樣本進(jìn)行訓(xùn)練時(shí)，都需改變一次權(quán)值。如果每次批量處理的值設(shè)定過大，可能調(diào)整不顯著；過小，會增加誤差的傳播次數(shù)，從而延長訓(xùn)練時(shí)間。在樣本數(shù)目不變的情況下，batchsize=120，模型表現(xiàn)較好。

3.1.2 U-Net分割模型評價(jià)

在直腸區(qū)域CT圖像數(shù)據(jù)集進(jìn)行試驗(yàn)，該數(shù)據(jù)包括直腸腫瘤病人動(dòng)脈期核門脈期的圖像，腫瘤區(qū)域的圖像已被標(biāo)注，對比模型最終得到的分割結(jié)果如圖4所示。可以看出，該模型針對腫瘤邊界具有較好的分割效果，并且避免了細(xì)小空洞遺漏分割的問題。

圖4(a)為CT圖像，為模型的輸入，該行圖片每張皆經(jīng)過預(yù)處理。圖4(b)為對應(yīng)第1行腫瘤CT圖像的掩模圖，為模型的標(biāo)簽。圖4(c)為模型對應(yīng)第1行腫瘤CT圖像的預(yù)測結(jié)果，為模型的輸出。

為驗(yàn)證模型的有效性，采用Dice系數(shù)來定量的評價(jià)所提出的分割算法，其表達(dá)式為

Dice(A,B)=2|A∩B|/|A|+|B|

(11)

式(11)中：A為已標(biāo)注的腫瘤區(qū)域；B為U-Net分割的腫瘤區(qū)域圖像。

對A、B做二值化處理，即腫瘤區(qū)域的圖像令其為1，其他區(qū)域?yàn)?，將二者做與運(yùn)算，可獲得二者共有的部分，統(tǒng)計(jì)其中為1的像素個(gè)數(shù)，并乘以2，也就獲得了Dice系數(shù)的分子部分，而將兩圖為1的像素相加處理，即可得到Dice系數(shù)的分母部分。表5為圖4中不同圖像的分割準(zhǔn)確率。

圖4 腫瘤的分割結(jié)果

表5 不同圖像的直腸腫瘤分割準(zhǔn)確率

3.2 直腸癌腫瘤區(qū)域的影像特診提取及分析

3.2.1 特征提取

以10071標(biāo)記腫瘤的影像為例，運(yùn)用SIFT算法結(jié)合角點(diǎn)檢測特征點(diǎn)，實(shí)驗(yàn)結(jié)果如圖5所示，其中被圈到的部分為SIFT算法得到的特征區(qū)域。根據(jù)關(guān)鍵點(diǎn)檢測得到的特征區(qū)域，與腫瘤標(biāo)記部位比較，覆蓋面積達(dá)88.9%，可見SIFT算法對于特征的提取比較準(zhǔn)確。

圖5 CT影像的SIFT特征圖

通過對影像信息的具體分析，將提取到的影像特征分為體素強(qiáng)度、面積、周長以及紋理。

3.2.2 特征統(tǒng)計(jì)

(1)體素強(qiáng)度。為反映圖像的差異變化，將每幅圖像中512×512的體素強(qiáng)度值通過直方圖的形式表現(xiàn)出來，以10072標(biāo)記腫瘤的影響像為例，從圖6可以觀測出體素強(qiáng)度值的大小近似符合正態(tài)分布。由于圖像像素較多，取腫瘤區(qū)域的均值代表一幅影像的體素強(qiáng)度，再根據(jù)CT掃描的圖像順序繪制出對應(yīng)的體素強(qiáng)度隨時(shí)間變化的趨勢圖，結(jié)合不同的病患進(jìn)行對比，來觀測腫瘤區(qū)域的強(qiáng)度變化，如圖6所示。

圖6 腫瘤區(qū)域的直方圖

(2)面積。運(yùn)用Canny邊緣檢測算法確定腫瘤的輪廓區(qū)域以后，從而計(jì)算區(qū)域內(nèi)近似的腫瘤面積，得到每個(gè)病人的直腸腫瘤面積大小如表6所示。

表6 不同患者腫瘤面積統(tǒng)計(jì)

對5位患者中所有CT圖像的腫瘤區(qū)域求面積，可得多組面積測量值，表6統(tǒng)計(jì)了各組測量值的均值、標(biāo)準(zhǔn)差、最大值、最小值?？梢钥闯?，腫瘤區(qū)域面積位于5.7～13.5 cm2。

(3)體積。對CT序列進(jìn)行三位重建，對重建后的圖像分別使用面積和長度測量工具，測量腫瘤的面積和長度，進(jìn)行多次測量，之后求其平均值，面積與場地相乘即可得到腫瘤的體積。

圖7為患者1001的CT重建圖像。圖7(a)為多平面重建的橫截面圖，可根據(jù)圖中藍(lán)線與紅線確定腫瘤的位置。圖7(b)、圖7(c)為CT的三位重建，圖7(b)展現(xiàn)的為正視圖，圖7(c)圖展現(xiàn)的為仰視圖。

圖7 CT圖像的重建圖像

(4)紋理。以10071標(biāo)記腫瘤的影像為例，其紋理特征提取后圖像，如圖8所示。

圖8 CT圖像的紋理圖

紋理特征基于共生矩陣，灰度共生矩陣特征提取與匹配主要依賴于能量、對比、熵和相關(guān)性4個(gè)參數(shù)?；贖aralick紋理特征進(jìn)行提取，定義為

(12)

式中：P(i,j)為中心像素點(diǎn)與該方向上的鄰域點(diǎn)的灰度值組合(i,j)在整幅目標(biāo)圖像區(qū)域中出現(xiàn)的次數(shù)；R為灰度值組合的次數(shù)之和；p(i,j)為灰度值組合(i,j)在目標(biāo)圖像區(qū)域中出現(xiàn)的概率。

角度二階矩(angular second moment, ASM)的表達(dá)式為

(13)

對比度Con的表達(dá)式為

(14)

局部灰度相關(guān)性Corr的表達(dá)式為

(15)

熵ENT的表達(dá)式為

(16)

式中：i、j為強(qiáng)度；n為強(qiáng)度差；Ng為灰度級別；μx、μy分別為圖像行、列方向上灰度的均值；σx、σy分別為圖像行、列方向上灰度的標(biāo)準(zhǔn)差。

3.3 基于淋巴結(jié)轉(zhuǎn)移情況的卷積神經(jīng)網(wǎng)絡(luò)模型

3.3.1 模型建立

(1)模型建立流程如圖9所示。將107位患者的圖片作為訓(xùn)練集和測試集，共有460張圖片，統(tǒng)計(jì)信息如表7所示，其中60張為測試集，400張為訓(xùn)練集，每個(gè)數(shù)據(jù)集各包含兩個(gè)文件夾，分別對應(yīng)陰性和陽性患者的圖像數(shù)據(jù)。

表7 患者圖像數(shù)據(jù)統(tǒng)計(jì)

圖9 算法流程圖

(2)傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)模型。由于機(jī)器內(nèi)存的限制，不適合選擇將整個(gè)數(shù)據(jù)集一次性裝進(jìn)內(nèi)存中，運(yùn)用圖像增強(qiáng)的方法，通過Image Data Generator類，利用它無限制地從訓(xùn)練集和測試集中批量導(dǎo)入圖像流，其中很可能會產(chǎn)生模型沒有識別過的圖片，從而提高判斷的準(zhǔn)確率，使得模型的泛化性增強(qiáng)。

首先，需要建立兩個(gè)Image Data Generator對象，訓(xùn)練集為train_set，測試集為test_set，并且對兩者進(jìn)行縮放。同時(shí)，為這兩個(gè)對象創(chuàng)建兩個(gè)文件生成器，通過對圖像數(shù)據(jù)的增強(qiáng)，從而生成批量的圖像數(shù)據(jù)。

接著，建立3個(gè)卷積層連接3個(gè)池化層和2個(gè)全連接層的卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)。這3個(gè)卷積層將分別應(yīng)用64個(gè)3×3的濾波器。其中，在全連接層中使用了dropout，設(shè)定其值為0.2來避免過擬合。卷積神經(jīng)網(wǎng)絡(luò)框架圖，如圖10所示。

圖10 卷積神經(jīng)網(wǎng)絡(luò)框架圖

最后，通過隨機(jī)梯度下降法，進(jìn)行模型優(yōu)化，設(shè)置參數(shù)learning rate為0.01，momentum為0.9。共訓(xùn)練1 344 938次，未訓(xùn)練0次，模型全貌如表8所示。

表8 模型描述

(3)VGG16網(wǎng)絡(luò)模型。運(yùn)用VGG16網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練優(yōu)化，結(jié)構(gòu)如圖11所示，該網(wǎng)絡(luò)有5個(gè)組構(gòu)成，分別為Block1-5，其中Block1-2中只有2個(gè)卷積層，其余的Block2-5每組中含有3個(gè)卷積層，每組卷積層后邊都有一個(gè)池化層，網(wǎng)絡(luò)中所有的卷積層的卷積核皆為3×3，池化層皆為最大池化層。其中，每組特征圖的維度如下，第1組卷積層的維度為64(通道數(shù))×256(圖像高度)×256(圖像寬度)，第2組卷積層的維度為128×128×128，第3組卷積層的維度為256×64×64，第4組卷積層的維度為512×32×32，第5組卷積層的維度為512×16×16，每個(gè)卷積層后最大池化層將卷積輸出的特征圖尺寸減半，第1、2個(gè)全連接層的維度為4 096維，第3個(gè)全連接層的維度為1 000維，經(jīng)過soft-max分類器，其最終得到一個(gè)是與非的二分類預(yù)測值。

Conv為卷積(convolution)；Maxpool為最大池化；Block為用于構(gòu)建網(wǎng)絡(luò)的基本單元，每個(gè)Block包含卷積層、池化層等基本操作；FC為全連接網(wǎng)絡(luò)結(jié)構(gòu)(fully connected)

將陰性與陽性患者的腫瘤圖像作為輸入，經(jīng)過5組的卷積與池化操作提取特征，全連接層將特征組合拼接，soft-max對組合后的特征分類，而患者的陰性與陽性則是分類結(jié)果，并作為網(wǎng)絡(luò)的輸出。

3.3.2 實(shí)驗(yàn)結(jié)果及評價(jià)

選用F-Score方法來評價(jià)分類預(yù)測結(jié)果，測試結(jié)果可按表9分類。

表9 測試結(jié)果

查準(zhǔn)率P(Precision)表示檢測到的結(jié)果準(zhǔn)確度，查準(zhǔn)率越大表示查詢結(jié)果越準(zhǔn)確。

P=A/(A+B)

(17)

查全率R(Recall)表示檢索到的結(jié)果完整度，查全率越大表示查詢結(jié)果越完整。

R=A/(A+B+C)

(18)

式中：A為檢索到完整結(jié)果且完全正確的數(shù)量；B為檢索到完整結(jié)果但結(jié)果并不完全正確的數(shù)量；C為未檢索到完整結(jié)果且屬于正確結(jié)果的數(shù)量。

得到P和R的值，即可運(yùn)用F值(F-Score)對淋巴轉(zhuǎn)移預(yù)測的分類結(jié)果進(jìn)行評估，P和R兩個(gè)指標(biāo)一樣重要，故參數(shù)值取1，可得到表達(dá)式為

F=2PR/(P+R)

(19)

傳統(tǒng)卷積網(wǎng)絡(luò)和VGG16網(wǎng)絡(luò)的準(zhǔn)確率如表10所示，VGG16網(wǎng)絡(luò)的的準(zhǔn)確率為90%，而傳統(tǒng)卷積網(wǎng)絡(luò)的準(zhǔn)確率只有75%。查準(zhǔn)率提升了19.54%，F(xiàn)值高出3.01，如表11所示。

表10 傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)與VGG16網(wǎng)絡(luò)準(zhǔn)確率

表11 淋巴結(jié)轉(zhuǎn)移預(yù)測的評價(jià)結(jié)果

4 結(jié)論

使用機(jī)器學(xué)習(xí)框架PyTorch并按照U-Net卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)建立網(wǎng)絡(luò)模型，判斷CT影像中的直腸區(qū)域是否存在并進(jìn)行目標(biāo)區(qū)域分割，得到直腸區(qū)域分割圖像，方便下一步的特征提取及分析，解決了長期以來醫(yī)生憑借經(jīng)驗(yàn)，花費(fèi)數(shù)小時(shí)觀察CT影像來判斷直腸癌區(qū)域的高強(qiáng)度工作。利用SIFT(尺度不變換特征變換)算法對直腸區(qū)域分割圖像進(jìn)行體素強(qiáng)度、面積、周長、紋理4種影像特征的提取，再通過對直腸區(qū)域4種影像特征的綜合分析對比，實(shí)現(xiàn)了在多張直腸區(qū)域影像中對含有直腸癌細(xì)胞影像的準(zhǔn)確查找。所建立的卷積神經(jīng)VGG16網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練優(yōu)化，得到直腸腫瘤區(qū)影像特征與淋巴結(jié)是否轉(zhuǎn)移的具體關(guān)系，具有高準(zhǔn)確度、普遍性、方便、高效等優(yōu)點(diǎn)，適合推廣到臨床進(jìn)行使用，幫助醫(yī)生判斷患者直腸癌淋巴結(jié)轉(zhuǎn)移的情況，給予患者充分的治療時(shí)間。