深度學(xué)習(xí)算法在乳腺腫瘤診斷中的應(yīng)用研究

鄧卓，蘇秉華，張凱

1. 北京理工大學(xué)珠海學(xué)院 光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室，廣東 珠海 519088；2. 北京理工大學(xué)，北京 100081

引言

在醫(yī)療科技發(fā)展迅猛的現(xiàn)如今，人類已經(jīng)掌握了大量疾病的診斷與治療手段，然而對(duì)癌癥的診斷與治療卻依然不夠理想，人們往往談癌色變[1-15]。而在癌癥的發(fā)病率中，乳腺癌一直是位居前列，所以對(duì)乳腺腫瘤的診斷技術(shù)的研究很有必要[9-11]。目前，對(duì)乳腺癌檢測(cè)的研究方法多種多樣，主要有基因檢測(cè)，腫瘤標(biāo)志物檢測(cè)，電磁逆散射等技術(shù)。廣東省醫(yī)學(xué)科學(xué)院的張國(guó)淳等[12]人就提出，基于對(duì)基因檢測(cè)技術(shù)，乳腺癌診斷的臨床決策已經(jīng)比較接近個(gè)體化的精準(zhǔn)治療，但一些基因檢測(cè)在國(guó)內(nèi)尚未獲得批準(zhǔn)且檢測(cè)費(fèi)用較高。對(duì)腫瘤標(biāo)志物檢測(cè)的方法一直以來都是腫瘤檢測(cè)的主要研究方法，針對(duì)乳腺癌的早期診斷，上饒市第四人民醫(yī)院的詹曉虹醫(yī)師[14]根據(jù)臨床數(shù)據(jù)提出CEA，CA19-9，CA15-3等腫瘤標(biāo)志物的聯(lián)合檢測(cè)準(zhǔn)確度達(dá)到91.3%，有助于提高乳腺診斷率。最近，杭州電子科技大學(xué)的徐魁文[13]提出了一種基于電磁逆散射的早期乳腺癌檢測(cè)醫(yī)學(xué)成像方法，在三維空間下基于子空間的優(yōu)化方法實(shí)現(xiàn)對(duì)早期乳腺癌檢測(cè)成像，研究目前尚缺乏臨床實(shí)踐。

在如今的大數(shù)據(jù)時(shí)代，利用現(xiàn)有的醫(yī)療數(shù)據(jù)，并且結(jié)合人工智能的學(xué)習(xí)方法，可以充分發(fā)揮科技對(duì)醫(yī)療進(jìn)步的推動(dòng)作用。人工智能領(lǐng)域中的深度學(xué)習(xí)方法在如今生活中的很多領(lǐng)域中已經(jīng)得到廣泛應(yīng)用，且效果令人滿意，目前，人工智能領(lǐng)域與醫(yī)療服務(wù)領(lǐng)域的結(jié)合探究還處于研究發(fā)展階段。深圳大學(xué)的肖煥輝等[16]人基于深度學(xué)習(xí)的癌癥計(jì)算機(jī)輔助分類診斷技術(shù)，提出基于深度學(xué)習(xí)的圖像分類技術(shù)已經(jīng)在癌癥的計(jì)算機(jī)輔助檢測(cè)研究中具有良好表現(xiàn)并呈現(xiàn)出巨大潛力，有望在將來應(yīng)用臨床實(shí)踐，提高臨床診斷水平。中南大學(xué)的安瑩博士等[17]人提出了基于深度學(xué)習(xí)的心血管疾病風(fēng)險(xiǎn)預(yù)測(cè)模型，應(yīng)用電子病例與循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）等深度學(xué)習(xí)方法預(yù)測(cè)心血管疾病風(fēng)險(xiǎn)，并取得了較好的實(shí)驗(yàn)結(jié)果。

本項(xiàng)目利用人工智能方法與醫(yī)療服務(wù)技術(shù)相結(jié)合，探索應(yīng)用深度學(xué)習(xí)的三種網(wǎng)絡(luò)結(jié)構(gòu)對(duì)乳腺癌腫瘤診斷的實(shí)驗(yàn)研究，希望推動(dòng)技術(shù)與醫(yī)療相結(jié)合的研究發(fā)展，提高醫(yī)療診斷水平。

1 驗(yàn)數(shù)據(jù)與訓(xùn)練模型

1.1 實(shí)驗(yàn)數(shù)據(jù)

本次實(shí)驗(yàn)采用的數(shù)據(jù)是美國(guó)威斯康星大學(xué)提供的人體乳腺腫瘤數(shù)據(jù)樣本[3-4]，每個(gè)樣本都有11 個(gè)屬性，其樣本數(shù)據(jù)如表1 所示，九項(xiàng)醫(yī)學(xué)數(shù)據(jù)為樣本的實(shí)際特征值，腫瘤性質(zhì)為實(shí)驗(yàn)標(biāo)簽，2 代表良性，4 代表惡性。樣本總共有699 個(gè)數(shù)據(jù)，排除有缺失數(shù)據(jù)剩余683 個(gè)合格實(shí)驗(yàn)數(shù)據(jù)，其中正樣本（良性腫瘤）有444 個(gè)，負(fù)樣本（惡性腫瘤）有239 個(gè)。本項(xiàng)目即以此數(shù)據(jù)集為實(shí)驗(yàn)樣本，對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，其中數(shù)據(jù)的70%為訓(xùn)練樣本集，30%為測(cè)試樣本集。

1.2 訓(xùn)練模型

在人工智能領(lǐng)域中，應(yīng)用最廣且效果最好的就是深度學(xué)習(xí)模型的應(yīng)用[5,7-8]。目前深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network，DNN）模型主要應(yīng)用于非線性分類問題，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）主要用于圖像分類及人臉識(shí)別等領(lǐng)域，循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）主要應(yīng)用與語音識(shí)別以及自然語言處理等領(lǐng)域[6]。本項(xiàng)目應(yīng)用此三種模型對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練并分析。

1.2.1 深度神經(jīng)網(wǎng)絡(luò)

深度學(xué)習(xí)的研究最早是由神經(jīng)網(wǎng)絡(luò)的感知機(jī)發(fā)展而來，而DNN 可以理解為有多個(gè)隱藏層，因此也叫多層感知機(jī)。其結(jié)構(gòu)如圖1 所示。

圖1 DNN結(jié)構(gòu)

如圖2 所示，網(wǎng)絡(luò)包括輸入層、隱藏層與輸出層，層與層之間是全連接的，也就是說，第i 層的任意一個(gè)神經(jīng)元與第i+1 層的任意一個(gè)神經(jīng)元都相連接。雖然DNN 看起來很復(fù)雜，但從小的局部模型來看，還是和感知機(jī)一樣，即由一個(gè)線性關(guān)系和一個(gè)激活函數(shù)所組成。

現(xiàn)實(shí)生活中的許多分類問題都是屬于非線性分類，所以在實(shí)際生活中對(duì)于DNN 的分類應(yīng)用比較廣泛，但目前還沒有研究人員利用活體乳腺組織的細(xì)胞特性作為特征并利用兩層DNN 做分類研究。

圖2 本項(xiàng)目的DNN模型

本項(xiàng)目采用了兩個(gè)隱藏層，其中輸入有9 個(gè)特征值，第一個(gè)隱藏層包含了54 個(gè)神經(jīng)元，第二個(gè)隱藏層包含了27 個(gè)神經(jīng)元，輸出是二分類。此項(xiàng)目的DNN 通過Tensorboard 庫功能可視化如圖2 所示。數(shù)據(jù)通過input 層流入，經(jīng)過layer1 的線性回歸與sigmoid 激活和layer2 的線性回歸與sigmoid 激活得到輸出，通過對(duì)輸出與input 的交叉熵運(yùn)算得到loss 損失值，再經(jīng)過最小梯度訓(xùn)練train 層優(yōu)化layer 層的內(nèi)部參數(shù)w1、w2、b1和b2。其中隱藏層的運(yùn)算函數(shù)包括兩部分，一個(gè)是線性回歸方程見公式(1)。

一個(gè)是sigmoid 激活函數(shù)，見公式(2)。

表1 乳腺腫瘤數(shù)據(jù)集

sigmoid 函數(shù)如圖3 所示，橫坐標(biāo)是輸入自變量x，縱坐標(biāo)是激活輸出因變量s，函數(shù)可以將實(shí)數(shù)集映射到（0，1）區(qū)間，因其處處連續(xù)，便于求導(dǎo)，所以經(jīng)常用在神經(jīng)網(wǎng)絡(luò)中，以0.5 為分界值，處理二分類問題。

圖3 sigmoid函數(shù)

1.2.2 卷積神經(jīng)網(wǎng)絡(luò)

CNN 是一類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，是深度學(xué)習(xí)的代表算法之一，CNN 目前廣泛應(yīng)用于圖像識(shí)別領(lǐng)域，模型結(jié)構(gòu)如圖4 所示。

圖4 DNN結(jié)構(gòu)

卷積網(wǎng)絡(luò)最顯著的特點(diǎn)就是通過其隱藏層中的卷積層和池化層對(duì)輸入的數(shù)據(jù)進(jìn)行特征提取，卷積層對(duì)輸入數(shù)據(jù)與卷積核進(jìn)行卷積操作，提取多種特征，再通過池化層對(duì)數(shù)據(jù)進(jìn)行降維，再通過激活函數(shù)提高非線性程度，通過多層卷積池化與激活操作，最終通過全連接層輸出。

CNN 具有較強(qiáng)的特征提取功能，所以目前在圖像識(shí)別方面應(yīng)用效果較好，甚至已經(jīng)超出人類對(duì)圖像的識(shí)別能力。所以目前對(duì)CNN 應(yīng)用的研究大部分是對(duì)圖像的識(shí)別與處理，只有少部分研究是對(duì)數(shù)據(jù)的分類，而對(duì)醫(yī)療數(shù)據(jù)應(yīng)用CNN 的研究更鮮有人研究嘗試。

本項(xiàng)目采用了兩個(gè)隱藏層，實(shí)驗(yàn)輸入數(shù)據(jù)為3×3，通道數(shù)為1，第一個(gè)隱藏層中卷積核大小為1×1，總共64 個(gè)卷積核，卷積步長(zhǎng)為1，池化層中核大小為2×2，步長(zhǎng)為1；第二個(gè)隱藏層中，卷積核大小為1×1，總共128 個(gè)通道，步長(zhǎng)為1，池化層中核大小為2×2，步長(zhǎng)為1，激活函數(shù)全為Relu 函數(shù)，以防止出現(xiàn)梯度消失問題，最終通過兩層全連接層輸出。此網(wǎng)絡(luò)通過Tensorboard 庫功能，可視化后如圖5 所示。其中Relu 函數(shù)見公式(3)。

Relu 激活函數(shù)（修正線性單元）如圖6 所示，橫坐標(biāo)是自變量x，縱坐標(biāo)是y，當(dāng)輸入的x值小于0 時(shí)，輸出為0，當(dāng)輸入的x大于0 時(shí)，輸出為x。該激活函數(shù)可以使神經(jīng)網(wǎng)絡(luò)更快地收斂，并且可以對(duì)抗梯度消失問題，因此神經(jīng)元至少在一半?yún)^(qū)域中不會(huì)把所有零進(jìn)行反向傳播。由于使用了簡(jiǎn)單的閾值化，Relu 函數(shù)計(jì)算效率很高。

圖5 本項(xiàng)目的CNN網(wǎng)絡(luò)模型

圖6 Relu函數(shù)

數(shù)據(jù)通過輸入層依次流入兩個(gè)隱藏層，通過卷積層和池化層化以及Relu 激活操作和全連接層輸出，并通過對(duì)輸出與輸入的交叉熵運(yùn)算得到loss 損失，再經(jīng)過最小梯度訓(xùn)練train 層優(yōu)化參數(shù)。本項(xiàng)目為了防止過擬合對(duì)網(wǎng)絡(luò)采用了dropout 為0.7 的隨機(jī)失活操作。

1.2.3 循環(huán)神經(jīng)網(wǎng)絡(luò)

RNN 的輸入是一類有序列的數(shù)據(jù)，在序列數(shù)據(jù)的前進(jìn)方向上進(jìn)行信息傳遞且所有節(jié)點(diǎn)即循環(huán)單元按照鏈?zhǔn)竭B接，目前此網(wǎng)絡(luò)被廣泛應(yīng)用于語音識(shí)別與自然語言處理領(lǐng)域，網(wǎng)絡(luò)模型結(jié)構(gòu)如圖7 所示。

圖7 RNN結(jié)構(gòu)

目前在RNN 的應(yīng)用中，最主要的特點(diǎn)就是其長(zhǎng)短期記 憶 網(wǎng) 絡(luò)（Long Short-Term Memory Network，LSTM）。LSTM 是最早被提出的RNN 門控算法，LSTM 網(wǎng)絡(luò)包括了三個(gè)門控單元：輸入門、遺忘門和輸出門。三個(gè)門控在LSTM 網(wǎng)絡(luò)中形成了狀態(tài)自循環(huán)。具體地說，輸入門決定了當(dāng)前時(shí)間的輸入，以及前一段時(shí)間的系統(tǒng)對(duì)內(nèi)部狀態(tài)的更新；遺忘門決定了前面所有時(shí)間段的狀態(tài)對(duì)當(dāng)前時(shí)間段內(nèi)部狀態(tài)的更新；輸出門決定了內(nèi)部狀態(tài)對(duì)系統(tǒng)狀態(tài)的更新，見公式(4～8)。

RNN 因?yàn)槠洫?dú)特的長(zhǎng)短記憶功能，對(duì)語言的處理效果好。偶爾也有人會(huì)將其應(yīng)用于圖像分類，但與醫(yī)療領(lǐng)域結(jié)合的實(shí)驗(yàn)研究很少有人嘗試。

在本項(xiàng)目中采用了輸入數(shù)據(jù)為1 個(gè)，對(duì)于每9 個(gè)輸入數(shù)據(jù)，采用LSTM 網(wǎng)絡(luò)進(jìn)行訓(xùn)練，此網(wǎng)絡(luò)通過Tensorboard庫功能可視化如圖8 所示。

圖8 本項(xiàng)目的RNN網(wǎng)絡(luò)模型

2 模型結(jié)果分析

本項(xiàng)目應(yīng)用人體乳腺腫瘤組織切片的9 個(gè)形態(tài)特征作為數(shù)據(jù)標(biāo)簽，對(duì)乳腺腫瘤的良性與惡性進(jìn)行分類，并利用所開發(fā)的三種深度學(xué)習(xí)網(wǎng)絡(luò)模型進(jìn)行模型訓(xùn)練與測(cè)試。通過比較三種網(wǎng)絡(luò)的測(cè)試穩(wěn)定性與準(zhǔn)確度，希望篩選出最佳的乳腺腫瘤診斷網(wǎng)絡(luò)模型。

本項(xiàng)目的模型訓(xùn)練過程使用數(shù)據(jù)庫的70%數(shù)據(jù)作為訓(xùn)練集訓(xùn)練模型參數(shù)，通過多次的超參數(shù)調(diào)優(yōu)，優(yōu)化網(wǎng)絡(luò)模型結(jié)構(gòu)。余下的30%的數(shù)據(jù)作為測(cè)試集驗(yàn)證模型準(zhǔn)確度。為了提高模型運(yùn)算效率，本項(xiàng)目采用批量訓(xùn)練方式，每一批（mini-batch）數(shù)據(jù)為25 個(gè)樣本輸入網(wǎng)絡(luò)，進(jìn)行網(wǎng)絡(luò)訓(xùn)練。訓(xùn)練結(jié)果如圖9 所示，曲線的橫坐標(biāo)代表了模型的訓(xùn)練次數(shù)，每小格代表模型訓(xùn)練一次，縱坐標(biāo)是模型預(yù)測(cè)結(jié)果的交叉熵?fù)p失值，損失值loss 是訓(xùn)練過程中，預(yù)測(cè)值與真實(shí)值的交叉熵函數(shù)，曲線圖的橫坐標(biāo)代表了模型的訓(xùn)練次數(shù)，縱軸坐標(biāo)代表了模型的交叉熵?fù)p失值，體現(xiàn)了學(xué)習(xí)過程中的誤差大小，用于反向傳播更新模型參數(shù)值，使模型更加準(zhǔn)確。

圖9 損失值Loss

從圖9曲線中可看出，RNN損失值下降最快且接近于0，并且網(wǎng)絡(luò)穩(wěn)定；CNN 下降也很快但網(wǎng)絡(luò)波動(dòng)太大，即網(wǎng)絡(luò)不穩(wěn)定；DNN 下降最慢，學(xué)習(xí)效率低。

然后，再用測(cè)試集數(shù)據(jù)導(dǎo)入前述三個(gè)數(shù)學(xué)模型，觀察比較各模型對(duì)于測(cè)試數(shù)據(jù)的預(yù)測(cè)準(zhǔn)確度，分別得到三個(gè)網(wǎng)絡(luò)的準(zhǔn)確度曲線，如圖10 所示。曲線圖的橫坐標(biāo)代表模型的訓(xùn)練次數(shù)，縱軸坐標(biāo)代表了測(cè)試集數(shù)據(jù)在模型中的預(yù)測(cè)準(zhǔn)確度，體現(xiàn)了模型預(yù)測(cè)的精度。

從圖10 曲線中可看出，三個(gè)網(wǎng)絡(luò)的準(zhǔn)確度都趨近于1，其中RNN 的測(cè)試結(jié)果更優(yōu)于DNN 與CNN，DNN 訓(xùn)練效率最低。

網(wǎng)絡(luò)模型結(jié)構(gòu)與結(jié)果對(duì)照表如表2 所示，DNN 與CNN 都是有兩個(gè)中間層，三個(gè)網(wǎng)絡(luò)的epoch 都是5，網(wǎng)絡(luò)的反向傳播都是利用交叉熵?fù)p失函數(shù)和最小梯度下降法，網(wǎng)絡(luò)前向傳播結(jié)構(gòu)與部分參數(shù)如表所示。利用測(cè)試集數(shù)據(jù)對(duì)網(wǎng)絡(luò)測(cè)試的損失值與準(zhǔn)確度如表所示，由表2 的對(duì)照結(jié)果可以看出，RNN 模型更加符合實(shí)際情況。

圖10 準(zhǔn)確度accuracy

表2 網(wǎng)絡(luò)模型結(jié)構(gòu)與結(jié)果對(duì)照表

因此，本項(xiàng)目開發(fā)的RNN 模型更適合于乳腺腫瘤良性與惡性之間的分辨，且準(zhǔn)確率趨于百分之百，可進(jìn)一步推廣到實(shí)際應(yīng)用中，輔助臨床醫(yī)師對(duì)乳腺腫瘤的診斷。

3 結(jié)論

深度學(xué)習(xí)是目前應(yīng)用前景較好的研究方向，因其實(shí)驗(yàn)效果準(zhǔn)確率較高，所以已經(jīng)在實(shí)際生活中有很多應(yīng)用，但與醫(yī)療領(lǐng)域結(jié)合的實(shí)驗(yàn)研究較少。本項(xiàng)目將深度學(xué)習(xí)應(yīng)用于人體乳腺腫瘤分類，希望利用深度學(xué)習(xí)技術(shù)與醫(yī)療領(lǐng)域的結(jié)合，加快深度學(xué)習(xí)技術(shù)在醫(yī)療領(lǐng)域的實(shí)際應(yīng)用研究，利用人工智能方法提高醫(yī)療診斷水平，推動(dòng)醫(yī)療技術(shù)發(fā)展。

本文采用真實(shí)的人體乳腺腫瘤組織臨床數(shù)據(jù)，將數(shù)據(jù)用于深度學(xué)習(xí)的三個(gè)基本網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，均得到了良好的實(shí)驗(yàn)效果，并且RNN 的測(cè)試準(zhǔn)確度接近于1，可以以較高的準(zhǔn)確度判別出乳腺腫瘤的良性與惡性病理狀態(tài)。依據(jù)本項(xiàng)目研究成果，深度學(xué)習(xí)網(wǎng)絡(luò)技術(shù)可推廣到臨床乳腺癌診斷中，用于提高醫(yī)師的診斷效率與準(zhǔn)確率，幫助更多的人早期檢查出疾病并及早得到有效治療。