基于注意力機(jī)制的乳腺X線攝影分類方法

盛龍帥，李 策，李 欣

1.江蘇省社會(huì)安全圖像與視頻理解重點(diǎn)實(shí)驗(yàn)室（南京理工大學(xué)），南京210094

2.中國(guó)礦業(yè)大學(xué)（北京）機(jī)電與信息工程學(xué)院，北京100083

1 引言

隨著環(huán)境日益惡化，癌癥的發(fā)病率也在逐年增加。人們的不規(guī)律作息與飲食習(xí)慣加劇了癌癥的發(fā)生。根據(jù)WHO（世界衛(wèi)生組織）的統(tǒng)計(jì)，2018年全世界共新增癌癥病例8 622 539 例，其中新增乳腺癌病例2 088 849例，占比24.2%，為新增癌癥發(fā)病率最高的種類之一。2018 年中國(guó)新增乳腺癌病例367 900 例，占到新增乳腺癌總數(shù)的17.7%，為全球范圍內(nèi)新增乳腺癌病例最多的國(guó)家。乳腺X線攝影價(jià)格實(shí)惠，易于操作且節(jié)省人力物力，作為40歲以上婦女普查乳腺癌的一種方法，已經(jīng)被廣泛應(yīng)用。乳腺X 線攝影是利用低能量的X 線來(lái)給乳房造影的一種方法，它的目標(biāo)是通過(guò)檢測(cè)乳房是否含有特征性腫塊或者是微鈣化來(lái)判斷乳房的健康程度。乳腺X 線攝影可以檢測(cè)到無(wú)癥狀的患者和臨床觸診也無(wú)法檢測(cè)到的腫瘤，且可以在觸診陽(yáng)性兩年前檢測(cè)到病變。作為目前最好的乳腺癌篩查方法，也是早期發(fā)現(xiàn)乳腺癌最有效的方法[1]，可以顯著降低乳腺癌的死亡率。

2 相關(guān)工作

近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)逐漸運(yùn)用在乳腺癌組織病理圖像的分類上，并且取得了非常好的效果。Dhungel N等[2]提出一種新的網(wǎng)絡(luò)模型先使用手動(dòng)提取的特征預(yù)訓(xùn)練CNN 網(wǎng)絡(luò)，然后使用fine-tune，最后送入隨機(jī)森林中得到整個(gè)模型，在INbreast 數(shù)據(jù)集上，腫塊的檢出率為90%。Zhu W 等[3]設(shè)計(jì)了由多個(gè)卷積層、一個(gè)線性回歸層、一個(gè)排序?qū)雍鸵粋€(gè)多實(shí)例loss 層組成的網(wǎng)絡(luò)結(jié)構(gòu)。在使用ImageNet預(yù)訓(xùn)練的AlexNet網(wǎng)絡(luò)上，使用多實(shí)例學(xué)習(xí)的方法得到INbreast 數(shù)據(jù)集AUC=0.85 的結(jié)果。Domingues I 等[4]使用全卷積的設(shè)計(jì)，將一個(gè)patch 分類器轉(zhuǎn)變成端到端的對(duì)整張圖像的分類器，在VGG16 和RESNET 網(wǎng)絡(luò)上進(jìn)行訓(xùn)練，該方法在DDSM 數(shù)據(jù)集和INbreast 數(shù)據(jù)集上取得的AUC 在0.65～0.97 之間。以上這些方法需要人工手動(dòng)框選出腫塊區(qū)域，對(duì)人力物力的要求很高，且需要一定的醫(yī)學(xué)知識(shí)。另外這些方法使用的預(yù)訓(xùn)練模型也需要大量的乳腺癌醫(yī)學(xué)圖像數(shù)據(jù)，數(shù)據(jù)獲得方式困難，預(yù)訓(xùn)練的過(guò)程不公開(kāi)不透明。

3 注意力記憶網(wǎng)絡(luò)

本文提出注意力記憶網(wǎng)絡(luò)，對(duì)比傳統(tǒng)遷移學(xué)習(xí)，在不經(jīng)過(guò)預(yù)訓(xùn)練[5]的情況下可以在乳腺X線攝影數(shù)據(jù)集上取得更好效果。注意力記憶網(wǎng)絡(luò)包含注意力記憶模塊和卷積殘差模塊，如圖1 所示，O 為經(jīng)過(guò)預(yù)處理的乳腺X 線攝影，將乳腺X 線攝影的RGB 三個(gè)通道分別輸入三個(gè)注意力記憶模塊中，得到O?送入卷積殘差模塊，經(jīng)過(guò)softmax得到預(yù)測(cè)的分類結(jié)果。注意力記憶模塊的注意力模塊提取圖像特征，記憶模塊在RNN網(wǎng)絡(luò)[6]加入注意力權(quán)重來(lái)模擬人對(duì)關(guān)鍵信息的重點(diǎn)突出。將經(jīng)過(guò)注意力記憶模塊處理后的三個(gè)通道送入卷積殘差模塊，卷積殘差模塊通過(guò)卷積神經(jīng)網(wǎng)絡(luò)[7]和殘差單元[8]來(lái)對(duì)乳腺X線攝影進(jìn)行分類。

3.1 注意力機(jī)制

圖1 注意力記憶網(wǎng)絡(luò)結(jié)構(gòu)圖

注意力機(jī)制是指人們?cè)谟^察圖像時(shí)，會(huì)選擇性地觀察所有信息中的突出部分，注意力機(jī)制允許人們將優(yōu)先的資源分配到最重要的部分，只關(guān)注感興趣的區(qū)域。

視覺(jué)的注意力是指在看到一幅圖像時(shí)，人類的眼睛對(duì)于圖像中的特定信息具有更高的敏感度。如圖2 所示，最左邊是一個(gè)包含惡性腫塊的乳腺X 線攝影，人眼在看到圖像的第一時(shí)間就會(huì)注意到圖像中的圓斑，也就是惡性腫塊，這在圖像顏色反轉(zhuǎn)之后更加明顯，掩模中可以清晰地看到惡性腫塊病害區(qū)域。

圖2 注意力機(jī)制

3.2 注意力記憶模塊

注意力記憶模塊通過(guò)BiGRU[9]建立信息，通過(guò)Attention 注意力模塊來(lái)獲取圖像中的關(guān)鍵信息。GRU 是循環(huán)神經(jīng)網(wǎng)絡(luò)的一種變體，將遺忘門(mén)和輸入門(mén)融合成了更新門(mén)。BiGRU 是指雙向GRU，通常在較小的數(shù)據(jù)集上有更好的效果。公式（1）為GRU的公式。

其中，xt是輸入向量，ht是輸出向量，zt是更新門(mén)控向量，rt是重置門(mén)控向量。

注意力記憶模塊中，乳腺X 線攝影的RGB 三個(gè)分量，經(jīng)過(guò)全連接后，送入注意力模塊和記憶模塊。在注意力模塊中，R 分量經(jīng)過(guò)平均池化以及全連接層和Sigmoid 激活函數(shù)提取關(guān)鍵信息得到FA(R)，記憶模塊中R 分量通過(guò)BiGRU 得到FM(R) 。如公式（2），將FA(R)與FM(R)進(jìn)行逐元素相乘運(yùn)算，得到F(R)，注意力記憶模塊輸出

如圖3所示，為注意力記憶模塊的結(jié)構(gòu)。乳腺X線攝影圖像輸入到注意力記憶網(wǎng)絡(luò)后，首先RGB 三個(gè)通道分別通過(guò)注意力記憶模塊進(jìn)行處理，首先是一個(gè)全連接層，參數(shù)通過(guò)記憶模塊的BiGRU進(jìn)行處理，同時(shí)全連接層輸出的參數(shù)也經(jīng)過(guò)注意力模塊進(jìn)行處理。注意力模塊包含了平均池化，之后重復(fù)操作使參數(shù)翻倍，然后是兩個(gè)全連接層，最后使用Sigmoid 激活函數(shù)將輸出的參數(shù)與記憶模塊輸出的參數(shù)一同經(jīng)過(guò)全連接層，通過(guò)處理得到乳腺X 線攝影新的RGB 三個(gè)通道，送到卷積殘差模塊進(jìn)行處理。

3.3 卷積殘差模塊

圖3 注意力記憶模塊

卷積殘差模塊通過(guò)使用BN-ReLU-Conv 的結(jié)構(gòu)作為卷積神經(jīng)網(wǎng)絡(luò)模型來(lái)提取乳腺X 線攝影中的信息F，經(jīng)過(guò)注意力記憶模塊處理后的參數(shù)被傳入到卷積殘差模塊中進(jìn)行進(jìn)一步處理，卷積殘差模塊的具體實(shí)現(xiàn)如圖4。

圖4 卷積殘差模塊

Batch Normalization（BN）層[10]網(wǎng)絡(luò)大小為5×5，64加ReLU激活函數(shù)，再連接卷積層，最后使用Softmax分類器預(yù)測(cè)乳腺X線攝影的類別，見(jiàn)公式（3）。

3.4 注意力記憶網(wǎng)絡(luò)訓(xùn)練

注意力記憶網(wǎng)絡(luò)使用Keras框架[11]開(kāi)發(fā)，TensorFlow[12]作為后端。將注意力記憶模塊中記憶模塊的BiGRU神經(jīng)元個(gè)數(shù)設(shè)為128，其中神經(jīng)元的個(gè)數(shù)是64，雙向GRU神經(jīng)元個(gè)數(shù)翻倍。注意力記憶模塊和卷積殘差模塊的網(wǎng)絡(luò)結(jié)構(gòu)如表1 所示。該網(wǎng)絡(luò)使用SGD 隨機(jī)梯度下降[13]的方法來(lái)完成優(yōu)化訓(xùn)練，其學(xué)習(xí)率設(shè)為0.1，學(xué)習(xí)參數(shù)momentum設(shè)為0.9。

4 實(shí)驗(yàn)與結(jié)果

本文在公開(kāi)數(shù)據(jù)集INbreast 上評(píng)估提出的注意力記憶網(wǎng)絡(luò)方法的性能。實(shí)驗(yàn)基于Keras 實(shí)現(xiàn)，在配置有英特爾酷睿i7-8700K CPU和兩塊英偉達(dá)2080 GPU的PC機(jī)上運(yùn)行。

表1 注意力記憶網(wǎng)絡(luò)結(jié)構(gòu)

4.1 數(shù)據(jù)集描述

INbreast 數(shù)據(jù)集[14]是一個(gè)包含115 個(gè)病例410 張乳腺X 線影像的數(shù)據(jù)集，原始圖像由葡萄牙波爾圖的de S?o Jo?o 醫(yī)院的乳腺中心獲取。INbreast 原始圖像是dicom格式，圖像中背景部分為黑色，造成了很多冗余信息。為了改進(jìn)獲取的數(shù)據(jù)集中的圖像質(zhì)量，對(duì)圖像進(jìn)行Resize[15]。將圖像轉(zhuǎn)換為50×50 大小，同時(shí)去掉圖像中黑色部分，將剩余部分拉伸填充成為一個(gè)新的正方形圖像。卷積神經(jīng)網(wǎng)絡(luò)中輸入圖像的通常是正方形，以便于卷積的運(yùn)算。圖5是Resize操作。

圖5 Resize處理示意圖

4.2 實(shí)驗(yàn)結(jié)果

將Resize處理后的INbreast數(shù)據(jù)集按照BI-RADS評(píng)價(jià)指標(biāo)[16]對(duì)圖像進(jìn)行分類，根據(jù)病變的程度，將BI-RADS ∈{1，2，3}的劃分為良性，將余下的BI-RADS ∈{4，5，6}劃分為惡性腫瘤，一共得到100張惡性腫瘤，以及310張良性。按照0.2 的比例劃分?jǐn)?shù)據(jù)集，將其中的80%劃分為訓(xùn)練集，余下的20%劃分為測(cè)試集，如表2。

表2 INbreast數(shù)據(jù)集中每個(gè)類別乳腺X線攝影的數(shù)量

使用本文提出的注意力記憶網(wǎng)絡(luò)模型對(duì)INbreast數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試。圖像長(zhǎng)寬均為50，注意力記憶模塊中，注意力模塊全局平均池化，第一個(gè)全連接層的激活函數(shù)為ReLU，第二個(gè)的為Sigmoid；記憶模塊BiGRU參數(shù)設(shè)置里Dropout=0.5，與注意力模塊的輸出相乘，再與R 相加得到R?。卷積殘差模塊進(jìn)一步提取深層特征，交叉熵?fù)p失函數(shù)用來(lái)度量預(yù)測(cè)值與label 之間差別。網(wǎng)絡(luò)的batch_size 設(shè)置為32，epoch 設(shè)置為80。80個(gè)epoch 得到的準(zhǔn)確率為84.1%，運(yùn)行時(shí)間為705.85 s。epoch與損失值及準(zhǔn)確率的關(guān)系圖如圖6。

圖6 注意力記憶網(wǎng)絡(luò)的損失值和準(zhǔn)確率曲線

為驗(yàn)證注意力記憶網(wǎng)絡(luò)的運(yùn)行速度及準(zhǔn)確率，對(duì)比實(shí)驗(yàn)使用ImageNet權(quán)重預(yù)訓(xùn)練的Inception v2、ResNet50、VGG16 三種網(wǎng)絡(luò)結(jié)構(gòu)。調(diào)用keras 的applications 中對(duì)應(yīng)的網(wǎng)絡(luò)模型，include_top=False，使用ImageNet權(quán)重后網(wǎng)絡(luò)會(huì)對(duì)1 000 個(gè)類別進(jìn)行分類，因此重新設(shè)計(jì)頂層網(wǎng)絡(luò)結(jié)構(gòu)。使用sequential 模型，添加Flatten 層，參數(shù)為三種網(wǎng)絡(luò)輸入的大小。之后添加全連接層，參數(shù)256，ReLU 激活函數(shù)，Dropout=0.5，忽略掉一半的參數(shù)防止網(wǎng)絡(luò)過(guò)擬合。最后是一個(gè)全連接層，參數(shù)為1，激活函數(shù)使用Sigmoid用來(lái)對(duì)一張乳腺X線攝影進(jìn)行惡性腫瘤或良性的預(yù)測(cè)。在80 個(gè)epoch 后三種網(wǎng)絡(luò)在INbreast 數(shù)據(jù)集上的分類準(zhǔn)確率均為76%左右，運(yùn)行時(shí)間分別為1 328.61 s、1 152.70 s、1 108.49 s，相同epoch的運(yùn)行時(shí)間比注意力記憶網(wǎng)絡(luò)多出50%以上。

與國(guó)內(nèi)外一些研究的網(wǎng)絡(luò)模型相比，可以得到表3中分類準(zhǔn)確率、迭代次數(shù)（epoch）和運(yùn)行時(shí)間的對(duì)比結(jié)果。預(yù)訓(xùn)練的Inceptionv2、ResNet50、VGG16 網(wǎng)絡(luò)準(zhǔn)確率分別為76.3%、76.1%、76.0%，均使用ImageNet 的權(quán)重，因?yàn)镮mageNet數(shù)據(jù)集的圖像多為自然光圖像，與本文研究的X光圖像相差較大，因此準(zhǔn)確率相較無(wú)預(yù)訓(xùn)練的AlexNet 并未有明顯提升。預(yù)訓(xùn)練的AlexNet、CNN網(wǎng)絡(luò)使用在DDSM數(shù)據(jù)集上預(yù)訓(xùn)練得到的權(quán)重，預(yù)訓(xùn)練的CNN 方法還需要使用手工標(biāo)注腫塊信息[2]。DDSM數(shù)據(jù)集是一個(gè)乳腺X線攝影相關(guān)的數(shù)據(jù)集，該數(shù)據(jù)集雖數(shù)據(jù)量極大但獲取困難，文獻(xiàn)[2-3]對(duì)于預(yù)訓(xùn)練的過(guò)程不公開(kāi)不透明，預(yù)訓(xùn)練部分需要消耗大量的時(shí)間。

相比使用ImageNet權(quán)重和DDSM數(shù)據(jù)集預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)等，本文提出的注意力記憶網(wǎng)絡(luò)有如下優(yōu)點(diǎn)：首先，注意力記憶網(wǎng)絡(luò)訓(xùn)練不需要手工手動(dòng)框選腫塊區(qū)域，節(jié)省人力成本；其次，注意力記憶網(wǎng)絡(luò)不需要提前在相關(guān)數(shù)據(jù)集上訓(xùn)練得到權(quán)重，只使用小樣本數(shù)據(jù)集即可達(dá)到很好的效果，在數(shù)據(jù)集獲取日益困難的當(dāng)下節(jié)省研究人員的精力；最后，在相同機(jī)器上執(zhí)行相同迭代次數(shù)，注意力記憶網(wǎng)絡(luò)的運(yùn)行時(shí)間比其他預(yù)訓(xùn)練網(wǎng)絡(luò)的運(yùn)行時(shí)間少50%以上，同時(shí)注意力記憶網(wǎng)絡(luò)的準(zhǔn)確率更高。

表3 INbreast數(shù)據(jù)集上各網(wǎng)絡(luò)模型的對(duì)比

5 總結(jié)

本文提出端到端的注意力記憶網(wǎng)絡(luò)，構(gòu)建了注意力記憶模塊和卷積殘差模塊，在RNN+CNN結(jié)構(gòu)上引入注意力權(quán)重，提取圖像關(guān)鍵信息增強(qiáng)特征描述用于乳腺X線攝影圖像分類。注意力記憶網(wǎng)絡(luò)在不使用預(yù)訓(xùn)練權(quán)重的情況下，可以在醫(yī)學(xué)圖像小數(shù)據(jù)集上得到更高的準(zhǔn)確率，節(jié)省了大量的訓(xùn)練時(shí)間。乳腺X線攝影分類受制于當(dāng)前數(shù)據(jù)集的規(guī)模大小，相信未來(lái)在更大的乳腺X線攝影數(shù)據(jù)集上，本文提出的注意力記憶網(wǎng)絡(luò)將達(dá)到更好的效果。