基于跨模態注意力機制特征B型超聲與彈性超聲融合模塊聯合診斷乳腺良、惡性腫瘤

王 彤，蘇 暢，何 萍，王心怡，崔立剛，林偉軍

(1.中國科學院聲學研究所超聲學實驗室，北京 100190；2.中國科學院大學電子電氣與通訊工程學院，北京 100049；3.北京大學第三醫院超聲診斷科，北京 100191；4.北京大學腫瘤醫院 北京市腫瘤防治研究所乳腺中心惡性腫瘤發病機制及轉化研究教育部重點實驗室，北京 100142)

乳腺癌為女性發病率較高的惡性腫瘤[1]，影像學檢查為常用早期診斷方法。乳腺超聲(breast ultrasound, BUS)安全性和實效性均較佳，是早期篩查乳腺疾病的重要影像學手段。超聲彈性成像主要通過獲取組織彈性信息進行成像，近年逐漸用于診斷乳腺疾病[2]。有學者[3]基于深度學習相關算法將超聲彈性圖像與B型圖像(即灰階圖像)模態信息相結合，據此判斷乳腺腫瘤的性質，且直接串聯融合二者的多模態特征的效果較佳[4]。本研究對提取超聲圖像的網絡加以改進，設計跨模態注意力機制特征融合模塊，以融合B型超聲圖像與彈性超聲圖像，并觀察其診斷乳腺良、惡性腫瘤的價值。

1 資料與方法

1.1 一般資料 收集2011年10月23日—2012年4月6日及2019年1月—9月北京大學第三醫院接受常規超聲檢查及超聲彈性成像的371例女性乳腺腫瘤患者，年齡11～85歲，平均(39.0±22.0)歲；共466處乳腺病灶，包括良性230處、惡性236處病灶。納入標準：①超聲聲像圖清晰、完整顯示腫瘤；②病理學資料完整。

1.2 儀器與方法 采用Hitachi Vision Preirus/Samsung RS80A 超聲診斷儀，頻率5.0～13.0 MHz的L5-13/L4-18探頭，均具備應變彈性成像能力[5]。囑患者仰臥，多切面掃查雙側乳腺各象限并重點觀察病灶，獲取其灰階圖像及彈性圖像。之后按3∶1∶1將466組病灶圖像分為訓練集(n=280)、驗證集(n=93)及測試集(n=93)，并盡量使每組數據集中乳腺良、惡性腫瘤占比約為1∶1。

1.3 網絡模型 采用卷積神經網絡分支模型分別提取B型超聲圖像和彈性超聲圖像的特征，之后以基于跨模態注意力機制的多模態特征融合網絡進行特征融合，整體結構見圖1。

圖1 基于跨模態注意力機制的多模態特征融合網絡示意圖

1.3.1 特征提取網絡 提取特征過程中，在DenseNet模型[6]基礎上增加卷積塊注意力模塊(convolutional block attention module, CBAM，圖2)[7]，即將CBAM添加到DenseNet第一層卷積層，以突出學習灰階圖像的底層特征；見圖3。訓練過程中均采用預訓練模型參數提取網絡。

圖2 CBAM

圖3 基于B型圖像的改進DenseNet模型

1.3.2 多模態特征融合網絡 參考SE模塊(squeeze-and-excitation module)[8]，采用跨模態注意力機制的特征融合方式(圖4)，根據全局信息調整不同特征通道的權值，以實現特征通道的自適應校準，并突出兩模態間的重要特征。輸入B型超聲圖像和彈性超聲圖像分別經卷積神經網絡分支提取特征后，采用跨模態注意力機制特征融合方法加以融合，并以尾端兩層全連接層為分類器；見圖5。

圖4 跨模態注意力機制模塊結構圖 圖5 基于跨模態注意力特征融合的整體模型結構

1.4 訓練環境 在python3.7的Keras環境下，采用64位Ubuntu18.04操作系統，以TensorFlow為后端；以交叉熵(cross entropy)為目標優化函數、Adam為優化器，采用ReduceLROnPlateau監控驗證集loss以調整學習率，設置初始學習率為0.000 3，batch size為32。

1.5 評價 采用Python 3.7軟件。繪制受試者工作特征(receiver operating characteristic, ROC)曲線，計算曲線下面積(area under the curve, AUC)。

2 結果

2.1 特征提取網絡 改進后的DenseNet用于B型超聲診斷乳腺良、惡性腫瘤的準確率為88.43%，敏感度為88.96%，特異度為87.31%，效能略優于改進前。見圖6及表1。

表1 B型超聲基于改進與未改進DenseNet121模型診斷乳腺良、惡性腫瘤的效能

2.2 多模態特征融合網絡 基于跨模態注意機制特征融合的B型超聲與彈性超聲診斷乳腺良、惡性腫瘤的準確率為94.23%，敏感度為95.11%，特異度為93.28%，效能優于決策加權融合模型、直接串聯融合模型及單模態模型。見表2。

表2 B型超聲與彈性超聲基于不同模型診斷乳腺良、惡性腫瘤的效能

3 討論

本研究主要觀察B型超聲圖像與彈性超聲圖像聯合判斷乳腺腫瘤良、惡性的效能，并對單模態特征提取網絡及多模態特征融合方式加以改進。既往研究[4]表明，B型超聲基于計算機診斷乳腺良、惡性腫瘤的效能低于彈性超聲。為此，本研究針對B型超聲圖像特性及相應臨床表現設計了改進DenseNet模型，旨在使該模型網絡能更準確可靠地提取圖像中的腫瘤特征信息；而彈性超聲圖像具有較高的對比度，且展現信息簡單、直觀，基于普通DenseNet121模型即可提取其特征，故未予以改進。

乳腺良、惡性腫瘤并非均具備典型表現，如本組B型超聲發現多例良性腫瘤形狀不規則、邊界不清晰且無完整包膜等。基于單模態B型超聲圖像診斷乳腺良、惡性腫瘤時，改進后的DenseNet121僅有助于區分典型良、惡性表現，故本研究將改進后的DenseNet121用于B型超聲診斷乳腺良、惡性腫瘤的效能僅略優于改進前。

MISRA等[9]將超聲B模式與應變彈性成像融合，利用AlexNet和ResNet進行特征提取、添加分類層而形成集成模型，其對乳腺癌進行分類的準確率、敏感度及特異度分別為90.00%、88.89%及91.10%。DING等[10]開發了雙通道ResNet-GAP網絡，基于此將B型超聲與彈性超聲相結合，其對乳腺癌進行分類的準確率、敏感度、特異度及AUC分別為88.60%、95.30%、84.60%及0.936。LIAO等[11]利用卷積神經網絡VGG19提取B型超聲圖像及彈性超聲圖像特征，并將二者結合用于判斷乳腺良、惡性腫瘤，其準確率、敏感度、特異度及AUC分別為92.95%、91.39%、94.71%及0.98。上述研究所用多模態特征融合方式多為直接串聯融合，未充分考慮不同模態的特征及其相關性，而合理、高效地融合多模態信息十分重要。本研究對特征提取及特征融合進行了有針對性的改進，提出跨模態注意力機制的特征融合模塊，以更加突出2種模態的重要特征，從而在一定程度上增強特征的表征能力；基于此，本組B型超聲與彈性超聲診斷乳腺良、惡性腫瘤的準確率為94.23%、敏感度為95.11%、特異度為93.28%、AUC為0.98，表明其效能優于決策加權融合模型、直接串聯融合模型及單模態模型。

綜上所述，基于本研究提出的跨模態注意力機制特征融合模塊可在一定程度上提高B型超聲與彈性超聲聯合診斷乳腺良、惡性腫瘤的效能。但本研究樣本量不足，有待后續擴大樣本量后進一步加以完善。