計算機輔助多模態融合超聲診斷乳腺良惡性腫瘤

王 彤，何 萍，蘇 暢，崔立剛，林偉軍*，王心怡

(1.中國科學院聲學研究所超聲技術中心，北京 100190；2.中國科學院大學，北京 100049；3.北京大學第三醫院超聲診斷科，北京 100191；4.北京大學腫瘤醫院暨北京市腫瘤防治研究所乳腺中心惡性腫瘤發病機制及轉化研究教育部重點實驗室，北京 100142)

乳腺癌是女性發病率較高的惡性疾病[1]，早期診斷與治療對于提高生存率具有重要意義。傳統乳腺超聲安全性及實效性均較高，已廣泛用于臨床，但操作者依賴性亦較高。乳腺癌等病灶的彈性信息與其生理信息及病理改變密切相關[2]。近年超聲彈性成像技術不斷發展[3]，通過獲取組織彈性信息進行成像，對比度較高，可為早期診斷乳腺腫瘤提供較為準確的依據[4]。另一方面，深度學習(deep learning，DL)在圖像領域中迅速發展[5]，其中卷積神經網絡(convolutional neural network，CNN)可直接學習輸入圖像數據，提取輸入樣本的高層次特征結構，獲得更能代表圖像屬性的相關特征[6]。HAN等[7]通過GoogLeNet卷積神經網絡識別7 408幅超聲乳腺圖像，準確率可達90%。超聲灰階聲像圖所示病灶形態、方位及邊緣等對鑒別診斷乳腺良、惡性腫瘤有一定幫助，而超聲彈性成像提供的腫瘤組織彈性信息可從一定程度上反映組織病變情況。本研究以CNN提取常規超聲與超聲彈性圖像特征，并行多模態融合，評價其診斷乳腺良、惡性腫瘤的性能。

1 設計與方法

1.1 數據 圖像來源于2011年10月—2012年4月309例于北京大學第三醫院經病理證實的女性乳腺腫瘤患者，年齡11～85歲，平均(40.0±19.0)歲；采用Hitachi Vision Preirus/Samsung RS80A超聲診斷儀，線陣探頭，頻率5.0～13.0 MHz，應用應變彈性成像機制，共采集404幅圖像，其中良性腫瘤224幅，惡性腫瘤180幅。

1.2 實驗環境 64位Ubuntu18.04、NVIDIA GeForce GTX 1080顯卡、Intel Core i7-7700 3.6GHz處理器，基于Tensorflow的Keras DL框架。

1.3 單模態分類 采用端到端CNN DenseNet121[8]網絡模型，分別于單模態下行乳腺腫瘤灰階圖像及彈性圖像分類，以圖像為輸入項，通過訓練數據樣本有監督地學習特征后分類，并與其他CNN如VGG16[9]、InceptionV3[10]及Resnet50[11]等進行對比。

1.4 多模態融合

1.4.1 基于灰階圖像與彈性圖像 所獲彈性圖像為在常規灰階圖像上疊加一層超聲彈性彩色圖形成的復合彩色圖像，通過預處理模塊，利用復合圖像的線性疊加關系等單獨提取純彈性圖像。設計多模態融合網絡，利用CNN DenseNet121分別提取灰階圖像和彈性圖像特征，采用直接串聯方式融合其特征，最后利用兩層全連接層進行分類(圖1A)。

圖1 多模態超聲融合模型診斷乳腺良、惡性腫瘤示意圖 A.構建灰階圖像與彈性圖像融合模型；B.構建灰階圖像與彈性比值融合模型

1.4.2 基于灰階圖像與彈性比值 由2名具有5年以上乳腺超聲診斷經驗的超聲科醫師測量并計算彈性圖像中腫瘤區域、周圍腺體或脂肪的應變以及腫瘤區域與周圍乳腺或脂肪組織的應變比，以平均值作為結果。彈性文本數據為附加特征，可直接與灰階圖像特征進行融合(圖1B)。為避免預測結果被部分特征值主導，對彈性比值數據進行歸一化處理并映射到[0,1]區間，標準化公式為：

(1)

原始彈性比值數據為x1,x2,…,xn，假設第i個數據為xi，則其歸一化后的值為yi。

1.5 數據集劃分及擴充 以五折交叉驗證法評估網絡模型的分類效能，隨機將獲取得到的乳腺超聲圖像數據集按3∶1∶1比例分為訓練集、驗證集和測試集。訓練過程中對訓練集數據進行在線數據增強，以解決過擬合問題；考慮到圖像的臨床屬性，僅以縮放、隨機裁剪及水平翻轉方式擴充訓練集數據。

1.6 訓練方法 利用訓練集對模型進行訓練，并以驗證集實時檢驗模型在訓練中的狀態和收斂情況。采用ReduceLROnPlateau函數監控驗證集損失(Loss)優化訓練過程，動態下降學習率。初始學習率設置為0.000 3，以交叉熵(cross entropy)作為目標優化函數。最后以測試集數據評估訓練后模型的診斷效能，取五折測試集結果的平均值為最終結果。

1.7 評估標準 根據敏感度、特異度、準確率及F1值量化評估分類模型的性能。繪制受試者工作特征(receiver operating characteristic，ROC)曲線，計算曲線下面積(area under the curve，AUC)，以進一步評估模型的診斷效能。

2 結果

2.1 單模態分類 4種模型中，DenseNet121模型對于灰階超聲圖像的分類性能最優，其對訓練集的分類準確率達88.05%，敏感度為90.19%，特異度為85.17%；該模型對超聲彈性圖像的分類性能亦最優，準確率、敏感度和特異度分別為92.13%、91.69%和92.63%，且對彈性圖像的分類效果優于灰階圖像。見表1、2。

表1 不同模型基于灰階超聲圖像鑒別乳腺良、惡性腫瘤的效能

表2 不同模型基于超聲彈性圖像鑒別乳腺良、惡性腫瘤的效能

2.2 多模態分類 灰階圖像與彈性圖像、灰階圖像與彈性比值2種融合模型中，前者鑒別乳腺良、惡性腫瘤的性能更優，準確率為93.51%，敏感度為94.88%，特異度為92.25%，AUC達0.975，F1分數為0.931，見圖2及表3。

表3 不同模型鑒別乳腺良、惡性腫瘤

圖2 不同模型鑒別乳腺良惡性腫瘤的ROC曲線

3 討論

計算機輔助超聲診斷乳腺腫瘤是醫學領域研究熱點。本研究采用DL相關方法，利用灰階圖像與超聲彈性信息進行多模態特征融合，以提高診斷能力。超聲設備所顯示的彈性圖是在常規灰階聲像圖上疊加一層超聲彈性彩色圖所形成的復合彩色圖像，其中夾雜B型超聲的灰階明暗信息，可能影響彈性色彩相關特征的表達。本研究利用復合圖像的線性疊加關系及RGB通道映射等關系提取單純超聲彈性圖像，并證實所用方法未損失彩色彈性圖像信息；所利用的彈性信息不僅包括彈性圖像，還包括乳腺腫瘤區域與正常組織的彈性數值比，以直接表達病變組織的彈性信息[12-14]。

本研究多模態融合結果顯示，無論是融合了灰階圖像與彈性比值的模型還是融合了灰階圖像與彈性圖像的模型，其分類表現均優于單獨輸入灰階圖像，證實融合多模態超聲特征對鑒別診斷乳腺良、惡性腫瘤具有較高價值；同時，不同信息融合對于整體分類效果的影響有所不同，灰階圖像與彈性圖像融合模型的分類效果優于灰階圖像與彈性比值融合模型，原因可能在于彈性比值這一特征較超聲彈性圖像以顏色表現整體軟硬程度而言有所欠缺，故其診斷效能雖較單模態超聲灰階圖像有一定提升，但幅度有限。

既往何萍等[12]利用超聲彈性成像輔助進行乳腺影像報告和數據系統(breast imaging reporting and data system，BI-RADS)分類，有助于鑒別診斷乳腺良、惡性腫瘤，但敏感度與特異度偏低；MOON等[15]先分割腫瘤，再結合計算機輔助設計(computer aided design，CAD)剪切波彈性圖像特征(平均組織彈性及像素標準化最小距離)和B型超聲聲像圖的CAD特征(形態和紋理)鑒別良、惡性腫瘤，但敏感度欠佳；SONG等[16]結合超聲灰度圖像與剪切波彈性定性特征(四色模式)和定量特征(彈性均值、彈性最大值、標準差、彈性比值)診斷良、惡性腫瘤，特異度較高，而敏感度和準確率均有限。本研究提出的多模態特征融合方式對超聲診斷乳腺腫瘤的敏感度、特異度及準確率均有所提升。

總之，計算機輔助多模態融合有助于提高超聲對乳腺良、惡性腫瘤的診斷效能。