改進Xception模型的乳腺鉬靶圖像識別研究

李錦通，安建成，王 悅，曹 銳

(太原理工大學 軟件學院，太原 030600)

0 引言

世界衛生組織國際癌癥研究機構發布了2020年全球最新癌癥數據[1]，數據顯示乳腺癌成為全球發病率最高的癌癥。2022年1月12日，美國癌癥協會公布了最新一期的《2022年度癌癥統計報告》預測2022年女性癌癥發病率中乳腺癌發病率為31%，在女性所有癌癥中占比最高，預測病死率中乳腺癌占比15%，占比第二位，僅次于肺癌[2]。而且，在我國乳腺癌的發病率位居女性癌癥發病率第1位,病死率位居第2位[3]。

乳腺X線攝影(乳腺鉬靶成像)技術作為一種無創、微輻射的檢查手段[4]，是所有乳腺檢查影像技術中最有效、最被廣泛接受的方法，也是世界公認的乳腺癌檢測標準工具之一。特別是隨著乳腺X線攝影技術的廣泛應用，可以早期發現無癥狀隱匿的乳腺癌，大大降低了乳腺癌死亡率[5]。一般情況下，放射科醫師需要結合乳腺鉬靶圖像的各種特點和豐富的臨床經驗進行診斷。然而，基于人工篩查診斷的方法極其依賴放射科醫師的臨床經驗，而且受到長時間工作產生視覺疲勞、專注度下降及圖像清晰度差等因素影響，可能會發生誤診、漏診等情況。

在過去的幾十年里，計算機輔助診斷(CAD,computer aided diagnosis)技術一直是研究的一個主要領域。CAD使用機器學習方法分析成像或非成像患者數據，并對患者的病情進行評估，這些評估可用于協助臨床醫生進行診斷決策[6]。相關研究表明，計算機輔助診斷技術可以有效提高臨床診斷效率，降低誤診率，減輕患者的負擔[7]。目前，在許多醫療機構中，計算機輔助診斷系統已經作為醫生的參考，應用于臨床診斷[8]。

傳統的計算機輔助診斷基本是半自動的，首先由人工提取圖像中的可疑區域，然后利用機器學習的方法提取特征，最后送入到例如K近鄰算法[9]、支持向量機[10]、多層感知機[11]等算法中進行分類。然而傳統的機器學習方法不僅耗時費力，而且不易提取高質量的特征圖像，很大影響它在實際工程中的應用。近年來，隨著卷積神經網絡的發展，深度學習技術成功推動了新的研究和發展方向，提高了計算機輔助診斷系統的性能，并開發CAD用于許多其他復雜的臨床任務[12]。

目前，越來越多的學者使用卷積神經網絡對乳腺癌圖像自動分類的任務展開了廣泛的研究。Sahine等[13]設計了一個三層的卷積神經網絡實現對乳腺鉬靶圖像的腫塊和正常組織的分類，對168張腫塊圖像和504張正常圖像分類時ROC曲線下的面積(AUC，area under ROC curve)達到0.87，表明將卷積神經網絡運用到乳腺鉬靶圖像分類的有效性。Kooi等[14]提出了一個類似于VGG模型結構的卷積神經網絡作為特征提取器，對乳腺腫塊良惡性二分類，AUC達到0.8，表明卷積神經網絡在乳腺腫塊良惡性分類任務上具有很大潛力。許文慧等[15]提出了一種將注意力機制與殘差網絡 ResNet50模型相結合的方法，在局部乳腺腫塊切片數據集和全局乳腺鉬靶數據集上的AUC分別達到0.860 7和0.808 1。Chougrad等[16]遷移學習VGG-16、ResNet50和InceptionV3模型利用不同微調策略，通過大量實驗在DDSM數據集上獲得了97.35%的準確率和0.98的AUC，表明利用遷移學習可以有效提高乳腺癌圖像分類的準確率。Zhang等[17]從兩個視圖提取乳腺X線圖像特征，并在DenseNet模型上添加基于通道和空間的注意力機制，在DDSM數據庫上獲得正常圖像和異常腫塊圖像分類的準確率、敏感性和AUC值分別為94.92%、96.52%、94.72%；良惡性分類的準確率、敏感性和AUC值分別為95.24%、96.11%和95.03%。

目前，基于卷積神經網絡的乳腺癌圖像識別方法研究中，大多數方法通過空間相關性和通道相關性的聯合映射，主要依靠改進網絡的深度或利用多尺度卷積來提高網絡的分類性能，忽略了特征通道的重要性。本研究通過空間相關性和通道相關性分開映射，改進Xception模型中的殘差連接模塊來防止模型丟失一些重要的特征信息，并添加SE注意力機制使網絡可以自注意每個特征通道的信息，來達到更好的分類效果。

乳腺鉬靶圖像識別的難點在于乳腺腫塊的輪廓、形狀和紋理細節都比較單一，且腫塊邊緣模糊，良性腫塊與惡性腫塊的特征差異較小。為了提高分類精度，有必要強調圖像的細節和更多的局部信息，首先改進了Xception模型的殘差連接模塊，使網絡在特征提取階段可以保存更多的有用信息；然后在深度可分離卷積層后嵌入SE注意力機制模塊提出最終的Xception-C模型來解決這個問題。Xception-C模型不僅可以提取更多的乳腺鉬靶圖像深層和細節特征信息，而且能實現卷積操作提取特征過程中的特征重標定。此外，為了避免因乳腺癌圖像難以收集導致實驗數據集較少，訓練過程中易出現過擬合的問題，提出了優化全連接層分類器的方法。

1 相關工作

1.1 Xception模型

Xception[18]是谷歌公司提出的對Inception-V3模型的改進版本。該模型主要由深度可分離卷積和殘差連接網絡結構組成，深度可分離卷積可獨立查看跨通道相關性和空間相關性，使卷積過程更輕松、更高效，與標準的卷積操作相比，減少了參數數量和運算成本；殘差連接網絡通過直接將輸入信息繞道傳到輸出，保護信息的完整性，減少卷積操作在信息傳遞時信息丟失、損耗的問題，同時有效避免了梯度消失或梯度爆炸的問題，可以訓練很深的卷積神經網絡。

通常的卷積操作將特征圖的通道相關性與空間相關性一起處理，而Xception模型的作者考慮解耦通道相關性與空間相關性，通過不斷簡化Inception-V3模塊，最終推導出深度可分離卷積。深度可分離卷積的步驟可分為兩步實現：1)Depthwise Convolution，即逐通道卷積，對輸入特征圖的每個通道分別進行3*3卷積操作，并通過concat操作將結果合并；2)Pointwise Convolution，即逐點卷積，將逐通道卷積后的結果進行1*1卷積操作。深度可分離卷積不僅處理空間維度，還處理深度維度的數量，它可以在不降低準確率的前提下大大減少了模型的復雜度和計算量。

圖1為Xception模型的網絡結構圖，被分為輸入層、中間層和輸出層三部分，它一共包含36個卷積層，被構造為14個模塊，除了第一個和最后一個模塊外，所有這些模塊周圍都具有線性殘差連接[19]。采用深度可分離卷積不僅可以加快模型的訓練速度，還可以減少卷積神經網絡的參數量。但是由于Xception模型增加了網絡的寬度，使得其參數數量與Inception-V3模型差不多。但與Inception-V3模型相比，在ImageNet數據集上的實驗結果，Xception模型的準確率更高，且收斂速度更快。

圖1 Xception模型的網絡結構圖

1.2 SE-Net模型

SE-Net(squeeze-and-excitation networks)模型是由Momenta研發工程師Hu等[20]提出，它由一系列SE模塊組成，每個模塊由5個連續操作的組合函數組成，分別為一個全局池化層，一個全連接層，一個ReLU函數，一個全連接層，一個Sigmoid函數。圖2為SE模塊的結構圖，主要包含壓縮(Squeeze)、激勵(Excitation)和重標定(Reweight)3個步驟。

圖2 SE模塊結構圖

Squeeze：順著空間維度進行特征壓縮，將k個二維的特征圖變成一個實數，得到包含k個實數的一維特征向量，其計算公式如下：

(1)

其中：Fsq(*)為Squeeze函數，H與W分別為特征圖的寬和高，uk(i,j)為特征圖在坐標位置(i,j)處的取值。

Fex(z,W)=σ(W2δ(W1z))

(2)

Reweight：將激勵步驟輸出的權重通過乘法加權到每個特征通道上，實現在通道維度上的對原始特征進行重標定，公式如下：

Fscale(uk,sk)=uk×sk

(3)

其中:Fscale(*)為Reweight函數，Sk為第k個特征圖的權重值。

由上述描述可以得知SE模塊構造非常簡單，幾乎可以嵌入到所有的網絡結構中，不需要引入新的函數或者層。在卷積層后嵌入SE模塊，經過壓縮、激勵和重標定一系列操作后會輸出每個通道的權重值，將該權重值與每個通道卷積后的特征相乘，從而達到特征重標定的目的，通過計算每個通道特征圖像的權重，抑制不重要的特征圖像，強調重要的特征圖像。

1.3 遷移學習

遷移學習[21]是將預訓練好的模型參數應用到目標領域的模型訓練過程中。眾所周知，訓練一個卷積神經網絡需要大量的帶注釋的數據集，這在醫學領域是很缺乏的。并且從頭訓練一個卷積神經網絡需要很高的計算能力、很大的數據集資源以及很多時間，如果提供的數據很少的話，很容易出現過擬合等問題。克服這個問題的一個辦法是從自然圖像(例如：ImageNet)遷移學習，但是由于醫學圖像與自然圖像差別較大，直接使用在ImageNet數據集上的預訓練權重效果可能不是很好，需要利用不同的微調策略，即微調網絡最后幾層，效果不好的話可以從網絡中間層開始微調，如果效果還不夠好，可以嘗試微調網絡所有層。

2 本文方法

2.1 改進Xception模型

Xception模型在Inception-V3模型的基礎上將深度可分離卷積替換掉Inception模塊，并添加了殘差連接模塊，在基本不增加網絡復雜度的情況下提高了模型的分類精度及減少了模型訓練的時間。為了進一步提升Xception模型對乳腺鉬靶圖像的分類效果，對該模型的殘差連接模塊進行了改進，并通過在深度可分離卷積后嵌入SE模塊的自注意力機制來優化模型。

Xception模型的輸入層后3個模塊和輸出層的第一個模塊都采用了支路為一個步長為2的1×1卷積層構成的殘差連接結構，本文改進的殘差連接模塊由支路先連接一個步長為2、大小為2×2的最大池化層，再連接一個步長為1、卷積核大小為1×1的卷積層組成，稱為Xception-A模型。圖3展示具體改進結構圖，采用Xception模型輸出層的第一個模塊的改進示例展示，該模型輸入層的3個帶殘差連接的模塊均進行改進。考慮到殘差連接的支路使用步長為2的1×1卷積層，可能會丟失一部分重要信息，然而，先通過一個步長為2的最大池化層來保存重要信息，再進行步長為1的1×1卷積層，這樣的改進方法與原方法相比，可以殘差連接模塊映射輸入信息時再進行一次特征選擇，防止一些重要的特征信息丟失。

圖3 改進后的殘差連接結構圖

為了使模型可以自注意通道之間的關系，讓模型可以自動學習到不同特征通道的重要程度,在Xception模型的基礎上嵌入SE模塊的注意力機制。卷積神經網絡對圖像進行特征提取的核心是卷積層，卷積操作在局部感受野上將空間信息和特征通道的信息聚合進行特征提取，來獲取圖像的全局信息。很多研究工作通過增加網絡寬度的方法增大感受野，或通過增加網絡深度等方式從空間維度層面來提升卷積神經網絡的性能。采用在深度可分離卷積層后嵌入SE模塊的方法，不僅可以解耦通道相關性與空間相關性，還可以從不同特征通道之間的關系入手，通過學習的方式來自動獲取每個特征通道的重要程度，從而提高模型的特征提取能力，獲得更好的分類效果。

具體改進方法如圖4所示，首先保留Xception模型前12個模塊不變，即圖1中原模型輸入層與中間層不變，在輸出層的最后兩個深度可分離卷積層后嵌入SE模塊，稱為Xception-B模型。同時使用改進殘差連接模塊和嵌入SE注意力機制方法的模型稱為Xception-C。圖5展示了嵌入SE模塊的具體流程圖，將激勵步驟輸出的權重通過乘法加權到每個特征通道上，使模型可以自注意各個特征通道的重要程度。

圖4 基于Xception嵌入SE模塊的網絡結構圖

圖5 SE模塊流程圖

2.2 優化“分類器”

由于帶標注的乳腺鉬靶圖像數據集難以制作，導致因數據集數量較少在卷積神經網絡的訓練過程中可能出現過擬合的問題，為了解決這個問題，以及進一步提高模型的分類效果，對模型最后的全連接層“分類器”進行了優化改進，利用全局平均池化層(global average pooling)代替原來的全連接層，增加密集連接層，同時添加批標準化(BN,batch normalization)、激活函數、Dropout。具體改進步驟如圖6所示，利用卷積神經網絡提取特征圖像后，經過一個全局平均池化層，兩個全連接層，兩個BN層，兩個Dropout層，兩個ReLU激活函數層，最后利用Sigmoid激活函數得到乳腺鉬靶圖像良惡性二分類的結果。其中全局平均池化層將特征圖的所有像素值相加求平均值，用該值表示對應特征圖，對空間信息進行了歸納，減少了參數數量和計算量；Dropout層通過在模型的訓練過程中按比例隨機忽略一部分神經元來緩解模型訓練過程中出現的過擬合問題，在一定程度上達到正則化的效果；批標準化層對輸入激活函數的特征歸一化處理，減少引起的偏移量，不僅可以增加模型的訓練速度，以及提高網絡的泛化能力，還可以使Sigmoid這種容易導致梯度消失的激活函數被使用。

圖6 優化“分類器”流程圖

3 實驗及結果分析

3.1 實驗數據集

實驗采用公開的乳腺癌圖像數據集CBIS-DDSM[22](curated breast imaging subset of DDSM)，該數據集是DDSM[23](the digital database for screening mammography)的更新和標準化版本。DDSM是一個包含2 620個掃描乳腺X線攝影技術的數據庫，它包含正常、良性腫塊和惡性腫塊的病例。CBIS-DDSM是DDSM數據的子集，由專業的醫生挑選圖像并更新修改標注錯誤的ROI注釋，以及將圖像格式轉化為易于訪問的醫學數字成像和通信(DICOM)格式。

為了提高計算機輔助診斷系統的性能，在構建數據集時，圖像預處理是一個重要的步驟。圖7中分別展示了良性和惡性乳腺圖像，可以看出乳腺腫塊大小只占整幅乳腺鉬靶圖像很小的面積，直接對整幅圖像訓練分類容易導致數據不平衡，難以取得較好的分類效果，因此實驗使用制作的感興趣區域(ROI,region of interest)圖像數據集進行訓練實驗。

圖7 CBIS-DDSM數據集乳腺圖像

CBIS-DDSM數據集已經將數據分為訓練數據和測試數據，并提供了乳腺鉬靶圖像、掩模圖像和ROI圖像，由于原數據集提供的ROI圖像像素尺寸相對較大，且每個ROI圖像的大小和長寬比都不同，因此根據數據集提供的掩模圖像中病灶的位置，從原乳腺圖像中自動裁剪出固定大小的ROI圖像。最終訓練集共裁剪出2 325張ROI圖像，其中良性腫塊圖像1 187張，惡性腫塊圖像1 138張；測試集共裁剪出670張ROI圖像，其中良性腫塊圖像409張，惡性腫塊圖像261張。由于Xception模型在ImageNet數據集上預訓練的圖像大小為299x299,因此將裁剪的ROI圖像大小裁定為299x299，并對所有ROI圖像歸一化于0～1之間。

3.2 數據增強

眾所周知，卷積神經網絡模型的訓練需要大量的數據樣本才能達到較好的泛化效果，而醫學圖像受病例過少、病人隱私等因素限制難以大量收集數據，此外還需要專業的臨床醫師標注圖像，使得構建高質量的大規模醫學圖像數據集面臨重重挑戰。雖然通過遷移學習方法可以適當減少實驗需要的數據量，但數據量過少時即使遷移學習也很難取得較好的分類效果。因此可以使用數據增強的方式來增加訓練樣本數據，通過上下翻轉、左右翻轉、平移、旋轉不同角度等方法將訓練集數據集擴充6倍，擴充后的圖像數量為13 950張，按照比例(80%：20%)將數據隨機分為訓練集、驗證集。

3.3 實驗參數

實驗的硬件設備如下：操作系統為Windows10,24 G顯存Nvidia GeForce GTX 3090顯卡一塊，處理器為Inter Core i9-10 900 K @ 3.70 GHz,內存為32 GB，python版本為3.7，并使用TensorFlow和keras等深度學習框架來構建卷積神經網絡模型。

在模型的訓練過程中，選擇隨機梯度下降法作為模型參數優化器；損失函數采用二進制交叉熵損失函數；epoch設置為50次；批大小設置為16；dropout設置為0.5；初始學習率設置為0.000 1，當連續7個epoch學習率不變時以乘以因子為0.2降低學習率；并設置提前停止機制為13，當驗證集損失函數值連續13個epoch都不下降時提前結束訓練，防止過擬合。

3.4 實驗結果及分析

3.4.1 實驗設計

實驗的主要流程為：首先，在數據集的原圖像上自動裁取提取感興趣區域，制作ROI圖像數據集并預處理；然后將改進后的Xception模型作為特征提取器，遷移學習在ImageNet上的預訓練權重初始化參數，并微調訓練網絡所有層，提取乳腺腫塊ROI圖像的特征信息；最后，將提取的特征圖像輸入給優化后的全連接層“分類器”預測輸出乳腺腫塊的良惡性，得到最終的分類結果。

3.4.2 遷移學習和非遷移學習方法比較

首先，比較了Xception-C模型基于遷移學習和不遷移學習方法對乳腺鉬靶圖像良惡性分類的性能差異，模型訓練過程中分別使用ImageNet數據集上的預訓練權重初始化參數與隨機初始化參數訓練進行實驗對比，在訓練30個epoch的情況下對比訓練過程中準確率和損失值曲線的變化趨勢。

圖8展示了遷移學習時和不遷移學習時訓練和驗證過程中準確率和損失值的變化曲線，結果顯示遷移學習比不遷移學習可以使模型更快的達到收斂，且準確率更高。由圖8可知，在訓練過程中不使用遷移學習時損失函數值經過很多迭代次數才能逐漸收斂且損失函數值的波動較大，在訓練很少的次數時難以達到較高的分類準確率。然而，當使用遷移學習時損失值可以很快達到收斂，并且訓練相同代數有很高的分類準確率。因此，當我們研究領域的數據集缺乏時，可以利用遷移學習訓練很少的次數就能取得更好的實驗效果，節省了訓練時間和計算機的計算成本。

圖8 訓練和驗證過程中準確率和損失值變化曲線

3.4.3 優化“分類器”的實驗對比

為了驗證提出的優化“分類器”方法的實驗效果，比較了ResNet50、MobileNetV2、InceptionV3、Xception和提出的Xception-C模型在使用優化分類器和不使用優化分類器兩種情況下的分類效果。分別使用上述模型在乳腺鉬靶圖像數據集上訓練實驗，各模型實驗結果的準確率如表1所示，可以看出各模型使用優化分類器的分類準確率都有不同程度的提高，準確率平均提高了3.7%，表明利用全局平均池化層代替全連接層，以及添加BN、激活函數和Dropout等方法可以緩解模型訓練過程中出現的過擬合問題，也說明優化后的分類器可以有效提高卷積神經網絡在乳腺鉬靶圖像識別任務上分類的準確率。

表1 各模型使用優化“分類器”前后實驗結果比較

3.4.4 改進的Xception模型實驗分析

為了驗證優化改進Xception模型后提出的Xception-A、Xception-B和Xception-C模型的有效性，與常用于圖像分類任務的卷積神經網絡模型ResNet50、MobileNetV2、InceptionV3和Xception作對比。為了評估模型的分類性能，主要使用準確率(Accuracy)、AUC值和混淆矩陣這幾項評價指標來評估。其中，準確率是指預測正確的樣本數量占全部樣本的比例，當準確率的值越大時代表模型的預測結果越接近于真實結果；AUC被定義為接受者工作特征 (ROC,receiver operating characteristic)曲線與坐標軸圍成的面積，這個面積值最大值為1，經常被用作衡量卷積神經網絡二分類性能優劣的一種評價指標，當AUC值越大時表明該模型的分類效果越好；混淆矩陣的橫軸是模型預測各類別樣本的統計數量，縱軸是真實標簽的統計數量，可以直觀反映各分類類別的預測結果。混淆矩陣的正對角線上的數字越大，代表預測結果準確性越好。

表2展示了改進后的Xception模型在乳腺鉬靶ROI圖像分類任務上訓練實驗和其他對比模型訓練實驗的分類準確率、AUC值和參數數量，實驗中每個模型都使用優化后的分類器。可以看出MobileNetV2模型的準確率最低，僅有74.92%，但該模型作為輕量級模型，參數數量遠遠少于其他幾個模型，在其他圖像識別任務上該模型的分類精度也不如ResNet50、InceptionV3和Xception這種大型的卷積神經網絡。Xception-A模型分類的準確率為95.13%，比原Xception模型的分類準確率提高了接近2%，證明本研究提出的改進Xception模型的殘差連接模塊方法的有效性，該方法在殘差連接模型的支路使用步長為2的最大池化層和步長為1的1×1卷積層代替原來的步長為2的1×1卷積層，比原來方法多進行一次特征選擇，來防止一些重要的特征信息丟失，從而加強模型的特征提取能力。Xception-B模型的分類準確率比改進前的模型提高了2.73%，表明本文方法在深度可分離卷積后嵌入SE注意力機制方法的可行性，使模型可以自注意各個通道的重要程度，突出重要的特征通道，抑制不重要的特征通道。最終提出的Xception-C模型取得了97.46%的準確率和99.12%的AUC值，明顯高于其他模型，表明將兩種改進方法同時應用在Xception模型可以有效提高分類的準確率，也證明了改進后的Xception-C模型在乳腺鉬靶圖像良惡性分類任務上有更好圖像識別能力。而且與改進前的Xception模型相比，只增加了少量的參數數量，準確率就高出4.32%，表明將SE模塊嵌入Xception模型的深度可分離卷積層和改進殘差連接模塊方法的可行性。

表2 改進Xception模型與其他模型實驗結果的比較

圖9展示了Xception-C模型測試結果的混淆矩陣，可以看出對良性腫塊和惡性腫塊預測錯誤的樣本數量差距不大，雖然測試集中良性腫塊的樣本數量較多，但整體每個類別預測錯誤的比例相差不大。

圖9 測試結果混淆矩陣

3.4.5 與最新研究方法比較

表3顯示了3種最新研究方法的分類準確率，這些方法都是在CBIS-DDSM數據集上利用不同的深度學習方法對乳腺鉬靶圖像進行良惡性分類。可以看出，本文提出方法的分類準確率高于其他方法。與這些方法相比，本研究的實驗中處理數據集時沒有使用CBIS-DDSM數據集提供的ROI圖像，而是根據數據集提供腫塊位置自動裁剪出腫塊邊緣信息更全面的ROI圖像；選擇解耦通道相關性和空間相關性的Xception模型，并對該模型進行改進優化，實驗結果證明Xception-C模型有更好的特征提取能力和對乳腺癌圖像良惡性識別的能力。

表3 與其他方法分類準確率比較

4 結束語

本研究提出了基于改進Xception模型的乳腺鉬靶圖像分類方法，端到端實現將CBIS-DDSM數據庫里的乳腺鉬靶圖像自動分為良性和惡性兩類。實驗結果表明，與其他常用的分類模型相比，本文模型更加適用于乳腺癌圖像分類，取得了更好的分類效果。與改進前的Xception模型相比，實驗結果證明改進殘差連接模塊和在后兩個可分離卷積后嵌入SE自注意力機制方法的可行性，可以使模型更加關注通道間的信息，特征提取時能夠提取更多的有用信息，提升一定的準確率，使模型更加穩定。本實驗只對乳腺鉬靶圖像簡單的進行良惡性二分類，為了可以幫助臨床醫師進行更加精準的診斷，在未來的工作中，可以展開對乳腺癌圖像正常、良性、惡性、鈣化良性、鈣化惡性等多分類的研究。