人型網絡乳腺鉬靶影像分類方法研究

楊 潔，胡明娣，李 立，翟曉紅，許天倚，張中茂

1.西安郵電大學 通信與信息工程學院，西安710121

2.中山大學 腫瘤防治中心，廣州510060

3.深圳市坪山區婦幼保健院，廣東 深圳518022

1 引言

根據2018 年全球癌癥統計報告可知：女性乳腺癌的發病率和死亡率均居女性癌癥發病和死亡的首位[1]。研究表明：早發現、早診斷以及早治療能提高乳腺癌存活率，降低死亡率[2]。目前常用的乳腺成像技術有乳腺鉬靶X成像、超聲成像、核磁共振等，由于乳腺鉬靶X成像低輻射、低成本和較高的分辨率被認為是早期發現和診斷乳腺癌的金標準[3]。乳腺腫塊和鈣化是乳腺癌的早期征象，通常腫塊邊緣模糊，大小不一，鈣化面積較小，灰度和對比度較低[4]，而且，由于我國女性乳房大多為致密性乳腺為主[5]，乳腺腫塊、鈣化與正常腺體重疊，上述征象依靠人工肉眼不易辨認，這導致醫生確診腫塊、鈣化、腫塊鈣化更加困難，因此容易出現誤診、漏診等情況，耽誤患者最佳治療時期。

近年來，隨著計算機技術的飛速發展，深度學習在圖像處理方面正不斷取得突破性進展[6]。卷積神經網絡（Convolutional Neural Network，CNN）[7]從AlexNet[8]到VGGNet[9]，在從GooleNet[10]到ResNet[11]，在解決圖像分類問題上有了突破性的進展。相對于CNN具有非常強的圖像特征自動提取能力，可以提取較高等級的特征[12]，在醫學圖像領域得到了廣泛應用[13-16]。

CNN端對端的訓練已被廣泛應用到乳腺影像分類上。例如：孫利雷[17]等提出適用于X射線乳腺腫塊雙路徑卷積神經網絡是為了區分腫塊良惡性之間的細微差距，在MIAS（Mammographic Image Analysis Society Digital Mammogram Database，MIAS）和DDSM（Digital Database for Screening Mammography）[18]中提取997個良性腫塊和984 個腫塊進行分類，AUC 達到了0.712 9。Jiao等[19]將使用CNN模型提取乳腺鉬靶不同層次特征，將第五層卷積層和第七層全連接層進行特征融合，將融合后的特征使用SVM 分類器分類，在DDSM 數據集抽取600 張乳腺鉬靶圖片進行分類，達到了97.6%的分類準確率。魏鑫磊等[20]等根據乳腺組織特點，將乳腺鉬靶圖像分為脂肪型、致密型和過渡型，在MIAS 數據集取得了66.9%的分類精度。孫澤宇等[21]使用DDSM 乳腺鉬靶數據集，然后將乳腺鉬靶切塊采樣得到切塊數據，將切塊數據進行良性腫塊、惡性腫塊、良性鈣化、惡性鈣化分類，使用ResNet-50、inception v3和VGG-16訓練和測試，取得了高準確率。Jiao 等[22]提出了一種用于乳腺腫塊良惡性分類的聯合深度度量學習神經網絡。該神經網絡由CNN 層和度量學習層組成，提高了整個深層網絡的分類性能，取得了高準確率。

前文提到的經典卷積神經網絡直接使用提取到的高級特征對乳腺鉬靶圖像進行多分類，分類準確率不高。受不同層次特征融合能夠豐富圖像細節信息的啟發，借鑒殘差網絡中殘差結構方法，本文提出了“人型”網絡結構。用“人型”網絡結構對乳腺鉬靶圖像進行四分類，識別出良性腫塊、惡性腫塊、惡性鈣化、惡性腫塊鈣化。在人型網絡中，下身從原始圖像中提取邊緣、紋理、顏色、亮度等低級特征，上身逐步返回圖像形式的特征圖，頭部提取抽象的包含豐富語義信息的更高級特征。在網絡返回圖像形式特征圖和提取更高級特征的同時使用跨層連接使圖像所有深度特征進行多次融合以提高特征的多樣性，最終將融合的特征經過全局最大池化層進行全局池化并經Softmax 分類器得到最終分類，以此來提高圖像分類準確率。

2 方法

本文通過構建帶有殘差結構的卷積神經網絡“人型”網絡模型，實現乳腺鉬靶影像進行四分類研究，流程如圖1 所示。可以看出，通過“人型”網絡，訓練提取圖像的有效特征，根據每次迭代卷積、下采樣和反池化操作自動調節網絡參數，將下身、上身和頭部不同特征進行融合學習；最后，采用Softmax分類器實現特征分類，完成乳腺鉬靶四分類。

圖1 本文方法流程圖

2.1 殘差結構

眾所周知，網絡越深越復雜，通過大量網絡參數訓練時越容易產生過擬合[23-24]。本文為得到高級特征和低級特征的特征融合，構建了多個殘差結構，以下身第四個堆疊卷積層至上身第一個堆疊卷積層為例，如圖2所示，上身反池化后的輸出為：

其中，F(x)為乳腺鉬靶圖像下身第四個堆疊卷積至上身第一個堆疊卷積后結果，x代表輸入，在人型網絡中下身第四個堆疊卷積后分支為殘差結構，主徑通過兩個堆疊卷積層用于提取乳腺鉬靶的深層特征，支路保留淺層特征，最終使淺層特征和深層特征融合。

圖2 殘差結構

2.2 人型網絡

本文構建了帶有殘差結構的“人型”網絡，如圖3所示。整個“人”分為三部分：上身、下身和頭部。下身通過堆疊的卷積層以及最大池化層來進行圖片的低級特征提取。上身通過堆疊的卷積層、反池化層以及反池化層跳躍連接之前的下采樣層將特征逐步返回到圖片形式的特征圖，在得到圖片形式的特征圖后頭部通過堆疊的卷積層以及最大池化層再次提取到更高級的特征，并且在這個過程中與前面的反池化層進行跳躍連接。最終將高級特征與之前的低級特征進行級聯，全局最大池化以及SoftMax分類器進行分類從而實現分類功能。

下身中第一個卷積層設定卷積核大小為3×3，即滑動窗口選定乳腺鉬靶圖片3×3 的區域與卷積核非線性運算，卷積層輸入為：

其中，w為權值，?表示二維卷積操作，xi為乳腺鉬靶輸入特征圖，m為卷積層數，bj表示偏置。f( )? 是激活函數，這里使用的是修正線性單元（ReLU）。ReLU函數，能夠在加快收斂速度的同時又盡可能避免陷入局部最優。conv1層的輸出為：

本文使用堆疊卷積，第二個卷積層和第一個卷積層使用相同的操作（注：本文中有多個堆疊卷積層，卷積核大小均設置為3×3，padding 模式設置為SAME，步長設置為1；在下身中卷積核大小依次為32、64、128、256、512），在堆疊卷積層之后，添加一個2×2的最大池化來獲得更緊湊和高效特征。最大池化替換每個多維數據集的最大值，以減少沿空間維度的要素圖。它可以保持識別的最重要特征。此外，從低級到高級的特征變得更緊湊，這可以實現針對某些變化的魯棒性。最大池化層輸出為：

其中，代表最大池化層輸入，p(?)為最大池化函數，代表最大池化層輸出（下身中所有池化為最大池化，設置為2×2）。

在上身中，下身中的最后一個堆疊卷積后接一個反池化層，反池化是池化的逆操作，是通過池化的結果還原出全部的原始數據，在本文中，使用2×2的反池化來還原出原始數據，因為在池化過程中只保留了主要信息，舍棄了部分信息，想從池化后的主要信息恢復處全部信息，則存在信息丟失，這時通過補零位操作，實現信息還原，用原始尺寸特征圖保存了高分辨率。反池化層輸出為：

其中，代表反池化的輸入，p(?)-1為反池化函數，代表反池化的輸出（注：上身中卷積核大小以此為256、128、64、32，下身所有池化為反池化，設置為2×2）。在第四個堆疊卷積后接一個1×1的卷積層，代替了全連接層，改變了通道數目，這里的激活函數用的是Sigmoid函數。

在頭部中，頭部中用跳躍連接將上身特征（上身特征中包含下身特征）和頭部特征連接，保留上身特征然后提取更高級特征（注：上身中卷積核大小以此為32、64、128、256、256，頭部所有池化為最大池化，設置為2×2）。在最后添加全局最大池化層，用全局最大池化層代替全連接層，在添加Dropout 層，設置參數dropout_ratio 為0.5，能有效防止過擬合，以及SoftMax 分類器進行分類。SoftMax是邏輯函數的一種推廣，定義如下：

其中，Si為第i類的最終評分。

因此，本文的網絡沒有使用全連接層，而是用全局最大池化層代替全連接層，進而縮減參數量避免過擬合現象。此外引入跳躍連接，充分利用網絡提取的低層次特征，將圖像的低層次信息和高層次信息融合在一起，從而能更加準確反映圖像信息。最終將高級特征也與之前的低級特征進行級聯，全局最大池化以及SoftMax分類器進行分類從而實現深監督以及提高分類準確率。

3 實驗及結果分析

3.1 數據集

本文數據集選用中山大學腫瘤防治中心的463 名患者的乳腺鉬靶影像數據，每個患者的左右乳房各兩個不同角度拍攝的共四幅影像，分別是左乳腺側斜位（LMLO）、左乳腺頭足位（L-CC）、右乳腺側斜位（R-MLO）、右乳腺頭足位（R-CC）。如圖4所示。共1 824幅乳腺鉬靶圖像，其中良性腫塊鉬靶圖片622 幅，惡性腫塊鉬靶圖片397幅，惡性鈣化鉬靶圖片402幅，惡性腫塊鈣化鉬靶圖片403幅。

圖3 人型網絡結構

圖4 乳腺鉬靶影像

3.2 數據增強

深度學習是一種通過數據驅動的方法，從某種意義上來說數據數量可以直接決定網絡訓練的結果。而醫學圖像由于種種的限制，如病例過少，病人隱私等問題，大量收集數據是十分困難的、此外還需要擁有豐富臨床經驗的醫生對每張圖像進行標注，這使得大規模醫學圖像數據集的構建面臨重重挑戰。因此可以通過進行數據增強的方式來擴大數據量。具體來說：首先將圖片像素降采樣至256×256，將RGB三通道歸一化0到1通道，變成灰度圖；然后隨機將圖片翻轉0°～180°，并且上下左右平移，距離為0%～20%之內的隨機數，以及0%～20%的隨機裁剪進行數據增強。本文將良性腫塊鉬靶圖片、惡性腫塊鉬靶圖片、惡性鈣化鉬靶圖片、惡性腫塊鈣化鉬靶圖片分別按比例（80%∶10%∶10%）隨機分為訓練組、驗證組和測試組。

3.3 實驗工具

本文通過構建人型網絡對乳腺鉬靶圖像進行四分類研究。網絡結構的訓練和測試使用絕對交叉熵作為損失函數，使用Adam 作為優化器，其中學習率設為0.000 1，批尺寸設為64，循環訓練迭代40次。本文圖像預處理軟件環境為MATLAB 2016A，電腦配置為Win 10操作系統，i7 處理器，32 GB 運行內存。本文訓練和測試實驗模型采用Nvidia Titan Xt GPU 訓練，運行環境為Python中的Keras庫。

3.4 實驗對比及分析

將 人 型 網 絡 與AlexNet、GoogleNet、VGGNet 和ResNet做對比，幾種方法的對比結果如表1所示。為評估分類性能，使用不同的性能指標。這些指標包括：準確率（Accuracy）、靈敏度（Sensitivity）、特異度（Specificity）、AUC（Area Under ROC Curve）、F1 值（F1-Score）。準確度是全部樣本中預測正確的比例，準確度值越大，代表模型的預測和真實情況越接近，模型的分類性能越好；靈敏度是實際為正例的樣本中，預測為正例的占比；漏診率是實際為正例的樣本中，預測為反例的占比；特異度是實際為反例的樣本中，預測為反例的占比，誤診率是實際為反例的樣本中，預測為正例的占比；F1值是精確率和召回率的調和平均數AUC是受試者工作特征ROC（Receiver Operating Characteristic）曲線下的面積，AUC越接近于1，代表模型分類性能越好。在實驗中均是對四個類別分別計算，另外對四個類別的數值進行了求平均得到。實驗結果如表1所示。

表1 不同模型的分類精度 %

由表1 可知，本文方法分類準確率達到了74.54%，優于其他網絡模型；在VGG和本文算法中，本文算法通過跳躍連接使不同層次的特征融合在最后分類任務中保留圖像更多細節信息，使本文算法中的AUC 不低于VGG 模型情況下，TP 和TN 都大幅提升，使得ACC、SEN、SPEC、F1 指標遠優于VGG 模型。其中ResNet 與GoogleNet這兩種網絡由于參數量龐大但數據量較小因此出現了過擬合的現象，因此分類精度反而更低。此外，制作了混淆矩陣（Confusion matrix）（圖5）以及ROC曲線（圖6）。

圖5 混淆矩陣圖

圖6 ROC曲線

由混淆矩陣的對角線可知，良性腫塊的分類效果最好，但是對惡性腫塊鈣化分類效果很差，主要因為惡性腫塊鈣化包括了惡性腫塊與惡性鈣化，因此極易與惡性腫塊與惡性鈣化相混淆。ROC 曲線是用靈敏度（真陽性率TPR）和誤診率（假陽性率TPR）作圖所得曲線，它可以表示靈敏度和特異度之間的相互的關系。根據靈敏度、特異度互補的原理，用靈敏度為縱坐標，假陽性率為橫坐標作圖，所得的曲線可用來決定最佳臨界點。ROC曲線理想目標：TPR=1，FPR=0，即圖中（0，1）點，故ROC 曲線越靠攏（0，1）點，越偏離45°對角線越好。由圖6 可知，本文模型對良性腫塊的分類效果最好，惡性鈣化、惡性腫塊次之，惡性腫塊鈣化最差，因為惡性腫塊鈣化中包括了惡性腫塊和惡性鈣化，導致惡性腫塊鈣化分類效果最差。此外如圖7所示，將特征圖進行了可視化，通過可視化發現本文模型可以有效地定位到腫塊的位置，對臨床醫生有幫助。

圖7 特征圖可視化

4 結束語

本文提出的人型網絡結構和其他網絡結構相比較，人型網路使用級聯將圖像不同層次特征進行融合，保留了圖像的所有深度特征對乳腺鉬靶圖像進行四分類研究。實驗結果驗證了人型網絡的有效性，人型網絡結構優于經典網絡結構模型，提高了乳腺鉬靶圖像的分類準確率。人型網絡對良性腫塊的分類效果最好，下一步的研究目標主要是高效區別惡性腫塊、惡性鈣化以及惡性腫塊鈣化，進而取得高的分類準確率，在一定程度上滿足更高要求的臨床需求。