乳腺X線圖像計算機輔助診斷技術綜述

陳智麗，高 皓，潘以軒，2，邢 風，3

1.沈陽建筑大學 信息與控制工程學院，沈陽110168

2.中國建筑第八工程局有限公司 總包協調部，江蘇 蘇州215000

3.深圳市贏時勝信息技術股份有限公司AMS事業部，北京100032

隨著人口老齡化的加劇，癌癥已逐漸成為危害人類身體健康的主要問題。世界衛生組織國際癌癥研究機構（IARC）發布的GLOBOCAN2018 報告顯示：2018 年全球有1 810 萬新發癌癥病例，其中乳腺癌排在新發病例的第二位[1]。在乳腺癌患者中，99%為女性，男性僅占1%。可見，乳腺癌是危害女性健康的主要殺手。全球乳腺癌的發病率從上世紀70年代末開始就一直呈上升趨勢且趨于年輕化。我國乳腺癌發病的高峰年齡已提前到了40～49 歲，并且30～39 歲的乳腺癌發病率已達到了每10 萬人中有13 位患者，這一數據是美國該年齡段發病率的兩倍[2]。早發現、早診斷、早治療是延長患者生命，提高生活質量的重要方式，因此乳腺癌的早期篩查和及時治療十分重要。

目前，乳腺檢查主要分為病理檢查和無創檢查兩種。乳腺病理檢查是利用細胞病理學檢查和組織病理學檢查，對乳腺病變的良惡性實現最終的確診；無創乳腺檢查主要分為乳房觸診檢查和乳腺影像學檢查。目前主要乳腺影像學檢查包括超聲影像（ultrasound imaging）、乳腺X 線攝影（mammography）、核磁共振成像（MRI）、計算機斷層掃描（CT）、正電子發射型計算機斷層顯像（PET）等。乳腺X 線攝影檢查在醫學放射學中已經應用很多年[3]。雖然現在逐漸產生了很多其他先進的技術方法，但是乳腺X 線攝影仍是目前最簡單且最有效的，可以發現早期乳腺癌病變特征的檢查工具，也是現在唯一可以查出隱匿性癌癥與早期原位癌的技術方法。在臨床環境中，美國放射學會制定了BI-RADS（American College of Radiology’s Breast Imaging Reporting and Data System）[4]對乳腺X線圖像進行主觀評估。BI-RADS分為7個等級，BI-RADS 0到BI-RADS 6依次描述乳腺內腫塊和鈣化等異常表現的嚴重程度，數字越大，惡性程度越大。

在早期，乳腺X 線攝影技術廣泛應用，醫生需要在實踐中學習積累大量的臨床經驗，進而可以解讀患者的X光片所反映的乳腺結構和病理信息。因此，醫生在診斷時具有主觀性，且每位醫生的經驗水平也不盡相同，面對變化多樣的乳腺異常結構，即使是專家也很難立刻做出準確判斷，容易出現漏診和誤診的情況。隨著計算機的發展與普及，逐步成熟的計算機技術為醫學圖像分析與處理提供了足夠的計算能力，能夠一定程度上減少對醫生經驗水平的依賴。20世紀中期，以美國學者Ledley為首的研究團隊首次將數學模型引入到臨床醫學[5]，初步提出了計算機輔助診斷（computer aided diagnosis，CAD）技術的數學模型，為CAD技術在醫療領域的發展開創了先河，開始了CAD技術的初步研究，在一定程度上輔助醫生判讀醫學圖像，排除了人為主觀因素的影響，提高了診斷的準確率和效率。利用自動、精確、定量的計算機輔助圖像分析技術，可以有效幫助臨床醫生和研究者高效準確地處理海量醫學圖像。

乳腺X 線圖像中乳腺病變通常分為四種類型[6]：腫塊、鈣化、不對稱和結構變形。乳腺腫塊和微鈣化是臨床中比較常見的病變。微鈣化是乳腺組織內微小的鈣沉積異常，表現為高對比度的小亮點，并以聚簇狀方式呈現；乳腺腫塊則是灰白色的區域，其形狀通常可以描述為橢圓形、不規則或分葉狀等，邊界情況通常可以描述為邊界清晰、模糊或針狀等。雖然微鈣化點相對于腫塊而言較小，但是由于腫塊的大小、形狀的多樣性以及個體乳腺密度的不同，腫塊可能隱藏在乳腺組織中，檢測難度更大。相較于鈣化而言，乳腺腫塊的檢測是一項更具有挑戰性的工作。

1 乳腺X線圖像數據集及評價標準

1.1 乳腺X線圖像數據集

目前，受諸多因素影響，已公開的醫學圖像數據集少之又少。特別是乳腺X 線圖像的數據集更是寥寥無幾，主要原因有以下幾點：一是乳腺X 線圖像數據集需要由專業的放射科醫生進行標注，對醫生的專業性要求很高；二是因為我國乳腺癌普查還沒有全面推廣，相對大型的數據庫都來自國外。表1是目前已公開的乳腺X線圖像數據集[7]，但是對于深度學習的方法，乳腺X線圖像的采集問題仍是需要解決的難點。

表1 已公開的乳腺X線圖像數據集Table 1 Public datasets of mammographic images

1.2 評價指標

對于乳腺X 線圖像病變檢測、分割和分類，根據研究的重點不同，常采用以下幾種不同的評價指標：召回率（Recall），又稱查全率；精確度（Precision），又稱查準率；靈敏度（Sensitivity，SEN），又稱真陽性率（true positive rate，TPR）；特異性（Specificity，SPE），又稱真陰性率（true negative rate，TNR）；準確率（Accuracy，Acc）；F1 度量（F1-score）等。

對于二分類問題，可將分類結果進行如下劃分：真陽性（true positive，TP）表示樣本本身為陽性且預測結果也為陽性；假陽性（false positive，FP）表示樣本本身為陰性而預測結果為陽性；真陰性（true negative，TN）表示樣本本身為陰性且被正確判斷為陰性；假陰性（false negative，FN）表示樣本本身為陽性而預測結果為陰性。分類結果的“混淆矩陣”（confusion matrix）如表2所示。

表2 分類結果混淆矩陣Table 2 Confusion matrix of classification results

另外，經常采用受試者工作特征（receiver operating characteristic，ROC）曲線來分析不同分類器的好壞。ROC曲線的x軸表示假陽性率（false positive rate，FPR），y軸表示真陽性率（true positive rate，TPR），ROC 曲線下面積用AUC（area under curve）表示，其面積越大代表分類器的性能越好，理想狀況下的AUC 為1。圖1 是ROC曲線與AUC的示意圖。由于ROC曲線不能解決在一張圖像上對多個異常評價的問題，對ROC曲線進行變形，引入自由響應接受者操作特征曲線（free-response receiver operating characteristic curve，FROC）[15]，以對每張圖像的任意異常進行評價。FROC 曲線的x軸是FP/image_num（image_num代表測試圖像張數），y軸是真陽性率。

圖1 ROC曲線與AUC示意圖Fig.1 Examples of ROC curve and AUC

此外，還使用P-R（Precision-Recall）曲線對模型進行分析，P-R曲線的x軸為Recall（召回率），反映分類器正確識別出的正樣本數與真實正樣本數的比例，y軸為Precision（精確度），反映分類器正確識別出的正樣本數與識別出的正樣本數的比例。圖2 是P-R 曲線示意圖。P-R 曲線下面積為平均精度（average precision，AP），反映模型在不同召回率下最高精確度的平均值，各類別AP的均值（mean AP，mAP）代表平均精度的均值。

圖2 P-R曲線示意圖Fig.2 Examples of P-R curve

在圖像分割技術中，經常用到交并比（intersection over union，IoU）這一評價指標，見式（7），其中分子是圖像的金標準與分割結果的交集，即TP，分母是圖像的金標準與分割結果的并集，即TP+FN+FP，如圖3所示。此外，還采用Dice系數這一像素級評價指標，見式（8），其取值范圍在0～1 之間，Dice 越接近1，證明分割效果越好。式（9）為IoU和Dice系數之間的關系式。

圖3 IoU示意圖Fig.3 IoU diagram

2 應用傳統方法的乳腺X線圖像計算機輔助診斷

隨著計算機技術的不斷發展，計算機輔助診斷受到醫學界的廣泛關注。圖4 為乳腺X 線圖像計算機輔助檢測與分類診斷的工作流程，主要包括乳腺X線圖像預處理、病變檢測、感興趣區域分割、特征提取和選擇、良惡性病變分類等，檢測和診斷結果將提供給放射科醫生作為參考，以得到最后的診斷結果。經過臨床實驗證明，乳腺X線圖像計算機輔助診斷技術可以有效地提升乳腺癌診斷的靈敏度與準確率，大大減少漏診和誤診，避免貽誤患者的最佳治療時間或造成過度治療。

圖4 乳腺X線圖像計算機輔助診斷工作流程圖Fig.4 Workflow of computer aided diagnosis of mammographic images

2.1 乳腺X線圖像預處理

在進行乳腺X 線圖像分析時，因為病灶的形態較小，又與乳腺腺體相連，而胸肌組織的灰度與病變的灰度相似，不易區分，所以診斷所需的乳腺X 線圖像往往需要很大的分辨率，如果直接處理原始圖像需要很長的運行時間，因此對醫學圖像進行預處理是十分必要的。在乳腺X 線圖像的病變診斷中主要從以下幾方面對圖像進行預處理：去除背景和胸肌組織等干擾區域、去除噪聲、圖像增強及圖像大小的調整等。

Akselrod-Ballin 等人[16]分割乳房組織，通過去除背景與胸肌并相應地裁剪圖像完成對圖像的預處理。Moayedi等人[17]通過掃過圖像并剪切均值和方差小于某個閾值的水平和垂直方向的區域來刪除具有明顯結構噪聲的深色背景區域，然后根據局部方差和諸如直方圖拉伸之類的點操作的差異，從背景中分離出乳腺紋理，根據垂直和水平梯度的像素能量和區域增長算法，實現胸肌組織與乳腺組織的分割。Vikhe等人[18]基于小波的降噪以及自適應閾值技術進行腫塊檢測的增強和分割，實驗結果表明，可疑區域的形狀可以很好地保留，并且可以與高對比度區域和背景清晰地區分，不會模糊邊緣。

由于乳腺X線攝影圖像存在一些斑點噪聲，導致圖像的對比度和分辨率較低，腫塊和鈣化點與噪聲點的邊界劃分不清晰，這就需要濾波處理來去除噪聲。目前去除噪聲的方法主要有均值濾波[19]、中值濾波[20]、各向異性擴散濾波[21]等。Hamissi等人[22]采用2D中值濾波方法來減少噪聲，并進行對比度調整以增加圖像的對比度。Rizzi等人[23]根據圖像統計參數（即平均灰度像素值和標準偏差），通過小波濾波器對乳腺X 線圖像進行閾值化處理。值得一提的是，與其他方法不同，該方法采用了不同的子小波，以提高細節的可見性并有助于特征的檢測，而不會扭曲其外觀和形狀，特別是，雙正交小波由于其在圖像去噪中的良好性能而用于預處理階段。

圖像增強算法在圖像預處理階段被用于改善圖像對比度和抑制噪聲，以恢復圖像大多數隱藏特征，提高圖像質量。Papadopoulos等人[24]在檢測乳腺X線圖像中的微鈣化時，在預處理階段評估了五種圖像增強算法，它們分別是對比受限的自適應直方圖均衡化[25-26]、局部范圍修改[27]、冗余離散小波[28]、線性拉伸[29]和收縮算法。實驗結果表明，局部范圍修改（AUC=0.932）和基于小波的線性拉伸（AUC=0.926）方法通過適當的參數調整，在MIAS數據庫中實現了最高性能。以上的圖像增強方法有一個普遍的現象，就是在圖像增強的同時放大噪聲，而如果先去除噪聲再進行圖像增強，微鈣化點就容易淹沒于背景和噪聲中，導致假陽性過高。Jain 等人[30]通過組合的方法來抑制高密度脈沖噪聲，然后將具有多態自適應增益的非線性增強算子傳遞到已經去除噪聲的圖像上，以增強乳腺病變的對比度，實驗結果顯示圖像質量得到提高，在合理抑制背景的情況下增強感興趣區域。Sharma等人[31]在預處理階段，將原始數據集中的大尺寸乳腺X 線圖像通過最近鄰插值法縮小到1 024×1 024像素，然后通過二值化對圖像背景進行處理，最后裁剪提取128×128固定大小的感興趣區域。

近年來，乳腺X 線成像技術發展迅速，全域數字乳腺X線攝影如今已經取代了傳統的模擬膠片時代，圖像質量顯著提高，除個別圖像外，噪聲較少。考慮噪聲點與鈣化點相似，在執行病變檢測任務時，可不去除噪聲。但是由于胸肌與腫塊有相似的灰度特征，在病變檢測之前，一般仍要去除胸肌、標簽等干擾，并且對圖像進行歸一化處理，增強圖像的對比度。

2.2 乳腺X線圖像病變檢測

2.2.1 腫塊病變檢測

Mudigonda等人[32]提出了一種基于密度分層的腫塊檢測方法，通過分析乳腺X線圖像定向結構信息進行腫塊檢測。由于不同種類腫塊的紋理密度不同，導致檢測效果不同。該方法對于良性腫塊的檢測成功率較低，僅為63%；而對于惡性腫塊的檢測敏感度非常高，使得整體的檢測準確率達到74%。Varela等人[33]在不同尺寸下使用模孔濾波器對乳腺X線圖像進行處理，通過選擇最優尺寸來提高腫塊檢測算法的靈敏度和特異性。在基于病變和基于病例兩種情況下對模型進行評估，當每幅圖像的假陽性為1.02時，靈敏度分別達到了88%和94%。

Eltonsy等人[34]提出了形態學同心層分析策略，這種方法的優點是在保持假陽性率盡可能低的同時，惡性腫塊的檢出率高于95%，但是這種方法在處理低對比度圖像時漏檢率高。目前，基本所有方法使用的人工設計的特征集都是由腫塊固有特征衍生出來的。當使用這些方法直接處理致密腺體型乳腺X線圖像時，往往會出現誤判（假陽性區域過多）和漏判（真陽性率較低）的情況。Gao 等人[35]嘗試通過形態成分分析（morphological component analysis，MCA）的方式將乳腺X線圖像分解為分段平滑分量和紋理分量，提取分段平滑分量，可以抑制圖像中血管和乳腺組織的干擾，然后改進了同心層標準的腫塊檢測方案，實現對隱藏在乳腺組織中對比度低的腫塊的檢測，提升腫塊的檢出率。此外還引入腫塊區域的高斯特征和紋理特征，進一步減少誤報率。

上述基于傳統方法的腫塊檢測技術，由于主要提取圖像的底層特征，很難檢測對比度較低的腫塊。目前應用傳統方法的腫塊檢測主要存在致密性腺體導致假陽性過高，以及對病灶區域過度檢測等問題。

2.2.2 微鈣化病變檢測

眾所周知，相較于腫塊，乳腺的微鈣化更小，數字乳腺X 線攝影技術由于其優越的靈敏度可以改善微鈣化的檢測[36]。Oliver 等人[37]提出了一種基于知識的方法，可以自動檢測乳腺X 線圖像中的單個微鈣化和團簇。具體做法是首先創建單詞字典，單詞字典由包含微鈣化的圖像與一組濾波器進行卷積得到。該字典可代替表示已知微鈣化的病例，隨后將其用于表示未知圖像，通過將含有微鈣化的正樣本與負樣本與字典中的單詞進行卷積以生成訓練數據，并將其用作GentleBoost 分類器的輸入。最后用訓練好的分類器進行微鈣化檢測，進而擴展微鈣化檢測方法用于檢測鈣化簇。實驗評估采用ROC 曲線分析（用于微鈣化檢測）和FROC 分析（用于微鈣化簇檢測），使用兩個數字化數據庫和一個全域數字數據庫，實驗結果充分證明了該方法的有效性。Rizzi 等人[23]提出了兩階段分解小波濾波用于檢測微鈣化。第一階段根據圖像統計數據（平均灰度像素值和標準偏差）對乳腺X 線圖像進行閾值化，保留所有可疑微鈣化，并降低背景噪聲。而第二階段為了定位奇異點，重構圖像采用另一種小波分解，每個分解層次采用硬閾值技術處理，來識別真實的微鈣化，以減少假陽性檢測。該方法的性能在MIAS 數據庫上進行驗證，FROC分析在假陽性率為1的情況下，靈敏度能達到98%左右。

Yu 等人[38]結合基于模型特征和統計紋理特征對簇狀微鈣化進行檢測。首先，使用小波濾波器和兩個閾值檢測可疑的微鈣化區域；然后，從可疑區域提取基于馬爾可夫隨機場和分形模型的紋理特征，以及統計紋理特征，并通過反向傳播（back propagation，BP）神經網絡對其進行檢測。使用MIAS 數據集中的20 張包含微鈣化簇的圖像進行測試，經FROC曲線分析，假陽性率是1.0時的敏感度能達到90%，結果表明了組合基于模型特征和統計紋理特征能夠有效地進行微鈣化簇檢測。Malar等人[39]使用極限學習機（extreme learning machine，ELM）對微鈣化進行檢測，并將其與使用灰度空間相關性矩陣和Gabor 濾波技術提取的不同特征向量進行比較，對MIAS 數據庫55 張圖像中的120 個感興趣區域進行訓練。結果表明，與貝葉斯分類器和支持向量機（support vector machine，SVM）等其他方法相比，ELM有更好的檢測性能，準確度達到94%，并且訓練時間顯著減少。另外，ELM還避免了局部最小值、學習率不正確和過度擬合等問題。Cheng等人[40]使用模糊邏輯技術檢測微鈣化。他們使用全局和本地信息生成模糊圖像和增強圖像，然后通過曲線檢測算法去除不相關的乳腺結構，最后使用迭代閾值定位微鈣化。

在臨床中，微鈣化點的大小、形狀、分布等特征為醫生的診斷提供重要參考信息，精準的微鈣化檢測是計算機輔助診斷系統的關鍵步驟。然而乳腺X 線圖像組織復雜，背景不均勻，且噪聲與微鈣化相類似，使得微鈣化檢測工作仍存在一定困難。

2.3 乳腺病變區域分割

乳腺病變區域分割是乳腺X 線圖像計算機輔助診斷技術的基礎工作，是后續乳腺病變特征提取和分類的前提。有關臨床資料顯示，腫塊的邊緣特征反映了其生長方式和生物學特征。一般來說，形狀規則的腫塊為良性；相反，惡性腫塊往往具有不規則的邊緣。因此分割算法的準確性，對后續的特征分析和分類有很大影響。已有很多研究者關注并投入到乳腺X 線圖像乳腺病變區域分割這一領域[41]。

基于傳統方法的乳腺X 線圖像腫塊檢測和分割算法主要有區域增長[42-43]、主動輪廓算法[44]、閾值分割[45]、分水嶺方法、水平集方法[46]、邊緣檢測等。Kupinski 等人[47]根據區域增長算法提出了兩種新的病變分割方法，一種是徑向梯度指數（radial gradient index，RGI）算法，另一種是概率算法。這兩種方法通過利用形狀約束規范化所分析的可疑區域，以解決與常規區域增長相關的問題，并且通過使用單個基于特征或概率的效用函數來簡化可疑區域選擇過程。這兩種新方法明顯優于常規的區域增長分割，在交并比為0.3時，常規的區域增長技術僅確定了62%的病變，而基于RGI和基于概率的分割方法分別正確地分割了92%和96%的病變。Xu 等人[48]提出使用迭代閾值法來提取可疑區域，通過Canny邊緣檢測提取粗糙的腫塊區域，最后使用主動輪廓對腫塊進行精準分割，實驗表明該算法比常規方法具有更好的性能。另外，Yu等人[49]結合中值濾波、形態學和Sobel邊緣檢測等操作獲得腫塊初始的粗糙邊緣，然后使用梯度矢量流（gradient vector flow snake，GVF-Snake）和梯度圖調整分割出最終腫塊。

由于乳腺X 線圖像中的惡性病變具有不規則的外觀，呈現針刺形狀，影響診斷，Karssemeijer 等人[50]提出了一種基于像素方向圖統計分析的分割方法，如果發現指向某個區域的像素增加，尤其是在許多方向上發現這種增加時，則將該區域標記為可疑，使用多尺度方法在每個像素處確定圖像強度圖的方向。在給定的比例下，可以從三階二階高斯導數運算符的輸出獲得準確的基于線的方向的估計，而在其他情況下，圖像噪聲會生成隨機方向。像素方向圖用于構造兩個對直線的徑向模式敏感的算子。使用分類器對這些運算符的輸出進行組合，可以檢測出針刺形狀。這種方法檢測出90%的惡性病例，但是假陽性率較高。

為了降低病變區域背景與前景灰度分布相近帶來的影響，不少學者提出了基于無邊緣活動輪廓模型的乳腺腫塊分割方法。Tunal? 等人[51]對圖像添加了低值像素，對采用的邊緣停止函數Chan-Vese 主動輪廓算法進行了改進，有效地對乳腺X線圖像中的良性和惡性腫塊進行了分割，使用DDSM（digital database for screening mammography）數據集中的60張圖像進行驗證，最終的分割結果交并比達到75.1%。Dubey等人[52]比較了兩種不同的半自動方法，即水平集方法和基于控制的分水嶺方法，應用這兩種方法對腫塊區域進行分割。實驗結果表明，標記控制的分水嶺分割方法顯示出比水平集更好的結果。Chu等人[53]使用形態學增強技術對乳腺X線圖像進行預處理并消除背景，應用簡單線性迭代聚類（simple linear iterative clustering，SLIC）方法對腫塊可疑區域進行分割，將腫塊與背景分組，利用基于規則的分類方法對可疑區域進行預篩選，并應用正則化水平集對潛在病變輪廓進行細化。實驗結果表明，該方法可以通過降低假陽性率的方法來提高靈敏度。Jen等人[54]提出基于新型異常檢測分類器（abnormality detection classifier，ADC）的乳腺X 線圖像異常特征檢測方法，對分割后的乳腺X 線圖像使用灰度值量化的方法提取五個特征來檢測感興趣區域，應用主成分分析（principal component analysis，PCA）來確定權重。實驗結果表明，將該方法與特征權重調整相結合進行檢測，在MIAS 數據集和DDSM 數據集上的靈敏度分別為88%和86%。Davies等人[55]使用局部閾值化處理從圖像中正常的乳腺結構背景中分割出鈣化層，并對分割對象進行分析，提取出鈣化簇。

上述傳統的病變區域分割方法大致可以分為基于區域、基于閾值、基于邊緣、基于特征模型、基于特定理論等幾類。考慮病變區域往往形狀不規律，邊界不規則，且病變內部存在灰度異質等情況，單獨依靠某一類分割方法很難得到理想的結果，綜合不同方法以提高分割精度是今后研究的趨勢。此外，病變檢測方法常與分割算法相結合，在確定存在病變的同時分割出病變區域，以提升計算機輔助診斷效果。

2.4 乳腺病變的特征提取、選擇與分類

特征提取的目的是通過一系列的運算，從原始圖像數據中抽象出對解決分類問題有效的特征表達。傳統意義上的特征提取主要包括：基于人工設計的圖像特征表達和基于淺層學習的圖像特征表達。幾種常見的人工設計的特征提取方法有顏色（灰度）特征、紋理特征和局部特征提取方法。顏色（灰度）特征對圖像大小、方向和視角變化不敏感，計算過程簡單，易于獲取。紋理特征刻畫的是圖像或感興趣區域的顏色和亮度在空間上的分布規律。

2.4.1 腫塊的特征提取、選擇與分類

Rangayyan等人[56]采用邊緣銳度特征描述腫塊邊緣點灰度的變化程度，并與緊密度和傅里葉描述符等形狀特征相結合，實現腫塊良惡性分類。Yang等人[57]首先對腫塊進行邊緣分割，然后將分形維數用于腫塊良惡性的分類，取得了較好的結果。Rashe 等人[58]提出基于多分辨率小波分解的方法將腫塊識別為良性或惡性。首先將圖像進行多級小波分解，然后取每級變換的低頻系數作為圖像特征。Nanni等人[59]分別使用局部三值模式和局部相位量化直方圖作為圖像特征，對腫塊進行良惡性分類。Verma等人[60]提出了基于模糊神經網絡的乳腺X線圖像特征提取系統，在基于熵、標準差和像素的特征組合的基礎上對乳腺微鈣化圖像進行良惡性分類。Eltoukhy等人[61]提出一種統計測試的方法。首先，將分解一組乳腺X線圖像后獲得的系數用于構建K×N矩陣，其中K是圖像數量，N是每個圖像的系數數量，根據其分類能力對要素（列）進行排名；然后，應用動態閾值來優化特征數量，從而可以有效地實現分類準確率。該方法取決于提取可以最大程度上區分不同類別的特征。

紋理特征是識別圖像中感興趣區域的重要特征。Mudigonda等人[62]比較整個腫塊區域和僅包含腫塊邊緣的帶狀區域的紋理特征和梯度特征在腫塊良惡性分類上的性能，發現從僅包含腫塊邊緣的帶狀區域提取的紋理特征具有較好的分類性能，在MIAS數據和本地數據組合的數據庫上準確率達到了76%。Jagadeesh 等人[63]提出兩種復雜的特征提取方法，首先使用Sech 模板方法選擇乳腺中的可疑區域進行閾值化分割，然后使用灰度共生矩陣（gray-level co-occurrence matrix，GLCM）和光密度特征提取局部強度關系和離散光度分布的信息。Punitha 等人[64]提出了使用優化區域生長技術的自動檢測乳腺腫塊的方法，其中使用名為DFO（dragon fly optimization）的群體優化技術生成初始種子點和閾值。使用GLCM和灰度游程矩陣（gray-level run-length matrix，GLRLM）技術從分割的圖像中提取紋理特征，并將其輸入到使用反向傳播算法訓練的前饋神經網絡（feed forward neural network，FFNN）分類器中，將圖像分為良性和惡性。使用DDSM數據庫評估提出的檢測技術的性能，將得到的ROC 分析結果與其他區域生長方法進行了比較，該系統的靈敏度高達98.1%，特異性達到97.8%。

2.4.2 微鈣化的特征提取、選擇與分類

用于乳腺X 線圖像微鈣化點特征提取與識別的方法很多，主要有應用小波變換的微鈣化點提取技術、應用形態學的微鈣化點提取技術和應用統計學習的微鈣化點檢測技術等。萬柏坤等人[65]首次應用基于統計學習理論的支持向量機算法實現了乳腺X 線圖像中的微鈣化檢測。使用ANN與SVM算法對214個微鈣化點進行檢測，實驗結果表明SVM 算法具有更準確的檢出率。Pal 等人[66]提出了鈣化的多階段檢測系統，利用特征選擇技術從87 個鈣化特征中挑選出一組良好的特征。使用反向傳播神經網絡找到鈣化和正常區域，然后在這些圖像的每個可疑像素處計算鈣化點的局部密度（稱為山勢），并將山峰的峰值用于將乳腺X線圖像分類為鈣化或正常。在17 張乳腺X 線圖像上進行了測試，結果表明該系統運行良好，并且對于每張異常圖像，能夠非常準確地定位鈣化區域。對于乳腺X 線圖像中的簇狀微鈣化，Kim 等人[67]采用紋理分析方法進行檢測，他們將提出的與周圍區域相關的紋理分析方法與傳統的紋理分析方法（如空間灰度相關方法、灰度相關方法）進行比較，利用這些方法提取的紋理特征將感興趣區域分為包含簇狀微鈣化和正常組織。選用三層反向傳播神經網絡作為分類器，用ROC曲線作為評價指標，實驗結果表明，在分類精度和算法復雜度方面，周圍區域依賴方法優于傳統的紋理分析方法。Chen 等人[68]提出一種基于拓撲特征的乳腺微鈣化簇良惡性分類方法，在不同尺度下，構建微鈣化簇的圖形表示，進而應用圖形學理論提取微鈣化簇的拓撲特征，最后應用k近鄰分類器區分良性和惡性微鈣化簇，在MIAS和DDSM數據集上均取得了較好的分類結果。

綜上，可以看出乳腺病變的分類主要集中于對腫塊和微鈣化這兩類病變的良惡性分類。上文中的病變分類方法只針對某一類病變，無法對其他類病變進行良惡性分類。但是在乳腺癌的實際臨床診斷中，往往需要綜合考慮腫塊、微鈣化等多類病變，需要同時對多類病變進行良惡性診斷。目前面向多類病變分類方法的研究較少，分類結果也較低，是今后的研究方向。

2.5 總結

目前，應用傳統方法的乳腺X線圖像分析和計算機輔助診斷面臨兩個問題：一是基于人工設計特征的醫學圖像分析方法具有一定的主觀性，需要具備一定的醫學診斷知識，而且不能有效地提取出圖像中的高維特征，無法滿足復雜函數模型建模的要求；二是基于傳統方法的病變檢測和分割方法是對一種或者幾種乳腺病變的顯著特征進行特征提取，針對特征明顯的病變有很好的檢測能力，然而實際中面對外觀多樣的乳腺病變情況泛化能力低，不能有較強的魯棒性，很容易造成漏檢。因此，將不同的模型提取的特征進行融合，可以彌補模型自身的局限性，結合不同的特征可以更好地擬合出病變特點，能夠更好地提高檢測的精度，但是增加了算法的復雜度，容易出現過擬合的情況。綜上，基于傳統方法的乳腺X線圖像分析仍存在一些問題，尚不能很好地應用在實際臨床診斷中。

3 應用深度學習方法的乳腺X線圖像病變檢測與分類診斷

3.1 深度學習

人工神經網絡（artificial neural network，ANN）是受到動物視覺皮層組織的啟發而產生的一系列可訓練的多層結構，而各種各樣的深度結構則衍生于傳統的前饋ANN。Hirose 等人[69]提出了被用于分層結構神經網絡的人工神經網絡反向傳播算法，掀起了機器學習的第一次浪潮，使基于統計模型的機器學習重新煥發了生機，隨之而來的是淺層學習在機器學習中的廣泛應用。這些淺層結構雖然相比于過去基于人工規則的系統展現出很大的優越性，但當處理復雜問題時，則表現出特征學習能力不足、維數災難、易陷入局部最優等缺點。

自2006 年Hinton 等人[70]首次提出深度學習的概念以來，機器學習相關的應用迅速增長，解決了上述淺層結構長期對研究者的困擾。研究發現多隱層網絡具有優異的特征學習能力，能學習得到數據中更本質的特征[71]。深度學習利用分層結構處理復雜的高維數據，每層由包含特征檢測器的單元組成，低層檢測簡單特征，并反饋給高層，從而檢測出更復雜的特征。深度學習算法可以直接從訓練數據提取特征，使得特征提取、特征選擇及特征分類三個核心步驟可以在同一個深層結構的最優化中實現，從而極大地減少特征提取的工作量以及主觀因素的影響。深度學習相關研究掀起了機器學習研究的第二次浪潮。

深度學習算法最早應用的領域便是圖像處理。最初，卷積神經網絡等神經網絡在時間延遲網絡[72]、支票讀取系統[73]等小規模的應用問題上取得了當時最好的結果。在1996 年，Sahiner 等人[74]第一次利用包含一個輸入層、兩個隱藏層和一個輸出層構成的卷積神經網絡，結合反向傳播算法更新卷積神經網絡權值參數，實現了對人工標注的乳腺腫塊區域和乳腺正常組織區域的分類。由于當時深度學習網絡對像素數量巨大的圖像內容理解不理想，使其在計算機視覺領域的相關研究一直停滯不前。圖形處理器（graphics processing unit，GPU）和并行處理算法的發展，特別是2012年的ImageNet比賽中出現的AlexNet[75]，使深度學習在圖像處理領域的應用日益增多。隨著深度學習模型和算法的不斷發展和優化，深度學習在乳腺X線圖像分析領域的應用也愈加廣泛[76]。

目前應用廣泛的深度學習模型有自編碼器（autoencoder，AE）[77]、深度置信網絡（deep belief networks，DBN）[78]、卷積神經網絡（convolutional neural networks，CNN）[79]、深度殘差網絡（residual neural network，ResNet）[80]和密集連接網絡（dense convolutional network，DenseNet）[81]等。

3.1.1 自編碼器

自編碼器是人工神經網絡的一種形式，用于無監督學習模型，主要分為降噪自編碼器（denoising autoencoder，DAE）和稀疏自編碼器（sparse autoencoder，SAE）。自編碼器由編碼器（encoder）和解碼器（decoder）兩部分組成，通過隱藏層減少維度空間，在輸出層重構輸入圖像以學習圖像數據的特征表示。深度自編碼器的概念是Hinton 等人[70]對單層自編碼器的結構進行改進后提出的，并給出了具體的預訓練以及參數調優的方法。目前，自編碼器廣泛應用于乳腺X線圖像的分割與檢測。

3.1.2 受限玻爾茲曼機與深度置信網絡

受限玻爾茲曼機（restricted Boltzman machines，RBM）是一個雙向圖模型，由Smolensky[82]在1986 年提出，并且被廣泛用于特征提取、特征選擇與圖像分類。Nie 等人[83]在2016 年提出了卷積受限波爾茲曼機（convolutional restricted Boltzman machines，CRBM）[84]，并將其應用到了眼周識別領域。康麗萍等人[85]提出了稀疏受限玻爾茲曼機（sparse restricted Boltzman machine，SRBM），通過歸一化輸入數據均值決定稀疏系數及稠密數據集（稀疏系數超過閾值的數據集），自動完成原始稠密數據集到稀疏數據集的轉化。判別式受限玻爾茲曼機（discriminative restricted Boltzmann machine，DRBM）[86]可以看作是多個受限玻爾茲曼機以級聯的方式構成的一種深度學習框架，可以直接用于分類，相當于深度學習的最后一層，目前已經成功應用在數字識別、文本識別等領域。

深度置信網絡是一個概率生成模型，建立了一個觀察數據和標簽之間的聯合分布，具有靈活性和易拓展的優點。它的核心部分在于非監督貪心逐層訓練算法。這種算法能夠在某種程度上避免局部最優的問題，而且無監督學習的訓練方式使其具備對未標記數據進行訓練的能力，從而有效解決以誤差反向傳播為代表的淺層學習結構的局限性（如局部最優、過擬合和無法訓練未標記數據等）。

3.1.3 卷積神經網絡

卷積神經網絡（CNN）是一種最成功的深度學習模型，尤其是應用在面向分類任務的監督學習時，性能尤其突出。Litjen 等人[87]在2017 年使用CNN 實現了多種圖像處理任務。早在1989 年，LeCun 等人[88]就提出了CNN，其為多層感知器的變形，和ANN 類似，也是由許多基礎單元堆疊組成的。CNN是一種包含卷積層的深度神經網絡，其網絡架構包括非線性卷積層、池化層和全連接層。與常規神經網絡不同的是CNN的層次具有寬度、高度和深度，CNN最大的特點是采用了權值共享的策略，其權值共享的網絡結構使之更類似于生物神經網絡，不僅降低了網絡模型的復雜度，而且減少了權值的數量[89]。將合適的輸入數據輸入到CNN中即可對其進行訓練，CNN 會逐層地計算參數并生成一個最終的輸出。訓練的目的是使網絡的預測輸出和實際輸出之間的差異最小化，訓練的誤差會通過反向傳播算法反向流向整個網絡從而更新網絡的參數。卷積神經網絡是深度學習技術中最具代表性的網絡結構之一，該結構特別適用于分析、處理圖像任務，并在計算機視覺領域取得了突破性的進展，甚至在很多視覺分析任務（如手寫字體識別、人臉識別、物體識別等）中都取得了可以和人類認知相比擬的結果。

3.2 應用卷積神經網絡的乳腺X線圖像病變檢測

3.2.1 應用卷積神經網絡的腫塊檢測

Dhungel等人[90]提出了一種使用級聯的深度學習和隨機森林分類器（random forest，RF）檢測乳腺腫塊的方法。首先將多尺度深度置信網絡（multi-scale deep belief networks，m-DBN）與高斯混合模型（Gaussian mixture model，GMM）相結合，選擇可疑區域。之后將候選框輸入級聯網絡，主要是兩個深度卷積神經網絡的級聯，級聯網絡產生的特征被支持向量機使用，這種特定圖像區域和SVM的組合被稱為R-CNN[91]。最后由兩級隨機森林分類器級聯處理經過深度學習分析的區域，從級聯分類器選擇的區域提取形態和紋理特征，再使用關聯成分分析（connected component analysis，CCA）將在隨機森林分類器中獲得的區域合并在一起，產生新的結果。在DDSM-BCRP 數據集和INbreast 數據集上進行測試，實驗結果表明該方法在有效地減少假陽性的同時，可以保持較高的真陽性檢測率。

Ren 等人[92]提出了Faster R-CNN，引入一個區域建議網絡（region proposal network，RPN）[93]。RPN是一種全卷積網絡，與Fast R-CNN 共享全圖像卷積特征，對RPN 進行端到端的訓練，以生成高質量的區域建議，具有更快的檢測速度和更高的檢測質量。Akselrod-Ballin等人使用Faster R-CNN 模型進行了一系列實驗，分別為乳腺腫塊的檢測與分類和乳腺腫塊和鈣化的檢測與分類。Akselrod-Ballin 等人[94]對Faster R-CNN 進行了改進，首先對圖像進行預處理，分割乳腺組織，去除背景和胸肌，并相應地剪裁圖像；然后將多個重疊的子圖像用于訓練和測試修改后的Faster R-CNN，將子圖像獲得的結果整合到整個圖像中；最后產生具有置信度概率分數的檢測和分類結果。另外，Akselrod-Ballin 等人[16]還提出了在Faster R-CNN 基礎上構建多級特征融合，將底層的特征與高級語義特征相結合，在DDSM數據集和INbreast 數據集上進行訓練，得到了AUC 為0.97 和0.91 的好結果，與之前的模型相比，具有更高的檢測速度和檢測精度。Ribli 等人[95]提出了一種無需任何人工干預即可在乳腺X 線圖像上檢測和分類良惡性病變的系統。該系統運用遷移學習的方法，使用在ImageNet數據集上預訓練的VGG16網絡參數，結合Faster R-CNN在DDSM 和INbreast 數據集上進行訓練，得到AUC 為0.95，在數字乳腺攝影DREAM挑戰賽中排名第二。

大部分的CNN網絡模型規定輸入圖像的大小都小于乳腺X 線圖像的大小，直接對圖像進行下采樣，會造成圖像部分信息的丟失，尤其不適合小病變檢測。Jung等人[96]使用RetinaNet作為基礎模型，針對乳腺病變中的小腫塊進行檢測，通過旋轉、翻轉、剪裁等方式，對數據進行增廣，在INbreast數據集上進行訓練。實驗結果證明RetinaNet能夠降低假陽性率，提高腫塊檢測的準確率，對小腫塊有比較好的檢測效果。

Redmon等人[97]提出了一種新的目標檢測方法YOLO（you only look once）。該網絡使用整個圖像的特征來預測每個邊界框，同時還可以預測圖像中所有目標類的所有邊界框，可以實現端到端的訓練和實時速度，同時保持較高的平均精度。YOLO 系統將輸入的圖像劃分為S×S個網格，如果目標的中心落入某個網格單元，則該網格單元負責檢測該目標，每個網格單元檢測目標邊界框并輸出這些邊界框的目標置信度分數。Al-Masni等人[98-99]對YOLO 模型進行了改進，提出一種區域深度學習技術，用于腫塊的自動檢測和分類。該系統主要分為4個階段：對圖像進行預處理，使用24個卷積層（內核大小為3×3）進行特征提取，使用置信度模型進行腫塊檢測，最后使用全連接神經網絡（fully connected neural network，FC-NN）進行腫塊分類。一組帶有腫塊RoI（region of interest）及其類型信息的乳腺X線圖像用于訓練YOLO。訓練后的基于YOLO的CAD系統可以檢測腫塊并將其類型分為良性或惡性。實驗結果顯示所提出的基于YOLO的CAD系統能夠以96.33%的整體精度檢測腫塊位置，良性和惡性病變分類準確度為85.52%。Al-Masni 等人聲明該系統是能夠同時進行檢測和分類的CAD 系統，且能夠克服一些具有挑戰性的乳腺癌病例，例如存在于胸肌或密集區域的腫塊。YOLO網絡以其出色的檢測速度而廣受歡迎，YOLOv3[100]的速度比RCNN快1 000倍，比Faster R-CNN快100倍。Djebbar等人[101]使用YOLOv3 網絡對腫塊進行檢測和分類，對DDSM數據集進行擴充，最后實驗整體的檢測精度達到99.7%，良性和惡性病變分類精度達到97.0%。

有時由于高昂的成本和放射線專家的缺乏，導致乳腺X線圖像并不包括專業醫生標注的病變的位置信息，輸入的數據只有圖像中病變類別的注釋信息，這樣的訓練稱為弱監督學習。Choukroun 等人[102]描述了一種弱監督學習系統。提出的方法主要利用深層多實例學習（multiple instance learning，MIL）卷積神經網絡，通過全分辨率處理乳腺X 線圖像。這種方法僅需要提供整個圖像的標簽，就可以根據評分對整個圖像進行分類，并在弱標簽數據集上進行訓練的同時以全分辨率定位病變。該方法在INbreast 數據集和不公開的數據集上進行了驗證，得到了理想的檢測和分類結果。Hwang等人[103]提出一種弱監督的自遷移學習框架（self-transfer learning，STL）。該框架使用加權損失函數作為目標函數共同學習分類器和定位器，隨著訓練的不斷進行，增加定位器與訓練器的訓練比重，防止定位器陷入局部最優狀態。STL框架不需要在圖像上標注位置信息，僅在圖像級標記的數據集下即可實現RoI的準確定位，也不需要任何類型的預訓練網絡，而且分類網絡和本地化網絡之間的權重共享。實驗結果顯示STL 框架在分類與定位檢測方面，明顯優于其他方法。

對比傳統的腫塊檢測方法，深度學習方法可以省略特征提取的工作，由網絡根據損失函數自動優化參數，學習合適的特征，以提升檢測性能。例如一階段的YOLO網絡對腫塊病變進行檢測時，不但具有較高的精度，而且對比其他網絡檢測速度更快。但是因為醫學影像已知數據量少，不能滿足深度學習的訓練要求，所以遷移學習不可或缺。

3.2.2 應用卷積神經網絡的微鈣化檢測

Mordang 等人[104]為了克服微鈣化點像素與其他乳腺組織像素大類不平衡（微鈣化點像素樣本過少）的問題，采用了使用兩個CNN的強反差挖掘策略，并與當前檢測微鈣化點效果最好的級聯分類器進行了比較。考慮到CAD系統的性能受不同傳感器采集的乳腺X線圖像的噪聲特性和外觀的影響，他們使用了三個不同的數據庫。結果表明，使用CNN的CAD系統對微鈣化點的敏感性明顯高于使用級聯分類器的CAD系統。Wang等人[105]開發了一種深度神經網絡（deep neural network，DNN）用于檢測乳腺X 線圖像中的微鈣化簇，該網絡既考慮到微鈣化的局部圖像特征，也學習到反映圖像周圍信息的上下文特征。網絡由兩部分組成，一部分用于提取局部特征，另一部分用于學習上下文信息。最后將兩部分提取到的特征進行組合，對微鈣化的位置進行定位。檢測結果說明，深度學習提取到的特征比人工制作的特征具有更好的性能。Samala 等人[106]設計了深度學習卷積神經網絡（deep learning convolution neural network，DLCNN），以區分乳腺X 線圖像中的真實鈣化和假陽性。用DLCNN網絡訓練和測試時，數據集為手動標記的真實微鈣化，并在排除真實鈣化的可疑區域選取假陽性，通過改變卷積層中的濾波器數量、濾波器內核大小和梯度計算參數來選擇DLCNN 網絡結構。然而選擇DLCNN網絡并不是簡單的問題，它的參數量眾多，因此訓練和測試時計算時間較長，需要更高性能的計算機進行操作。Cao等人[107]利用改進的Faster R-CNN完成乳腺腫塊和鈣化的檢測。采用最新的焦點損失函數[108]代替Faster R-CNN 原始的損失函數，以減少原始Faster R-CNN 產生的誤報。ResNet50 作為模型的主干網絡，使用DDSM、INbreast和BCDR三個公共數據集和一個私人數據集中的數據隨機劃分進行訓練和測試。通過不同數據集之間的檢測結果的對比發現，不同數據集之間專業醫生標記的微鈣化的方式存在差異，會對模型的檢測準確性和靈敏度有一定的影響。

由上可見，深度學習方法比傳統方法的特征提取能力更為顯著。由于微鈣化點非常小，在構建微鈣化檢測網絡時，要重點提升網絡對微小目標的檢測準確率，可通過多尺度特征融合、合理的錨框設計、放大小目標特征等方法提高小目標檢測精度。表3 綜合比較了基于深度學習的乳腺X線圖像病變檢測方法。

表3 基于深度學習的乳腺X線圖像病變檢測方法比較Table 3 Comparison of abnormality detection methods in mammograms based on deep learning

3.3 應用深度神經網絡的乳腺X線圖像分割

Dhungel等人[109]使用了CNN與DBN結合淺層學習模型的混合模型，成功地在淺層學習模型的基礎上大幅度提升了對乳腺X 線圖像病變區域分割的準確率。該混合模型的Dice系數為0.90，而淺層學習模型的Dice系數只有0.86。此外，Dhungel等人[110]同樣測試了DBN結合淺層學習模型對乳腺X 線圖像的分割結果，最終的Dice系數為0.88。由此可以看出DBN作為一個在結構上包含多層非線性運算單元的概率模型，在處理圖像數據時具有更強的建模和表征能力，相比高斯混合模型的Dice系數提升了0.02。由結果可以看出，在推理和訓練時間方面，條件隨機場（conditional random field，CRF）模型比結構支持向量機（structured support vector machine，SSVM）快，這表明將CRF 模型與深度學習潛在特征結合使用時，具有很強的優勢。

Kallenberg等人[111]在卷積神經網絡的基礎上改進形成了卷積稀疏自編碼器（convolutional sparse autoencoder，CSAE）。這是一種無監督的學習方式，采用了種群稀疏和存在稀疏相結合的稀疏方式，可以在未被標記的樣本中學習到多層次的特征，在乳腺密度數據集和紋理數據集上的分割結果都遠遠優于傳統的需要大量先驗知識的閾值分割方法，而且性能相比CNN 也有一定的提高。Petersen等人[112]提出了一種使用稀疏化激活函數的多尺度去噪自編碼器（multiscale denoising autoencoder，MS-DAE），并將其應用于乳腺密度分割。他們通過與人工的BI-RADS 和類似Byng[113]的半自動密度評分對比，評估其方法的臨床應用價值。結果表明，在分割任務中，多尺度去噪自編碼器可以有效自動地學習豐富的特征表示，且自動密度評分優于人工分級。

Yan等人[114]提出了基于區域的腫塊分割技術，采用嵌套和密集跳躍連接的卷積編碼器-解碼器來對候選腫塊區域進行分割，通過一系列嵌套的密集卷積塊來建立連接，增強特征融合，防止反向傳播期間中間部分出現梯度消失問題，確保更好的分割精度。這樣的結構遵循U-Net++實現了具有嵌套和跳躍連接的深度架構，與最近提出的條件殘差U-Net[115]、條件GAN[116]、級聯U-Net[117]一樣，都是標準U-Net[118]的擴展。它們在本質上一樣，都是從編碼器到解碼器的快捷連接，將下采樣的特征圖與同維度上采樣的特征圖拼接，實現高低層次特征的融合。Min 等人[119]提出一種同時進行乳腺X 線圖像腫塊檢測和分割的系統，不需要人工處理。該系統基于多尺度形態學進行篩選，將灰度圖轉換成偽彩色圖像，以增強可疑區域的對比度；然后利用Mask R-CNN進行傳遞學習，同時檢測和分割偽彩色圖像的腫塊，在INbreast數據集上進行評估，Dice系數為0.88。

Cao等人[120]為了幫助醫生有效識別腫塊和鈣化，提出基于深度學習的綜合解決方案來進行腫塊檢測和鈣化分割。對于腫塊和鈣化的檢測，首先將Faster R-CNN與特征金字塔[121]、焦點損失函數和非局部神經網絡[122]相結合，將該方法與同類型的方法在三個公共數據集（CBIS-DDSM、BCDR和INbreast數據庫）和一個內部數據集上進行比較，最佳的檢測結果mAP=0.933，Recall=0.976。對于鈣化分割，首先設計了窗口調整、乳腺區域提取等預處理；然后進行鈣化分割，將U-Net 模型[123]進行組歸一化（group normalization，GN）[124]，包括三個上采樣階段和三個具有跳躍連接的下采樣階段。每個階段都有兩個卷積層，每個卷積層后面都有一組歸一化和ReLU[125]。因為醫生一般對鈣化的標注區域比實際的鈣化點要大得多，常用的交并比并不是很好的評價指標，所以該論文使用新的實驗指標——預測交集（intersection over prediction，IoP）在內部數據集上進行驗證。論文將組歸一化后的U-Net模型與經過批處理歸一化（batch normalization，BN）和層歸一化（layer normalization，LN）的U-Net模型進行對比。當每幅圖片的假陽性高于1 時，經過組歸一化的U-Net 的召回率高于其他兩種類型的U-Net 網絡，為0.737。此外，論文還根據鈣化的標簽面積和形狀對標簽進行劃分，“血管”形狀的鈣化檢測結果最好，當每幅圖片的假陽性不小于1 時，“血管”形狀的鈣化召回率為0.971，其次是大面積的鈣化，最后是點樣鈣化。實驗結果表明該方法解決了不同的放射科醫生之間由于鈣化標注不一致和標簽不完善導致的問題。

上文的U-Net網絡盡管使用有限的數據集訓練，卻能在乳腺X線圖像分割中取得良好的表現。但是，目前對U-Net模型的改進有限，模型的準確率和穩定性還有待進一步提高。各種分割方法的比較見表4。

3.4 應用卷積神經網絡的乳腺X線圖像分類

傳統的特征提取需要靠人工設計的特征來表達圖像中的內容，而深度神經網絡則可以自動地提取圖像中的優質特征，這對于乳腺X 線圖像分類來說，避免了征象不明顯和難以提取高維特征的問題，有利于對圖像中的病變進行良惡性分類。目前已有堆棧式自編碼器和不同結構的CNN模型被用于乳腺X線圖像中病變的良惡性分類。此外，深度學習模型大多可以和非負矩陣分解（nonnegative matrix factor，NMF）[126]、多核學習（multiple kernel learning，MKL）[127]、Liebenberg-Marquardt 學習函數[128]、支持向量機等方法相結合，從而達到優化分類的效果。

為了解決醫學圖像數據集樣本數量偏小的問題，Carneiro 等人[129]利用未配準的乳腺X 線圖像的多視圖（CC位和MLO位）以及分割后的微鈣化和腫塊區域，采用ImageNet 預訓練單獨的CNN 模型，然后使用從分割后的圖像和多視圖中學習到的特征，訓練最終的CNN分類器。最終，該分類器使用BI-RADS 評分來估計患者患乳腺癌的風險，在INbreast和DDSM數據集上進行測試，將微鈣化和腫塊病例分為良性或惡性（每個病例至少具有微鈣化或腫塊）。在INbreast數據集上的AUC=0.91±0.05，在DDSM數據集上的AUC=0.97±0.03。Arevalo等人[130]采用了CNN 結合SVM 分類器對乳腺X 線圖像中的腫塊進行分類，得到的AUC為0.86，而利用人工提取特征結合SVM的分類方法的AUC僅僅為0.799，表明了應用深度學習的特征提取方法，特別是CNN 的特征提取性能要優于傳統的人工特征提取，其分類性能較傳統方法有了很大的提高。Arevalo等人[131]在他們之前工作的基礎上，對CNN的卷積層數進行了調整，探索不同數量的卷積層對特征提取結果的影響，發現在一定程度內加深網絡的深度能提升模型的分類性能。

Fonseca等人[132]采用了一種用于乳腺X線圖像的結構搜索過程技術[133]，評估了改進型HT-L3 CNN 網絡的性能。網絡搜索空間有729個備選結構，用72小時找到了其中三種最好的結構。使用得到的最優結構自動提取特征，并用其訓練SVM 分類器。Kooi 等人[134]與Huynh 等人[135]利用遷移學習從醫學圖像中提取腫瘤信息，使用CNN 首先通過非醫學數據進行預訓練。分類過程分為兩個階段：首先，應用隨機森林和生成似然圖像來檢測候選區域，從而進行進一步檢查；然后將這些圖像用作參考系統和CNN 的種子點。實驗結果表明，添加位置、上下文信息等手動設計的特征能提高卷積神經網絡的性能。Jiao 等人[136]使用CNN 在LSVRC（large scale visual recognition competition）圖像集上訓練，然后使用乳腺腫塊圖像進行微調。腫塊的特征被提取于模型的不同層次，然后通過兩個SVM分類器進行決策，最終融合不同的決策結果來完成分類。Lévy等人[137]使用經過遷移學習的CNN 對預分割后的腫塊進行分類，CNN模型的層數由少到多逐漸增加。并且研究了數據增強和數據背景信息對實驗結果的影響，得出了加倍異常邊框對腫塊的二值分類有影響的結論。

Wang等人[138]采用堆棧去噪自編碼器分別在有腫塊的乳腺X 線圖像和無腫塊的乳腺X 線圖像上回顧性分析微鈣化點。使用深度學習模型對圖像進行分割，針對腫塊和微鈣化分離或組合的這三種情況分別提取到15、26、41個微鈣化和腫塊特征。在他們的工作中輸入比較分類器的是特征而不是原始圖像，并就分類和識別乳腺病變的性能和精度與SVM、k近鄰和線性分解分析方法進行了比較，結果表明組合的方法準確度高于標準微鈣化判別方法。Bekker 等人[139]從事乳腺微鈣化簇的良惡性分類，使用CC 和MLO 兩個視圖，每個視圖的簡單分類器作為其初始決策，決策結果通過一個單神經元層，非線性組合得到全局決策。Fotin 等人[140]采用CNN模型和傳統的采用直方圖、梯度、紋理和形狀特征結合決策樹的方法對乳腺X線圖像分類的特異度進行對比，應用CNN模型的平均感興趣區域特異度對于疑似惡性腫瘤與惡性腫瘤分別為0.893和0.930，而傳統的分類方法的特異度對于疑似惡性腫瘤與惡性腫瘤分別為0.832和0.852。由此可見CNN 能夠在很大程度上提高病變分類的準確率、靈敏度和特異度。Dubrovina 等人[141]將組織分類應用于胸大肌、纖維腺組織等乳腺組織分割。他們將常規CNN 的全連接層轉變為卷積層，通過這種方式在保持了分類精度的同時，極大地提高了運算速度。

由上可見，卷積神經網絡的分類能力要優于傳統方法，然而融合卷積神經網絡提取的深層特征與傳統方法提取的特征有助于提高分類結果。在進行腫塊與鈣化病變的良惡性分類時，將形狀、紋理等傳統特征與CNN模型進行融合效果會更好。表5 將上述基于深度學習的各種乳腺X線圖像分類方法進行對比。

表5 基于深度學習的乳腺X線圖像分類方法對比Table 5 Comparison of mammographic image classification methods based on deep learning

3.5 總結

目前，隨著計算機存儲和數據處理能力的增強，如何從大數據中挖掘出所需的信息成為首要的問題。深度學習可以充分利用大數據，以有監督和無監督的方式學習數據特征，成為大數據時代的強大推動力。“大數據+深度學習模型”目前已成為研究熱點，未來將應用于各個領域。而對于乳腺X線圖像分析而言，一個重要的問題則是大規模數據集的收集，有限的數據量成為深度學習在乳腺X 線圖像計算機輔助診斷中的發展阻礙。許多研究者已嘗試應用數據增廣、遷移學習、小樣本學習等方法解決數據缺乏的問題。

此外，深度學習依賴于含有多隱藏層的人工神經網絡，如何衡量分析精度和網絡運行復雜度之間的關系也是今后研究的一個方向。為了更好地提取特征，有效的訓練算法和持續的優化策略，設定和微調優化網絡結構參數在深度學習中對于特征學習非常重要[142]。算法自身的改進和硬件系統性能的提升，結合復雜推理表示學習的系統，引入操作大量向量的新范式來代替基于規則的表達式操作，與其他方法的融合等，都能使深度學習的能力得到提升。

醫學圖像CAD系統為臨床醫生提供具有參考價值的輔助信息，可以幫助臨床醫生快速、準確、高效地做出診斷決策。作為機器學習領域的新興技術，深度學習可在很大程度上改進淺層學習中存在的問題，大幅提高CAD 系統對醫學圖像特征學習的能力。因此，深度學習應用于乳腺X 線圖像CAD 系統，將成為乳腺X 線圖像計算機輔助診斷技術發展的新方向。

4 總結與前景展望

乳腺X線圖像分析作為醫學圖像分析的一個分支，有著和大多病癥相似卻又不同的處理方式。病理的復雜性和病灶X線表現的差異性，使得人們需要在專門的領域研究相關的圖像處理技術和病變診斷技術。本文從傳統方法和深度學習兩方面全面綜述和分析了乳腺X 線圖像計算機輔助診斷技術的發展現狀。首先討論了應用傳統方法的乳腺X線圖像分析中的病變檢測、分割和分類方法；之后從深度學習的基本理論出發，結合乳腺X線圖像分析領域這一應用方向，探討深度學習在乳腺X線圖像分析方面的應用潛力；隨后介紹了幾種常見的深度神經網絡，在此基礎上結合深度學習在乳腺X線圖像病變檢測、分割和分類等方面的應用，闡述了深度學習的優勢。

隨著乳腺X 線圖像計算機輔助診斷技術研究的深入，目前的研究還存在以下問題或改進方向：

（1）應用傳統方法的乳腺X線圖像計算機輔助診斷技術在特征提取方面存在瓶頸。傳統方法以定義提取有效的特征為前提，不需要復雜的訓練過程，可以快速地進行結果預測，但是傳統方法只提取了圖像的淺層特征，對于具有不同密度特征的乳腺組織，產生了大量的不確定信息。另外，傳統方法一般只提取一種或者幾種人工設計的特征，泛化能力低，不能應用在其他的數據集中，模型的魯棒性差。將不同的模型提取的特征進行融合，可以彌補模型自身的局限性，結合不同的特征可以更好地擬合出病變特點，但是其算法復雜度增加，還可能出現過擬合的情況。

（2）乳腺X 線圖像病變區域和正常組織對比度較低。乳腺病變周圍組織形式豐富（如致密組織、胸肌組織等），乳腺腫塊可能隱藏在周圍腺體中，在檢測時容易受到噪聲和周圍組織的影響。因此無論是傳統方法還是深度學習方法，在檢測前對圖像進行對比度增強等預處理是十分必要的。在預處理過程中還要注意在減少噪聲的同時，增強圖像的視覺效果，保留圖像中的微小病變。

（3）醫生對乳腺X 線圖像中病變的標注習慣不同，缺乏標準的標注信息。例如，參考已知的數據集，乳腺微鈣化標注的信息參差不齊，微鈣化的標注信息很大程度上取決于放射科醫生標記的偏好，對于聚集在一起的微鈣化點，有的醫生偏好標成一處，有的醫生將它們標記成小點。這種情況限制了模型的學習，影響模型的準確率和靈敏度。

（4）缺乏大型公開的、已經標注的高質量乳腺X 線圖像數據庫。無論是深度學習方法還是傳統方法，都需要大量的標注后的數據進行訓練。如何利用無監督或者半監督學習、小樣本學習、數據增廣以及遷移學習等方式緩解目前數據匱乏的問題，是深度學習方法在乳腺X線圖像分析應用中的一個研究方向。

（5）人工定義特征與深度特征的融合或有助于提高深度學習模型性能。利用傳統方法提取人工定義的病變的顯著特征，并將其遷移到深度學習模型進行分析，比使用單一方法效果要好。針對醫學圖像來說，相對于速度而言，模型檢測或分類的準確率和精度是非常重要的評價指標。

對于逐年升高的乳腺癌發病率和死亡率，女性對于乳腺癌的篩查意識也在提高。乳腺X 線圖像計算機輔助診斷技術可輔助放射科醫生做出更準確的診斷，結合BI-RADS分級標準對乳腺X線圖像進行評估，有效降低醫生閱片的壓力以及不同醫生之間診斷的差異，從而提高乳腺癌診斷的效率和準確率，使更多的患者得以早發現、早治療，進而降低患者的死亡率。

在未來，隨著深度學習理論研究的不斷深入，可以對深度學習的高級語義特征進行更具體的分析，加上獲取到大規模的高質量數據集，利用先進的網絡模型對病變的檢測和分類診斷性能會有大幅度的提升。因此，應用人工智能技術的醫學圖像分析與診斷，特別是乳腺X線計算機輔助診斷技術具有廣闊的發展空間和研究價值，需要科研人員繼續探索和努力。