基于乳腺X 線攝影的腫塊檢測綜述

王俊茜 徐勇 孫利雷 蒲祖輝

乳腺疾病發病率逐年上升,并且逐漸趨于年輕化,這使乳腺癌已成為全球女性發病率最高的癌癥之一[1?2].至今為止,誘發乳腺癌的確切致病因素仍尚未完全清楚,但醫學工作者發現不規律的生活習慣、具有乳腺癌家族史以及未生育、初產年齡過晚或未哺乳等因素是致使女性乳腺癌發病率快速增長的主要原因.雖然乳腺癌的發病率很高,但實際上乳腺癌也是一種預后性較好的惡性腫瘤,其預后關鍵是早發現、早診斷、早治療,這對于延長患者生存時間以及提高患者生活質量具有十分重要的意義.據統計,西方女性乳腺癌的患病率遠高于東方女性.但自上世紀90年代以來,許多西方國家的乳腺癌死亡率大大降低,這得益于對乳腺癌早期篩查意識的不斷提高.乳腺癌早期篩可以及時治療和控制乳腺癌的發展.盡管我國乳腺癌的發病率和死亡率低于西方國家,但我國乳腺癌發病率呈現快速增長的趨勢.因此,對適齡女性進行科學有效的乳腺癌早期篩查是控制乳腺癌發展和死亡最為有效的方法[3].

目前,乳腺檢查技術主要分為無創檢查和有創病理檢查兩種,無創乳腺檢查包括乳房觸診檢查和影像學檢查,當前主要的乳腺影像學檢查又可分為超聲影像檢查(B型超聲、彩色多普勒超聲和三維超聲等)[4]、乳腺X線攝影檢查(Mammography)、核磁共振成像檢查(MRI)、計算機斷層掃描檢查(CT)等.有創的乳腺病理檢查則是利用細胞病理學檢查和組織病理學檢查對乳腺病變良惡性實現最終的確診.依據就醫成本以及疾病檢出的情況來看,乳腺X線攝影檢查是目前最簡單且最有效的可發現早期乳腺癌病變特征的檢測工具,已作為常規乳腺檢查項目.

乳腺癌早期階段的臨床表現往往不具備典型的癥狀和體征,常需要通過對乳腺X線攝影結果來觀察乳腺組織中是否存在異常變化.然而，對于變化多樣的乳腺異常病變表征，即使是專家也難以第一時間完成對乳腺X 線攝影中乳腺組織異常變化情況的準確分析.又由于以個體為單位的診斷具有主觀性,且每位醫生的經驗水平也不盡相同,難以將乳腺病變情況進行統一的標準化分析,出現漏檢和誤診難以避免.為此,借助計算機視覺分析技術,實現基于醫學圖像的乳腺癌自動分析系統能夠在一定程度上減少對醫生經驗水平的依賴[5].這種自動化的乳腺癌分析系統在臨床應用中可以為醫生提供有效的參考意見,提高乳腺X線攝影分析的一致性,已成為醫學工作者提升診斷效率的廣泛需求.因此,運用先進計算機視覺技術對醫學圖像進行自動分析,協助醫生診斷病情是計算機領域與醫學領域共同研究的重點.

乳腺X線攝影可以很好地反映出乳腺組織中存在的異常情況[6?7].在臨床應用中,乳腺癌的X線攝影直接征象為鈣化和腫塊.因此,檢查和分析乳腺組織中出現鈣化和腫塊的情況是發現乳腺早期病變重要的標志[8].在乳腺X 線攝影中,乳腺組織內微小的鈣沉積異常表現為高對比度的小亮點,并以聚簇狀方式呈現;腫塊常表現為灰白色的區域,其形狀通常可以描述為橢圓形、不規則或分葉狀等,邊界情況通常可以描述為邊界清晰、模糊或針狀等.乳腺X 線攝影中腫塊的形狀和邊界的描述,如圖1所示.腫塊由于其大小、形狀的多樣性,個體乳腺密度的不同,使得腫塊可能隱藏于在乳腺組織中,加大了檢測難度[9?10].相比較于鈣化的檢測,乳腺腫塊檢測是一項更具有挑戰性的任務.

本文對近幾年所提出的基于全乳腺X線攝影中腫塊檢測的研究方法和進展情況進行綜述.本文內容安排如下:第1節介紹基于乳腺X線攝影的計算機輔助檢測和診斷系統的基本流程,并概述基于乳腺X線攝影的腫塊檢測研究方法.第2節詳細介紹基于傳統人工特征設計的乳腺腫塊檢測與分割方法.第3節詳細介紹基于深度學習的乳腺腫塊檢測方法.第4節介紹乳腺X 線攝影數據集和乳腺腫塊檢測方法性能的評估標準,并列舉具有代表性的乳腺腫塊檢測方法的性能結果.第5節總結全文并對基于乳腺X線攝影腫塊檢測的未來發展趨勢進行展望.

圖1 乳腺腫塊((a)～(c)腫塊呈現的不同形狀,(d)～(f)腫塊呈現的不同邊界)Fig.1 Breast mass((a)～(c)mass presents the different shapes,(d)～(f)mass presents the different margins)

1 計算機輔助檢測與診斷

發現乳腺中可疑的病變是評估患乳腺癌風險值的第一步,乳腺X線攝影是對早期乳腺組織異常病變篩查和診斷的有效工具.目前,我國依然使用人工篩查的方式對乳腺X線攝影進行分析.但由于醫生的經驗水平存在差異、乳腺X線攝影成像不夠清晰以及病患自身乳腺組織的密度等綜合因素的影響,使得乳腺X線攝影診斷乳腺疾病存在著一定的局限性,人工篩查的假陽性率可達10%～15%[11],致使一些未患病的受檢者需要再次進行影像診斷,甚至是組織病理檢查,對身體造成了不必要的創傷[12].

隨著科學技術的不斷進步,計算機輔助檢測與診斷(Computer aided detection and diagnosis,CAD)已經在過去的幾十年中獲得醫學界極大的關注.CAD通過利用醫學圖像處理技術以及其他可能的生理、生化手段,結合計算機技術對醫學圖像和檢驗數據進行分析,實現自動檢測病灶區域以及對病灶性質給予合理性分析和預診斷,輔助醫生提高對疾病診斷的準確率.CAD技術的出現可以有效地緩解醫生的工作壓力,提高醫生診斷的敏感性和特異性[13?14].

圖2是基于乳腺X線攝影的腫塊檢測的計算機輔助檢測與診斷系統框架.其中,橢圓框中為CAD研究的主要內容:圖像的預處理、可疑區域的檢測與定位、特征提取和分類決策.為更好地呈現出病灶信息,醫學圖像需要較大分辨率的支持.直接對正常圖像處理會造成系統運行時間長,但簡單地對圖像進行下采樣會遺失對病灶的重要信息.因此對醫學圖像進行有效地預處理是十分必要的.在很多基于乳腺X線攝影分析的文獻中提到去除圖像中的背景、胸肌組織和圖像標注信息的預處理方法[15?19],也有采用直方圖均衡化或濾波處理等方式來提高可疑區域與其他組織的對比度,減少腫塊自動檢測的后續工作量[20?21].檢測和定位可疑區域是將預處理后的乳腺X線攝影經過數學化抽樣,對感興趣(可疑)區域(Region of interest,ROI)的提取是乳腺疾病診斷的關鍵環節.對ROI 進行特征的設計選擇可以有效地學習區別腫塊與非腫塊的信息.分類決策的任務是根據上一階段設計提取的特征,運用分類器對特征進行分類,判斷感興趣區域是否存在腫塊.有效的CAD在乳腺密度較高和成像對比度不強等難于檢測的情況下,可有效地協助醫生進行診斷,以便于乳腺疾病的早發現、早治療.

圖2 乳腺腫塊檢測的計算機輔助檢測與診斷框架Fig.2 Framework of computer aided detection and diagnosis for mass detection in mammography

特定目標/病灶的定位和檢測是CAD系統開發和醫學圖像分析領域中最基本的研究問題之一.有效的目標/病灶定位和檢測對實現特定的生物標記檢測以及在臨床診療中對解剖結構的準確定位均具有十分重要的研究意義和應用價值.據統計,在乳腺癌患者中有近80%是以乳腺腫塊為首診[22].由于乳腺腫塊的大小、形狀、外觀和密度具有多樣性[23],使得設計實現自動化的乳腺腫塊檢測仍是基于乳腺X 線攝影分析中最重要且最具挑戰性的研究問題之一.

傳統的乳腺腫塊檢測常采用圖像分割技術,利用腫塊目標的邊緣特征、紋理特征、形態學特征、小波變換以及特征匹配等人工特征設計方法,實現對疑似腫塊ROI的特征選擇與提取,結合機器學習方法對ROI是否為腫塊實現進一步判斷.基于傳統方法的乳腺腫塊檢測與分割效果的局限性在于人工設計和提取的特征通常針對某種特定特性的腫塊具有良好的適應性,難以有效蘊含變化多樣的腫塊特征.在實際應用中,檢測模型的泛化力差.

相比于上述傳統的乳腺腫塊檢測與分割方法,基于深度學習[24]的乳腺腫塊檢測方法可以學習更具泛化性的特征表示,以適應在實際診療場景中,對變化多樣的乳腺腫塊進行檢測.一方面,神經網絡模擬了大腦處理和分析數據的機制,通過構建具有多個隱藏層的學習模型,結合大規模的數據樣本訓練,實現更具精準表示和更具區分度的特征學習,有效地提高了預測和分類的精準度.深度學習可以從數據中學習層次特征間的關系,適合發掘高維數據中的復雜特征的結構表示,隨著神經網絡層數的不斷加深,其對所學習物體的語義抽象能力越強.另一方面,目前許多的深度模型算法可以實現端到端的訓練,節省了人工挑選特征的煩惱.由于深度學習網絡具有數量龐大的參數,使其具有強大的學習能力和特征表示能力,同時配合大量的訓練樣本[25],有利于激活深度網絡神經元,使網絡參數可以記憶式地存儲與解析乳腺X線攝影中乳腺腫塊的多樣性特點,有效地提升了乳腺腫塊的檢測效果.

表1提供了已發表的基于乳腺X 線攝影相關研究綜述論文的簡要介紹.相較于表1中的綜述文獻[6,8,12,26?30],本文主要關注近幾年來提出基于乳腺X 線攝影的乳腺腫塊檢測研究的思路、方法和進展.本文從傳統的目標檢測和深度學習的目標檢測兩個角度分別對具有代表性的基于全乳腺X線攝影的腫塊檢測文獻進行歸納和總結,并將基于深度學習的乳腺腫塊檢測方法分為基于候選框的乳腺腫塊檢測方法、基于回歸的乳腺腫塊檢測方法、基于弱監督學習的乳腺腫塊定位方法和基于全卷積網絡的乳腺腫塊檢測方法4個方面進行詳細介紹.

2 基于傳統的乳腺腫塊檢測與分割方法

基于傳統方法的乳腺腫塊檢測技術往往與圖像分割緊密相連.傳統的乳腺腫塊檢測與分割方法的設計思路是對輸入的乳腺X線攝影數據中選擇疑似乳腺腫塊的候選區域,并對這些可能包含乳腺腫塊候選區域使用人工特征設計的方法進行特征提取,最后使用特定的分類器對提取特征的候選區域進行分類,即判斷候選區域是否為乳腺腫塊.由于乳腺腫塊的大小、形狀和外觀以及乳腺腺體密度具有多樣性,這使傳統的乳腺腫塊檢測與分割方法在實際應用中存在一定的困難.一些研究表明,在處理乳腺X線攝影時,利用圖像增強處理技術提高腫塊與乳腺正常組織的對比度,是提升乳腺腫塊區域檢測與分割效果的關鍵步驟之一.其中,基于變換域的圖像增強方法常用于提升和改進乳腺腫塊檢測與分割的效果.

基于變換域的圖像增強方法通常利用諸如小波變換等方式,將原始圖像的空間灰度值變換到特殊域.小波變換在時域和頻域具有良好的局部化性質和多尺度特性,能夠在不同尺度上對信號進行分析.Campanini 等[31]嘗試利用Haar 小波編碼表示ROI,結合SVM分類器判斷ROI 是否為乳腺腫塊,替代了常用的復雜特征表示的乳腺腫塊檢測方法,取得了很好的實驗效果.Qian等[32]利用多分辨率和多方向的小波變換方法,改進了腫塊檢測中特征提取的方式.同時,Qian等還觀察到傳統的小波變換不能提取方向信息,但對于檢測毛刺狀的乳腺腫塊時,方向信息是至關重要的.因此,在后期的一些研究工作中,Gabor濾波也被提出用于提取毛刺狀乳腺腫塊的方向信息.Zheng[33]提出利用Gabor濾波實現乳腺癌癥檢測方法(Gabor cancer detection,GCD).GCD使用Gabor濾波器創建了20個Gabor圖像,然后利用這些圖像提取一組邊緣直方圖描述符,并使用KNN 和模糊C-means聚類作為乳腺腫塊檢測的分類器.Lahmiri等[34]提出了基于Gabor濾波器和離散小波變換(Discrete wavelet transformation,DWT)的乳腺腫塊的檢測.該方法首先利用DWT得到HH高頻圖像;然后,在Gabor濾波器的不同頻率和空間方向上對高頻圖像進行濾波,提取Gabor 的統計均值和標準差;最后,采用具有多項式核函數的SVM作為ROI的分類器.基于變換域的圖像增強方法可以在一定程度上提高乳腺腫塊檢測與分割的效果,但通常只適用于具有一定顯著性特征的乳腺腫塊檢測任務,在實際通用CAD系統中具有明顯的局限性.然而,大量的文獻表明將圖像增強的特征表示和傳統經典的通用圖像目標檢測與分割算法相結合,可以在醫學圖像分析領域中取得良好效果.

表1 基于乳腺X線攝影相關研究的綜述論文簡介Table 1 The introduction of review papers based on mammography

閾值分割技術是一種經典的基于區域的并行分割算法,其通過設定不同的特征閾值,可將圖像中的像素點劃分為若干類.閾值分割在醫學圖像領域,尤其是對腫塊、腫瘤性疾病診斷具有較高的應用價值.因其原理簡單、易于實現,所以一直被廣泛應用于乳腺X線攝影的腫塊檢測與分割任務的研究之中.閾值分割算法的一般過程如下:首先對圖像進行增強處理,然后根據像素周圍不同大小領域的均值和灰度變化的情況,自適應地計算局部閾值,進而判斷當前像素是否屬于腫塊,實現對乳腺腫塊目標的分割.

Kom等[20]提出利用線性變換濾波器增強原始圖像中像素的對比度,通過從原始圖像中減去增強后的圖像,得到了腫塊分割后的圖像,并利用局部的自適應閾值技術實現乳腺圖像中腫塊的自動檢測.Kozegar等[35]提出利用自適應閾值方法提取乳腺X 線攝影中疑似腫塊的區域,然后利用Bagging、AdaBoost和Rotation Forest的組合分類器來降低假陽性的檢出率.Vikhe等[16]提出了一種利用偽影抑制技術和形態學操作切除胸肌的方式對乳腺圖像進行預處理,再利用分段的線性算子與小波變換對預處理的圖像進行去噪和增強,最后利用自適應閾值技術將腫塊從背景中分離出來,實現了乳腺腫塊檢測目的.基于全局閾值和局部閾值組合的分割方法也被證明可以有效地提高乳腺腫塊的檢測效果.Hu等[36]提出了對可疑腫塊病變的多分辨率自適應閾值檢測方法.該方法采用自適應全局閾值和局部閾值相結合的策略對乳腺X線攝影進行多分辨率表示.Anitha 等[37]提出利用全局閾值和局部閾值的雙級自適應閾值(Dual stage adaptive thresholding,DuSAT)自動檢測乳腺X線攝影中的腫塊.閾值分割技術往往只考慮像素本身的灰度值,缺乏對空間特征的考慮.因此,在實際CAD應用中,閾值分割技術通常還要與其他分割方法結合使用,才能獲得更好的腫塊檢測結果.

模板匹配作為另一種基于區域分析的目標檢測技術也被廣泛用于乳腺腫塊的檢測任務之中.模板匹配是一種基于先驗知識的目標檢測算法,依據ROI 與腫塊和正常乳腺組織間的相似度作為疑似乳腺腫塊檢測結果的判斷依據.該算法的一般過程如下:首先,構建由乳腺腫塊ROI和正常乳腺組織ROI 所組成的模板數據庫;然后,對待檢測的乳腺X 線攝影以劃動窗方式提取的ROI 區域與模板庫中的(一組)模板進行相似性度量;依據計算所得的相似度得分,對整個乳腺X線攝影中各個疑似乳腺腫塊的區域進行評估,達到乳腺腫塊的檢測目的.

Tourassi等[38]提取已知數據庫中所標記腫塊的真實ROI和正常乳腺組織ROI作為模板庫,利用交互信息量作為模板匹配的相似性度量方法,確定待檢測的乳腺X線攝影中的ROI是否為腫塊,從而實現對乳腺X線攝影中乳腺腫塊的檢測.Mazurowski等[39]提出了一種基于隨機變異爬山(Random mutation hill climbing,RMHC)的智能模板選擇方案,結合以交互信息量相似性為度量的模板匹配算法,實現對乳腺X線攝影中乳腺腫塊的檢測,并將該系統移用于數字乳腺斷層攝影(Digital breast tomosynthesis,DBT)的腫塊檢測,同樣取得了良好的檢測效果.模板匹配的優點在于其思路和實現方法相對簡單,不需要設計復雜的特征提取方案,也不需要對乳腺組織進行分割.從文獻中可以看出,許多用于乳腺腫塊檢測的模板匹配算法是依賴于獲取待匹配像素與模板像素間的強度概率分布統計關系,相比較于其他腫塊檢測算法具有跨設備平臺兼容的優點.然而,模板匹配的缺點在于需要大量的異常和正常組織的模板,科學的篩選有效模板是待解決的重要問題,同時以劃動窗方式對待檢測的全乳腺X線攝影提取ROI進行比較,會大大增加對異常檢測的計算成本與開銷.

在大多數情況下,乳腺腫塊檢測技術采用圖像增強和濾波技術[20,40],提取ROI 大小、形狀、邊緣、方向和紋理等信息.為了進一步提高檢測效率和準確度,基于特定醫學理論知識的形態學特征模型方法也被提出用于解決乳腺腫塊的檢測任務.該方法根據乳腺腫塊的相關臨床觀察特點和診斷經驗,提出對乳腺腫塊在乳腺X線攝影中呈現形態的假設,并設計相應的計算機解決方案.Eltonsy 等[41]通過觀察分析認為乳腺腫塊的生長破壞了正常的乳腺實質結構,使腫塊具有明顯的焦點區域,同時乳腺腫塊周圍區域形成連續的同心圓層,每一層都是具有相似灰度值像素的特點,從而提出利用同心圓層的形態學模型對腫塊進行檢測.Gao等[42]則嘗試運用形態學分量分析的方法,將乳腺X線攝影圖像分解為分段平滑分量和紋理分量,提取分段平滑分量,可以有效地抑制乳腺結構中的血管、腺組織、噪聲等干擾,并改進了同心層標準來檢測圖像中的腫塊,實現對隱藏在乳腺組織中對比度低的腫塊的檢測.Wang等[43]在格式塔視覺理論的啟發下,利用人類的視覺特點和形態學方法對乳腺X線攝影實現自底向上和由上而下處理方法完成對乳腺腫塊的檢測任務.此類方法可以很好地結合醫學知識和計算機技術,但基于特定醫學理論知識的形態學特征模型設計通常具有高復雜性的多參數特點,使得對模型中關鍵參數的選擇和優化存在巨大的困難.

除了上述提出的乳腺腫塊檢測與分割方法,基于聚類算法、圖論以及不同分割技術的組合方法也被大量的應用于乳腺X線攝影的腫塊檢測研究中.Hamissi等[18]提出使用K-means聚類分割和決策樹分類算法現實對乳腺腫塊的檢測.Saidin等[44]利用Graph Cuts對乳房中稠密的腺體和腫塊實現了精準分割.Min等[45]則提出利用多尺度形態學濾波和聚類分割方法的組合有效地提取ROI,并利用級聯的隨機森林對提取的ROI進行分類.Chu等[13]提出的CAD方案首先運用形態學對圖像進行增強,然后采用簡單的線性迭代聚類(Simple linear iterative clustering,SLIC)方法對疑似腫塊與背景組織進行分割,再用水平集算法對分割的該區域進行重構,最后使用SVM分類器判斷該區域是否為腫塊.Makandar 等[46]將分水嶺、形態學操作和活動輪廓三種分割技術相結合實現了乳腺腫塊的分割.

總的說來,基于傳統人工特征設計的乳腺腫塊檢測與分割方法均是以提取豐富、準確特征為前提,不需要復雜的訓練過程,就能快速地實現特征計算和結果預測,具有較強的可解釋性.但傳統的乳腺腫塊檢測與分割方法還存在如下問題:首先,傳統的乳腺腫塊檢測與分割方法對于ROI特征的提取只局限于淺層特征,對于不同密度的乳腺組織會產生大量不確定信息,使得檢測算法的復雜度增加.其次,傳統的乳腺腫塊檢測與分割方法是利用人工特征設計的方式來提取目標圖像的特征,一般是提取ROI的邊緣、形狀、亮度等特征.因此,傳統的乳腺腫塊檢測與分割方法往往只可以較好地處理和檢測具有上述某一種或是幾種顯著性特征的乳腺腫塊,但對實際中變化多樣的乳腺腫塊特征的表示不具備良好的魯棒性,檢測模型的泛化能力很差.雖然,也有傳統乳腺腫塊檢測方法提出設計通用的腫塊參數來實現對乳腺腫塊的檢測,但對于個體乳房腺體密度的差異性和腫塊大小、形狀多變,使得具有復雜參數的腫塊檢測模型,既難以擬合各種病例特點,又降低了對具有顯著特征的乳腺腫塊檢測的敏感性,增加了誤診率.采用組合分割方法實現的乳腺腫塊檢測相比其他傳統的乳腺腫塊檢測與分割方法在檢測精度上可以取得更好的效果,結合多種特征可以更好地擬合乳腺腫塊的特點.但組合分割的算法復雜度往往很高,還易出現過度檢測的情況.因此,基于傳統的乳腺腫塊檢測與分割方法在實際醫療診斷的CAD中應用效果差強人意.表2為本文對部分傳統的乳腺腫塊檢測與分割方法的總結.

3 基于深度學習的乳腺腫塊檢測方法

深度學習在計算機視覺領域研究中取得了重要突破[47?50],激勵了國內外許多學者將深度學習方法應用于醫學圖像分析領域的研究.深度學習與傳統機器學習方法的最大不同在于其特征表示是從大量數據中自動學習得到的,通過構建具有多個分層結構的學習模型,從大量的訓練數據中逐步提取由低層邊緣等特征到高層的抽象語義特征,學習獲得具有區分性的目標表示特征.卷積神經網絡(Convolutional neural network,CNN)作為深度學習中廣泛應用的模型之一,在一些醫學圖像分析應用中取得的效果已經超越了傳統方法[51?52].早在20世紀90年代,CNN在肺結節檢測[53]和乳腺X線攝影鈣化檢測[54]研究中取得了一定成果.Sahiner等[55]首次提取利用包含一個輸入層、兩個隱藏層和一個輸出層構成的CNN網絡,結合反向傳播算法更新CNN權值參數實現對人工標注的乳腺腫塊區域和乳腺正常組織區域的分類.本文整理了從2015年至2018年利用深度學習方法探究基于乳腺X線攝影中腫塊檢測任務的相關文獻.根據文獻中使用的不同目標檢測策略,文本將基于深度學習實現乳腺X線攝影中腫塊檢測方法歸納為如下4種:基于候選框的乳腺腫塊檢測方法、基于回歸的乳腺腫塊檢測方法、基于弱監督學習的乳腺腫塊定位方法和基于全卷積網絡的乳腺腫塊檢測方法.

3.1 基于候選框的乳腺腫塊檢測方法

基于候選框的目標檢測方法首先需要在檢測圖像上生成大量的候選框區域,然后對所產生的候選框逐一進行分類判斷并回歸目標候選框位置,最終得到包含目標物體的檢測框和對應類別的置信度.R-CNN[56]利用選擇性搜索算法[57]獲得2 000多個候選框區域,再將候選框區域歸一化為統一大小,輸入到CNN網絡中學習候選框的特征,最后利用SVM對特征進行分類及回歸微調定位框.然而R-CNN存在十分顯著的缺點,R-CNN框架需要對每一張待檢測圖像產生的2 000多個候選區域分別做CNN的特征提取操作,這一過程需要大量的存儲空間和長時間的運算.Faster R-CNN[58]提出利用RPN(Region proposal networks)產生候選區域實現端到端的目標檢測深度網絡結構,圖3為Faster R-CNN中RPN結構示意圖.隨后,Faster R-CNN檢測框架對RPN 產生的候選區域使用與Fast R-CNN[59]相同的處理方式,即引入多任務損失函數實現對目標的分類和Bounding Box的精確回歸.相比之前提出基于候選框的目標檢測方法,Faster R-CNN框架無論在目標檢測的速度方面還是精度方面均有較大的提升.基于Faster R-CNN框架實現乳腺腫塊的檢測和分類的示意圖,如圖4所示.

表2 基于傳統的乳腺腫塊檢測與分割方法總結Table 2 Summary of traditional methods for mass detection and segmentation in mammography

圖3 RPN結構[48]Fig.3 RPN structure[48]

近幾年,基于候選框的目標檢測方法是實現乳腺X 線攝影腫塊檢測的研究熱點.2015年,Dhungel等[60]就依據R-CNN檢測框架的思路,提出一種乳腺腫塊自動檢測框架.他們首先利用多尺度的深度置信網絡(Multi-scale deep belief nets,m-DBN)與高斯混合模型(Gaussian mixture model,GMM)分類器相結合,選擇所有潛在乳腺腫塊的可疑區域;然后將產生的候選框輸入到級聯的R-CNN網絡,對選擇提取的ROI進行特征表示;最后利用兩個級聯隨機森林對ROI 進行判斷,可有效減少假陽性區域的檢出率.Dhungel等[61]于2017 年又提出一種綜合了檢測、分割和分類技術的乳腺腫塊分析系統框架.其中對于檢測部分,Dhungel 等在其先前的工作基礎之上,提出利用貝葉斯優化[62]來改進級聯R-CNN的候選框選擇方案,使檢測獲得的目標邊界框更加精確地對準于乳腺X線攝影數據中腫塊區域標注的真實值.

Akselrod-Ballin團隊在2016至2017 年期間針對Faster R-CNN框架分別實現了對乳腺X 線攝影中腫塊的檢測和腫塊的良性/惡性分類任務[17]以及對乳腺X線攝影中腫塊和鈣化物的檢測和分類任務[63].在Akselrod-Ballin 等的工作中,首先采用了圖像預處理的方式,去除了乳腺X線攝影中的背景和胸肌組織區域,并提取了乳腺纖維腺體組織[64],增加了乳腺X線攝影中異常區域與正常組織的對比度;然后,Akselrod-Ballin等將經過預處理的乳腺數據圖像劃分為多個重疊的子圖像,利用這些子圖像訓練Faster R-CNN框架的乳腺腫塊檢測模型;該方法在測試階段,將整張圖像劃分為多個子圖,再依次輸入網絡進行檢測,然后將這些子圖像的檢測結果整合并輸出最終的檢測和分類結果.Akselrod-Ballin等同時還提出在Faster R-CNN框架中構建多級特征融合,將低層的顏色、紋理特征與高層的語義特征相結合,提供了更加豐富的特征表達,從而不僅提升了檢測算法的敏感度,還減少了假陽性的檢測率.

Ribli等[65]利用遷移學習的策略,在ImageNet數據集[66]上初始化訓練的VGG16[67]網絡參數,并結合Faster R-CNN目標檢測框架取得了2017 年乳腺X線攝影DREAM挑戰(The Digital Mammography DREAM Challenge)[68]的第二名.

Kisilev 等[69]在Faster R-CNN框架上實現了端到端的多任務網絡結構,用于診斷乳腺X線攝影中病灶區域位置和其相對應的病變類型特征的語義描述.該方法首先利用RPN對乳腺X線攝影中可疑區域生成矩形候選框,并對所產生候選框的置信度進行排序,將置信度最高的候選框作為后續多屬性分類網絡結構的輸入,訓練生成對應候選框的病變類型特征的語義描述.該方法利用聯合的多任務損失訓練方法替代原始Faster R-CNN 中目標單一的分類任務,實現對病灶的形狀,邊界和稠密度特征的語義性描述識別,更有利于醫生對病變特征的理解和診斷.

圖4 Faster R-CNN框架實現乳腺腫塊的檢測和分類Fig.4 Faster R-CNN framework for detection and classification of mass in mammography

上述研究對乳腺X線攝影數據采用尺寸歸一化或將整張圖像劃分子區域的預處理方式,便于輸入具有固定大小的CNN 網絡.目前,大部分CNN網絡規定的輸入圖像數據的大小一般小于乳腺X線攝影數據,直接對乳腺X線攝影數據進行下采樣調整圖像大小,將不利于小腫塊的檢測.因此,Wu 等[70]提出了基于Faster R-CNN框架改進的全尺寸乳腺X 線攝影的自動檢測腫塊區域框架(Automatic mass detection framework with Region-based CNN,AMDR-CNN).AMDR-CNN采用分層候選腫塊區域生成方法,既減少了待處理數據量,又提高了腫塊檢測的準確性.同時,在AMDR-CNN 中所有的操作都是直接在原始圖像進行的,解決了傳統算法由于圖像的縮放而造成的細節信息丟失的缺點.為了更好地結合乳腺X 線攝影體積大、腫塊小的特點,AMDR-CNN采用更深的Inception ResNet-V2網絡結構[71]來訓練并實現乳腺腫塊區域的檢測.

3.2 基于回歸的乳腺腫塊檢測方法

從R-CNN到Faster R-CNN,目標檢測自始至終遵循著“候選框+分類”的方法.雖然,候選框選擇的方法不斷的被優化,訓練和檢測的速度不斷的提升.但由于對兩個以上的模型進行訓練會增加開銷,同時網絡中的參數數量也會增加,難以實現在速度上的突破.除此之外,在基于候選框的目標檢測方法中,候選框提取方法只提取了ROI 的局部信息,忽視引入全局的上下文信息,對易混淆的目標區分性較差,假陽性檢測率高.基于回歸的目標檢測方法的提出可以彌補基于候選框的目標檢測方法的缺陷,其核心思想在于將目標檢測任務轉化為回歸問題,大大加快了檢測速度.基于回歸的目標檢測方法是對整張圖像使用“Single Stage”的方式進行目標檢測,即經過單次檢測可直接在圖像中得到目標的位置坐標值和類別概率,無需生成和選擇候選區域.另外,基于回歸的目標檢測方法是在預測目標框位置時使用圖像的全局信息,充分結合了圖像上下文,使得假陽性檢測比例大幅降低,這對于提高醫學圖像病灶的檢測精度十分有幫助.Al-masni等[72?73]提出利用YOLO框架[74]實現對乳腺X線攝影中腫塊的檢測和分類任務,如圖5所示.YOLO框架是將輸入CNN 的圖像分為S×S個網格,并規定如果目標落在網格中,則對應網格負責該目標的檢測.在YOLO框架中,需要一次性完成對每個網格所含目標的區域邊界框、置信度以及類別概率的預測.

3.3 基于弱監督學習的乳腺腫塊定位方法

圖5 YOLO框架實現乳腺腫塊的檢測和分類[72?73]Fig.5 YOLO framework for detection and classification of mass in mammography[72?73]

基于弱監督學習的目標定位方法(Weakly supervised object localization)[75?76]是指在模型的訓練過程中,輸入的圖像數據只具有圖像中目標類別的注釋信息,并不具備目標的矩形框位置的標注信息.與第3.1節和第3.2節中介紹的目標檢測方法相比,弱監督學習在訓練時可用的信息更少.尤其是在訓練深層神經網絡時,往往需要大規模標注數據的支持.對于醫學圖像中異常組織的標注,需要專業醫師的反復觀察,這使得大規模的人工標注代價十分巨大,也會引入標注者的主觀信息,出現錯誤標注等情況.弱監督學習可以有效地解決上述問題.基于CNN的弱監督學習的目標定位方法利用CNN 在圖像分類任務中能夠識別出目標在對應輸入圖像中的響應映射,并反映出目標在圖像中的位置信息.從網絡結構上來說,弱監督學習的目標定位網絡在原始的CNN分類任務的基礎上,利用Global Pooling結構[77]替代全連接層(Fully connected layer)保留了目標的顯著特征,使得目標對象通過檢查其類別所對應的激活映射區域輕松定位目標,從而實現目標的檢測.但基于弱監督學習的目標定位相比基于候選框的乳腺腫塊檢測和基于回歸的乳腺腫塊檢測,從網絡整體的結構設計、模型訓練以及目標函數優化方面都增加了不小的難度.尤其是基于弱監督學習的目標定位方法屬于多實例學習問題,其主要難點在于如何優化目標函數,使其避免陷入局部最優解,從而得到更加準確的目標檢測區域.

Hwang 等[78]考慮到醫學圖像與普通圖像之間的相關性甚小,提出了一種基于自遷移學習(Selftransfer learning,STL)的弱監督學習目標定位CNN框架,如圖6所示.利用STL結構替代了在通用數據集上進行預訓練的方式來初始化網絡模型參數的方法,完成了對CNN自身參數的初始化與更新.STL的網絡結構由參數共享的卷積層、分類任務層和定位任務層所組成.在一個CNN框架中實現對目標分類器和定位器的共同學習,利用分類器和定位器的加權損失作為整體網絡參數調整的目標函數,隨著訓練的進行,再不斷增加分類器與定位器的訓練比重,這可以有效地防止在前期訓練時,因錯誤的分類學習使得定位器陷入局部最優.通過對胸部X 線攝影和乳腺X線攝影數據實驗結果可以看出,STL框架既不需要任何位置信息,也不需要預先訓練好的模型,就可以利用CNN結構對病灶區域實現精準的定位.

3.4 基于全卷積網絡的乳腺腫塊檢測方法

全卷積網絡(Fully convolutional network,FCN)主要用于實現圖像中目標的語義分割任務[49].FCN將傳統CNN網絡后面的全連接層換成了卷積層,這使得網絡輸出不再是類別結果而是該類別在圖像中所響應區域位置,依據這一信息也可以實現對乳腺腫塊的定位.同時,FCN不需要固定輸入數據的尺寸,可以對全尺寸的乳腺X 線攝影數據直接進行特征提取,與其他檢測方法相比,減少了數據下采樣對小腫塊的影響,提高對腫塊的檢測精度,如圖7 所示.

Castro等[79]利用FCN的特點實現了乳腺腫塊的檢測.首先,利用預先提取的腫塊ROI和非腫塊ROI,通過對CNN進行分類任務的訓練來調整網絡的參數;然后,再將CNN中全連接層轉換為FCN,對全乳腺X線攝影實現一次前向分類,并以滑動窗口的方式輸出與分類器篩選結果相同的ROI作為該方法的腫塊檢測結果.Castro等考慮到乳房組織在每次接受乳腺X線攝影檢查時,其接觸的位置和受壓的力度、拉伸的效果均會略有不同.這使得同一個乳房在兩次不同的檢查過程中所呈現出的外觀可能不一致,但這種變化不會影響病變組織的診斷.因此,他們提出利用彈性形變操作[80],結合乳房具有彈性形變的特點合成新的數據,增加了訓練樣本,如圖8所示.值得一提的是,基于彈性變形的乳腺數據擴充改變了傳統的數據增強方式,可以有效地模擬出乳腺X 線攝影中乳房整體的變形狀態.這對于屬于小樣本數據集的乳腺X線攝影研究具有十分重要的應用價值.

圖6 STL結構實現乳腺腫塊的定位任務[78]Fig.6 STL for localization of mass in mammography[78]

圖7 FCN框架實現乳腺腫塊的檢測與分割Fig.7 FCN framework for detection and segmentation of mass in mammography

圖8 彈性變形實例[79]Fig.8 Effects of performing elastic deformation on a mammography[79]

圖9 U-Net框架實現乳腺腫塊的檢測與分割Fig.9 U-Net framework for detection and segmentation of mass in mammography

在FCN提出不久之后,U-Net被提出用于醫學圖像的目標分割[81].U-Net主要包括收縮和擴展兩條路徑,如圖9所示.收縮路徑主要是用來捕捉圖像中的上下文信息,而擴展路徑則是為了對圖像中所需要分割出來的部分進行精準定位.De Moor等[82]提出改進的U-Net網絡用于全乳腺X線攝影數據中軟組織病變的自動檢測與分割.

綜上所述,基于深度學習的乳腺腫塊檢測方法通過模擬人腦抽象和迭代過程,獲得對乳腺X線攝影數據中腫塊區域和正常組織區域圖像的具有可分性的表示特征.深度神經網絡可以從輸入的原始像素中學習得到乳腺腫塊局部的邊緣和紋理等低層特征,結合各種濾波器組合的中間層特征,得到不斷抽象的高層語義特征,從而描述ROI的全局特征信息.基于深度學習的乳腺腫塊檢測方法既降低了人工設計特征的負擔,又可以得到從原始輸入到高層語義的有效特征表達.另外,在乳腺X線攝影中,由于個體乳房腺體密度的差異性和腫塊大小、形狀的多樣性,這些判斷腫塊區域的特征往往以非線性方式組合.深度學習恰恰可以通過多層非線性映射將乳腺X線攝影中呈現的乳腺腫塊特性之間的關聯性降低,利用不同神經元代表不同特性,使其變成簡單的線性關系,提升檢測效果.

雖然,深度學習具有良好的特征表現能力,但基于深度學習的乳腺腫塊檢測方法也存如下問題:首先,很多算法是通過增加網絡的深度以及網絡的復雜度,提高神經網絡的非線性表達能力.但這種方式也增加了神經網絡的參數,同時目前可用的有標注的乳腺X線攝影數據量十分有限,復雜的網絡模型在訓練時也會難以優化.其次,通過設計復雜的網絡監督學習過程,使其更好地擬合多樣化的乳腺腫塊特性,從而獲得更具備泛化能力的特征表達形式.然而這種改進方式同時也增加了對神經網絡的訓練難度,不適當的任務學習分配也會使得訓練模型難以收斂.

從目前已發表的相關文獻可知,基于候選框的目標檢測方法是最先用于分析乳腺X線攝影中腫塊檢測問題的深度學習方法,也是目前研究最為廣泛的深度學習目標檢測方法.相較于其他乳腺腫塊檢測方法,基于候選框的乳腺腫塊檢測可以更具有針對性的提取候選框,結合CNN強大的特征表示對提取候選框進行精確的分類.但基于候選框的乳腺腫塊檢測方法缺少全局上下文信息,使得候選框內的一些細節信息在網絡前向傳播過程中丟失,假陽性檢測率高.此外,基于候選框的乳腺腫塊檢測在運算速度上也稍有遜色.基于回歸的乳腺腫塊檢測方法可以更好地解決基于候選框的乳腺腫塊檢測中的問題,利用基于全局上下文信息實現更快速的腫塊定位.但在實際應用中發現,基于回歸的目標檢測方法對于小目標的檢測不敏感,通過神經網絡學到的物體特征不夠精細,容易出現漏檢的情況.因此,基于回歸的目標檢測方法對基于全乳腺X線攝影中小腫塊目標的檢測存在局限性.基于弱監督學習的乳腺腫塊標定位和基于全卷積網絡的乳腺腫塊檢測是利用CNN在圖像分類任務中,腫塊目標在圖像上有強響應映射,實現對乳腺腫塊的定位,為乳腺腫塊檢測提供新思路.基于弱監督學習的乳腺腫塊標定位優點在于不需要具有精準的區域標注數據,可以有效減少醫學標注數據少以及標注不準確的問題,其難度在于如何設計有效的神經網絡結構、如何有效地優化目標函數和如何高效地訓練模型.基于全卷積網絡的乳腺腫塊檢測與輸入數據尺寸大小無關,適合處理全尺寸乳腺X線攝影數據,更易檢測到細小的腫塊目標,同時該方法也具有存儲開銷大,計算效率低下等待優化的問題.表3為本文對基于深度學習的乳腺腫塊檢測方法的總結.

4 數據集及性能比較

表4提供了目前使用較為廣泛的乳腺X線攝影數據集及相關參數.在乳腺X線攝影數據集中,通常對每位患者采集包含左右乳房的頭足位(CC)和側斜位(MLO)兩個不同角度的4幅乳腺圖像.每張乳腺圖像需要多名放射科醫生經過反復確診才能得到諸如病灶的總數、編號、類型、形狀、邊緣、BI-RADS等級[88]、病灶區域位置以及經過組織病理檢查后的診斷結果等信息.

表3 基于深度學習的乳腺腫塊檢測方法總結Table 3 Summary of deep learning methods for mass detection in mammography

表4 常用乳腺X線攝影數據集及相關參數Table 4 Popular mammography datasets and their relevant parameters

在醫學圖像分析研究中,一位病患的醫學影像數據中可能存在不止一個病變區域.雖然,傳統的ROC分析方法可以有效的分析和準確地呈現出算法的敏感性與特異性之間的關系,但ROC不能有效地解決對每幅圖像中存在的多個異常結果進行評估的問題.FROC(Free-response operating characteristic curve)允許對每幅圖像中存在的任意異常檢測結果進行有效評估.FROC分析通常用于對醫學圖像中病灶區域檢測和定位算法的性能評估.在衡量乳腺腫塊檢測算法的性能時,也常采用FROC作為檢測算法性能的評估標準.

在乳腺X線攝影腫塊檢測的研究中,FROC是以敏感性(True positive rate,TPR)為縱坐標,平均每幅圖像的假陽性區域個數(False positives per image,FPI)為橫坐標.圖10為本文所列舉在INBreast數據集上使用FROC表示5種乳腺腫塊檢測算法性能的示意圖.TPR 表示為檢測出的腫塊區域個數占數據集中真實標注的腫塊區域個數的比例,TPR 定義如下:

假陽性區域表示為檢測出為腫塊區域,但實際上是正常組織區域,FPI定義如下:

圖10 FROC示意圖Fig.10 The illustration of FROC

本文在DDSM數據集和INBreast數據集上對基于傳統的乳腺腫塊檢測與分割方法和基于深度學習的乳腺腫塊檢測方法的性能展開比較和分析,并列舉近幾年具有代表性的乳腺腫塊檢測文獻算法性能的實驗結果.其中,對基于傳統的乳腺腫塊檢測與分割方法列舉了Kozegar 等[35]提出的基于自適應閾值的乳腺腫塊檢測與分割方法、Min 等[45]提出的多尺度形態學濾波和聚類分割技術相結合的乳腺腫塊檢測與分割方法,以及Wang 等[43]提出的基于特定醫學理論知識的形態學特征的乳腺腫塊檢測與分割方法.對基于深度學習的乳腺腫塊檢測方法列舉了Dhungel 等[60]最早提出利用R-CNN實現乳腺腫塊檢測的方法、Akselrod-Ballin 等[63]提出利用Faster R-CNN 實現乳腺腫塊檢測的方法、Almasni等[72]利用YOLO實現乳腺腫塊檢測的方法,以及近期由Wu等[70]提出的基于全尺寸乳腺X線攝影的乳腺腫塊自動檢測方法和Castro等[79]提出的基于FCN 的乳腺腫塊自動檢測方法.

通過表5中TPR 和FPI數值可以看出,基于傳統的乳腺腫塊檢測與分割方法具有豐富的先驗知識,依據乳腺腫塊的形狀等特點,有針對性地設計腫塊區域特征,在小樣本的乳腺X線攝影數據集上其TPR 的取值接近于深度學習方法的性能.但基于深度學習的乳腺腫塊檢測方法可以在保證檢測算法敏感性的同時,又大幅度降低了FPI.總體來說,基于深度學習的乳腺腫塊檢測方法在一定程度上可以為放射科醫生提供更具準確性的參考意見.

5 總結與展望

基于醫學圖像的數據分析是計算機領域和醫學領域共同的研究重點,具有重要的理論研究意義和良好的應用前景.其中,病灶目標定位和檢測已成為CAD系統開發和醫學圖像分析研究領域中最基本的研究問題之一.總的來說,乳腺X線攝影中腫塊檢測的研究還處于探索階段.本文對近幾年提出的基于全乳腺X線攝影中腫塊檢測方法分別從基于傳統的乳腺腫塊檢測與分割和基于深度學習的乳腺腫塊檢測兩個方面進行了歸納和總結:

1)早期基于傳統的乳腺腫塊檢測方法利用提取圖像的低層特征,難以完成對比度較低的腫塊檢測.因此,基于圖像增強、閾值分割、模板匹配、特定醫學理論知識以及其他目標檢測與分割的方法也被提出用于乳腺腫塊檢測的任務之中,豐富了對乳腺腫塊特征的描述.但傳統人工設計的乳腺腫塊特征表示方法的局限性在于檢測算法的魯棒性不強,檢測模型的泛化能力較差,往往只適用具有某一種或幾種顯著性特征的腫塊檢測,難以涵蓋變化多樣的乳腺腫塊特征.同時,對致密性腺體的乳房進行腫塊檢測時,也會出現較高的假陽性比例,甚至會出現對病灶區域過度檢測等情況.

表5 乳腺X線攝影數據集上乳腺腫塊檢測方法的性能對比Table 5 Comparison of state-of-the-art mass detection methods on mammography datasets

2)自從卷積神經網絡在計算機視覺處理中取得了成功以來,深度網絡也備受醫學界的青睞,其在醫學圖像分析的多個領域也取得了突破性進展.深度網絡利用了多層次結構,自動地從數據中學習并更新網絡中數量龐大的神經元參數,使其具有強大的學習能力和特征表現能力.同時,在目標檢測的精準度方面,深度學習方法與傳統方法相比具有十分明顯的優勢.大多數的深度模型算法可以實現端到端的訓練方式,使整個檢測模型的訓練和測試變得十分方便.大量文獻表示,當前基于深度學習的乳腺腫塊檢測仍是以有監督的學習方式為主導,在通用目標檢測框架基礎之上進行參數微調或結構改進以適用于乳腺X線攝影數據.本文將所提出的基于深度學習的乳腺腫塊檢測方法歸納總結為基于候選框的乳腺腫塊檢測方法、基于回歸的乳腺腫塊檢測方法、基于弱監督學習的乳腺腫塊定位方法和基于全卷積網絡的乳腺腫塊檢測方法.其中,基于候選框的乳腺腫塊檢測方法和基于回歸的乳腺腫塊檢測方法是目前使用較為廣泛的乳腺腫塊檢測方法;基于弱監督學習的乳腺腫塊定位方法和基于全卷積網絡的乳腺腫塊檢測也為乳腺腫塊檢測研究提供了新思路.

深度學習在醫學圖像研究中已經取得了不錯的效果,乳腺腫塊檢測準確率也在不斷提高,但距離實際臨床應用還存在一定的差距.未來的研究工作可以從以下幾方面展開:

1)設計魯棒的多特征融合表示和語義級病灶特征表達.目前的乳腺腫塊檢測方法性能還無法令人滿意,其根本原因是檢測算法對乳腺腫塊特征的表達能力不足.然而特征提取是目標檢測中至關重要的一步,豐富的特征信息有利于目標候選框的生成.隨著卷積神經網絡層數的不斷加深,學習得到的特征就越抽象.大部分的目標檢測算法在特征提取時往往采用最深層的特征信息,造成物體邊緣特性的缺失,不利于目標物體的定位.所以,對卷積神經網絡的各層特征進行分析,采用合理有效的特征級聯方法、多尺度特征融合等方式選擇和提取特征,可以豐富特征表達.此外,還應構建有效的圖像特征空間與高層語義空間之間的映射關系,實現對乳腺腫塊的語義級描述,這將大大提升乳腺腫塊特征與正常乳腺組織特征的區分性和描述性.

2)引入圖像全局有效的上下文信息.目前,在乳腺X攝影腫塊檢測的研究中,采用基于候選框的乳腺腫塊檢測方法不能有效地捕獲圖像的上下文信息.對于提升目標的檢測和識別精度存在困難.有效地引入圖像的全局信息,可以動態地減少搜索區域,提高基于候選框的乳腺腫塊檢測方法的效率和精度.同時,對基于回歸的乳腺腫塊檢測方法引入有效的全局信息,也可以提升對小目標腫塊的檢出率.可嘗試結合傳統的計算機視覺方法捕獲圖像的上下文信息,也可結合反卷積操作對圖像的上下文信息實現擴充.

3)設計基于弱監督學習的乳腺腫塊定位方法.基于弱監督學習的目標定位方法可以依據CNN在圖像分類任務中學習得到具有高響應特點的特征圖,進而實現對目標的定位.這種方式不需要對ROI進行準確的標注,只需要目標類別的注釋信息即可完成對檢測任務的學習,減少了醫學圖像數據人工標注的成本.在沒有大規模標注數據作為支撐的醫學領域,想要快速發展基于深度學習的醫學圖像分析,弱監督學習定位目標的方法在未來也會成為該領域研究的重點內容.可以從如下兩方面對基于弱監督學習的乳腺腫塊定位方法展開研究:首先,設計合理目標函數優化方法,可采用凸正則化或連續優化等算法對目標函數進行優化,避免陷入局部最優解;其次,嘗試將候選區域提取方法與弱監督學習定位方法相結合,獲得更準確的乳腺腫塊檢測結果.

4)設計基于多視圖數據的乳腺腫塊檢測方案.乳腺X 線攝影檢查通常對雙側乳房分別采集CC與MLO兩個視圖,有效地整合CC與MLO信息,可以在空間上更好地確定乳腺腫塊的位置,也有助于減少假陽性區域的檢出比例.基于多視角分析的乳腺病變檢測方法也將極大地提高早期乳腺癌的檢出率.目前,基于傳統目標檢測方法實現多視角乳腺腫塊檢測,常采用基于單視圖的乳腺X線攝影腫塊檢測方法,并結合坐標轉換操作將獲得的CC視圖與MLO視圖的腫塊檢測結果進行匹配和篩選.基于深度學習方法實現多視角乳腺腫塊分析[89]則寥寥無幾.因此,基于深度學習的多視角定位乳腺X線攝影腫塊的方法也必將成為未來研究的主要內容之一.可考慮結合乳腺X線攝影中關鍵點定位方法,將CC與MLO兩個視圖實現空間坐標轉換,綜合分析腫塊的檢測結果.

5)提高深度學習模型的可解釋性.深度學習方法無論從檢測效果和實際應用價值都有著無可比擬的優越性,但深度學習也常被稱為“Black Box”,特別是在醫學領域,僅僅有一個良好的檢測系統是不夠的,還需要利用科學的方法對模型進行合理的解釋與分析.

基于深度學習的特征表達具有強大的數據描述能力,其在識別精度和模型泛化能力方面比傳統方法更勝一籌.我們相信,通過深度學習方法的不斷改進、醫學圖像采集技術的不斷提升和標記樣本集數量的不斷增長,未來基于乳腺X線攝影的乳腺腫塊檢測方法將越來越完善.