基于改進級聯R-CNN的乳腺X線圖像腫塊檢測

王生生，丁雪松，陳 鵬，劉純巖

(1.吉林大學計算機科學與技術學院，吉林 長春 130012；2.吉林大學第二醫院，吉林 長春 130041)

0 引言

乳腺癌是影響全世界女性的最主要的癌癥之一.患有乳腺癌的女性病例占女性所有新診斷癌癥的30%[1].每年有超過457 000人死于乳腺癌，占所有女性死亡人數的1.6%以上[2].早期發現并且采取正確治療可以大大提高乳腺癌存活率.大多數研究表明，乳腺鉬靶X線攝影檢查可以降低乳腺癌的死亡率[3].參加乳腺癌篩查計劃的女性在確診后10年內死于乳腺癌的風險降低60%[4].大量研究表明，在之前的乳腺X線圖像的回顧性研究中有20%～30%的癌癥被遺漏[5-7].

為了減輕放射科醫師的繁重工作并提高臨床實踐中檢測的靈敏度，計算機輔助檢測和診斷(CAD)系統為放射科醫師對乳腺X線圖像的診斷給出可供參考的“第二意見”.對此，已經有多項研究利用精心設計的手工特征來構建CAD系統用于檢測識別乳腺X線圖像中的腫塊.J.Virmani等[8]提出了一種識別乳房密度的CAD系統，其中對紋理特征向量進行主成分分析(PCA)以減少特征空間維度；C.Muramatsu等[9]利用紋理特征將乳腺X線圖像病變分為良性和惡性；H.X.Li等[10]構建了基于局部輪廓特征的CAD系統用于良性和惡性腫塊的分類；S.A.Taghanaki等[11]提出了一種基于深度自動編碼器網絡的多目標優化方法；V.Pomponiu等[12]提出了一種基于方向梯度直方圖(HOG)描述符的CAD系統，使用支持向量機(SVM)對目標進行分類.以上CAD系統大多基于傳統的手工設計特征，手工特征的設計、提取是耗時且麻煩的手工過程，在此過程中經常會出現錯誤.此外，這些CAD系統無法在單個框架中實現檢測和分類.

作為手工設計特征的傳統方法的替代方案，卷積神經網絡(CNN)可以從整個數據中提取更好的特征.事實證明，對于許多模式識別任務中CNN的表現已經達到甚至超過人類表現[13-15]，這些模型在醫學圖像分析中非常有前景.2016年，Z.C.Jiao等[16]提出了一種基于深層特征的CAD系統用于對乳腺癌的良惡性腫塊進行分類，利用從2個不同層提取的深層特征來訓練模型；2016年，Q.Abbas[17]提出了一種名為DeepCAD的CAD系統，該系統利用深度學習使用其對預定義的感興趣區域的乳房進行分類；2016年，N.Dhungel等[18]提出一個基于級聯的深度學習和隨機森林分類器的CAD系統；2017年，N.Dhungel等[19]設計了一種最少的用戶干預CAD系統用于乳腺X線圖像中乳房腫塊的分割和分類.此外，W.T.Yang等[20]在2019年提出一種基于卷積神經網絡結合乳腺X線圖像兩種視圖對病例做出一種預測，從而實現乳腺X線圖像分類；2019年，B.Hinton等[21]使用從ImageNet初始化的權重進行深度學習網絡的遷移學習以對乳房X線照片進行分類；R.Agarwal等[22]提出一種基于CNN補丁方法用于全視野數字化乳腺X線圖像(FFDM)中腫塊自動檢測.以上提出的方法只能對乳腺X圖像進行分類，分類不能定位癌癥區域，然而對癌癥區域的定位有利于對病例進行進一步的診斷和治療.2017年，R.Platania等[23]提出了一種基于You Only Look Once(YOLO)的稱為BC-DROID的CAD系統，其在檢測腫塊位置時的總體準確率高達90%.2018年，M.A.Al-antari等[24]開發了一種基于深度置信網絡(DBN)的CAD系統，可自動檢測并識別乳腺腫塊區域并分類，其產生的識別率高達92.33%.然而，這些方法應用到臨床實踐時仍存在遺漏和誤報等問題.

為了提高臨床實踐中對乳腺X線圖像中腫塊的檢測靈敏度，本文提出了一種基于空間約束和多特征融合的多級目標檢測架構(SC-FU-CS RCNN)，用于檢測乳腺X線圖像腫塊.該框架可以檢測并且定位任何包含異常的區域，并根據這些區域提供診斷.本文框架的工作流程如圖1所示，該方法可以從完整的乳腺X線圖像中實現檢測可疑區域并且給出相應診斷.

圖1 SC-FU-CS RCNN檢測框架的工作流程

1 算法描述

1.1 基于深度學習的多級目標檢測架構

圖2 Faster R-CNN 框架

SC-FU-CS RCNN的核心是Cascade R-CNN[25].在文獻[25]中，擴展了Faster R-CNN[26-27]的兩階段架構，如圖2所示.第一階段是一個提議子網絡(H0)，通過訓練生成初步檢測假設，稱為目標提議；第二階段是這些提議對感興趣區域檢測子網絡(H1)的輸入，最終分類分數(C)和邊界框(B)分配給每個目標提議.實驗驗證了增加IoU閾值u對目標檢測器檢測精確度的影響，實驗證明目標提議自身閾值與檢測器訓練閾值相近時表現最佳.此外，本文使用了級聯回歸的方法對樣本進行重新采樣以解決單個IoU水平優化的檢測器在其他水平上不一定能達到最優表現的問題.框架中下一級的輸入數據被設計為上一級的輸出.這樣設計是因為實驗發現通過邊框回歸器輸出IoU總是比輸入IoU更好.本文采用RPN[26]獲得目標提議.

1.1.1 多級邊框回歸

在進行邊框回歸時，候選框被定義為向量b=(bx，by，bw，bh)，其中bx，by分別代表邊框中心點坐標；bw，bh代表邊框的長和寬.使用回歸器f(x，b)將候選邊界框b向目標邊界框g進行回歸.其中損失函數定義為：

(1)

Lloc(yi，gi)=smoothL1(yi-gi)；

(2)

(3)

SC-FU-CS RCNN中的級聯回歸，采用一系列特定的回歸量來實現，公式為

f(x，b)=fT°fT-1°…°f1(x，b).

(4)

其中T是級聯階段的總數，每個fT是對對應階段{bt}進行回歸的.

1.1.2 分類

定義分類器函數h(x)，分類器將樣本x分類成M+1個類中的一類，其中類0包含背景和要檢測的目標.h(x)是類別后驗分布的M+1維估計，即hk(x)=p(y=k|x)，其中y是對應的類別標簽.給定訓練集(xi，yi)，通過最小化分類風險來學習，公式為

(5)

其中Lcls代表交叉熵損失函數.

1.1.3 多級目標檢測

將前一階段邊框回歸器的輸出作為下一階段的輸入，通過這種方式將連續階段的一組正樣本比例保持在大致恒定的大小.在每個階段t中，R-CNN包括分類器ht和回歸器ft，其中ut>tt-1.在此基礎上，將多任務損失目標函數最小化.將目標的損失函數定義為

L(xt，g)=Lcls(ht(xt)，yt)+λ[yt≥1]Lloc(ft(xt，bt)，g).

(6)

其中：bt=ft-1(xt-1，bt-1)，g為目標xt的真實邊框，λ=1為權衡系數，yt為分類器得到的xt的預測標簽.

1.2 連接Conv3和Conv5特征

SC-FU-CS RCNN的基礎CNN是VGG16[28]，它是一個16層深的CNN.多層特征融合是一種經典的提高精度神經網絡性能思想.受文獻[29]的啟發，對文獻[25]中的CNN中的Conv3層和Conv5層進行連接并歸一化.在合并的特征映射張量中的每個像素內進行歸一化，如圖1所示.將歸一化應用于Conv3層和Conv5層的張量，對混合特征張量中的每個像素進行歸一化.歸一化之后，縮放單獨應用于每個張量為：

(7)

(8)

然后將縮放因子γi應用于每個ROI張量的每個通道，有

(9)

在訓練過程中，縮放因子γi和輸入X通過反向傳播和鏈式規則進行更新：

(10)

(11)

(12)

其中Y=[y1，y2，…，yd]T.

1.3 基于空間約束的拓撲區域特征提取

在CNN訓練過程中特征提取的范圍僅限定在候選框區域.然而，病理學家根據經驗認為候選區域通常是主觀的甚至是不準確的.因此判定癌癥還需要參考腫塊區域周圍的區域.也就是說，輸出y不僅僅依賴于輸入x，還依賴于它所在拓撲域區域.為了從未知的周圍區域中提取特征(如圖1所示)，在輸出層之前添加空間約束層(SC).將Ω定義為輸出y所依賴的駐留區域.定義空間約束回歸模型m，有

y=m(Ω；θ(x)).

(13)

其中θ(x)是可以估計的未知參數向量.這里假設m是已知的先驗知識.如圖2所示，可以通過公式

θ(x)=FL-1(xL-2；wL-1)

(14)

估計θ(x)，其中xL-2是網絡的第(L-2)層的輸出.當包含高度H、寬度W的注釋區域的圖像作為網絡的輸入時，y∈[0，1]H′×w′表示空間域Ω=[1，…，H′]×[1，…，W′]在y∈[0，1]上的概率圖，其中H′>W′，W′>W.第i個元素yi，i=1，…，|Ω|被定義為

(15)

其中ci表示yi的坐標，c0表示Ω內的病變區域的中心.將d定義為可以通過實驗估計病變區域的恒定半徑.

(16)

r=(H′-1)·sigm(wL-1，r·xL-2)+br+1；q=(W′-1)·sigm(wL-1，q·xL-2)+bq+1.

(17)

其中wL-1，r，wL-1，q表示權重向量，br，bq表示偏置，sigm(·)表示sigmoid函數.為了學習網絡中的所有變量(即權重向量和偏差值)，使用交叉熵損失函數為

(18)

2 實驗與分析

2.1 數據集

采用DDSM中的乳腺X線圖像[30]來訓練提出的框架模型.DDSM數據庫從被南佛羅里達大學等機構創建后已廣泛用于評估和比較CAD算法的性能[16，31-35]，該數據庫于1999年秋季完成.DDSM數據集包含2 620個病例，每個病例包含乳房X線攝影篩查檢查的4個視圖.分別為每個乳房的2個視圖(medio-latral 和cranio caudal).

實驗過程中，從DDSM數據庫中隨機抽取600包含良性和惡性病例的乳腺X線圖像.為了檢測任何特定方向的病變，使用數據集增強技術來增加訓練數據.對于每個訓練圖像，對乳腺X線圖像進行了90°，180°和270°的角度旋轉，人工生成3個新的樣本.因此，訓練集的總數是2 400.利用DDSM網站的校準功能將無損jpg圖像轉換為png格式，并將像素值重新調整為0～255像素范圍內.乳腺X線圖像樣本如圖3所示.

圖3 DDSM數據集乳腺X線圖像示例

2.2 實驗細節

本文SC-FU-CS RCNN是在Caffe框架中構建的[36].SC-FU-CS RCNN有4個階段，第1階段是RPN，其余3個階段用于檢測，其中U={0.5，0.6，0.7}.第1個檢測階段的采樣與文獻[26，37]中相同.在以下階段，通過將前一階段的回歸輸出作為下一階段的輸入來實現重采樣.連接Conv3和Conv5特征并對其進行歸一化.使用原始數據集和進行數據增強后的數據集分別訓練并且測試本文框架.通過旋轉乳腺X線圖像90°，180°和270°的角度來增強訓練數據集.為了驗證框架的有效性，本文采用5倍交叉驗證法進行驗證.數據集分為20%和80%的訓練數據集和測試數據集.訓練開始時學習率為0.002，在60 000和90 000次迭代時減少10倍，并在100 000次迭代時停止，每次迭代時保持4個圖像.這項工作是在PC Intel Core(TM)i5-3550上進行的，具有16 GB RAM，時鐘速度或CPU @ 3.30 GHz的頻率，以及Nvidia GTX 1080Ti的GPU.另外，在Ubuntu 14.04的操作系統上使用Python 2.7.6和C++作為編程語言.

2.3 結果評估

使用受試者工作特征曲線(ROC)及其曲線下面積(AUC)來定量地顯示框架的性能.ROC的AUC顯示分類器的性能，其中AUC值越接近1.0表示分類結果的準確率越高，而AUC值接近0.5表示結果不可靠.ROC曲線定義為[16，35]：

(1)

(2)

其中：TN真陰性病例，TP為真陽性病例，FN為假陰性病例，FP假陽性病例.框架整體分類準確率定義為

(3)

2.4 實驗結果

2.4.1 特征融合、空間約束層

將SC-FU-CS RCNN的性能與其他深度學習CAD系統進行了比較，結果見表1.表1顯示了其他工作的AUC和分類準確率(X表示沒有該指標)：BC-DROID的準確率達到93.5%，AUC達到92.315%.SC-FU-CS RCNN實現了最佳的AUC和準確率.表1結果表明，本技術可用于檢測和分類乳房圖像的腫塊.腫塊區域定位效果如圖4所示.

表1 SC-FU-CS RCNN與其他工作的性能比較

圖4 SC-FU-CS RCNN腫塊定位效果

圖5 SC-FU-CS RCNN 與Cascade R-CNN在原始數據集和增強數據集上實驗結果的ROC曲線

Cascade R-CNN與SC-FU-CS RCNN比較ROC曲線見圖5，其中AUC分別為94.71%和92.72%.SC-FU-CS RCNN的平均評估指標如表2所示.實驗表明，使用特征融合與添加空間約束層可以使SN和SP分別增加1.00%，1.57%.整體準確率表現從92.76%增加到94.06%.從表2中可以觀察到，所提出的SC-FU-CS RCNN有明顯的效果，例如SN為95.00%，SP為93.16%，ACC為94.06%，AUC為0.947 1.

2.4.2 數據增強

使用原始數據集和增強數據集來訓練和測試SC-FU-CS RCNN.原始數據集包含從DDSM數據庫中選擇的600個乳腺X線圖像.增強數據集包含2 400個乳腺X線圖像.為了研究數據增強對特異性的影響，分別計算每個數據集上的AUC.圖5中的ROC曲線顯示增強數據集的性能明顯提高.表2中顯示2 400個增強乳腺X線圖像的結果從原始數據集的91.04%增加到94.06%.使用增強數據集可以使SN和SP分別增加2.99%，3.92%，表明使用增強數據進行訓練可以提高乳房腫塊檢測和分類的性能.

表2 SC-FU-CS RCNN與Cascade R-CNN性能比較

3 結論

本文提出了一種基于空間約束和多特征融合的多級目標檢測架構用于檢測和分類乳腺X線圖像中的腫塊.給出了目標檢測算法的實現和應用場景.實驗結果表明，SC-FU-CS RCNN框架優于其他幾種乳腺X線腫塊檢測算法，最好的分類準確率達到94.71%.本文算法避免了在訓練中過度擬合、預測過程中閾值不匹配造成的檢測效果不理想的問題，提高了對小尺寸、模糊目標的檢測準確率，實現了高于其他幾種算法的準確率，驗證了算法的有效性，提升了乳腺X線腫塊檢測的性能.