文 川,嚴麗霞,沈鑫夢,馬 煜,黃備建,汪源源
1.復旦大學信息科學與工程學院,上海 200433;
2.復旦大學附屬中山醫院超聲科,上海 200032
乳腺癌是當前世界女性發病率最高且死亡率第二高的癌癥[1],早期篩查與診斷是增加治療成功率和降低死亡率的關鍵。乳腺癌的影像學診斷方法包括超聲、乳腺X線攝影、磁共振成像等。其中,超聲檢查具有無創、無輻射、價格低廉、可實時成像等優點,在臨床上應用較為廣泛。但是傳統二維超聲成像只顯示醫師選擇的一個截面,缺少三維空間信息,基于該二維圖像進行診斷的效果依賴于醫師選擇成像截面和分析判別的經驗。超聲自動乳腺全容積掃描(automated breast volume scanner,ABVS)作為一種三維超聲成像手段,能夠獲得完整的標準化的三維空間信息[2],可以顯示任意的二維截面包括乳腺冠狀面,從而為臨床分析提供更充分的參考依據。
近年來,隨著模式識別技術的發展以及計算機存儲計算能力的不斷提升,基于三維的ABVS圖像的計算機輔助診斷(computer-aided diagnosis,CAD)系統在乳腺腫瘤的識別及鑒別診斷方面應用日益增多,并且CAD工具不斷完善[3]。基于機器學習的特征提取是CAD系統中常用的方法,常用的特征有形態學特征[4]、梯度直方圖特征[5]、紋理特征[6]等。深度學習方法也有效應用于乳腺腫瘤良惡性判別領域。Byra等[7]采用預先訓練的超分辨率測試序列(visual geometry group,VGG)提取腫瘤特征,然后利用Fisher判別分析,獲得的最高曲線下面積(area under curve,AUC)為0.847。Zhou等[8]提出一種多尺度特征組合網絡用于ABVS圖像腫瘤的分割與分類的多任務學習框架,在107例患者中進行良惡性分類的準確度為74.1%。Wang等[9]將一種改進的多視角卷積神經網絡應用于ABVS進行乳腺腫瘤良惡性判別,最終靈敏度為0.886,特異度為0.876。
匯聚征是乳腺冠狀面的超聲圖像特有的形態表征,表現為腫瘤周圍結構組織向腫瘤位置放射狀聚攏的趨勢。徐皙婷等[10]基于140例腫瘤提出ABVS冠狀面特有的匯聚征征象在惡性腫瘤中的出現率明顯高于良性腫瘤。良性腫瘤具有匯聚征征象的原因主要是放射狀瘢痕、復雜的硬化病及術后變化等,惡性腫瘤具有匯聚征征象的原因主要是侵襲性乳腺癌、導管癌和小葉癌[11]。文歡等[12]的研究表明,匯聚征與浸潤性癌病理組織學分級之間存在顯著相關性。但目前對于這一性質的分析主要是從定性的角度進行,也就是影像科醫師觀察所有冠狀面圖像并判斷是否存在匯聚征,人工工作量較大。此外,定性判別中仍存在一定的主觀性,特別是對于并不明顯的匯聚狀性質缺少客觀的分析方法。因此,對冠狀面圖像中腫瘤周圍紋理匯聚性質的定量化分析成為自動檢測匯聚征的基礎。所謂的“量化”,指的是“對匯聚性質的定量化的描述”,即通過對圖像的自動分析,給出用來描述匯聚征是否存在的一些主要特征指標。這些指標將可以用于自動判別是否存在匯聚征,以及輔助判別腫瘤的良惡性。
現有的腫瘤周圍紋理匯聚性檢測算法一般包含兩個步驟:腫瘤輪廓定位和腫瘤周圍放射狀組織向中心區域收斂程度的評估。腫瘤的準確分割有利于特征提取,Wang等[13]利用超像素分割檢測出腫瘤的輪廓。Dong等[14]利用矢量差積(vector field convolution snake,VFCs)算法從矩形區域中分割出中心區域,Panigrahi等[15]將基于區域可縮放模型(region-based active contour driven by region-scalable fitting,RBACM-RSF)與具有空間偏差較正的多尺度高斯核C-均值聚類相結合提取乳腺超聲感興趣區(region of interest,ROI),Zhou等[8]將一種新的兩階段3D檢測網絡應用于自動全容積超聲乳腺圖像中,設計相似性損失函數可有效區分腫瘤和背景。在腫瘤周圍放射狀組織向中心區域收斂程度的評估方面,Tan等[4]將用于X射線分析的局部方向分布(local orientation distribution,LOD)算法用于統計冠狀面腫瘤附近區域的線濃度,以此作為匯聚性質的表征。Huang等[16]引入旋轉結構元素(rotating structuring element,ROSE)和stick算法得到中心區域中每個像素的方向,分析其分布特點以確定是否存在匯聚征。Chang等[17]利用高斯拉普拉斯算子來定義特征,并將其作為腫瘤分級的潛在預測因子。以上方法主要是針對包含匯聚征的圖像進行特征提取,并以此作為惡性腫瘤判別的特征之一,但對于不確定是否具有匯聚征的樣本并沒有相應的量化方法。此外,僅對“有匯聚征”和“無匯聚征”進行判別也無法有效分析那些主觀評價中介于二者之間的圖像。
本研究提出了一種ABVS圖像冠狀面匯聚征特性量化的新方法,來評估乳腺腫瘤周圍放射狀組織向中心區域收斂程度。特別是對于主觀難以判別是否存在匯聚征的圖像,也可以給出其腫瘤周圍匯聚程度參考數值。方法由兩部分組成。首先,基于相位一致性特征和主動輪廓法對ABVS圖像冠狀面進行腫瘤的自動分割,其次,設計了定量描述匯聚征的幾種特征。最后,通過多組實驗驗證了所提出的量化指標在描述匯聚征這一特性時的有效性。
本研究所使用的臨床數據包含195例超聲乳腺自動全容積圖像,采集自復旦大學附屬中山醫院超聲科,采集時間為2018年1月—2019年12月,屬于回顧性研究。采用的超聲儀器型號為德國Siemens公司的Acuson S2000 ABVS系統,探頭型號14L5BV,探頭頻率為5~14 MHz,掃描深度20~60 mm。每次掃描獲取318幀橫切面圖像,以DICOM格式保存。原始橫切面圖像兩個方向的空間分辨率分別為0.07 mm/像素和0.21 mm/像素。195例ABVS圖像均包含腫瘤,其中臨床醫師認為腫瘤周圍有匯聚征性質的圖像64例,無匯聚征的131例,圖像中的腫瘤位置和輪廓均由經驗豐富的影像科醫師進行標定,經過統計,腫瘤的直徑在15~40 mm的范圍內。
患者掃查獲取的原始ABVS圖像在橫向和縱向具有不同的空間分辨率,在圖像上表現為腫瘤空間性狀的變形,因此建立模型之前首先要對ABVS圖像不同方位的像素空間分辨率進行調整,使之和實際乳腺大小相對應。利用原始ABVS圖像中的空間像素信息記錄,我們將空間像素間距離調整為固定的0.21 mm,經過重建后的圖像大小為790像素×724像素,每例患者包含294~573張圖像數量不等。對于每個病例,進行腫瘤匯聚征特征分析時,取包含腫瘤的冠狀面圖像,數量60~200張。一個經過重建后典型的包含匯聚征的病例圖像如圖1所示,在圖像冠狀面上呈現出明顯的指向腫瘤中心的匯聚狀條紋。
圖1 典型的包含匯聚征的ABVS圖像
腫瘤區域分割是腫瘤匯聚征特性分析和性質判別的基礎,是整個CAD系統的十分重要的一步。為了自動精確分割ABVS圖像中的腫瘤,對于每個病例重建后的冠狀面圖像,首先手動框選一個大小為256像素×256像素、包含腫瘤區域的矩形框,然后使用了基于局部相位信息方法自動提取圖像ROI[18],并在此基礎上進行了改進,分割出腫瘤邊界后,取腫瘤邊界的矩形框外擴2倍得到每個腫瘤的最終ROI,進行匯聚征特性的量化。
局部相位信息方法自動提取圖像ROI算法主要包含幾個步驟:首先利用各向異性擴散濾波器[18]和自適應直方圖均衡算法[19]降低超聲圖像噪聲,增強腫瘤區域和外部之間的對比度,對預處理后的圖像沿著6個方向(0°、30°、60°、90°、120°、150°)分別采用4個尺度的log-Gabor方向濾波器進行濾波,計算每個尺度和方向下每個位置處的方向能量,找到每個位置處能量最大的方向,將其方向能量在所有尺度下的平均值定義為最大方向相位,圖像中所有位置的最大方向相位組成最大方向相位圖。對預處理后的圖像和最大方向相位圖相加得到的圖像進行二值化處理及形態學處理,獲得腫瘤分割結果的多個候選區域。對候選區域進行篩選得到最后的分割結果。在腫瘤分割過程中,少部分的圖像對比度較低,可能造成分割的錯誤,為了充分利用三維空間的相關性信息來增加分割過程的魯棒性,在對每幀圖像進行分割并得到最終結果之前,增加其前后幀圖像對分割結果進行約束。具體地,利用候選區域的排序方程[20],并加入約束項∩表示當前幀的候選區域與前一幀分割結果的面積重合率。計算公式如下:
對于每一個候選區域,計算其E值,將E值最大的區域作為腫瘤分割的結果。1例浸潤性乳腺癌患者的ABVS圖像冠狀面的一幀圖像的腫瘤分割結果如圖2所示。
圖2 基于局部相位信息的腫瘤分割結果
此外,對于極少量無法正確自動分割的圖像,在用于后續的匯聚征分析時,采用經驗豐富的醫師手動標注的分割結果。
ABVS冠狀面的匯聚征表示圖像中腫瘤周邊條索狀的紋理呈指向腫瘤中心的分布趨勢。因此,為了分析腫瘤匯聚征在ABVS圖像上的分布,利用算法提取圖像中符合匯聚征特點的圖像區域,最后設定參數評估所提取區域的長度、指向性和連續性等性質,并將這些評估參數作為圖像特征。
根據相關研究[17,20],使用二階方向算子可以有效提取圖像中任意點的“線方向”。因此,我們使用二階高斯核作為濾波器提取ROI中任意點的線方向。特別地,考慮到不同的線寬對方向提取的影響,實驗中我們使用了(σ等于2~10)共9個尺度的算子計算單個像素點的不同尺度的最大能量值。同時,考慮到計算復雜度和角度估計的精準性,使用了Karssemeiger[21]提出的線性鄰域算子,利用3個角度的高斯核函數來估計線方向,最終得到能量最大值Wσ計算公式:
式中,σ表示不同高斯核的尺度,3個獨立的線算子Wσ構成一組正交基。其中Wσ(θ)表示角度為θ、尺度為σ的二階高斯算子與圖像I卷積后獲取的最大能量值,其具體計算公式:
因此,將(4)式代入(2)式,可以得到Wσ(θ)的極值點。為了融合3個尺度下的濾波器的輸出結果,我們將每個像素能量最大值作為該像素點處的能量值,依次遍歷ROI內全部像素點可以得到最大能量圖,基于如圖3A的冠狀面圖像獲取的最大能量圖如圖3B所示。作為對比,有研究[4]計算了最大能量圖的部分一階統計量作為匯聚征的描述特征,但是一階統計量的計算會破壞圖像中空間分布信息,而本實驗為了更好地描述匯聚征的特性,對最大能量圖做了進一步的處理。
在最大能量圖(圖3B)中,我們首先根據能量閾值進行預處理,得到圖3C,同時為了去除孤立點,進行一次形態學開運算,并將腫瘤分割結果顯示出來得到圖3D中結果,可以看到,圖中大部分線狀連通域得以保留。考慮到匯聚征的長條索狀分布特點,我們對每個連通候選區域的外接矩形長寬比、方向和候選區域面積做定量描述,作為篩選指向腫瘤的條索狀連通區域的條件。首先根據分割結果得到腫瘤外接圓和圓心位置,定義每個連通域的外接矩形長寬比為Ω,定義外接矩形的長邊與腫瘤的外接圓心到矩形中心連線的夾角為θ,通過對Ω和θ的不同閾值進行篩選,得到最終指向腫瘤中心的長條索狀連通域的分布,圖3E是Ω0=2,θ0=20°時篩選出的連通域結果表示。假設以(Ω0,θ0)為條件進行篩選后和篩選前的連通域總面積分別為S(θ<θ0,Ω>Ω0)和S′,連通域數目分別為Γ(θ<θ0,Ω>Ω0)和Γ′,定義3類描述匯聚征的特征:
實驗中,我們發現不同的Ω0取值對結果影響較大,因此分別計算了Ω0為2和3、θ0=20°時,圖像的特征FΩ1,FΩ2,以及Ω0=4、θ0=10°時,圖像的特征FΩ3。
除了上述的條索狀連通區域之外,我們還定義了另一種基于邊緣線指向性的描述子,用來表征篩選后連通域圖像圖3D中的細節邊緣中指向腫瘤區域的比例。首先使用Canny算子做邊緣檢測,如圖3F所示。然后計算邊緣點對應的方向,篩選出邊緣點與腫瘤外接圓中心連線方向與邊緣點方向之間夾角小于π/6的邊緣點,如圖3G所示。再根據連通區域點的數量,去除包含點數較少的短線,如圖3H所示。最終統計篩選前后邊緣點數量L′和L的比值作為特征:
圖3給出了1例冠狀面ROI處理的完整步驟示意,從中可以看到,本研究提出的特征描述方法具有良好的匯聚征描述作用。
圖3 匯聚征特征提取過程示意
為了驗證量化特征的有效性,設計了3個不同層次的實驗。
首先,驗證所定義的量化特征在判別圖像中有無匯聚征時的效果。對于單個特征,計算其用于區分有無匯聚征的受試者工作特征(receiver operating characteristic,ROC)曲線,并計算AUC值。對于所有6個特征,利用它們建立機器學習模型,對含腫瘤的冠狀面圖像中是否存在匯聚征進行分類判別。實驗中以醫師的標注作為金標準,分別嘗試了支撐向量機(support vector machine,SVM)和自適應增強(adaptive boosting,Adaboost)兩種分類器模型,并使用留一法交叉驗證和十折交叉驗證兩種方式來評估模型的性能,使用靈敏度、特異度及AUC作為參數指標。
其次,通過統計學分析,檢驗各量化特征取值隨腫瘤良惡性的分布差異。以患者為單位將不同患者樣本按照良惡性分組表示,統計內容包括分組的均值、標準差。
最后,采用所提取的特征做腫瘤良惡性的分類判別,分別測試了只用單個特征及同時使用6個特征對腫瘤良惡性判別的效果,以AUC作為參數指標,分析分類性能。
為了驗證提出特征對于ABVS圖像冠狀面匯聚征描述的有效性,最直觀的實驗就是辨別病例圖像有無匯聚征。從195例病例中選取了206張有醫師明確標識的圖像組成樣本數據集,其中有匯聚征的68張,無匯聚征的138張。對206張圖像計算6個匯聚征特征,并依次計算采用每個單獨特征進行匯聚征識別的ROC曲線的AUC(圖4)。
圖4 不同特征對于有無匯聚征判別的ROC曲線
對于所提出的所有6個特征,利用SVM和Adaboost分類算法對含腫瘤圖像有無匯聚征進行判別,使用留一法和十折交叉驗證進行驗證,實驗結果如表1所示,ROC曲線如圖5A、B所示。
表1 本文算法與已有算法實驗結果對比
圖5 利用所有量化特征判別乳腺腫瘤周邊是否有匯聚征的ROC曲線
表2中統計了本文提出的6個特征在良惡性腫瘤之間的數值分布差異,可以看到6個特征在良性組和惡性組的數值分布差異較大,利用雙側t檢驗可以看到,每個特征在兩組之間差異有統計學意義(P均<0.05)。
表2 6個量化特征與腫瘤良惡性的統計分布±s
表2 6個量化特征與腫瘤良惡性的統計分布±s
分組 FΩ1 FΓ FS FΩ2 FΩ3 FL良性 0.105±0.035 2.558±0.760 460±179 0.066±0.025 0.047±0.019 0.146±0.025惡性 0.060±0.039 1.366±0.901 239±187 0.034±0.027 0.024±0.014 0.109±0.021 P值 <0.001 <0.001 <0.001 <0.001 <0.001 <0.001
已有研究[10-11]表明,乳腺腫瘤的良惡性和ABVS圖像冠狀面上呈現的匯聚征密切相關。分析本文提出的匯聚征定量化特征對乳腺腫瘤良惡性判別的意義可以檢驗該量化方法的有效性。首先探究單個特征單獨用于腫瘤良惡性判別的結果,其ROC曲線如圖6所示。可以看到單個特征對腫瘤良惡性進行區分的AUC為0.68~0.75,說明其數值可以在一定程度上反映腫瘤的性質。基于所有6類特征,利用SVM分類算法進行腫瘤良惡性判別,AUC為0.75。
圖6 不同特征對乳腺腫瘤良惡性進行判別的ROC曲線
ABVS描述了全乳房的掃描信息,對于乳腺腫瘤的定性分析具有十分重要的意義。匯聚征是ABVS圖像冠狀面特有的條索狀的高回聲區域沿腫瘤發散的形態。傳統對于匯聚征的定義主要是基于主觀的觀察,本文設計了幾類特征來定量描述這一性質,并通過對有無匯聚征分類、腫瘤良惡性分類的應用,驗證了所提出的定量化描述的有效性。
本文提出的匯聚征定量化描述方法主要有幾個方面的優勢。首先是全自動計算,無須人工的參與,模型較簡單。其次是利用匯聚征的視覺特點計算多種量化特征,對于匯聚征的描述更準確和全面。但是,由于ABVS是三維的圖像,而本文提出的特征描述算法是針對二維冠狀面的處理,如果引入三維空間的操作有望進一步提升性能。此外,特征計算過程中逐像素點的遍歷在圖像尺寸較大時仍存在計算速度下降的問題,在計算量方面仍可以進一步優化。
針對乳腺腫瘤ABVS圖像冠狀面呈現的匯聚征的描述問題,提出了兩大類共6個特征描述子,一類是基于腫瘤區域外連通域進行形狀、方向、面積的特征描述子。第二類是基于邊緣檢測出的點集與腫瘤中心連線的夾角的特征描述子。為了驗證特征描述子的有效性,從有無匯聚征分類、特征值的取值分布對比,用6個特征描述子做良惡性分類判別3個方面進行驗證。以往的研究[4,16-17]中只考慮有/無匯聚征這兩種情況,但是對于介于二者之間的圖像表征并沒有明確的定義。本研究中提出的特征正是為了解決這個問題,對圖像中存在匯聚征的可能性從多個特征的角度進行了定義。統計學分析的結果表明,這些特征的取值和匯聚征是否存在、腫瘤的良惡性均存在相關性,說明這些特征可以用于描述匯聚征存在的可能,為自動檢測和判別匯聚征提供了可用的參考依據。