基于格式塔認知框架的乳腺腫塊分割算法

王紅玉，馮 筠，劉飛鴻，陳寶瑩

(1.西北大學 信息科學與技術學院, 陜西 西安 710127；2.第四軍醫大學 附屬唐都醫院 放射科, 陜西 西安 710038)

乳腺癌是女性最常見的惡性腫瘤之一,嚴重威脅著女性的生命健康[1]。研究表明,乳腺X線圖像中的腫塊是乳腺癌早期診斷的一個重要標志,腫塊分割作為腫塊檢測和診斷的關鍵環節,成為計算機輔助診斷系統的研究熱點[2-3]。

近年來,研究者們針對乳腺腫塊分割已做了大量的研究工作[4-5]。主要算法可以分為:基于閾值的分割[6]、基于區域的分割[7]、基于邊緣的分割[8]和基于特定理論的分割[9]等。然而由于乳腺圖像中噪聲和偽影較多,腫塊形狀、大小、背景復雜多變,現有的方法分割效果往往不夠理想[10]。

觀察發現,放射科醫生在面對復雜的醫學影像時能迅速地對信息進行有效組織[11],而計算機卻很難判斷，因此，模擬人類的知覺組織機理處理計算機視覺中的問題顯得尤為重要[12]。格式塔心理學家針對人類視覺感知特點,提出了格式塔完形規則[13-14]。目前已有一些學者將心理學的格式塔方法應用到自然圖像分割中,取得了顯著的成果[15]。然而醫學影像不同于自然場景圖像,尤其乳腺腫塊形態多變,很難用單一模型表示,因此在計算機輔助分割過程中,模擬專家的認知過程并借鑒專家的經驗知識非常重要。

本文針對乳腺X線圖像,提出了一種基于格式塔認知框架的自動化乳腺腫塊分割方法。該算法從格式塔心理學模型出發,模擬人類視覺自下而上的感知過程與自上而下的認知過程[16]。首先對圖像進行預分割,獲取視覺塊并以此作為基本處理單元,其對應格式塔中“完形”的概念,然后,對圖像的局部特性與全局特性分別建模,提出了基于視覺塊的腫塊分割任務的形式化表達,算法同時考慮了腫塊的形態學特點與專家的先驗知識。實驗結果表明,本文算法簡單高效,相對其他流行分割算法取得了更好分割效果,對噪聲具有較強的抗干擾性。

1 基于格式塔認知框架的腫塊分割

1.1 腫塊分割算法框架

格式塔心理學是一種注重整體組織的心理學理論體系,知覺是其研究的起點和重點。格式塔心理學認為,知覺是按照一定的規律形成和組織起來的[17]。我們的知覺過程既包括來自于“自下而上”到達大腦的感覺,也包括被心理學家稱為“自上而下”加工的經驗和期望[16]。模擬人類的認知特點,捕獲并揭示兩種控制過程(自下而上與自上而下)之間的關系有著重要的研究意義。本文以乳腺腫塊分割問題為研究對象,參考格式塔心理學規則,用計算機來模擬人類的認知過程,將上述兩種加工過程在分割問題中進行實例化表示。具體算法框架如圖1所示。

圖1 算法框架圖Fig.1 The framework of our algorithm

算法第一階段,我們稱其為面向局部信息的圖像預分割,對應了視覺感知自下而上的加工過程,其充分綜合利用了圖像的局部特性,包括圖像灰度、紋理、空間位置等多種底層特征。第二階段是面向全局信息的腫塊分割,即采用自上而下的深入加工過程,以視覺塊作為基本處理基元,借鑒圖割(Graph cuts)思想,并且融入了專家的閱片知識與經驗,最終實現腫塊的全局最優化分割。

1.2 面向局部特征的腫塊預分割

1.2.1 視覺塊生成 格式塔心理學研究表明,真實的自然知覺經驗是組織動力的整體,感覺元素的拼合則是人為的堆砌[17]。醫學圖像中噪聲、偽影、區域不一致現象嚴重,很大程度上影響了腫塊的正確分割,本文采用了文獻[18]中對腹腔圖像視覺塊的劃分方法對乳腺圖像進行預分割。該方法利用格式塔規則中鄰近性、相似性的概念,綜合像素灰度、空間位置等局部圖像特征,對像素重組,形成如圖2所示的視覺塊。該方法不僅降低了圖像噪聲的影響,提高了圖像局部一致性,而且簡化了圖像表示,便于對圖像進一步分析處理。

圖2 乳腺X線圖像視覺塊形成Fig.2 The visual patches of X-ray breast image

1.2.2 視覺塊紋理特征建模 觀察發現,乳腺X線圖像間具有較大差異(如圖2),影像的形成與病人、設備、環境等多種因素息息相關,很難用單一的紋理模型區分所有圖像的腫塊與背景區域。視覺塊的劃分僅僅考慮了簡單的圖像底層特征,預分割后的圖像中仍存在大量紋理相似的視覺塊單元。為了進一步簡化圖像表示,且形成更有意義的“感覺元素”,我們從單幅圖像出發,利用圖像自相似性進行視覺塊合并。研究表明,以像素鄰域灰度值構造紋理基元具有較好的紋理表達能力[19]。本文借鑒詞袋模型的概念,構造了視覺塊的紋理表示模型,如圖3所示。

圖3 基于詞袋模型的紋理表示方法Fig.3 Texture features based on the Bow model

假設圖像I={p1,p2，…，pN}中包含N個像素,取每個像素的t鄰域集合作為紋理特征,特征集合中gi表示長度為t2的特征向量。若取M個紋理基元(或特征詞),則每個像素均可對應特征字典中的一個基元變量。假設視覺塊vi由鄰接的m個像素組成,該視覺塊的紋理特征便可用大小為M的基元直方圖hi表示。

1.2.3 基于局部紋理特征的視覺塊合并 在格式塔心理學理論中，鄰近性、相似性不僅能在圖像像素的粒度產生作用,使之聚合形成可視塊,還可作用于可視塊粒度,指導鄰近視覺塊合并。因此對于鄰近視覺塊,即vi∩vj≠?,定義了相似性函數S(·)，

S(vi,vj)= 1-d(hi,hj)·[size(vi)+

size(vj)]。

(1)

其中,d(·)為視覺塊之間的紋理直方圖的歐式距離,size(·)為視覺塊的空間尺寸,即相鄰視覺塊紋理值越相近,尺度越小,越相似。我們將采用規則J合并相似的視覺塊。

(2)

v′=vi∪vj，

(3)

(4)

size(v′)=size(vi)+size(vj)。

(5)

遍歷圖像,合并相似性最大且滿足小于閾值Ts的鄰近視覺塊vi和vj,然后更新圖像視覺塊集合，如式(3)～(5)所示,包括視覺塊像素組成v′,紋理特征h′,視覺塊大小size(v′),鄰居關系等信息。多次迭代上述算法,直到J=0。此時，就完成了計算機模擬人類視覺自下而上的加工過程,得到更為簡化的圖像視覺塊集合,每塊均包含了更為豐富的視覺信息,如圖4所示。

圖4 基于局部紋理特征的視覺塊合并結果Fig.4 The merged results of visual patches based on local texture features

1.3 面向全局特征的腫塊分割

格式塔心理學最大的特點是強調研究對象的整體性,其關注知覺主體是按何種形式把經驗材料組織成有意義的整體。此時腫塊分割問題已轉化為將視覺塊標定成目標/背景的典型二元標號組合優化問題。為了從全局的角度為視覺塊正確標注，本文借鑒了圖割的思想[20],并加入專家知識,通過最小化全局優化目標函數得到最終腫塊分割結果。

1.3.1 全局分割形式化表示 圖割理論(Graph cuts)的核心思想在于構造優化目標,利用最小的切割準則實現圖像的最佳分割。設無向圖G=(V,X)為圖像I的形式化表達,V為視覺塊集合，V={v1,v2，…，vq},X是視覺塊連接權重,鄰域集合定義為Q,其元素滿足{(vi,vj)?Q|vi∩vj≠?}。集合L={l1,l2，…，lq}表示圖像分割(視覺塊標注)結果,其中li=1指視覺塊i被標注為腫塊,反之為背景。于是，上述分割問題可用式(6)表示為

vj)。

(6)

其中,D(·)為數據項,表示區域特性,與視覺塊紋理特征相關;B(·)為平滑能量項,與鄰域標號相關。權重參數0<γ<1,調節數據項與平滑項的比例。因此，通過最小化能量函數E(·)即獲得腫塊分割結果。

1.3.2 融入先驗知識的圖割求解 交互式Graph Cuts算法要求用戶在圖像上標注背景點與目標點,這種融入專家知識的方法取得了較好的分割效果[21]。鑒于此,本文提出將醫生的先驗知識融入到求解目標中,一方面可以保證分割質量,另一方面減少人工干預，可以實現全自動化腫塊分割。

首先我們研究了大量的乳腺X線圖像形成的視覺塊,做出如下假設:

1) 腫塊通常表現為無隙內核的實質團塊或星芒,其中心壞死,密度較高,較正常組織在影像上表現為高亮特性。

2) 從全局角度觀察,腫塊多數分布于乳腺區域內,即很少出現在圖像邊緣處。

根據上述假設,首先將視覺塊集合V劃分為邊緣視覺塊集合VE與非邊緣視覺塊集合VN,滿足V=VE∪VN,VE∩VN=?。然后選取如下前景(FS)/背景(BS)種子點:

(7)

BS={g(vi)

(8)

FS為前景種子點,即率先將遠離圖像邊緣的高亮視覺塊選定為目標腫塊區域;BS為背景種子點,包括低密度視覺塊與邊緣視覺塊兩部分。實驗結果表明,上述假設在絕大多數腫塊圖像上均適用。圖割算法另一個重要的問題是數據項與邊緣項的定義,其決定了圖像分割的結果。根據上述先驗知識,數據項D(·)定義如下:

(9)

由于單個視覺塊FS表達目標前景目標有限,所在構造區域函數時，將其鄰域非邊緣視覺塊也考慮在內,即集合FS*,FS*={Neighbor(FS)∩VN}∪FS,參數c1,c2取較大常數值。從式(9)可知,每個視覺塊根據其與先驗信息區域的相似度被賦予不同的權重。

此外,平滑邊緣項B(·)定義為

(10)

B(·)對相鄰數據塊建模,按照圖割問題最小化目標函數的思想,當腫塊視覺塊與背景視覺塊臨近時,將邊緣項設置為最小值,否則按視覺塊紋理相似性賦值,即相似的視覺塊邊緣項B(·)值較大,反之亦然。如上述網絡圖建立完畢,從全局角度出發，采用網絡圖的最大流/最小割算法[22],獲得腫塊分割的結果。具體算法流程如下:

Step1面向局部特征的圖像預分割：

1)圖像視覺塊生成；

2)提取視覺塊紋理特征；

3)相鄰視覺塊相似性度量合并,如式(2)所示。

Step2面向全局特征的腫塊分割：

1)基于視覺塊的圖模型建立,如式(6)所示；

2)先驗知識建模,標注視覺塊；

3)基于先驗知識的數據項與邊緣項確立,如式(9)和式(10)所示。

Step3采用網絡圖的最大流/最小割算法,實現腫塊的自動化分割。

2 實 驗

2.1 實驗設置

為了驗證本文算法的有效性,在Intel(R) Core(TM) i5 CPU, 4GB內存的Windows7操作系統上,基于Matlab 2012(b)平臺進行實驗。實驗數據來自公開數據集INbreast[23]的50幅包含腫塊的X線-鉬靶影像。該數據集已由放射科專家標注出分割結果,將其作為本文實驗的“金標準”。

為了客觀地評價本文算法的性能，實驗對比了4種當前流行的圖像分割算法,包括OSTU閾值分割算法[6]、區域生長算法(Region grow)[24]、水平集算法(Level set)[25]、核映射圖割算法(Kernel graph cuts)[26]。評價指標采用Dice系數、過分割率OverSeg、欠分割率UnderSeg和召回率Recall，定義為

(11)

(12)

(13)

(14)

其中,GT為放射科專家的金標準分割結果,SEG為待評價算法的實際分割結果,OS和US分別對應圖像過分割部分與欠分割部分。num(·)函數計算區域面積。本文方法的參數設置如表1所示。

表1 主要參數設置Tab.1 Parameter settings

2.2 驗證算法有效性

如圖5所示，可視化表示了5類分割算法在INbreast數據集上的分割結果,圖中綠色線標注醫生手工分割的結果,作為算法評價標準,紅色線對應算法分割結果。

由圖5可知,OSTU閾值分割只考慮圖像灰度,忽略了空間位置信息,因此分割區域往往不連續,受噪聲影響較大;區域生長算法、水平集算法改善了閾值分割的不足,但其需要人工輔助交互,屬于半自動化的分割方法,分割結果嚴格依賴人工的輔助輸入,其中,水平集算法通過Level set函數曲面的進化，隱含地求解曲線的運動,遇到復雜的腫塊紋理時,會產生分割孔洞(圖5(a)第3列)。此外,本文也對比了圖割的改進算法(Kernel graph cuts),其與OSTU算法均屬于自動化的分割方法，使用核函數將圖像映射到高維空間,取得了更佳的分割效果,但是，由于缺少先驗信息指導,當背景較復雜時，會產生錯誤分割(圖5(c)第4列)。

圖5 腫塊分割結果與金標準對比Fig.5 Segmentation results and comparisons with ground truth

為了進一步量化比較,本文采用Dice系數、過分割率、欠分割率和召回率4個指標評價上述算法,結果如表2所示，表2中數據是在整個數據集上實驗的統計結果,即所有圖像分割結果的各項指標的平均值。Dice系數與召回率Recall值越大，表示分割結果越好,過分割OverSeg與欠分割UnderSeg值越小表示分割越準確。其中,自動化算法OSTU與Kernel graph cuts由于缺少對腫塊的形態建模,受圖像背景影響較大,因此往往產生錯誤分割。半自動化算法Region grow與Level set需要手工設置初始位置,效果較好。本文算法綜合了兩種視覺加工方式,對腫塊區域及背景區域分別建模,是一種全自動化的分割方法,相比其他流行的分割算法,取得了最佳的分割效果。

表2 腫塊分割結果量化比較Tab.2 Quantifying the segmentation results of breast masses

2.3 驗證算法參數及算法魯棒性

本文實驗存在兩個關鍵參數,一個是初始視覺塊大小參數，另一個是全局分割形式化表示中的數據項與平滑能量項權重參數γ，因此本文設計了如下實驗測試參數對算法的影響。如圖2所示,初始視覺塊是本文分割算法的基礎,不難發現,初始視覺塊太小難以確定視覺塊的紋理特征,而初始視覺塊過大(大于實際腫塊)則無法準確分割邊緣，因此在實驗中選擇了折中的視覺塊大小區間(20～100),然后在整個數據集上展開實驗,計算分割結果的平均值,圖6顯示了上述4種評價指標的變化曲線。由圖6可知,本文算法對初始視覺塊的大小并不敏感,各項指標差異均較小。主要因為算法在初始視覺塊劃分的基礎上,利用圖像的局部紋理特征進行了視覺塊的合并,因此初始視覺塊大小的變化對最終的腫塊分割結果影響不大,經過局部紋理特征合并后的視覺塊將作為最終全局分割的重要基礎,當視覺塊過大時,容易產生腫塊位置定位錯誤、腫塊邊緣分割困難等問題,因此在實施過程中不宜設置過大的初始視覺塊。

圖6 視覺塊大小對算法性能的影響Fig.6 The performance of our method based on different size of visual patches

文中1.3.1節面向全局特征的腫塊分割中,參數γ表示區域特性的數據項與平滑能量項的權重參數，圖7為權重γ對算法性能的影響圖。如式(6)和圖7所示,γ的取值范圍為(0,1),γ值越大,表示數據項所占比重越大,反之亦然。由圖7可知,隨著數據項所占比例增加,平滑項比重減少,分割Dice逐步提高。當γ在0.5附近時,Dice系數取大值,與表2中數據結果一致。當平滑項所占比重越來越小時,分割Dice準確率降低,而過分割率(Overseg)逐步增加,當γ在0.9附近時,召回率(Recall)和過分割率達到最大。因此可以得出結論,在本文算法中數據項較大程度上控制腫塊區域的分割,而平滑項對相鄰數據塊建模,控制了非腫塊區域的過分割性。

圖7 權重γ對算法性能的影響Fig.7 The performance of our method based on weight parameter γ

本文算法利用格式塔心理學規則,對圖像局部信息整合,形成視覺塊,具有較強的局部一致性,對噪聲不敏感。為了驗證本文算法的魯棒性,為同一幅圖像增加了不同程度的高斯白噪聲,如圖8示,設置噪聲均值均為0,方差依次為0.001，0.005，0.01,即對同一圖像噪聲“污染”程度自左向右逐漸增加。圖中綠色線為分割“金標準”,紅色線為算法分割結果,以Dice系數評價分割結果。如圖8所示,本文算法對噪聲具有較好的魯棒性,在對比算法中,水平集算法和區域生長算法需要人工干預,但對噪聲較敏感,Kernel graph cuts算法對圖像3表現最好,而圖像1和圖像2分割結果欠佳,算法不夠穩定,OSTU算法在各個圖像上均表現不好,增加的噪聲嚴重影響了OSTU算法的分割準確率。與其他算法相比,本文算法的腫塊分割結果受噪聲影響不大,由于本文算法以視覺塊作為基本處理單元,均勻的白噪聲消減了腺體組織的邊緣效應,因此在某些情況下,腫塊的分割效果反而會變好(圖8(e3))。本文算法從圖像底層特征出發,以視覺塊為認知單元,是一種簡單有效的局部一致性表達,對噪聲具有較強的抗干擾性。

圖8 不同噪聲下的腫塊分割Fig.8 The segmentation performance of methods based on different noise images

2.4 驗證算法執行效率

以500*417大小的乳腺圖像為例,統計各算法運行效率。如表3所示,本文將算法執行時間分為分割時間與其他時間。其他時間在區域生長算法與水平集算法中,指手工初始化時間,在本文算法中指紋理特征提取時間(1.2.2節)。水平集算法需要多次迭代,因此時間代價往往較大,OSTU算法最簡單,但分割效果最差。其他3個算法分割時間效率相當,其中本文算法需要一定的紋理提取時間,該部分不涉及腫塊分割,可離線完成,作為自動化的腫塊分割方法,本文算法的運行效率較高。

由上文可知,本文算法可細分成3個部分:視覺塊形成,“自下而上”的視覺塊合并,“自上而下”的腫塊分割。以500*417大小的乳腺圖像為例,分別統計其執行時間,結果如圖9所示。其中視覺塊生成需要的時間最長,約0.729s,分割總計時間約0.935s,由于視覺塊合并后,算法的處理單元大大減少,因此相比傳統的圖割算法,本文算法效率具有較大提升。

表3 腫塊分割運行時間比較

Tab.3 Process duration of mass segmentation for different methods s

圖9 本文算法分割時間分解Fig.9 The execution time for each steps of our method

3 結 語

針對X線圖像乳腺腫塊分割困難的問題,本文提出了一種基于格式塔認知框架的自動化乳腺腫塊分割方法。該方法對格式塔心理學規則建模,模擬了人類視覺特點。以視覺塊作為基本處理單元,一方面,從底層圖像特征出發,利用圖像局部一致性進行視覺塊合并,簡化圖像;另一方面,從全局特征出發,提出了基于視覺塊的腫塊分割任務的形式化表達,最小化能量函數獲取腫塊分割結果。實驗結果表明,相比其他幾種流行的圖像分割算法,本文方法取得了更好的分割效果,以視覺塊作為處理單元不但降低了計算量,提高了執行效率,而且對噪聲具有較強的魯棒性。

然而,本文算法也有一定的局限性,對于腫塊亮度較低、貼近圖像邊緣的微小腫塊分割存在困難。此外,本文算法只是對復雜人類視覺的簡單模擬,進一步的算法改進仍有待探索。

[1] DESANTIS C, MA J, BRYAN L, et al. Breast cancer statistics, 2013[J].CA: A Cancer Journal for Clinicians, 2014, 64(1):52-62.

[2] ACHO S N, RAE W I D. Interactive breast mass segmentation using a convex active contour model with optimal threshold values[J]. Physica Medica, 2016, 32(10): 1352-1359.

[3] MIN H, CHANDRA S S, DHUNGEL N, et al. Multi-scale mass segmentation for mammograms via cascaded random forests[C]∥IEEE International Symposium on Biomedical Imaging. IEEE, 2017:113-117.

[4] SAJEEV S, BAJGER M, LEE G. Segmentation of breast masses in local dense background using adaptive clip limit-CLAHE[C]∥International Conference on Digital Image Computing: Techniques and Applications. IEEE, 2017:1-8.

[5] 呂澤華, 趙盛榮, 梁虎,等. 基于Gmac模型的乳腺腫塊分割算法[J]. 電子學報, 2014, 42(2):398-404.

[6] JIAO S, LI X, LU X. An improved OSTU method for image segmentation[C]∥International Conference on Signal Processing. IEEE, 2006:164-166.

[7] BERBER T, ALPKOCAK A, BALCI P, et al. Breast mass contour segmentation algorithm in digital mammograms[J]. Computer Methods and Programs in Biomedicine, 2013, 110(2): 150-159.

[9] WANG Y, TAO D, GAO X, et al. Mammographic mass segmentation: Embedding multiple features in vector-valued level set in ambiguous regions[J]. Pattern Recognition, 2011, 44(9): 1903-1915.

[10] OLIVER A, FREIXENET J, MARTI J, et al. A review of automatic mass detection and segmentation in mammographic images[J]. Medical Image Analysis, 2010, 14(2): 87-110.

[11] ELMORE J G, WELLS C K, LEE C H, et al. Variability in radiologists′ interpretations of mammograms[J]. New England Journal of Medicine, 1994, 331(22): 1493-1499.

[12] BHATNAGAR G, WU Q M J, LIU Z. Human visual system inspired multi-modal medical image fusion framework[J].Expert Systems with Applications,2013,40(5):1708-1720.

[14] 孫鵬. 淺析格式塔心理學與視知覺[J].科教文匯(中旬刊), 2009(1):285-285.

[15] ZHU H, MENG F, CAI J, et al. Beyond pixels: A comprehensive survey from bottom-up to semantic image segmentation and cosegmentation[J]. Journal of Visual Communication and Image Representation, 2015, 34(2): 12-27.

[16] PASTUKHOV A. First, you need a Gestalt: An interaction of bottom-up and top-down streams during the perception of the ambiguously rotating human walker[J]. Scientific Reports, 2017, 7(1):1158.

[17] PELTONEN H. Constructivism, Cognition, and Duality[J]. ERIS-European Review of International Studies, 2017, 3(3):70-86.

[18] LI P, FENG J, BU Q R, et al. Multi-object segmentation for abdominal CT image based on visual patch classification[C]∥CCF Chinese Conference on Computer Vision.Heidelberg:Springer, 2015:130-138.

[19] LI Y, CHEN H, ROHDE G K, et al. Texton analysis for mass classification in mammograms[J]. Pattern Recognition Letters, 2015, 52(C):87-93.

[20] RANTALANKILA P, KANNALA J, RAHTU E. Generating object segmentation proposals using global and local search[C]∥Computer Vision and Pattern Recognition. IEEE, 2014:2417-2424.

[21] JIAN M, JUNG C. Interactive image segmentation using adaptive constraint propagation[J]. IEEE Transactions on Image Processing, 2016, 25(3): 1301-1311.

[22] ZHANG H, XU N, XU F, et al. Graph cut based clustering for cognitive radio ad hoc networks without common control channels[J]. Wireless Networks, 2016,22:1-13.

[23] MOREIRA I C, AMARAL I, DOMINGUES I, et al. INbreast: Toward a full-field digital mammographic database.[J]. Academic Radiology, 2012, 19(2):236-248.

[24] PETRICK N, CHAN H P, SAHINER B, et al. Combined adaptive enhancement and region-growing segmentation of breast masses on digitized mammograms[J]. Medical Physics, 1999, 26(8):1642-1654.

[25] YU Y, QU Y, HAN Y, et al. Adaptive distance regularized level set method and its application to image segmentation[C]∥International Conference on Intelligent Human-Machine Systems and Cybernetics. IEEE, 2013:388-391.

[26] BEN S M, MITICHE A, BEN A I. Multiregion image segmentation by parametric kernel graph cuts[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2011, 20(2):545.