一種基于局部和全局擬合的混合多相水平集分割模型及算法

(山東科技大學 計算機科學與工程學院，山東 青島 266590)

多相分割是近年來圖像分割領域研究的新問題。相對于傳統(tǒng)的兩相分割模型[1-6]將圖像分為前景和背景，多相分割方法用多個水平集驅使輪廓線按照一定規(guī)則將圖像分為多個區(qū)域，在處理復雜多目標圖像的分割上具有明顯的優(yōu)勢[7-9]。將兩相活動輪廓模型擴展到多相分割領域，能夠顯著提升分割效果[10-11]。在水平集方法中，運用多種圖像統(tǒng)計信息以及不同能量模型間的加權融合能有效擴大分割能力[12]。Wang等[13]將CV模型[1]與LBF模型結合并擴展到多相水平集，在MR圖像分割中取得了不錯的結果。Boutiche等[14]將LGD模型[6]和CV模型結合起來并做了改進，在處理灰度不均勻圖像和抗噪性上更具有優(yōu)勢。

近年來，基于深度學習的圖像分割技術獲得廣泛關注。Mask RCNN[20]模型是基于Faster RCNN模型架構提出的新的卷積網絡，該模型速度更快，在有效檢測目標的同時能夠完成高質量的語義分割。

醫(yī)學圖像分割需要很高的分割準確度和很強的分割目標性，為了更準確地獲得目標輪廓邊界并同時處理成像過程帶來的噪聲，提出一種基于局部和全局擬合的混合水平集分割模型(hybrid multiphase model driven by local and global Fitting energy，HMDLG)及算法,在多相分割框架中綜合運用包括梯度、方差、均值多種灰度統(tǒng)計信息檢測分割目標，能根據(jù)圖像區(qū)域特性調節(jié)分割閾值。實驗結果表明，該模型能更加準確地處理目標的拓撲結構。

1 圖像分割模型

1.1 拉普拉斯主動輪廓模型

拉普拉斯算子是圖像邊緣檢測的方法之一。Zhang等[15]利用圖像拉普拉斯算子與水平集函數(shù)結合，能準確的定位弱目標邊界。能量項表示為：

(1)

其中，α對噪聲起到一個調節(jié)作用，Δ是拉普拉斯運算符。上式對應的梯度下降流方程為：

(2)

1.2 LCV模型

Wang等[5]將局部統(tǒng)計信息納入到CV模型中，以改善對圖像局部區(qū)域紋理的分割效果，提出了LCV模型。LCV模型的全局項表示如下：

(3)

其中，u0(x,y)表示圖像的灰度，c1和c2分別表示曲線內部和外部圖像灰度均值。

作為對全局項的修正，LCV模型使用局部統(tǒng)計信息構建局部項，定義如下:

(4)

其中gk是一個k×k大小的均值卷積算子。d1和d2分別是不同圖像中gk×u0(x,y)在輪廓線C內外的灰度均值。

1.3 LGDF模型

Wang等[6]利用圖像的局部區(qū)域信息，提出了基于局部高斯分布擬合能量的活動輪廓模型(LGDF模型)，利用圖像的局部區(qū)域方差和均值作為灰度信息統(tǒng)計量。

假設在圖像區(qū)域Ω中，Ωi表示第i個目標區(qū)域，Ox是以x為中心的區(qū)域，每個子領域Ωi∩Ox的圖像灰度概率密度函數(shù)為高斯分布，定義為：

(5)

其中fi(x)和σi(x)分別為局部均值和標準差。引入高斯核函數(shù)并最小化能量函數(shù)可得到：

(6)

2 基于全局和局部能量擬合的HMDLG模型的算法實現(xiàn)

HMDLG模型算法首先預處理圖像，然后返回預分割的結果作為初始輪廓。多相水平集由帶有局部特性的全局項和局部項加權構成，其中由特征向量加權的拉普拉斯擬合函數(shù)和深度自適應分割項組成的全局項能夠精確地分割目標邊緣輪廓，引入局部均值和方差作為統(tǒng)計量的高斯核函數(shù)作為局部項能更好地處理灰度不均勻區(qū)域，全局項和局部項的比重由加權函數(shù)調節(jié)。

2.1 圖像邊緣的去噪增強和快速預分割

HMDLG模型算法使用多尺度細節(jié)提升方法[16]增強圖像細節(jié)。首先用標準差，分別為σ1=1.0，σ2=1.0，σ3=4.0的3個高斯核函數(shù)對原圖像I做卷積處理得到3個濾波結果：

(7)

然后用差值提取不同層次的圖像細節(jié)信息，表示如下：

(8)

最后加權不同的圖層信息得到新的圖像灰度：

I=(1-w1×sgn(D1))×D1+w2×D2+w3×D3。

(9)

其中w1=0.5，w2=0.5，w3=0.25。

LCV模型中構造了擴展的線性結構張量，易導致邊界模糊。因此這里采用非線性擴散張量，在不同的方向上自適應利用不同的擴散系數(shù)，在平滑過程中盡可能多地保留圖像特征：

(10)

其中，Iσ=I(t,x)*Kρ，Kρ為高斯核函數(shù)。結構張量表示為：

(11)

Jρ的兩個正交特征向量與相應的特征值分別為υ1，υ2和μ1，μ2。取擴散張量D(Jρ)的特征值為：

(12)

為了降低不同初始輪廓線對結果帶來的影響，用基于二維最大熵和改進的遺傳算法結合[17]快速獲得初始輪廓線。二維最大熵算法采用像素灰度和鄰域平均灰度構成的二維直方圖搜索閾值，充分利用了像素的灰度分布信息和像素間的空間相關信息獲得最佳閾值。改進的遺傳算法對選擇、交叉、變異等算子進行了優(yōu)化，運用到二維最大熵算法中大大地減少了計算量，提高了速度。

2.2 HMDLG分割模型的組成框架

HMDLG模型使用雙水平集進行四相圖像分割，定義水平集函數(shù)Φ1，Φ2，分割4個互不重疊的區(qū)域：{Φ1>0，Φ2>0}，{Φ1>0，Φ2<0}，{Φ1<0，Φ2>0}，{Φ1<0，Φ2<0}。

模型中Heaviside函數(shù)和Dirac函數(shù)正則化的表達式如下：

(13)

(14)

其中ε是個小的正常數(shù)，Hε(x)和δε(x)的ε取值為1。

在圖像域Ω里，四項分割的4個子域用Heaviside函數(shù)描述為；

(15)

HMDLG模型總的能量泛函定義為：

(16)

其中，p(Φi)和L(Φi)分別為正則化項和長度項，υ和μ分別為對應的權重系數(shù)，εLGLF(Φi)為基于區(qū)域的能量擬合項。

區(qū)域正則化項p(Φi)：模型使用距離正則化能量擬合項[18]來保持水平集演化穩(wěn)定

(17)

長度項L(Φi)：模型使用水平集的長度項用來平滑目標輪廓

(18)

(19)

這里Gσ是標準差為σ的高斯濾波器，m取值為4。代入(18)式中，得

(20)

基于區(qū)域能量的擬合項εLGLF(Φi)：使用圖像灰度信息構造能量項對目標進行分割。

在HMDLG模型的多相分割的框架中，基于區(qū)域的能量擬合項εLGAF(Φi)表示為：

(21)

其中

(22)

式中的ri(i=1,2,3,4)表示由全局和局部統(tǒng)計信息擬合的能量項。

2.3 基于多種局部特征變量加權重構的拉普拉斯全局擬合項

在全局項中，用加權重構的拉普拉斯能量分割目標整體輪廓，并且定位弱邊界。HMDLG模型在圖像中選取以像素x為中心的P*P鄰域，并將其所有灰度值從小到大排列為x1,x2，…,xn, 通過3種特征變量以特定的系數(shù)加權組合，得到一組新的數(shù)據(jù)矩陣u0new(x)作為處理后的圖像灰度矩陣:

u0new(x)=MED(x)+τ1IQR(x)+τ2MAD(x)，τ1,τ2∈[0,1]。

(23)

其中，

(24)

IQR(x)=Q3(x)-Q1(x)，

(25)

(26)

在u0new(x)中，中位數(shù)信息可以處理圖像中的異常值點，四分位距和平均絕對偏差能夠銳化目標的弱邊界，提高分割精度。將得到的u0new(x)作為拉普拉斯擬合能量(公式2)的輸入矩陣，得到：

(27)

2.4 基于深度自適應分割的區(qū)域能量全局擬合項

HMDLG模型通過最小化LCV模型的全局項(公式3)，得到梯度下降流方程并改寫得到表達式：

(28)

由公式(28)可看出演化過程中LCV模型把輪廓線內外的圖像灰度均值(cm+cn)/2作為硬閾值判斷水平集演化的方向。HMDLG模型用統(tǒng)計函數(shù)min(cm,cn)+λ×abs(cm-cn)近似代替圖像灰度值u0,得到新的表達式方程：

(29)

其中λ為分割深度系數(shù)，即控制演化偏向于cm和cn的程度，當λ=0.5時，公式(28)和公式(29)的結果近似。在λ的取值過程中，如果人為地根據(jù)圖像大體估測，并不能取得良好的分割結果，HMDLG模型利用圖像的局部和全局統(tǒng)計信息構建了一個統(tǒng)計函數(shù)來計算λ：

(30)

其中，cm和cn為輪廓內外的全局灰度均值，fm和fn為輪廓內外的局部灰度均值，α和β為全局和局部的權重系數(shù)，且α∈(1,2，…,n)，β∈(0,1，…,n)，ω為補充調節(jié)系數(shù)。

由于圖像存在灰度不均勻問題，如果既要保證對圖像細節(jié)的分割，又要減少出現(xiàn)過分割或誤分割的現(xiàn)象，則需要全局和局部灰度信息的共同調節(jié)。HMDLG模型通過構造帶有深度系數(shù)λ的能量函數(shù)來有效調節(jié)控制全局和局部統(tǒng)計信息的權重，從而提升分割的精度。

LCV模型的全局項式(29)，LCV模型的局部項以及新的拉普拉斯能量項式(27)共同構建的新能量模型為：

(31)

2.5 基于局部方差和均值統(tǒng)計的局部擬合項

HMDLG模型采用局部高斯方差和均值作為統(tǒng)計量的LGDF模型局部分割項，表示如下：

(32)

2.6 MLGLF模型的梯度下降流方程

在HMDLG模型的多相分割框架中，由式(22)可得基于區(qū)域的能量擬合項：

m,n=1,2,3,4。

(33)

其中θ(x)是系數(shù)調節(jié)方程，圖像局部窗口灰度信息計算獲得[14]，表達式為:

θ(x)=γaverage(CN(x))(1-CN(x))，

(34)

(35)

式(34)～(35)中，γ是正整數(shù),Mmax和Mmin分別為圖像局部窗口最大和最小的像素值。Mg是圖像的灰度極大值，取值為255。

式(33)中，圖像的局部均值fi(x)和方差σi(x)表示如下：

(36)

(37)

圖像的全局均值ci(x)和差分圖像均值di(x)分別表示為:

(38)

(39)

其中Mi(x)是4個分割子域，由公式(15)計算得出。

將總能量方程最小化，求解下列兩個拉格朗日梯度下降流方程：

(40)

(41)

3 算法實現(xiàn)步驟

HMDLG模型算法首先對分割圖像進行紋理增強和去噪，通過預分割得到初始輪廓Φ1和Φ2，然后進行分割。在判斷水平集演化是否停止時，通過設定固定的迭代次數(shù)并引入一個邊界停止函數(shù)[19]：當?shù)螖?shù)大于20次，并且雙水平集演化輪廓線同時滿足有5個或者5個以上的迭代結果重合時中斷演化過程。

HMDLG模型算法的主要步驟如下：

預處理：采用公式(7)～(12)對圖像預處理；

預分割：預分割得到初始輪廓Φ1和Φ2；

k=0；

for(i=1;i<=n;i++)

依次通過式(36)～(39)計算ci,fi,σi,di；

通過式(34)和(35)計算θ(x)；

通過式(33)計算rm-rn；

通過式(22)計算S1(x)和S2(x)；

根據(jù)式(40)和(41)迭代Φ1,Φ2；

end for

k=k+1；

end while。

4 實驗結果與分析

將HMDLG模型應用于醫(yī)學圖像和自然圖像分割，并與最新的多相混合分割模型和機器學習模型的分割結果進行比較。實驗電腦配置為COREi 7 CPU，8GB RAM。多相水平集實驗環(huán)境為MATLAB7.10.0(R2010a)，系統(tǒng)為Windows 10，深度學習實驗測試環(huán)境為Python 3.5,Tensorflow 1.5.0，系統(tǒng)為Ubuntu 16.04。HMDLG模型參數(shù)設置：ε=1，σ=3，υ=1，Δt=0.1,μ=0.001×2552，τ1=τ2=0.5。α,β,ω根據(jù)圖像特點選取。

實驗1用一組核磁共振醫(yī)學圖像進行分割實驗,將HMDLG模型的實驗結果與Wang等[13]和Boutiche等[14]提出的多相分割模型的結果進行對比，如圖1所示。

圖1 MR圖像的分割實驗結果 Fig. 1 Segmentation results of MR images

由圖 1看出，HMDLG模型在3組MR圖像的分割中均取得了最好的結果。3組模型對目標輪廓都能完成有效分割，但是對部分邊界和區(qū)域的分割效果有差異。Wang等[13]提出的模型使用CV和LBF方法相融合，對圖像的局部分割不夠細致，特別是對細小組織區(qū)域的處理較差。Boutiche等[14]提出的模型局部采用LGDF方法進行構建，在灰度不均勻區(qū)域的分割結果更好，但在某些局部區(qū)域的分割仍然不夠精確。HMDLG模型取得了最好的分割結果，在分割的精細度上領先于其他兩組模型。

實驗2用一組自然圖像的灰度圖像繼續(xù)進行實驗，將HMDLG模型的實驗結果與深度學習Mask R-CNN模型[20]和Boutiche等[14]提出的多相分割模型的結果進行對比，如圖2所示。

圖2 自然圖像的分割實驗結果 Fig. 2 Segmentation results of natural images

本實驗中Mask R-CNN模型使用COCO數(shù)據(jù)集進行訓練，測試圖像均來自COCO數(shù)據(jù)集所屬類別的單目標灰度圖像。基于深度學習的Mask R-CNN模型通過空間特征量化提取對目標作為整體進行語義分割，能正確地進行目標檢測并獲取整體輪廓。多相水平集模型對單幅圖像的分割速度更快，利用圖像灰度統(tǒng)計，函數(shù)對目標外部邊界和內部拓撲結構分割處理，在后續(xù)目標特征分析中發(fā)揮更大價值。正確率高。從圖2的分割結果可以看出，Mask R-CNN模型對目標邊界的定位出現(xiàn)了或多或少的偏差，兩組多相水平集模型在目標邊界的分割處理上更為精確，但出現(xiàn)了背景區(qū)域的過分割現(xiàn)象。其中，HMDLG模型的分割結果最好；Boutiche等[14]提出的模型的分割結果不夠準確，比如未分割出車胎，目標內部和背景的處理稍差。

為了衡量各個方法分割精度差異，下面采用定量的方法進行數(shù)值分析。采用遺傳相似系數(shù)(dice similarity coefficient, DSC)作為評價分割精度的指標，原始圖像的目標真值通過專家人工分割得到，使用的標注工具為LabelMe，為了避免偶然性，對每一幅圖像的分割目標分別由兩個實驗人員人工勾畫三次，取結果坐標的平均值作為目標真值。分割結果由本模型和兩組對照實驗得到，然后求得各模型與目標真值分割結果的相似系數(shù)。DSC指標定義為

(42)

其中S1和S2分別表示目標真值和分割模型的結果(自然圖像不考慮背景影響，只計算目標及附近區(qū)域)，N(?)表示封閉集合的元素數(shù)目。DSC值越接近1，表示分割結果越準確。

上述各組圖像的分割實驗結果的DSC值如表1所示，表1中3組醫(yī)學圖像與圖1中9組圖像順序對應，3組自然圖像與圖2中3組圖像順序對應。

表1 各圖像分割結果的DSC值Tab. 1 The DSC value of all image segmentation results

另外，對于模型中錯誤分割和未分割的區(qū)域，本文采用過分割率OR和誤分割率UR來進一步分析:

(43)

(44)

其中，Os表示過分割的圖像結果區(qū)域，Us表示欠分割的圖像結果區(qū)域(自然圖像不考慮背景影響，只計算目標及附近區(qū)域)。表1中的各組圖像的結果如表2所示。

表 2 各圖像分割結果的過分割率Os和欠分割率UsTab. 2 The over-segmentation rate Os and under-segmentation rate Us of each image segmentation result

從表1和表2中的量化數(shù)據(jù)可以看出，HMDLG模型與水平集模型的結果對比顯示，HMDLG模型對目標內部的分割效果更好，如核磁共振圖像內部各組織邊界的劃分更準確，自然圖像目標內部的錯分割區(qū)域更少；與Mask R-CNN模型的結果對比顯示，HMDLG模型的優(yōu)勢在于目標外部的邊界的劃分，Mask R-CNN模型側重于目標的檢測，語義分割對邊界區(qū)域的定位更為粗糙。

5 總結

本研究提出了一種混合多相水平集分割模型及其算法，用于分割核磁共振醫(yī)學圖像和單目標自然圖像中的灰度圖像。水平集模型有效利用了圖像區(qū)域統(tǒng)計信息和梯度信息，用帶有深度系數(shù)的區(qū)域分割項和多特征變量加權重構的拉普拉斯函數(shù)處理復雜的拓撲結構并實現(xiàn)自適應分割，多種能量函數(shù)的加權融合有效地增強了模型的魯棒性。實驗表明HMDLG模型適用于需要精確分割的目標圖像，并能有效地處理目標的拓撲結構，精確定位目標邊緣。