結(jié)合形態(tài)學(xué)重建和超像素的多特征FCM分割算法①

馬喃喃,劉 叢

(上海理工大學(xué) 光電信息與計算機工程學(xué)院,上海 200093)

1 引言

圖像分割是圖像處理到圖像分析的一個關(guān)鍵步驟,其目的為將一幅圖像劃分為若干個具有不同特性且有意義的區(qū)域,每個區(qū)域具有相似的特征.圖像分割算法大致可分為基于閾值的分割[1]、基于聚類的分割[2]、基于區(qū)域的分割[3]和基于圖論的分割[4]等.其中,基于聚類的分割方法以其快速、高效的特點,越來越廣泛的用于遙感圖像、醫(yī)學(xué)圖像和自然圖像的分割.

模糊C 均值聚類(FCM)[5]及其改進算法是各種聚類技術(shù)中使用最廣泛的方法.FCM 算法為每一個樣本的歸屬引入了模糊性,保留了原始圖像更多的信息.但是該算法存在3 個缺點:(1)只考慮像素灰度忽視了像素間的空間信息,算法缺乏抗噪性和魯棒性;(2)沒有充分利用不同特征的優(yōu)勢;(3)使用歐氏距離作為距離度量.

為了提高傳統(tǒng)FCM 算法的抗噪性和魯棒性,Ahmed 等[6]在FCM 目標(biāo)函數(shù)中增加了空間信息約束,提出了FCM_S 算法,由于每次迭代時都要計算鄰域,因此該算法時間復(fù)雜度較高.為了降低FCM_S 算法的復(fù)雜度,Chen 等[7]提出FCM_S1 和FCM_S2 算法,由于均值/中值濾波圖像可以提前計算,因此在算法迭代前就獲得了鄰域信息,降低了計算成本.Zhong 等[8]利用熵的概念提出了自適應(yīng)結(jié)合空間信息的AFCM_S1算法,同時解決了手動調(diào)參問題.Lei 等[9]提出了結(jié)合形態(tài)學(xué)重建與隸屬度濾波的FRFCM 分割算法,該算法利用形態(tài)學(xué)重建平滑原圖像,提高了算法的抗噪性和細(xì)節(jié)保護能力.

為了充分提取圖像特征,一些學(xué)者提出了融合圖像多特征的算法.Belongie 等[10]提出了一種基于顏色和紋理特征的圖像分割算法,該算法將三種顏色特征和三種紋理特征嵌入到單個特征向量中.Yu 等[11]提出了融合多特征的圖像分割算法,該算法通過亮度相似度、紋理相似度和邊緣相似度來定義區(qū)域差異性.盡管這些算法得到了可靠的分割結(jié)果,但不同特征之間的權(quán)重調(diào)節(jié)仍存在問題.Rajaby 等[12]提出的WHIFCM算法使用圖像的色相和強度分量,并通過自適應(yīng)調(diào)整的權(quán)重將其組合到模糊C 均值目標(biāo)函數(shù)中.

很多分割算法大都是使用歐氏距離計算圖像中目標(biāo)的相似性,該距離是一種線性度量.近年,研究者發(fā)現(xiàn)使用非線性度量可以更多地發(fā)現(xiàn)圖像中的分布信息.Gong 等[13]提出了KWFLICM 算法.該算法使用像素的空間距離和灰度值來重新定義權(quán)重因子,并引入核誘導(dǎo)距離進行距離度量,實現(xiàn)了更好的分割效果.Shang 等[14]提出CKS_FCM 算法,該算法將歐氏距離度量替換為核誘導(dǎo)距離度量,提高了圖像分割的精確度.

基于上述3 個問題,本文提出了結(jié)合形態(tài)學(xué)重建和超像素的多特征FCM 分割算法(SRMFCM).首先使用形態(tài)學(xué)閉合重建和Mean-Shift 超像素分割方法[15]預(yù)處理原始圖像;然后提取重建圖像各像素的顏色、紋理和梯度特征,利用平均策略定義各超像素的顏色、紋理和梯度特征.最后,運用區(qū)域代表像素點,用核誘導(dǎo)距離進行距離度量,實現(xiàn)多特征加權(quán)聚類,合并具有相同標(biāo)簽的區(qū)域來獲得最終分割結(jié)果.

2 相關(guān)工作

2.1 形態(tài)學(xué)重建

形態(tài)學(xué)重建能在不知道噪聲類型的情況下較好的去除噪聲并保留物體輪廓[9].最基本的形態(tài)學(xué)腐蝕重建Rε和形態(tài)學(xué)膨脹重建Rδ如式(1)所示.

其中,ε表示腐蝕操作,δ表示膨脹操作.f表示原始圖像,g表示標(biāo)記圖像.式(1)滿足的條件包括(g)=其中 ∨和∧分別代表逐點的最大值和最小值.在實際運用中,g=ε(f)滿足膨脹重建中的條件g≤f,g=δ(f)滿足腐蝕重建中的條件g≥f.因此,為了簡潔有效,總是利用g=ε(f)>和g=δ(f)來形成標(biāo)記圖像.

Rε>和Rδ可以結(jié)合成有較強濾波能力的形態(tài)學(xué)開啟重建算子RO和形態(tài)學(xué)閉合重建算子RC.因為RC更適于平滑圖像紋理細(xì)節(jié),本文選擇形態(tài)學(xué)閉合重建RC來處理原始圖像[9].RC如式(2)所示,其中B表示腐蝕和膨脹操作所需的結(jié)構(gòu)元.

2.2 超像素分割

超像素分割利用圖像的局部相似性,將圖像分割成若干個具有相似顏色、亮度和紋理等特征的圖像塊.相比于以像素為單位的圖像分割方法,以超像素為單位的圖像分割方法更有利于提取圖像局部特征來獲取更有效的圖像信息,同時降低計算復(fù)雜度.超像素分割的基本原理是將一幅大小為M×N的圖像P劃分為n個非空區(qū)域(R1,R2,···,Rn),這些區(qū)域滿足R1∪R2∪···∪Rn=P且當(dāng)i≠j時,Ri∩Rj=?.現(xiàn)有的超像素分割方法有基于圖論的方法和基于梯度下降的方法.本文采用的基于梯度下降的Mean-Shift 算法,該算法生成的超像素塊不規(guī)則,邊緣貼合度好,具有很好的抗噪性.

2.3 EWFCM

EWFCM[16]是最大熵正則化的加權(quán)模糊C-均值算法,該算法通過最小化類內(nèi)離散度同時最大化屬性權(quán)重熵來獲得最佳的聚類結(jié)果.給定樣本集合X={x1,x2,···,xn}?Rm,m是樣本空間的維數(shù),n是樣本個數(shù).EWFCM 算法通過最小化式(3)將樣本X分為c個類.

其中,uki表示第i個樣本屬于第k類的程度,滿足條件α表示模糊因子,一般取2.ck>j表示第k類中第j維特征的聚類中心.wk>j表示第k類中第j維特征所占的權(quán)重,滿足條件表示樣本點xij與中心點ck>j的歐氏距離.式(3)第一部分加權(quán)的歐氏距離度量用來控制集群的形狀和大小,促進了集群的聚集.第二部分是屬性權(quán)值的負(fù)熵,它根據(jù)現(xiàn)有數(shù)據(jù)對所有屬性權(quán)值的最優(yōu)分布進行了正則化.λ(λ＞0)是正則化可調(diào)參數(shù).只要選擇合適的 λ,就能平衡式(3)的兩部分,得到最優(yōu)穩(wěn)定解.

3 本文算法

3.1 圖像預(yù)處理

首先,利用形態(tài)學(xué)閉合重建處理原始圖像P,得到重建圖像P′;然后,按照Mean-Shift 算法將重建圖像P′預(yù)分割成n塊區(qū)域,寫成集合形式為R={R1,R2,···,Rn},每個區(qū)域Ri(1≤i≤n)的總像素數(shù)表示為|Ri|.

3.2 特征提取

HSV 顏色模型是一種與人類視覺感知很相似的顏色模型,本文分別從RGB 空間和HSV 空間中提取圖像P′的顏色特征向量.在RGB 空間中,圖像P′的每個像素Px,y都會有一個3 維顏色特征向量同理,在HSV 空間中,圖像P′每個像素Px,y也有一個3 維顏色特征向量每個區(qū)域中所有像素在各顏色通道上的均值作為本區(qū)域的顏色特征.例如,區(qū)域Ri在R顏色通道上的顏色特征如式(4)所示.

同理可得該區(qū)域在其他顏色通道上的顏色特征向量.

Gabor是用于邊緣提取的線性濾波器,它具有良好的方向選擇和尺度選擇特性,對光照變化不敏感,因此十分適合紋理分析.本文選擇1 個尺度和8 個方向的Gabor 濾波器來提取圖像的紋理特征.首先將圖像P′轉(zhuǎn)為灰度圖像P′gray,然后利用Gabor 濾波器對P′gray進行卷積,則每個像素Px,y都得到8 維的紋理特征向量每個區(qū)域中所有像素在各方向上的紋理特征均值作為本區(qū)域的紋理特征,例如,區(qū)域Ri在方向t1 上的紋理特征如式(5)所示.

同理可得該區(qū)域在其它方向上的紋理特征向量.

經(jīng)典的圖像梯度算法是考慮圖像的每個像素的某個鄰域內(nèi)的灰度變化,利用邊緣臨近的一階或二階導(dǎo)數(shù)變化規(guī)律,對原始圖像中像素某個鄰域設(shè)置梯度算子,通常運用小區(qū)域模板進行卷積來計算.通常有Sobel算子、Robinson 算子、Laplace 算子等.本文利用Sobel算子生成梯度圖像,Sobel 算子有兩個,一個用于檢測水平邊緣,另一個用于檢測垂直邊緣.如式(6)和式(7)所示.Gx和Gy分別代表圖像P′gray經(jīng)橫向及縱向邊緣檢測的圖像灰度值.

圖像P′gray的梯度圖像PG如式(8)所示.

區(qū)域Ri中所有像素的梯度均值作為本區(qū)域的梯度特征向量,如式(9)所示.

3.3 目標(biāo)函數(shù)

原圖像經(jīng)過預(yù)處理后得到n塊區(qū)域,寫成集合形式為R={R1,R2,···,Rn}.每個區(qū)域Ri都有15 維的特征向量,分別是6 維顏色特征向量、8 維紋理特征向量和1 維梯度特征向量,所以整體的數(shù)據(jù)集規(guī)模為n×15.本文最初的目標(biāo)函數(shù)如式(10)所示.

最終的目標(biāo)函數(shù)如式(12)所示.

其中,

式(13)表示高斯核函數(shù),σ表示函數(shù)的寬帶參數(shù),且滿足k(x,x)=1.使用拉格朗日乘子法最小化式(12),整理得uki,ck>j,wk>j的迭代公式如式(14)～式(16)所示.

3.4 算法流程

本文提出的SRMFCM 算法流程如算法1.

算法1.SRMFCM 算法輸入:原始圖像P,聚類數(shù)目C,模糊因子m,參數(shù),最大迭代次數(shù)max_iter 和高斯核kernel.輸出:圖像分割結(jié)果Segm_P.λ Step 1.根據(jù)式(1)和式(2)對圖像P 進行形態(tài)學(xué)閉合重建,生成重建圖像P'.Step 2.利用Mean-Shift 方法將圖像P'分割成N 塊區(qū)域,區(qū)域代表像素點完成后續(xù)聚類.Step 3.根據(jù)式(4)提取各區(qū)域的顏色特征.根據(jù)式(5)提取各區(qū)域的紋理特征.根據(jù)式(6)～式(9)提取各區(qū)域的梯度特征.將所有特征向量整合為一個特征向量矩陣.U0 Step 4.初始化隸屬度矩陣,設(shè)置循環(huán)計算器t=0.Step 5.用式(15)更新聚類中心;用式(14)更新隸屬度矩陣;用式(16)更新權(quán)重矩陣;用式(12)計算目標(biāo)函數(shù)F;t++.Step 6.如果t>max_iter,轉(zhuǎn)向Step 7,否則返回Step 5.Step 7.根據(jù)隸屬度矩陣得到最終分割結(jié)果Segm_P.

4 實驗結(jié)果與分析

為了驗證本文所提SRMFCM 算法的有效性,本節(jié)測試了BSDS300 數(shù)據(jù)集的6 幅自然圖像.本文選擇的對比方法有4 種,第1 種結(jié)合形態(tài)學(xué)重建和隸屬度濾波的FRFCM 算法;第2 種是基于像素點的用熵來調(diào)節(jié)類內(nèi)緊湊度和像素空間信息的AFCM_S1 算法;第3 種是基于核誘導(dǎo)距離度量的KFCM 算法;第4 種是基于區(qū)域的融合圖像顏色和紋理特征的FCM 算法,簡寫為FCM(RC+RT).

圖1中Image1-Image6 表示6 幅測試圖像,每幅圖像的尺寸大小都為321×481 像素.Image1-Image6 的主要分割目標(biāo)分別為海星,馬,老虎,鷹,蜻蜓和草坪.本實驗過程中,只需要分割出上述主要目標(biāo)物體即可,其他部分都作為背景區(qū)域?qū)Υ?因此聚類數(shù)目都設(shè)為2.

圖2–圖7展示了使用上述5 種算法對這6 幅自然圖像的分割結(jié)果,其中GT 表示真值圖像.

首先分析圖2,由于FRFCM 算法、AFCM_S1 算法和KFCM 算法都是以像素為單位,所以海星缺失了很多像素,雖然FCM(RC+RT)算法和SRMFCM 算法的分割結(jié)果優(yōu)于前三者,但是FCM(RC+RT)算法分割的海星中仍缺少一些像素,使用SRMFCM 算法分割的結(jié)果中仍存在部分噪聲.

圖1 測試圖像

圖2 不同算法對Image1的分割結(jié)果

對于圖3,草地影響了AFCM_S1 算法、KFCM 算法和FCM(RC+RT)算法對馬的分割效果.雖然FRFCM算法中草地的影響較小,但是分割的目標(biāo)缺少部分像素.相比于前4 種算法,SRMFCM 算法分割結(jié)果比較精確.

對于圖4,FRFCM 算法的分割結(jié)果較差.其它4 種算法都較準(zhǔn)確的分割出了老虎,但使用SRMFCM 算法分割的結(jié)果噪聲最少.

對于圖5,由于原圖中的天空顏色由內(nèi)向外逐漸加深,所以影響了AFCM_S1 算法和KFCM 算法的分割效果.FRFCM 算法、FCM(RC+RT)算法和SRMFCM算法的分割結(jié)果較好,但是相比于FRFCM 算法和FCM(RC+RT)算法,SRMFCM 算法對于鷹的尾巴有更好的細(xì)節(jié)保留.

圖5 不同算法對Image4的分割結(jié)果

對于圖6,算法都可以將蜻蜓的主體分割出來,對蜻蜓的足部等細(xì)節(jié)也有很好的保留,但使用SRMFCM算法得到的分割結(jié)果最好.

圖6 不同算法對Image5的分割結(jié)果

對于圖7,AFCM_S1 算法和KFCM 算法分割的草坪中有很多噪聲,而使用FRFCM 算法、FCM(RC+RT)算法和SRMFCM 算法得到的結(jié)果優(yōu)于前兩種算法,且SRMFCM 算法得到的分割結(jié)果最好.

圖7 不同算法對Image6的分割結(jié)果

其次,利用信息檢索指標(biāo)(F-measure,F)和錯誤率(Error Rate,ER)這兩種經(jīng)典的測試指標(biāo)評價不同算法的分割結(jié)果.這兩種指標(biāo)如式(17),式(18)所示.

其中,系數(shù)a一般1,精確率Precision=TP/(TP+FP),召回率Recall=TP/(TP+FN).TP表示劃分正確的目標(biāo)像素數(shù),FP表示誤分到目標(biāo)中的像素數(shù),FN表示目標(biāo)區(qū)中的點錯分到背景區(qū)的像素數(shù),TN表示劃分正確的背景像素點數(shù).由式(17)和式(18)可知,F值(ER值)越高(越低),圖像分割效果越好.

表1和表2分別為使用5 種算法對6 幅圖像分割結(jié)果的F值和ER值.由表中數(shù)據(jù)可知,SRMFCM 算法在分割精度上優(yōu)于FGFCM 算法、AFCM_S1 算法、KFCM 算法和FCM(RC+RT)算法.因此,本文提出的結(jié)合形態(tài)學(xué)重建和超像素的多特征FCM 分割算法比其它基于單特征或者多特征FCM 算法有更好的性能.

5 結(jié)論與展望

為了解決FCM 算法存在的3 個問題,本文提出了結(jié)合形態(tài)學(xué)重建和超像素的多特征FCM 算法(SRMFCM).該算法實現(xiàn)了圖像多特征的有機結(jié)合,提高了圖像分割的精度,彌補了以往FCM 算法的不足.利用BSDS300數(shù)據(jù)集中的6 幅自然圖像進行實驗對比,結(jié)果證明該算法有更高的分割精度.本文的不足之處在于對比實驗不夠完善.因此,優(yōu)化對比實驗是接下來研究的重點.

表1 F-measure (F)指標(biāo)

表2 錯誤率(ER)指標(biāo)