多特征組合的深度圖像分割算法

譚志國,歐建平,張 軍,沈先耿

(1.國防科技大學(xué)電子科學(xué)學(xué)院，湖南 長沙 410073;2.武警警官學(xué)院信息通信系,四川 成都 610213)

1 引言

由于深度圖像能直接反映景物表面三維幾何信息，且具有不受光照、陰影等因素影響等優(yōu)勢，在計算機(jī)視覺領(lǐng)域越來越引起人們的關(guān)注。隨著深度圖像傳感器技術(shù)的逐步成熟，基于飛行時間TOF(Time Of Fly)、結(jié)構(gòu)光等技術(shù)的低廉深度圖像傳感器設(shè)備已經(jīng)大量投入市場，在機(jī)器人工業(yè)、互動游戲等行業(yè)得到廣泛應(yīng)用。

區(qū)域分割是深度圖像處理中的重要部分，是圖像識別、理解工作的基礎(chǔ)。目前，深度圖像的分割方法主要可分為兩類：一類是把深度圖像轉(zhuǎn)化為三維點(diǎn)云，通過對點(diǎn)云的坐標(biāo)、法向量等特征進(jìn)行聚類和分類，實(shí)現(xiàn)分割。如文獻(xiàn)[1]將深度圖像轉(zhuǎn)化為點(diǎn)云數(shù)據(jù)，而后把行值、列值以及3維的單位法向量構(gòu)成圖像中像素點(diǎn)的6維特征向量，采用模式聚類方法，實(shí)現(xiàn)了圖像分割。文獻(xiàn)[2]則在點(diǎn)云數(shù)據(jù)基礎(chǔ)上計算其構(gòu)成表面的高斯曲率，從而對 8 種表面類型進(jìn)行分類，并利用二次曲面擬合，進(jìn)行區(qū)域增長與圖像數(shù)據(jù)的分割。文獻(xiàn)[3]采用邊緣和曲面擬合相結(jié)合的方法，在點(diǎn)云數(shù)據(jù)中提取邊緣，根據(jù)邊緣信息估計曲面的位置和數(shù)量信息，由此來實(shí)現(xiàn)圖像的分割。文獻(xiàn)[4]采用高斯混合模型對點(diǎn)云法向量聚類，從而實(shí)現(xiàn)對深度圖像中平面提取和圖像的分割。該類方法在一定程度上可以達(dá)到較好的分割效果，但由于轉(zhuǎn)化為點(diǎn)云后圖像數(shù)據(jù)由規(guī)格化數(shù)據(jù)變?yōu)樯y數(shù)據(jù)，從而使得數(shù)據(jù)處理量增大，且預(yù)處理以及特征提取的計算量大，使得該類算法的實(shí)時性難以保證。另一類是把深度圖像作為一般灰度圖像數(shù)據(jù)來處理。由于深度圖像數(shù)據(jù)信息單一(主要是物體景深值)，比較適合于閾值分割類算法，比如Otsu閾值分割及其改進(jìn)算法[5 - 7]、二維直方圖閾值分割法[8，9]等。但由于深度傳感器獲取的圖像存在較強(qiáng)噪聲，使得該類算法應(yīng)用于深度圖像分割時往往難以達(dá)到理想的分割效果。為此，文獻(xiàn)[10，12]同時利用顏色和深度圖相互補(bǔ)充的策略來實(shí)現(xiàn)圖像分割，存在的問題則是首先需要對彩色圖像與深度圖像進(jìn)行配準(zhǔn)，分割的實(shí)時性難以保證，而且這類分割方法也都以初始的深度圖像分割為基礎(chǔ)；此外，部分深度傳感器不同時提供彩色圖像數(shù)據(jù)，也使得算法實(shí)際應(yīng)用受到一定限制。

針對上述問題，本文提出一種利用多特征組合的深度圖像分割算法。該方法首先構(gòu)建梯度直方圖，運(yùn)用Otsu閾值分割得到候選分割區(qū)域；而后在各候選分割區(qū)域上運(yùn)用深度Otsu閾值分割得到候選分割目標(biāo)；最后在空域上對候選分割目標(biāo)進(jìn)行分割、合并與去噪，得到最終的圖像分割結(jié)果。本文主要的貢獻(xiàn)在于提出一種多特征的深度圖像組合分割策略，適用于實(shí)時深度圖像分割。

2 多閾值Otsu分割算法

2.1 算法原理

Otsu分割算法是一種基于最大類間距的聚類圖像分割算法，通常是以灰度作為像素特征。從廣義角度來說，選定不同特征采用Otsu算法，同樣可對圖像進(jìn)行有效分割。不失一般性，下文中對算法原理進(jìn)行討論時，不特指灰度級而用特征級來代替。

設(shè)圖像I(x,y)的像素所具有特征的特征級為L=1,2,…,l，對?i∈L的特征級，位于該特征級i的像素總數(shù)為fi，則總的像素數(shù)N=f1+f2+…+fl。給定圖像f(x,y)，其特征級為i的像素出現(xiàn)的概率為:

(1)

假設(shè)圖像I中存在m個待區(qū)分的類，則有m-1個閾值t1,t2,…,tm-1用來將I分為m個類，表示為：

C1=0,1,…t1,…,Cn=

tn+1,tn+2,…,tn+1,…,

Cm=tm+1,tm+2,…,tm+1

(2)

根據(jù)Otsu準(zhǔn)則，類間方差定義為：

(3)

最優(yōu)閾值則為使得σ取得最大值的一組閾值。

2.2 快速多閾值計算

上述Otsu算法若直接計算多個閾值是較為復(fù)雜的，且分割效果不一定理想。若把直方圖劃分為數(shù)個局部，對每個局部區(qū)域進(jìn)行單閾值分割，不但能降低算法的復(fù)雜度，而且可使局部分割效果達(dá)到最佳。因此，確定局部區(qū)域的數(shù)目則是多閾值分割的關(guān)鍵。

眾所周知，單閾值Otsu算法實(shí)質(zhì)是在統(tǒng)計直方圖波峰之間尋找類間最大距的最佳閾值，從而劃分兩個獨(dú)立的波峰。因此，可通過在直方圖中尋找獨(dú)立的波峰來對劃分區(qū)域(聚類數(shù)目)進(jìn)行確定。在此基礎(chǔ)上，運(yùn)用單閾值Otsu算法得到區(qū)域中的分割閾值。關(guān)于單閾值Otsu算法不做詳述，文中直接使用文獻(xiàn)[7]中的快速分割算法。

3 多特征組合Otsu閾值分割算法

圖像分割本質(zhì)上是對其中像素分類的過程，而Otsu算法實(shí)際是根據(jù)像素的某一特征實(shí)現(xiàn)的類間最大距離的分類。實(shí)際中，通過某一種特征對像素進(jìn)行分類，往往難以達(dá)到理想效果。為此文獻(xiàn)[8，9]利用兩種特征(灰度與灰度均值或灰度與飽和度等)構(gòu)成二維直方圖，再通過Otsu或其它優(yōu)化算法計算最佳閾值，但導(dǎo)致的問題是運(yùn)算量增加，不適于實(shí)時處理，且在深度圖像噪聲影響下難以達(dá)到較好的分割效果。本文在圖像中構(gòu)建不同特征屬性下的一維直方圖，通過層次組合的方式實(shí)現(xiàn)有效的圖像分割。考慮深度圖像的分布特點(diǎn)，選取圖像像素的深度、梯度以及空域位置信息作為像素分類的特征。

3.1 特征維度及直方圖構(gòu)建

hdk=nk，k=1,2,…,K

(4)

其中，nk為在深度級k上的圖像像素數(shù)目。

(2)梯度直方圖構(gòu)建。梯度反映的是深度圖像中深度值的變化情況，而通常深度值變化較大的部位都位于場景內(nèi)的目標(biāo)、物體等的邊緣以及圖像中的噪聲部分。通過梯度維的分割可以把圖像粗略地分為目標(biāo)、邊緣與噪聲部分。

深度圖像I(x,y)可視為二維離散函數(shù)，其梯度G(x,y)則是對二維離散函數(shù)的求導(dǎo)：G(x,y)=idx(x,y)+jdy(x,y)，其中,

(5)

hgk=nk，k=1,2,…,J

(6)

其中nk為在梯度級k上的圖像像素數(shù)目。

3.2 聯(lián)合閾值分割的策略

由于深度圖像存在一定噪聲，信息量相對要少，且當(dāng)背景復(fù)雜，場景中目標(biāo)、背景集中時難以進(jìn)行有效分割。為此，本文擬采用如圖1所示的分割策略。

Figure 1 Hierarchical segmentation strategy based on multi-feature圖1 多特征層次化的組合分割策略

(7)

Figure 2 Segmentation on feature dimension圖2 特征維度分割示意圖

3.3 空域的區(qū)域分割與合并

經(jīng)過梯度與深度特征維度的閾值分割，實(shí)際圖像中的候選目標(biāo)在空域上是分開或是相連的。此時，在空域特征維上對候選目標(biāo)進(jìn)行處理,采取先分割再合并的策略，最后去除噪聲和雜點(diǎn)。從而圖2的分割效果如圖3所示。

Figure 3 Segmentation and combination on space domain圖3 空域分割合并示意圖

空域分割合并的基本原則如下：

(1)候選區(qū)域空域上不連通的部分進(jìn)行分割。

(2)空域上鄰接的不同候選區(qū)域，當(dāng)鄰接區(qū)域面積較大且鄰接區(qū)域梯度值相近時進(jìn)行合并。鄰接區(qū)域是指圖像中兩個候選區(qū)域鄰接的像素區(qū)域。設(shè)區(qū)域Di與Dj鄰接，則Di與Dj的鄰接區(qū)域記為Ni,j，如圖4中標(biāo)i像素部分所示，Dj與Di的鄰接區(qū)域即為Nj,i，如圖4中標(biāo)j像素部分所示。

Figure 4 Conjunctive pixels圖4 鄰接區(qū)域示意圖

上述原則可描述為給定一個面積閾值tarea和一個梯度閾值tgrdt，當(dāng)Ni,j≥tareaorNj,i≥tarea，有GNi,j-GNj,i≤tgrdt時，區(qū)域Di與Dj合并。GNj,i為對應(yīng)Nj,i區(qū)域的梯度平均值。

(3)小于一定面積值(連通區(qū)域中小于一定像素數(shù)目)的區(qū)域作為噪聲和雜點(diǎn)去除。

基本步驟：

(1)遍歷候選目標(biāo)集Cnd_Obj1,Cnd_Obj2, …,Cnd_Objn；

(2)對符合原則(1)的候選目標(biāo)進(jìn)行分割，得到連通區(qū)域集D1,D2,…,Dm；

(3)遍歷連通區(qū)域集；

(4)將符合原則(2)的區(qū)域進(jìn)行連通；

(5)符合原則(3)的區(qū)域作為噪聲去除；

(6)整理得到目標(biāo)集Obj1,…,Objo，輸出結(jié)果。

4 實(shí)驗(yàn)結(jié)果及分析

本文實(shí)驗(yàn)平臺為Windows7操作系統(tǒng)，CPU主頻為2.6 GHz，內(nèi)存為4 GB，用Matlab15b編程實(shí)現(xiàn)算法。選取20幅TOF傳感器采集的深度圖像(圖像大小均為320×240)進(jìn)行圖像分割實(shí)驗(yàn)。實(shí)驗(yàn)中，分別與Otsu多閾值算法[6]、二維直方圖雙斜率分割算法[7]、二維直方圖分水嶺分割算法[8]進(jìn)行比較，文中分別記為Otsu、RODS和WSHST。圖5和圖6給出其中一次的實(shí)驗(yàn)結(jié)果。

4.1 實(shí)驗(yàn)結(jié)果

圖5給出了本文算法進(jìn)行分割的過程。圖5a是深度圖的原圖，圖5b是通過梯度Otsu閾值分割算法分割后的結(jié)果。

Figure 5 Depth image segmentation procedure圖5 本文算法分割圖像的過程

可以看出，經(jīng)過梯度分割后，圖像根據(jù)梯度直方圖被自動分為兩部分，這里可簡單地稱之為噪聲部分和目標(biāo)部分。圖5c是對噪聲部分進(jìn)行深度Otsu分割的結(jié)果，該結(jié)果顯示噪聲部分中大部分像素都被劃分到不同候選目標(biāo)中，而這些像素在梯度維上梯度值較高，深度值不連續(xù)，分割后大都為孤立的點(diǎn)，在最終的空域處理上將被作為噪聲去除，其中也存在部分整塊目標(biāo)，從分析來看是由于傳感器獲取目標(biāo)數(shù)據(jù)時，在目標(biāo)上產(chǎn)生的噪點(diǎn)。圖5d是對目標(biāo)部分的深度分割結(jié)果，根據(jù)深度圖像大致被分為7塊區(qū)域(包括其中噪聲點(diǎn)，不同灰度分別表示不同的候選目標(biāo)區(qū)域)。可以看出，圖像中有的目標(biāo)被較好地分割出來，但其中也存在一定的噪聲，因此需要在后續(xù)處理中進(jìn)行矯正和調(diào)整。圖6b給出了本文算法的最終分割結(jié)果。從圖中可以看出，圖5c和圖5d中的目標(biāo)與噪聲，或被分割、或被合并、或被去除，場景中主要目標(biāo)都被準(zhǔn)確地分割出來，噪聲也被較為干凈地去除。存在的問題是，少部分目標(biāo)邊緣由于噪聲原因，不夠自然平滑。

圖6給出了四組在不同噪聲強(qiáng)度和不同復(fù)雜程度背景下的室內(nèi)深度圖像分割結(jié)果。

Figure 6 Segmentation results comparison among different algorithms圖6 不同算法分割結(jié)果比較

圖6a為深度圖像的原圖，從左至右原圖中的噪聲逐漸增大。圖6b～圖6d給出了三種算法的實(shí)驗(yàn)結(jié)果。Otsu算法分割的結(jié)果如圖6c所示，當(dāng)噪聲較小時，與本文算法在梯度分割后進(jìn)行的深度分割結(jié)果比較接近，但在不同場景中隨著噪聲影響的增大，以及本身場景的復(fù)雜性，對于同一目標(biāo)以及不同目標(biāo)區(qū)域的分割存在交錯，難以較好地實(shí)現(xiàn)目標(biāo)的完全分割。WSHST算法通過二維直方圖在一定程度上把邊緣、目標(biāo)分割開來，在噪聲較小的場景中，分割相對準(zhǔn)確，但是隨著噪聲增強(qiáng)，噪聲與目標(biāo)的分割效果不理想，如圖6d所示。RODS算法由于使用雙閾值，在圖像中只能對噪聲與場景部分進(jìn)行分割，在復(fù)雜圖像中難以有效地對場景、目標(biāo)進(jìn)行有效分割，如圖6e所示。表1給出了各種算法運(yùn)行的平均時間對比。

Table 1 Time consuming on segmentationcomparison among different algorithms

4.2 實(shí)驗(yàn)分析

從實(shí)驗(yàn)的結(jié)果圖來看，本文算法對于含有一定噪聲的深度圖像分割效果優(yōu)于Otsu、WSHST和RODS算法，能在一定程度上克服噪聲給分割帶來的不利影響，且能有效地把場景中可能存在的目標(biāo)景物進(jìn)行有效分割。原因如下：

(1)本文算法采樣組合分割的策略，通過初步梯度Otsu閾值的分割，在一定程度上去除了噪聲部分的影響，從而使得在深度Otsu閾值分割時效果有一定的提升。WSHST算法采用了梯度與深度的二維直方圖，可能由于噪聲影響原因，使得分割時對于邊緣信息更為敏感，但對于目標(biāo)、景物內(nèi)部噪聲則分割效果不理想。

(2)本文算法進(jìn)行閾值分割后，在空域上進(jìn)行了分割合并與去除處理，抑制了區(qū)域外的雜點(diǎn)和區(qū)域內(nèi)的噪聲，同時對目標(biāo)等進(jìn)行了規(guī)整，使得整體的分割效果優(yōu)于其他算法。

(3)從時間開銷角度看，由于本文算法在空域上進(jìn)行了后續(xù)處理，因此較Otsu、RODS算法開銷大。但值得注意的是，RODS算法是雙閾值算法，而WSHST算法采用構(gòu)建二維直方圖，在二維圖中再利用分水嶺方法尋找分割閾值，在一定程度上增加了算法的復(fù)雜度。

5 結(jié)束語

本文提出了一種多特征組合的深度圖像分割算法，在一定程度上能克服深度傳感器獲取圖像時噪聲帶來的不利影響。通過先梯度閾值分割而后深度閾值分割的策略，改善了噪聲對閾值分割的不利影響；通過空域上的分割合并等處理，在對場景去噪的同時，也實(shí)現(xiàn)了場景中目標(biāo)、景物的有效分割。文中實(shí)驗(yàn)結(jié)果表明，算法能適用于單一深度信息的深度圖像分割，這將有助于物體識別、場景分割等任務(wù)的完成。下一步工作將結(jié)合該算法應(yīng)用于特定目標(biāo)的檢測與識別。