基于邊緣信息的RGB-D圖像超像素分割算法

胡斌 張澤均

摘? 要： 針對簡單線性聚類算法（SLIC）中需要初始預(yù)設(shè)超像素個數(shù)和大量重復(fù)聚類計算的問題，提出一種基于邊緣信息的RGB-D圖像超像素分割算法。利用各向異性高斯核提取彩色圖像中邊緣強(qiáng)度信息，在此之上，自適應(yīng)地提取圖像的初始聚類中心。僅對位于圖像邊緣附近的像素點(diǎn)進(jìn)行重新聚類標(biāo)記計算，這種策略在保證聚類準(zhǔn)確的同時，大大降低了重新聚類計算的復(fù)雜度。同時，本文提出一種基于邊緣信息的距離度量準(zhǔn)則來度量兩個像素點(diǎn)之間的空間距離。在公開的圖像數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，相比其他幾種算法，本文算法的分割結(jié)果更能反應(yīng)出場景中物體的輪廓信息，而且算法效率更高。

關(guān)鍵詞： RGB-D圖像； 超像素分割； 各向異性高斯核； 聚類中心點(diǎn)

中圖分類號：TP391? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A? ? ?文章編號：1006-8228（2023）09-111-04

RGB-D image superpixel segmentation algorithm based on edge information

Hu Bin， Zhang Zejun

（School of Physics and Electronic Information Engineering， Zhejiang Normal University， Jinhua， Zhejiang 321004， China）

Abstract： Aiming at the problem of initial preset number of superpixel and repeating calculation in the simple linear iterative clustering algorithm （SLIC）， an RGB-D image superpixel segmentation algorithm based on edge information is proposed. The edge mapping map is obtained by edge detector over the color image using anisotropic Gaussian kernel filters， based on which the initial clustering center can be obtained. Only the pixels around the edges need to recalculate their label， which significantly reduces the complexity of recalculating label value while ensuring the accuracy of clustering. Meanwhile， an index based on edge information is proposed to measure the spatial distance between two pixels. Experimental results on public datasets show that the proposed method obtains better results in contour information of objects and has higher efficiency in computation than some other methods.

Key words： RGB-D image; superpixel segmentation; anisotropic Gaussian kernel; cluster center

0 引言

在計算機(jī)視覺和圖像處理領(lǐng)域，圖像的邊緣輪廓代表其形狀信息，它通常是圖像和視頻的目標(biāo)識別、目標(biāo)跟蹤和三維重建[1]的基石。圖像邊緣既表示圖像中的區(qū)域，又含有圖像特征暗示，而特征暗示的檢測需要依賴邊緣檢測算子的實(shí)現(xiàn)。

經(jīng)典的邊緣檢測算子可以劃分為兩類，一類是基于一階微分算法的邊緣檢測算子，也稱為梯度算子 如Roberts算子[2]、Prewitt算子[3]和Sobel算子[4]，該類算子將灰度圖像與微分濾波器卷積尋找邊緣信息；另一類是基于二階微分算法的邊緣檢測算子如Laplacian算子[5]、Marr算子[5]和Canny算子[6]。在這些邊緣檢測算子中，檢測效果最好的是Canny算子。

目前，在圖像輪廓檢測中通常引入各向異性高斯核函數(shù)及其方向?qū)?shù)[7-8]。在文獻(xiàn)[7]中提出結(jié)合各向同性高斯核函數(shù)以及各向異性高斯核函數(shù)，檢測性能效果較好，但是該方法的檢測結(jié)果中還是存在很多虛假的輪廓信息。而文獻(xiàn)[8]在此基礎(chǔ)上進(jìn)行改進(jìn)，將各向異性高斯核函數(shù)在用于灰度圖像延伸至彩色圖像，從而可以獲得更好的邊緣檢測結(jié)果。

在本文中，對象輪廓檢測采用彩色圖像，目的是提取出圖像中高質(zhì)量的區(qū)域邊緣輪廓信息，而提取邊緣映射圖是引入了多尺度各向異性高斯核方向?qū)?shù)濾波器并且利用加權(quán)組合的方式來完成。

1 SLIC超像素分割算法問題分析

圖像的超像素分割算法，是把圖像分割成很多小的區(qū)域，每個區(qū)域內(nèi)部的像素點(diǎn)均來自同一物體。圖像的超像素分割算法主要分為兩大類：基于圖結(jié)構(gòu)的分割算法和基于聚類的分割算法[9]。基于圖結(jié)構(gòu)的分割算法思想是，先將圖像表示成一個無向圖，然后將無向圖分割成很多子圖，每一個子圖對應(yīng)圖像中的一個區(qū)域。基于聚類的超像素分割算法思想是，先在圖像中初始化聚類中心，然后不斷迭代地將圖像中每一個像素點(diǎn)進(jìn)行標(biāo)記從而完成超像素分割。

SLIC圖像超像素分割算法[10]其實(shí)是一種基于K均值聚類[11]的超像素分割算法，該算法主要分為兩個步驟：①將圖像分割成K個矩形區(qū)域，將中心像素點(diǎn)3×3鄰域內(nèi)梯度極小值確定為聚類中心；②不斷迭代圖像中每一個像素點(diǎn)，完成超像素分割，與傳統(tǒng)的K均值聚類算法不同之處在于，該算法將全局搜索范圍限制在局部范圍內(nèi)，這樣就會降低算法的時間復(fù)雜度。文獻(xiàn)[11]提出一種距離計算方法，該方法引入了深度圖像中三維點(diǎn)云信息來完成超像素分割，有效的解決了在RGB-D圖像中兩個區(qū)域顏色相似但在不同位置分割成同一個區(qū)域這一問題。但是該方法不能正確的分割室內(nèi)空間中不同墻面，這些墻面有著相同的顏色但是其方向上的差異非常大。還有學(xué)者在SLIC算法上進(jìn)行一定的改進(jìn)[12-13]。

本文針對SLIC圖像超像素分割算法中進(jìn)行圖像分割的初始需要，對超像素的個數(shù)進(jìn)行預(yù)設(shè)，以及在迭代聚類過程中，圖像中所有像素點(diǎn)均需要重復(fù)計算與聚類中心的距離值這兩個問題進(jìn)行研究，提出了基于邊緣信息聚類的RGB-D圖像超像素分割算法，該算法主要的思想是根據(jù)圖像自身特性自適應(yīng)構(gòu)建初始化聚類中心，利用圖像局部性，降低重復(fù)計算像素點(diǎn)標(biāo)記的次數(shù)。

2 邊緣信息提取

2.1 各向異性高斯核以及導(dǎo)數(shù)濾波器

各向異性高斯核函數(shù)[14]是將高斯核函數(shù)在x（y）軸上做一定的比例ρ的壓縮，再將各向異性高斯函數(shù)旋轉(zhuǎn)一定的角度[θ]，就可以得到一組不同方向的各向異性高斯核函數(shù)，各向異性高斯核公式如下：

[gσ，ρ，θx=12πσ2exp-12σ2xTRθρ200ρ2Rθx]

[Rθ=cosθsinθsinθcosθ]? ⑴

其中，[ρ]為核函數(shù)的各向異性因子，[σ]為尺度因子，[x=xyT]是平面坐標(biāo)，[Rθ]是旋轉(zhuǎn)矩陣。相比于各向同性高斯核函數(shù)，它對圖像噪聲的平滑作用只取決于濾波器的尺寸因子[σ]的大小。尺寸因子越大，圖像對噪聲的抑制能力就越強(qiáng)，但是會使得邊緣檢測精度和分辨率降低；反之，當(dāng)尺寸因子越小，邊緣檢測精度和分辨率相對提高，但是對圖像中的噪聲抑制就比較差，會檢測出錯誤的邊緣信息。并且各向異性高斯核函數(shù)對方向變化有著更強(qiáng)的敏感度，可以更好地捕捉方向變化的情況。

2.2 圖像邊緣輪廓檢測算法

圖像邊緣輪廓檢測算法主要是提取出彩色圖像中的邊緣信息，算法上采用的是大小不同的尺寸因子[σ]的高斯核方向?qū)?shù)濾波器來構(gòu)造邊緣強(qiáng)度映射圖（ESM）。首先利用大尺度的高斯核方向?qū)?shù)濾波器抑制圖像中的噪聲，同時利用小尺度高斯核方向?qū)?shù)濾波器提取圖像中邊緣細(xì)節(jié)信息，將這兩個不同尺寸的高斯核方向?qū)?shù)濾波器與原始圖像進(jìn)行卷積運(yùn)算，從而提取原始圖像在各個方向上的邊緣信息；最后將兩個高斯核方向?qū)?shù)濾波器在各個方向上獲取到的變化信息結(jié)合，就構(gòu)成了本文所用的邊緣強(qiáng)度映射圖（ESM）。

[ESMx=argmaxθgσ，ρ，θxIx]? ⑵

其中，[]表示卷積運(yùn)算，[Ix]是原始圖像。式⑵表示在同一方向上，使用兩個大小尺寸不同的高斯核方向?qū)?shù)濾波器對原始圖像進(jìn)行卷積運(yùn)算，接著將它們進(jìn)行乘積運(yùn)算，由此得出原始圖像在這一方向上的邊緣強(qiáng)度映射ESM，最后取所有方向上最大的邊緣強(qiáng)度就可以得到最終的邊緣強(qiáng)度映射ESM。

3 聚類算法

3.1 自適應(yīng)初始聚類算法

自適應(yīng)初始聚類算法流程如圖1所示，它是根據(jù)圖像自身的復(fù)雜度來確定需要分割的超像素個數(shù)，首先對邊緣映射圖ESM進(jìn)行閾值化處理，將邊緣強(qiáng)度小于這個閾值的像素點(diǎn)都置為零，大于這個閾值的像素點(diǎn)則保持不變。接著對小于這個閾值的區(qū)域進(jìn)行連通區(qū)域標(biāo)記。然后將大的連通區(qū)域均勻地分割成小的正方形區(qū)域，即獲得圖像的初始聚類中心區(qū)域。

3.2 局部像素點(diǎn)聚類算法

在初始聚類圖像中存在四類像素點(diǎn)如圖2所示：聚類中心點(diǎn)、完全聚類點(diǎn)、不完全聚類點(diǎn)和非聚類點(diǎn)。其中，聚類中心點(diǎn)和完全聚類點(diǎn)是不需要重新計算標(biāo)記的，而不完全聚類點(diǎn)和非聚類點(diǎn)還需要重新計算標(biāo)記。局部像素點(diǎn)聚類算法是對初始聚類圖像中局部像素點(diǎn)進(jìn)行重新標(biāo)記。

在初始聚類圖像中需要重新標(biāo)記的像素點(diǎn)距離值計算公式如下：

[D"r，c，rc，cc=α?dlab2+β?drc2+γ?d3D2?1+dn]

[+λ?Dgeor，c，rc，cc]? ⑶

其中，[r，c]表示需要重新標(biāo)記的像素點(diǎn)，[rc，cc]表示聚類中心，[α、β、γ]和[λ]為可調(diào)參數(shù)。上式中，[dlab、drc、d3D]和[dn]分別表示像素點(diǎn)[r，c]和[rc，cc]之間的彩色差異、二維平面位置差異、三維空間坐標(biāo)差異和法向量差異，[Dgeo]的計算公式如下：

[Dgeor，c，rc，cc=x，y∈Sr，c→rc，ccESMx，y]? ⑷

其中，[Sr，c→rc，cc]表示從需要重新標(biāo)記的某一像素點(diǎn)[r，c]開始到聚類中心[rc，cc]結(jié)束直線連接上的所有的像素坐標(biāo)集合，[Dgeo]表示這些像素點(diǎn)的邊緣映射強(qiáng)度之和。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 數(shù)據(jù)集

在實(shí)驗(yàn)中，本文采用的是NYUv2數(shù)據(jù)集[15]，它是公開的室內(nèi)場景深度圖像數(shù)據(jù)集，包含了臥室、辦公室、廚房、書房、運(yùn)動室等大量的室內(nèi)場景，總計1449幅圖像，其中的每一幅圖像都有人工標(biāo)記的真實(shí)分割結(jié)果，為該算法提供了很大的便利。

本文使用四種算法，即：本文算法、原始的SLIC超像素分割算法[10]、SLIC的改進(jìn)算法（3D_SLIC）[11]和直接將原始的SLIC算法，應(yīng)用到RGB-D圖像數(shù)據(jù)構(gòu)成的四維圖像數(shù)據(jù)，該算法用4D_SLIC表示。

4.2 視覺效果分析

如圖3所示為本文算法與原始的SLIC算法視覺比較結(jié)果。從視覺結(jié)果我們可以看出，本文算法結(jié)果更加符合室內(nèi)場景的分割，從邊緣分割精度上要優(yōu)于原始的SLIC算法，場景中的物體分割會更加的整體，沒有更多虛假邊緣出現(xiàn)。

4.3 數(shù)值指標(biāo)對比

在分割結(jié)果數(shù)值對比中，本文選用了三個數(shù)值指標(biāo)[16]分別為：Boundary Recall（BR）指標(biāo)、VI和GT Cover。第一個指標(biāo)Boundary Recall（BR），它是度量超像素分割算法分割區(qū)域的邊緣與真實(shí)分割結(jié)果的邊緣定位匹配度，這個指標(biāo)越大說明超像素分割算法獲得邊緣定位精度更高。第二個指標(biāo)VI是從信息論的角度來度量超像素分割算法分割區(qū)域與真實(shí)分割結(jié)果區(qū)域之間的距離，這個指標(biāo)越小說明分割結(jié)果與真實(shí)分割結(jié)果最接近，分割效果也就越好。第三個指標(biāo)GT Cover是度量超像素分割算法分割區(qū)域與真實(shí)結(jié)果分割區(qū)域的覆蓋程度，這個數(shù)值越大，說明算法分割結(jié)果區(qū)域與真實(shí)分割結(jié)果區(qū)域的覆蓋程度越高，超像素分割算法的性能也就越好。

從表1中可以看出，本文提出的超像素分割算法的邊緣定位能力優(yōu)于SLIC[10]算法，但相比于其他兩種算法效果要稍差一點(diǎn)。第二個指標(biāo)VI可以看出，本文算法分割效果稍差于其他算法。第三個指標(biāo)GT Cover可以看出本文算法與3D_SLIC[11]算法效果相當(dāng)，優(yōu)于SLIC[10]和4D_SLIC算法。

4.4 算法效率分析

⑴ 算法運(yùn)行時間比較

在實(shí)驗(yàn)中本文對算法運(yùn)行時間進(jìn)行了測試，表2為100張圖像的平均分割時間。從表中我們可以看出本文算法對比其他幾種分割算法在時間上快了很多，其原因是圖像中有許多大的區(qū)域內(nèi)部像素點(diǎn)是不需要重新迭代聚類的，這是本文算法的最大優(yōu)勢所在。

⑵ 算法時間復(fù)雜度分析

從算法時間復(fù)雜度來分析，本文算法時間復(fù)雜度是O（m），其中m表示圖像的邊緣像素點(diǎn)數(shù)，對于一副圖像來說，圖像邊緣像素點(diǎn)數(shù)大大低于整幅圖像像素點(diǎn)數(shù)n，面積的像素n與線段的像素m是平方級的關(guān)系。本文對比其他幾種算法的時間復(fù)雜度是O（n），也就是說，這幾種算法的時間復(fù)雜度與整幅圖像像素點(diǎn)數(shù)相關(guān)。因此，本文提出的算法時間復(fù)雜度O（m）遠(yuǎn)遠(yuǎn)小于其他幾種算法時間復(fù)雜度O（n）。

5 結(jié)論

本文提出了一種基于邊緣信息的RGB-D圖像超像素分割算法，該算法主要的兩個出發(fā)點(diǎn)是根據(jù)圖像自身特性自適應(yīng)構(gòu)建初始化聚類中心和利用圖像局部性，降低重復(fù)計算像素點(diǎn)標(biāo)記的次數(shù)。首先利用各向異性高斯核濾波器將彩色圖像轉(zhuǎn)換成邊緣映射圖，然后把邊緣映射圖進(jìn)行閾值化，自適應(yīng)地構(gòu)建聚類中心點(diǎn)，最后結(jié)合深度圖像對需要重標(biāo)記的像素點(diǎn)進(jìn)行迭代聚類。實(shí)驗(yàn)結(jié)果表明，與其他幾種算法相比，本文提出的算法在視覺效果和算法效率上都比其他幾種算法好。下一步的研究方向是將該算法應(yīng)用到實(shí)踐項(xiàng)目中。

參考文獻(xiàn)（References）：

[1] Hu Weiming，Zhou Xue，Li Wei，et al.Active contour-based

visual tracking by integrating colors， shapes， and motions[J]. IEEE Trans on Image Processing，2013，22（5）：1778-1792.

[2] Roberts L G.Machine perception of three-dimensional

solids[M].Cambridge：MIT Press，1965.

[3] Prewitt J M S.Object enhancement and extraction[M].New

York：Academic Press，1970.

[4] Sobel I E.Camera models and machine perception[D].Palo

AIto，Calif：Stanford University，1970.

[5] Marr D. and Hildreth E.Theory of edge detection[J].

Proceedings of the Royal Society of London，1980，207：187-217.

[6] Andreas K.and Mongi A.Detection and classification of

edges in color images[J].IEEE Signal Processing Magazine，2005，22（1）：64-73.

[7] Ehsan N.Rabab K.W.A new scheme for robust gradient

vector estimation in color images[J].IEEE trans. On image processing，2011，20（8）：2211-2220.

[8] Fu Ping Wang， Peng-Lang Shui.Noise-robust color edge

detector using gradient matrix and anisotropic Gaussian directional derivative matrix[J].Pattern Recognition，2016，52（2）：346-357.

[9] 朱凱俊.基于改進(jìn)的FCM算法對圖像分割的研究和應(yīng)用[J].

重慶工商大學(xué)學(xué)報（自然科學(xué)版），2022，39（5）：24-33.

[10] Achanta R， Shaji A， Smith K， et al.SLIC superpixels

compared to state-of-the-art superpixel methods[J].IEEE transactions on pattern analysis and machine intelligence，2012，34（11）：2274-2282.

[11] Yang J， Gan Z， Li K， et al.Graph-based segmentation

for RGB-D data using 3-D geometry enhanced superpixels[J].IEEE transactions on cybernetics，2014，45（5）：927-940.

[12] 許曉東，張雷，焦小雪，等.基于改進(jìn)的SLIC超像素分割算

法[J].電子制作，2023，31（2）：58-60，111.

[13] 陳瑩瑩，康艷，李文法，等.基于綜合辨識信息的SLIC超像素

分割算法[J].高技術(shù)通訊，2021，31（8）：816-823.

[14] 李凱，張永生，童曉沖，等.基于各向異性和邊緣強(qiáng)度修正

因子的邊緣檢測算法[J].計算機(jī)工程與科學(xué)，2021，43（7）：1256-1263.

[15] Silberman N，Hoiem D，Kohli P，et al.Indoor segmentation

and support inference from RGBD images[J].Proceedings of the 12th European conference on Computer Vision，2012：746-760.

[16] Arbelaez P，Maire M，F(xiàn)owlkes C，et al.Contour detection

and hierarchical image segmentation[J]. IEEE transactionson pattern analysis and machine intelligence，2010，33（5）：898-916.