基于超像素特征表示的圖像前景背景分割算法

DOI：10.13800/j.cnki.xakjdxxb.2017.05

20文章編號(hào)： 1672-9315（2017）05-0731-05

摘要：圖像前景背景分割是圖像處理中的關(guān)鍵技術(shù)，文中提出了基于超像素分類(lèi)的二值分割算法。對(duì)于輸入圖像，首先采用超像素分割算法，將圖像分割成多個(gè)保留邊緣的封閉區(qū)域，即超像素；對(duì)每一塊超像素，考慮顏色和紋理，構(gòu)造一種對(duì)光照和顏色較為魯棒的特征，來(lái)消除同種物體在光照和顏色差異下的影響；用所得特征訓(xùn)練分類(lèi)器，判斷每塊超像素屬于前景或背景；最后將超像素分類(lèi)結(jié)果作為初值用圖分割的方法進(jìn)行修正，得到最終的二值分割結(jié)果。實(shí)驗(yàn)結(jié)果顯示算法能較好的完成前景背景分割的任務(wù)。此外，本算法易于和現(xiàn)有的分類(lèi)算法相結(jié)合，具有較強(qiáng)的可移植性。關(guān)鍵詞：圖像分割算法；超像素提??；線性分類(lèi)器；特征表示

中圖分類(lèi)號(hào)：TN 911.73文獻(xiàn)標(biāo)志碼： A

Foreground and background segmentation based on

superpiexellevel feature representationXUE Ping

（College of Computer Science and Engineering，Xi’an University of Science and Technology，Xi’an 710054，China）Abstract：The foreground and background segmentation is an important technique in image processing.In this paper，a binary segmentation method is proposed based on the classification of superpixel.The input image is firstly divided into several superpixel to protect the edge of objects.For each superpixel，the color and texture are considered to extract the feature with robust for illumination and color，which can eliminate the influence of light and color.The feature vectors are further used to train a classification to classify the superpixel into foreground or background.Finally，the graph cut method is used to modify the class label of each pixel with the initialization of superpixel.The experiment result shows that the method can successfully extract the objects from the background.Moreover，this method is easy to be implemented since it can be combined with the classification technique directly.

Key words：image segmentation；superpixel extraction；linear classifier；feature representation

0引言圖像前景背景分割是一種特殊的圖像分割算法，其目的是根據(jù)內(nèi)容，把圖像中特定物體找出作為前景，其他區(qū)域作為背景的技術(shù)，這種技術(shù)又稱(chēng)為亞像素級(jí)圖像分割技術(shù)。作為圖像語(yǔ)義分析的關(guān)鍵步驟，圖像前景背景分割在計(jì)算機(jī)視覺(jué)中有廣泛的應(yīng)用。朱遠(yuǎn)清等[1]提取圖像的前景作為主體，然后用顏色和紋理特征進(jìn)行相似度匹配，從而進(jìn)行圖像區(qū)域的檢索；牛杰等[2]用深度（RGB-D）圖像進(jìn)行前背景分割，并根據(jù)前景比配的方法進(jìn)行目標(biāo)實(shí)時(shí)監(jiān)測(cè)；戴雪峰等[3]則對(duì)監(jiān)控場(chǎng)景進(jìn)行前景分割，開(kāi)發(fā)了一個(gè)數(shù)字圖像監(jiān)控系統(tǒng)；劉銘等[4]通過(guò)SURF算法和小波變換，將圖像分割成前景和背景，融合出全背景圖像，用于視頻修復(fù)技術(shù)；而Liu等[5]則利用前背景分割技術(shù)，對(duì)高分辨率圖像中的飛行器進(jìn)行識(shí)別。近年來(lái)，國(guó)內(nèi)外學(xué)者對(duì)前景背景分割算法進(jìn)行了研究，提出并改善這項(xiàng)技術(shù)。楚瀛等[6]檢測(cè)封閉的圖像前景、背景邊緣，用以得到抗噪聲的圖像前景和背景區(qū)域；張巧榮等[7]

利用視覺(jué)顯著性，對(duì)圖像進(jìn)行閾值分割從而分離出前景和背景；翟玲等[8]

通過(guò)提取超像素的顏色和紋理特征，代入條件隨機(jī)場(chǎng)分割方法得到前景和背景。陳鵬翔等[9]

根據(jù)背景去除模型的思想，結(jié)合區(qū)域擬合方法，提出一種新的圖像分割模型；Cordes等[10]

利用目標(biāo)的結(jié)構(gòu)進(jìn)行恢復(fù)，在有遮擋的情況下提取物體的前景和背景。相對(duì)于上述研究，文中提出一種基于超像素分類(lèi)算法，實(shí)現(xiàn)圖像的前景背景分割。圖像的二值分割可以看作對(duì)每個(gè)像素點(diǎn)分類(lèi)的標(biāo)定過(guò)程。為保留物體的完整邊界，算法首先對(duì)圖像進(jìn)行超像素分割，對(duì)每塊超像素，提取顏色和紋理特征。與文獻(xiàn)[7]不同，文中用分類(lèi)器，對(duì)特征進(jìn)行分類(lèi)，判斷每塊超像素屬于前景或背景。以超像素判斷結(jié)果作為初值，再通過(guò)圖分割進(jìn)行修正，得到最終的分割結(jié)果。由于二分類(lèi)是機(jī)器學(xué)習(xí)領(lǐng)域中很成熟的技術(shù)，因此文中的算法簡(jiǎn)單且高效，并且易于結(jié)合不同分類(lèi)算法改善性能。

1基于超像素分類(lèi)的圖像前景背景分割算法

圖像的二值分割可以看作是對(duì)圖像中每個(gè)像素值點(diǎn)進(jìn)行二值分類(lèi)，前景為一類(lèi)，背景為一類(lèi)。按照該思路，文中設(shè)計(jì)簡(jiǎn)單的分類(lèi)模型來(lái)完成對(duì)物體的前景-背景分割。對(duì)于一幅輸入圖像，首先依照物體邊緣和紋理等特征，將圖像分成若干超像素。對(duì)每個(gè)超像素塊，根據(jù)顏色和紋理構(gòu)造出對(duì)應(yīng)的特征，用分類(lèi)器對(duì)超像素的特征粗分類(lèi)出前背景。最后用圖分割的方法對(duì)圖像進(jìn)行修正，提高分割精度。

1.1超像素提取一幅數(shù)字圖像是由二維像素陣列組成的，根據(jù)像素的取值，可以將圖像細(xì)分為多個(gè)具有共同特征的的子區(qū)域，即超像素。文中采用Simple Linear Iterative Clustering（SLIC）算法提取超像素[11]。

設(shè)圖像像素坐標(biāo)為（x，y），像素的取值是三維LAB顏色空間（l，a，b）。與常用的RGB空間類(lèi)似，LAB是定義在亮度和顏色空間上的另一種表示方式。因此每個(gè)像素點(diǎn)可以由一個(gè)五維向量[x，y，l，a，b]表示。SLIC算法預(yù)先設(shè)定圖像中有K個(gè)超像素，然后用聚類(lèi)算法將像素分成K類(lèi)，則每類(lèi)都是一個(gè)超像素。聚類(lèi)算法主要分為2步，像素點(diǎn)分配和超像素中心更新。算法迭代更新以上2個(gè)步驟，計(jì)算出對(duì)圖像的最優(yōu)分塊。1）像素點(diǎn)分配：在超像素中心確定時(shí)，更新每個(gè)超像素點(diǎn)包含的像素點(diǎn)。對(duì)于包含N個(gè)像素的圖像，每個(gè)像素塊大約包括N/K個(gè)像素點(diǎn)，若把超像素近似成正方形，則其邊長(zhǎng)約為

S=N/K.設(shè)第k個(gè)超像素的中心為

Ck=[xk，yk，lk，ak，bk]，則可在中心點(diǎn)

（Xk，Yk）的

2S×2S鄰域內(nèi)搜索像素點(diǎn)是否屬于該超像素。搜索時(shí)計(jì)算超像素中心和每個(gè)像素點(diǎn)的距離Ds，再根據(jù)所選像素更新中心點(diǎn)Ck.計(jì)算距離時(shí)采用歐幾里得距離，在顏色空間內(nèi)小距離有重要意義，即顏色距離很小而空間距離較大，也可認(rèn)為屬于同一塊超像素。因此算法分開(kāi)計(jì)算顏色和空間的距離，用加權(quán)作為距離最終的度量。

dlab=（lk-li）2

+（ak-ai）2+（bk-bi）2

，

dxy=

（xk-xi）2+（yk-yi）2

，（1）

Ds=dlab+mSdxy.

其中dlab和dxy分別為顏色和空間距離；m為用來(lái)控制超像素緊密程度的變量，通常取值在[1，20]間。對(duì)每個(gè)超像素，通過(guò)計(jì)算2S×2S鄰域內(nèi)像素點(diǎn)到超像素中心的距離，來(lái)判斷每個(gè)像素點(diǎn)屬于哪個(gè)超像素，實(shí)現(xiàn)的像素點(diǎn)分配；2）超像素中心點(diǎn)更新：在像素點(diǎn)分配完成之后，取每個(gè)超像素塊中所有像素值的均值作為新的中心點(diǎn)。為避免中心剛好在圖像中物體的邊界上，計(jì)算整幅圖像的梯度，然后將中心坐標(biāo)移動(dòng)到該超像素塊中梯度最小的地方而顏色值保持不變。算法給定超像素的個(gè)數(shù)K，計(jì)算出邊長(zhǎng)S，并初始化K個(gè)超像素的中心Ck.然后交替執(zhí)行1）和2），最終算出圖像的超像素。

1.2特征提取文中提出了一種基于超像素的特征表示方法。對(duì)于圖像，通常根據(jù)顏色和紋理來(lái)區(qū)分不同的物體。因此以超像素為單位，分別提取每塊超像素的顏色和紋理特征，作為判斷前景和背景的依據(jù)。下面分別介紹文中使用的2種特征。

1.2.1HSV量化特征與RGB空間類(lèi)似，HSV作為經(jīng)典的顏色模型，參數(shù)分別是：色調(diào)（H），飽和度（S），亮度（V）。其中，色調(diào)H用角度度量，取值范圍為0°～360°，從紅色開(kāi)始按逆時(shí)針?lè)较蛴?jì)算，紅色為0°，綠色為120°，藍(lán)色為240°.飽和度S表示顏色接近光譜色的程度，其中光譜色所占的比例愈大，顏色的飽和度也就愈高。通常取值范圍為[0，1]，值越大，顏色越飽和。亮度表示顏色明亮的程度，對(duì)于光源色，明度值與發(fā)光體的光亮度有關(guān)；對(duì)于物體色，此值和物體的透射比或反射比有關(guān)。通常取值范圍為0（黑）到1（白）。由于HSV是一種比較直觀的顏色模型，相比于常用的RGB模型，它對(duì)光照的影響更加魯棒，因此在實(shí)驗(yàn)中，對(duì)HSV模型進(jìn)行量化，并在每個(gè)超像素上統(tǒng)計(jì)量化后的直方圖，作為超像素的顏色特征。量化過(guò)程如下

1）將圖像轉(zhuǎn)換成HSV形式，將H，S，V分量分別等分成16，4，4份，像素量化后的灰度值計(jì)算公式為

L=16H+4S+V；2）對(duì)每個(gè)超像素中的像素統(tǒng)計(jì)L值，得到統(tǒng)計(jì)直方圖。L的取值范圍是0～255的整數(shù)，因此直方圖是256維的向量；3）對(duì)256維向量進(jìn)行歸一化，使其模值為1.這樣可得到每個(gè)超像素的顏色特征。

1.2.2紋理特征雖然顏色特征是物體最主要的特征，但如果僅用顏色特征會(huì)有不魯棒的缺點(diǎn)，尤其是物體本身顏色也并不統(tǒng)一。因此，除顏色特征外還加入了紋理特征，增加特征的穩(wěn)定性。局部二值模式（LBP）是一種用來(lái)描述圖像局部紋理特征的算子它的作用是進(jìn)行特征提取，提取圖像的局部紋理特征[12]。原始的LBP算子定義在3×3的窗口內(nèi)，以窗口中心像素為閾值，將相鄰的8個(gè)像素的灰度值與其進(jìn)行比較，若周?chē)袼刂荡笥谥行南袼刂担瑒t該像素點(diǎn)的位置被標(biāo)記為1，否則為0.3×3領(lǐng)域內(nèi)的8個(gè)點(diǎn)可產(chǎn)生8 bit的無(wú)符號(hào)數(shù)，即得到該窗口的LBP值，并用這個(gè)值來(lái)反映該區(qū)域的紋理信息。如式（2）所示，P=8，計(jì)算公式為

LBPP，R（xc，yc）

=P-1p=0s（gp-gc）2p.（2）

其中g(shù)c為中心像素點(diǎn)；gp為鄰域像素點(diǎn)；s（i）為符號(hào)函數(shù)；i為（xc，yc）點(diǎn)處的像素值，當(dāng)i≥0時(shí)s（i）=1，其他情況s（i）=0.LBP紋理特征向量，一般以圖像的分塊LBP直方圖表示，具體計(jì)算步驟如下1）將圖像劃分為

N×N的圖像子塊，計(jì)算每個(gè)子塊中每個(gè)像素的LBP值；2）對(duì)每個(gè)子塊進(jìn)行直方圖統(tǒng)計(jì)，得N×N圖像子塊的直方圖，并歸一化；3）利用

N×N

個(gè)子塊的直方圖，描述該圖像的紋理特征。因?yàn)長(zhǎng)BP是8位二進(jìn)制碼，每個(gè)像素的LBP值也是0～255之間的整數(shù)，所以得到的特征同樣是256維的。將顏色和紋理特征結(jié)合成512維的向量作為超像素最終的特征，然后利用分類(lèi)器即可對(duì)超像素進(jìn)行分類(lèi)，判斷其屬于前景還是背景。

1.3基于線性分類(lèi)器的圖像前景背景分割從超像素中提取特征之后，訓(xùn)練合適的分類(lèi)器對(duì)每個(gè)特征進(jìn)行預(yù)測(cè)，判斷是前景還是背景。分類(lèi)器是在已有數(shù)據(jù)的基礎(chǔ)上訓(xùn)練一個(gè)分類(lèi)函數(shù)或模型。設(shè)訓(xùn)練圖像中每個(gè)超像素的特征為x，對(duì)應(yīng)標(biāo)簽為c，其中c=1為超像素屬于前景；c=-1為超像素屬于背景?？啥x分類(lèi)器

f：argminf‖c-f（x）‖2.（3）

對(duì)于給定的數(shù)據(jù)庫(kù)，首先對(duì)已知前背景的圖像分割超像素并提取特征，然后用特征及標(biāo)簽訓(xùn)練分類(lèi)器。對(duì)于測(cè)試圖片，用訓(xùn)練好的分類(lèi)器進(jìn)行預(yù)測(cè)，判斷每塊超像素的標(biāo)簽。實(shí)驗(yàn)中同時(shí)考慮分類(lèi)的準(zhǔn)確率和時(shí)間復(fù)雜度，算法采用常用的線性支持向量機(jī)（SVM）[13]作為分類(lèi)器。超像素通常包含很多像素點(diǎn)，因此標(biāo)定一個(gè)超像素中所有像素點(diǎn)為前景或背景，尤其在超像素邊界和圖像前背景邊界不一致時(shí)會(huì)產(chǎn)生較大誤差。算法用超像素標(biāo)定好的結(jié)果作為初值，再通過(guò)圖分割（graph cut）的方法，對(duì)每個(gè)像素進(jìn)行微調(diào)，減小像素級(jí)的標(biāo)定誤差。算法采用最大流最小割（max flow min cut）

[14]算法對(duì)超像素分割結(jié)果做進(jìn)一步調(diào)整，得到最終的分割結(jié)果。

2結(jié)果與分析實(shí)驗(yàn)中，數(shù)據(jù)集包括鳥(niǎo)、汽車(chē)、飛機(jī)等10類(lèi)圖像，其中訓(xùn)練圖像200幅，給定RGB圖像和每個(gè)像素點(diǎn)的標(biāo)簽。測(cè)試圖像100幅（每類(lèi)10幅），已知RGB圖像而前背景未知。數(shù)據(jù)集如圖1所示。

像素級(jí)精度是分割任務(wù)的主要客觀評(píng)價(jià)指標(biāo)之一，對(duì)于前背景二值分割問(wèn)題，分割精度的定義如下

acc=TF+TBF+B.

其中TF和TB分別為分割正確的前景和背景的像素點(diǎn)個(gè)數(shù)；F和B為真實(shí)結(jié)果中的前景和背景的像素點(diǎn)個(gè)數(shù)；F+B為圖像的總像素點(diǎn)數(shù)。由于不同類(lèi)別的圖像特征差距較大，因此實(shí)驗(yàn)中對(duì)不同類(lèi)圖像分別進(jìn)行分類(lèi)器訓(xùn)練，測(cè)試時(shí)，對(duì)圖像統(tǒng)一進(jìn)行超像素分割、像素塊特征提取。之后對(duì)每一類(lèi)圖像，用對(duì)應(yīng)的分類(lèi)器進(jìn)行分類(lèi)，得到的結(jié)果再通過(guò)圖分割進(jìn)行調(diào)整。各類(lèi)物體的分割精度見(jiàn)表1.

對(duì)訓(xùn)練集，文中在RGB圖和前背景標(biāo)簽圖上

采用同樣的超像素分割，考慮到精確程度和時(shí)間

要求，取K=200，即每幅圖像分成200個(gè)超像素塊。每塊超像素提取512維特征訓(xùn)練分類(lèi)器。最后用圖分割的方法進(jìn)行調(diào)整。圖2展示了部分主觀分割結(jié)果。

其中精度是預(yù)測(cè)準(zhǔn)確的像素占圖像全部像素的百分比。由結(jié)果可以看出，對(duì)于動(dòng)物類(lèi)如牛、羊等分割精度較高。由于人臉、汽車(chē)等形狀較為復(fù)雜，顏色和紋理區(qū)別較大，因此識(shí)別率稍低，如何根據(jù)不同種類(lèi)物體設(shè)計(jì)合理的特征是未來(lái)需要進(jìn)一步開(kāi)展的研究工作。

3結(jié)論提出了一種對(duì)給定RGB圖像分割前背景的算法。對(duì)于給定圖像，先用高效的超像素分割方法（SLIC）進(jìn)行預(yù)處理，然后采用HSV顏色和LBP紋理2種特征表示每塊超像素，用訓(xùn)練好的線性支持向量機(jī)作分類(lèi)器，對(duì)每塊超像素內(nèi)的所有像素點(diǎn)作預(yù)測(cè)。最后基于圖分割算法對(duì)結(jié)果進(jìn)行修正。實(shí)驗(yàn)結(jié)果中，主觀結(jié)果表明算法可以大致區(qū)分出物體的輪廓和形狀，客觀結(jié)果顯示分類(lèi)精度約為84%.

上述結(jié)果表明文中的算法能較好的分辨出圖像中的前景物體，這為進(jìn)一步的視覺(jué)問(wèn)題研究，如物體識(shí)別、標(biāo)識(shí)檢測(cè)等提供了理論依據(jù)。 參考文獻(xiàn)References

[1]朱遠(yuǎn)清，李才偉.一種基于前景與背景劃分的區(qū)域圖像檢索方法及實(shí)現(xiàn)[J].中國(guó)圖像圖形學(xué)報(bào)，2007，12（2）：234-238.

ZHU Yuanqing，LI Caiwei.A method and implementation for regionbased image retrieval using partition of foreground and background[J].Journal of Image and Graphics，2007，12（2）：234-238.[2]牛杰，卜雄洙，錢(qián)堃.基于前景分割的目標(biāo)實(shí)時(shí)監(jiān)測(cè)方法[J].計(jì)算機(jī)應(yīng)用，2014，34（5）：1 463-1 466.

NIU Jie，BU Xiongzhu，QIAN Kun.Realtime object detection method based on foreground segmentation[J].Journal of Computer Application，2014，34（5）：1 463-1 466.[3]戴雪峰，金連文，熊波.基于圖像前景分割的嵌入式智能監(jiān)控系統(tǒng)[J].計(jì)算機(jī)工程，2007，33（20）：233-235.DAI Xuefeng，JIN Lianwen，XIONG Bo.Embedded intelligent surveillance systems based on foreground segmentation technology[J].Computer Engineering，2007，33（20）：233-235.[4]劉銘，劉雅楠，李靖宇.基于分割和全背景圖像的視頻修復(fù)算法[J].中國(guó)新通信，2015（7）：117-118.

LIU Ming，LIU Yanan，LI Jingyu.Video completion based cut and background image[J].China New Telecommunications，2015（7）：117-118.[5]Liu G，Sun X，F(xiàn)u K，et al.Aircraft recognition in highresolution satellite images using coarsetofine shape prior[J].IEEE Geoscience and Remote Sensing Letters，2013，10（3）：573-577.[6]楚瀛，田淞，張桂林，等.基于圖像邊緣特征的前景背景分割方法[J].華中科技大學(xué)學(xué)報(bào)，2008，36（5）：20-23.

CHU Ying，TIAN Song，ZHANG Guilin，et al.Video foreground and background segmentations based edge features[J].Journal of Huazhong University of Science and Technology，2008，36（5）：20-23.[7]張巧榮，景麗，肖會(huì)敏，等.利用視覺(jué)顯著性的圖像分割方法[J].中國(guó)圖象圖形學(xué)報(bào)，2011，16（5）：767-772.

ZHANG Qiaorong，JING Li，XIAO Huimin，et al.Image segmentation based on visual saliency[J].Journal of Image and Graphic，2011，16（5）：767-772.[8]翟玲，朱敏，戴李君.基于超像素與特征改進(jìn)的Grab cut前景分割[J].微型電腦應(yīng)用，2015，31（11）：48-50.

ZHAI Ling，ZHU Min，DAI Lijun.Foreground cut based on superpixel and featureimproved grab cut[J].Microcomputer Applications，2015，31（11）：48-50.[9]陳鵬翔，楊晟院.區(qū)域擬合的背景去除圖像分割模型[J].中國(guó)圖像圖形學(xué)報(bào)，2016，21（6）：683-690.

CHEN Pengxiang，YANG Shengyuan.Fast image segmentation based on regionscalable fitting background removal model[J].Journal of Image and Graphics，2016，21（6）：683-690.

[10]Cordes K，Scheuermann B，Rosenhahn B，et al.Foreground segmentation from occlusions using structure and motion recovery[C]//

Computer Vision，Imaging and Computer Graphics.Theory and Application.Springer Berlin Heidelberg，2013：340-353.[11]Achanta R，Shaji A，Smith K，et al.SLIC Superpixels[R].EPFL：Technical Report，2010.[12]Ojala T，Pietik inen T，Harwood D.A comparative study of texture measures with classification based on feature distributions[J].Pattern Recognition，1996（29）：51-59.[13]Cortes C，Vapnik V.Supportvector networks[J].Machine Learning，1995，20（3）：273.[14]Boykov Y，Kolmogorov V.An experimental comparison of mincut/maxflow algorithms for energy minimization in vision[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26（9）：1 124-1 137.