基于顯著性和區域比較的自動物體提取算法

劉兆瑞　趙　波　王廣偉

(西南交通大學信息科學與技術學院　四川 成都 610031)

?

基于顯著性和區域比較的自動物體提取算法

劉兆瑞趙波王廣偉

(西南交通大學信息科學與技術學院四川 成都 610031)

摘要面對互聯網時代海量的圖像數據，如何自動地提取物體成為一個熱點問題，為此提出一種結合超像素、顯著性和區域比較的自動目標提取算法。算法首先對圖像進行超像素分割，得到若干子區域；其次采用顯著性檢測確定出目標的初始區域；最后在子區域和初始區域的基礎上，結合空間信息和顏色特征，利用區域比較法分割出最終的目標物體。對比實驗結果表明，該算法能夠有效地提取出目標，具有一定的魯棒性。

關鍵詞顯著性超像素區域比較物體提取

AUTOMATIC OBJECT EXTRACTION ALGORITHM BASED ON SALIENCE AND REGIONAL CONTRAST

Liu ZhaoruiZhao BoWang Guangwei

(School of Information Science and Technology,Southwest Jiaotong University,Chengdu 610031,Sichuan,China)

AbstractFacing the massive image data in internet era, how to automatically extract the object from images becomes a hot issue. Therefore this paper proposes a novel algorithm of automatic target extraction, it combines the superpixel, salience and region contrast. First, the algorithm makes superpixel segmentation on images to get several sub-regions. Then, it uses saliency detection to determine the initial target region. At last, based on sub-regions and initial regions, it combines spatial information and colour feature and uses region comparison method to segment the final target object. Result of the contrast experiment shows that this method can extract the object effectively and has certain robustness.

KeywordsSalienceSuperpixelRegion comparisonObject extraction

0引言

目標物體提取就是利用圖像的紋理、顏色和空間位置等信息從復雜背景中獲取需要的物體。該過程把輸入圖像轉化為目標區域，對進一步提取物體特征、物體檢索和分類等高層處理都是十分重要的。

隨著互聯網的不斷發展和大容量存儲設備的廣泛使用，圖像數據呈現幾何級數的增長，面對海量的圖像數據，如何自動、有效地從圖像中提取目標物體已經成為一個極具挑戰性的課題。目標提取主要分為兩類：基于單張圖像和多張圖像的目標提取。其中，Zhang[1]利用視頻前后幀和空間信息建立分層的無回路有向圖，并利用該圖獲得物體的初始區域，最后采用GMM模型和基于graph-cuts的優化方法提取出目標；Djelouah[2]利用同一物體的多個視角實現多張圖片的協同圖割，進而獲得所需物體。雖然基于多張圖像的目標提取算法效果較好，但在實際圖像數據中，大部分圖像是單張存在的，無法進行協同分割。對于單張圖像的分割，研究集中于交互式分割算法。如：Boykov[3]提出的graph cut，該方法由用戶指定前景和背景，然后將像素作為頂點，像素之間的關系作為邊構造一個圖，最后采用最大流/最小割算法獲得圖像的分割結果；Rother等[4]基于graph cut設計了Grabcut算法，該算法采用高斯混合模型表示顏色概率分布，并利用概率值更新像素之間的關系，最終用graph cuts方法進行迭代得到前景目標。在有用戶交互的情況下，交互式分割算法表現出良好的性能，但該方法無法自動處理海量圖像數據。目前，對于單張圖片的自動分割研究較少，Achanta等[5]將顯著性檢測應用于自動目標提取，該方法首先對輸入圖像進行顯著性檢測，并利用mean-shift和自適應閾值來獲取物體，由于該算法沒有考慮物體的空間信息，造成一些物體不能準確分割。

針對以上算法的不足之處，本文提出一種結合顯著性、超像素和區域比較的自動物體提取算法AOEA(automatic object extraction algorithm)。首先，用超像素分割和顯著性檢測獲得目標的初始區域，實現了目標自動粗定位。然后，提出一種新的以超像素區域作為基本單位的分割算法，該算法可以對不準確的粗定位區域進行有效分割，并表現出較強的魯棒性。同時，該算法考慮了空間分布信息，彌補了Achanta等[5]提出的FT算法的不足。實驗表明，該算法提高了分割的精度，能夠準確地提取出目標。

1圖像預處理

圖像預處理主要包含兩部分：顯著性檢測和對圖像進行超像素分割。

1.1SLIC超像素分割方法

在超像素分割步驟中，采用由Achanta等人[6]提出的簡單線性迭代聚類(SLIC)算法。該方法思想簡單，運行速度較快，利用CIELAB顏色空間和XY坐標構造5維的特征向量，并對圖像中的像素進行局部聚類，生成排列緊密的超像素。然而，該算法需要手動設定超像素區域的個數。超像素個數越多則對物體邊緣的擬合越好，局部辨別能力越強；超像素個數越少則每個區域包含的信息越多，算法魯棒性越強。本文通過實驗測試，將每張圖片分割成100個左右的超像素塊時，可以取得較好的分割效果。部分超像素處理結果如圖1所示。

1.2基于全局對比度的顯著區域檢測(RC)

本文采用RC[7]算法對圖像進行顯著性檢測，其為目前性能最好的顯著性檢測算法之一。RC方法對以往像素級別的顯著性計算進行了拓展，以區域為單位進行更大規模的顯著性計算。首先，采用efficient graph cut[8]算法將圖像分為若干個區域。然后，同時考慮區域的顏色特征和空間位置來計算該區域的全局對比度，即顯著值。該方法可以最大程度上克服噪聲的影響，使計算結果更加準確。顯著值計算方法如下所示：

(1)

其中，S(ri)為區域ri的顯著值；Ds(ri,rj)為區域ri和rj的空間距離，通過兩個像素塊幾何中心的歐式距離進行計算；w(rj)表示像素塊的權重，由像素塊包含的像素數量決定；Dr(ri,rj)為ri和rj在L*a*b空間的距離；δ2為空間距離權重調節系數，一般取0.4[7]。部分顯著性處理結果如圖1所示(從左至右分別為原圖像、顯著圖和超像素處理圖)。

圖1　部分顯著性處理結果

2區域特征提取及類別初始化

超像素分割后，可以獲得若干個子區域。其中，ri表示第i個超像素區域，li作為類別標簽，用于描述ri所屬類別。

2.1區域顏色特征

本文采用量化后的HSV特征來描述區域的顏色分布。首先，提取區域內每個像素的HSV值；其次，采用8×3×3的量化方法[9]對HSV值進行量化；最后，將量化后的HSV值映射到[0,72]之間的某值G，映射方法如下所示：

G=9H+3S+V

(2)

對區域內所有的像素進行量化映射后，獲得描述該區域顏色分布的72維直方圖Hi={h1,h2,…,h72}[10,11]。

2.2區域所屬類別初始化

對海量圖片進行觀察分析后，我們發現圖像背景在四個角落(左上、左下、右上、右下)之間的差異很大，而各個角落內部極為相似。因此，我們對基于前景和背景兩個類別的傳統分割算法進行改進，提出一種針對五個類別的區域分割算法。五個類別分別為：左上背景類(類別標簽為1)、左下背景類(標記為2)、右上背景類(標記為3)、右下背景類(標記為4)、前景類對應0，每個類別由Classk表示：

(3)

在對區域所屬類別初始化過程中，首先對顯著圖進行二值化處理。本文采用速度較快的最大類間方差法(OTSU)[12]進行自適應二值化。二值化后的亮點作為前景點，暗點設為背景點，然后判斷每一個區域中是否所有像素均為前景點，若成立則將li設為0(前景類)，否則設為背景類，并根據該區域幾何中心的空間位置判斷其具體屬于哪一種背景類別。初始化分類結果如圖2所示(左圖為原圖，右圖為初始分類結果，其中1,2,3,4分別對應左上背景類、左下背景類、右上背景類、右下背景類，其余部分為前景類)。

圖2　初始化分類結果

3基于區域比較的圖像分割

基于區域比較的分割算法指通過迭代計算區域與類別的相似度來更新每個類別，最終使得類別間的差異最大(即相似度最小)。最終狀態下Class0中的區域為提取出的目標物體。

以往的研究往往專注于像素之間和區域之間的相似度，對于區域和類別之間、類別與類別之間的相似度研究較少，而高層次的特征通常具有較好的穩健性，適用網絡中海量的各類圖片。因此，本文提出一種適用于分割過程的區域間相似度Sim(ri,rj)計算方法，并基于Sim(ri,rj)設計了區域和類別的相似度Sim(ri,Classk)及類別之間相似度Sim(Classk1,Classk2)。其中，區域間相似度計算方法如下所示：

(4)

其中，w(rj)和Ds分別表示區域包含像素的數量和區域間的空間距離，由區域幾何中心的歐式距離表示。Cr表示余弦距離，Hi為區域的顏色直方圖。該計算方法同時考慮了區域的顏色特征、大小和空間距離，較好地體現了目標屬性。此處采用余弦距離來計算顏色之間的相似度，主要考慮到w(rj)已經計算了區域大小，則Cr只需考慮區域的顏色分布。當采用余弦距離時，我們發現量化后的HSV特征能夠十分準確地描述區域間的相似度，因而采用量化的HSV作為區域的顏色特征。

區域與類別的相似度和類別之間相似度的計算方法如式(5)和式(6)所示：

(5)

其中，w(Classk)為第k個類別所包含像素的數量。

Sim(Classk1,Classk2)=

(6)

其中，Nk1、Nk2分別表示兩個類別包含區域的個數。得到類別之間的相似度后，圖像分割問題可以轉化為求解各個區域的類別標簽，使類別之間的總體相似度取得最小值。為了能夠快速求解，設計了一種簡單、有效的迭代計算方法。

算法步驟如下：

(2) 更新每個區域的類別標簽li，更新方法如下：

4實驗

4.1實驗數據集

本文隨機挑選THUR15K[13]標準數據集中的10 000張圖像進行檢測，該數據集中圖像的大小約為400×300，其中的物體種類繁多、形態各異，而且背景較為復雜，不同圖像的物體之間、背景之間也有著很大的差異，這都使得目標提取變得極具挑戰性，能夠有效地檢測AOEA算法的魯棒性。同時，該數據集上的每張圖片均有人工標注的像素級別的目標物體，能夠很好地量化評價AOEA算法的性能。

4.2實驗結果及分析

為了驗證AOEA算法的健壯性和空間信息的有效性，分別用FT算法、GrabCut+顯著圖的方法和本文算法進行目標提取。GrabCut+顯著圖的方法為本文所提，其首先對圖片進行顯著性檢測，然后采用 OTSU算法對顯著圖進行自適應二值化，最后應用GrabCut算法對前景區域進行分割，提取目標物體。圖3為本文算法和對比算法的目標提取結果。

實驗結果表明，當顯著性檢測的結果不準確時，GrabCut算法無法獲得準確的初始前景區域，導致其能量函數的權重值與實際情況相差較大，最終將背景區域誤當作目標信息保留下來或誤將目標信息刪除，提取出的目標物體不準確，如圖3(b)和(c)所示。FT算法能夠克服顯著圖效果較差的情況，能夠將不屬于目標的背景信息準確的除掉，但是沒有考慮物體的空間信息，對于一些不同部位差異較大的物體，該算法很難獲得理想的效果，往往將物體內部區域作為背景信息除掉，如圖3(b)和(d)所示。本文算法綜合考慮了空間信息和區域信息，成功地實現了針對單張圖片的自動目標提取。AOEA將區域作為基本單位進行目標提取，減少了對物體細節的描述，增強了對物體高層特征的應用，具備較好的魯棒性。同時，該算法考慮了物體的空間信息，一定程度上保證了目標的完整性，能夠對FT算法誤劃分的目標信息進行正確的處理。為了定量分析AOEA進行目標提取的性能，我們采用準確率、召回率和F1值作為評價指標。

圖3　目標提取結果

(7)

(8)

(9)

表1定量評估了算法的性能。從表中數據可以看出，新提出的方法與GrabCut算法在召回率相當的情況下，目標提取準確率更高。同時，AOEA算法在召回率和F1值方面均取得明顯優于FT算法的性能。

表1　算法性能

5結語

本文的主要創新點在于提出了一種基于區域比較的分割算法，并將該算法和顯著性相結合，實現了對物體的自動提取。AOEA算法綜合考慮了區域的顏色、空間位置和大小等信息，能夠對不準確的顯著區域進行有效分割，取得了明顯優于傳統分割算法的性能，具有較強的魯棒性。進一步的研究工作包括將紋理特征和顏色特征相結合進行分割，以及將該算法應用到圖像檢索系統和基于內容的視頻檢索中。

參考文獻

[1] Zhang D,Javed O,Shah M.Video object segmentation through spatially accurate and temporally dense extraction of primary object regions[C]//Computer Vision and Pattern Recognition (CVPR),2013 IEEE Conference on.IEEE,2013:628-635.

[2] Djelouah A,Franco J S,Boyer E,et al.Multi-view object segmentation in space and time[C]//Computer Vision (ICCV),2013 IEEE International Conference on.IEEE,2013:2640-2647.

[3] Boykov Y Y,Jolly M P.Interactive graph cuts for optimal boundary & region segmentation of objects in ND images[C]//Computer Vision,2001.ICCV 2001.Proceedings.Eighth IEEE International Conference on.IEEE,2001,1:105-112.

[4] Rother C,Kolmogorov V,Blake A.Grabcut: Interactive foreground extraction using iterated graph cuts[C]//ACM Transactions on Graphics (TOG).ACM,2004,23(3):309-314.

[5] Achanta R,Hemami S,Estrada F,et al.Frequency-tuned salient region detection[C]//Computer Vision and Pattern Recognition,2009.CVPR 2009.IEEE Conference on.IEEE,2009:1597-1604.

[6] Achanta R,Shaji A,Smith K,et al.SLIC superpixels compared to state-of-the-art superpixel methods[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2012,34(11):2274-2282.

[7] Cheng M M,Zhang G X,Mitra N J,et al.Global contrast based salient region detection[C]//Computer Vision and Pattern Recognition (CVPR),2011 IEEE Conference on.IEEE,2011:409-416.

[8] Felzenszwalb P F,Huttenlocher D P.Efficient graph-based image segmentation[J].International Journal of Computer Vision,2004,59(2):167-181.

[9] Smith J R,Chang S F.Tools and Techniques for Color Image Retrieval[C]//Storage and Retrieval for Image and Video Databases (SPIE),1996,2670:2-7.

[10] Kong F H.Image retrieval using both color and texture features[C]//Machine Learning and Cybernetics,2009 International Conference on.IEEE,2009,4:2228-2232.

[11] Ma J.Content-based image retrieval with HSV color space and texture features[C]//Web Information Systems and Mining,2009.WISM 2009.International Conference on.IEEE,2009:61-63.

[12] Otsu N.A threshold selection method from gray-level histograms[J].Automatica,1975,11(285-296):23-27.

[13] Cheng M M,Mitra N J,Huang X,et al.Salientshape:Group saliency in image collections[J].The Visual Computer,2014,30(4):443-453.

中圖分類號TP391.4

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.02.037

收稿日期：2014-07-11。國家自然科學基金項目(61373121)；四川省科技創新苗子工程項目(2012ZZ053)。劉兆瑞，碩士生，主研領域：計算機視覺，圖像檢索。趙波，博士生。王廣偉，講師。