基于Object Proposals并集的顯著性檢測模型

趙閏霞，蹇木偉,2，齊強，王靜，王瑞紅，董軍宇

近年來，顯著性檢測在圖像處理和計算機視覺領(lǐng)域中愈發(fā)重要，并且得到了廣泛研究和應(yīng)用。顯著性檢測的本質(zhì)是模擬人類的視覺注意機制提取圖像中最引人注意的區(qū)域，目前已被廣泛應(yīng)用于圖像分割[1]、目標(biāo)識別[2]、像壓縮[3]以及圖像檢索[4]等領(lǐng)域。

顯著性檢測方法通常可分為兩種模型：自底向上 (bottom-up)[5?10]和自頂向下 (top-down)[11?12]。自底向上一般是快速的、數(shù)據(jù)驅(qū)動的顯著性提取模型。Cheng等[5]提出了基于區(qū)域?qū)Ρ榷鹊娘@著性檢測算法，用于測量全局對比度差異；Harel等[6]提出了一種基于圖形的顯著性模型檢測圖像中的顯著物體；Erdem[7]使用從局部圖像塊提取的圖像特征的協(xié)方差矩陣來計算最終的顯著性圖；Murray等[8]設(shè)計了一種特殊的顏色外觀顯著性檢測模型；Shi[9]通過圖形模型提出了一種分層圖像顯著性目標(biāo)檢測方法，以產(chǎn)生最終顯著性等級；Yang等[10]通過基于圖形的流形排序?qū)崿F(xiàn)圖像元素(像素或區(qū)域)與前景或背景線索的相似性的排序。

與自底向上相反，自頂向下通常是慢速的、任務(wù)依賴的、目標(biāo)驅(qū)動的顯著性提取。自頂向下的方法通常依賴于學(xué)習(xí)框架，采用高層線索和先驗知識進行顯著性檢測。文獻[11]中提出了通過學(xué)習(xí)條件隨機場進行特征組合，并引入動態(tài)顯著特征以實現(xiàn)顯著目標(biāo)的檢測。最近，文獻[12]提出了一種結(jié)合字典學(xué)習(xí)和條件隨機場的自上而下的視覺顯著性模型。

一般情況下，使用基于學(xué)習(xí)框架的顯著性檢測模型的檢測效果會比較好，但是其檢測效果會很大程度上依賴于模型的訓(xùn)練樣本，訓(xùn)練的過程也會使計算復(fù)雜度增加。非學(xué)習(xí)類的顯著性檢測模型通常是以底層特征為線索進行顯著性檢測，如對比度先驗、中心先驗、背景先驗等。這些方法一般只對簡單的場景有效，當(dāng)背景與檢測對象相似時，這類方法將無法準(zhǔn)確地檢測出目標(biāo)物體。

本文提出基于Object Proposals并集的顯著性檢測模型。首先我們利用Object Proposals的有效信息預(yù)測背景區(qū)域的位置并得到背景圖，然后基于紋理特征以及全局對比度進行顯著性檢測，最后將三者進行融合得到最終的顯著圖。

1 Object Proposals

Object Proposals是一系列包含目標(biāo)對象的候選區(qū)域，它通常以預(yù)處理的形式廣泛應(yīng)用于各種視覺任務(wù)。Alexe等[13]提出了對象度量(objectness measure)的概念，量化一個圖像窗口覆蓋對象的可能性；Cheng等[14]提出二值化規(guī)范梯度(BING)特征，有助于用對象評分(objectness score)搜索對象。本文使用Edge Boxes[15]算法生成Proposals，得到的Proposals會包含豐富的對象級特征，我們利用這些特征判斷顯著目標(biāo)的位置并預(yù)測背景區(qū)域。

對于圖{像I，首先使}用SLIC算法[16]得到超像素圖，。然后使用Edge Boxes[15]算法生成圖像I的Proposals，這里面部分候選框能準(zhǔn)確地標(biāo)注到目標(biāo)對象，但也存在大量的候選框包含太多的背景區(qū)域或者不包含目標(biāo)對象。以圖1為例，(a)中的3個候選框都標(biāo)注到了目標(biāo)對象，且包含的背景區(qū)域比較少；(b)中的候選框則沒有包含目標(biāo)對象；(c)中的候選框雖然包含了目標(biāo)對象，但也包含了很多的背景區(qū)域。為了得到更準(zhǔn)確的背景區(qū)域，根據(jù)目標(biāo)分數(shù)對得到的候選框進行選擇。一般分數(shù)靠前的候選框能夠更準(zhǔn)確地包含到目標(biāo)物體，所以選擇前N個候選框作為目標(biāo)集合A，在實驗中，N的取值為100。

圖1 目標(biāo)候選框Fig. 1 Object Proposals

在目標(biāo)集合A中，針對圖1(b)、(c)的現(xiàn)象，對包含大量背景區(qū)域的候選框進行刪除。受文獻[17-19]的啟發(fā)，本文中使用基于超像素的邊界連通性對候選框進行篩選。用BndCon(·)表示邊界連通性，其本質(zhì)是描述一個區(qū)域與圖像邊界的連通程度[20]。BndCon(·)的定義為

式中：Area(spi)的含義是區(qū)域中存在的超像素數(shù)目，而Lenbnd(spi)則是與邊界相鄰的超像素的數(shù)目。BndCon(spi)的值越大，則表明邊界上的超像素數(shù)目越多，也就是該區(qū)域是背景區(qū)域的可能性越大。若一個候選框計算得到的BndCon(spi)很大，我們則認為這個候選框包含了很多背景區(qū)域，并從A中將其刪除。最終得到的目標(biāo)集合能盡量去除背景區(qū)域的影響，更新后的目標(biāo)集合記作 A–。

2 基于Object Proposals并集的顯著性檢測

2.1 構(gòu)建基于OP并集的背景圖

o(bj)表示候選框bj的目標(biāo)分數(shù)，若超像素spi屬于候選框 bj，δ(·)則取值為 1，否則為 0。

通過計算A–中所有超像素的(pi)值，可以得到最終的OP并集，然后用φ劃分目標(biāo)對象和背景區(qū)域，如下：

第一個“用典”，即“清明時節(jié)雨紛紛”典故，其作用為渲染煩悶憂傷情緒，為全文定下悲清悄愴基調(diào)。后兩個用典讓聽眾腦中泛起清明雨下人愁苦的漣漪，勾畫出孤獨悲愁者的普遍形象。可以說典故的魅力一下子顯現(xiàn)出來。

圖2 本文的顯著性檢測模型Fig. 2 Our proposed saliency model

2.2 紋理顯著性

紋理[21-22]通常反應(yīng)的是圖像的某種局部化性質(zhì)，一般表現(xiàn)為圖像像素點某鄰域內(nèi)灰度級或者顏色的變化。在圖像中彩色像素并不是一個隨機的組合，而是有一定含義的排列，不同排列會形成不同的紋理，這些紋理特征則可用于對圖像中的空間信息進行一定程度的定量描述。

在本文中，使用選擇性紋理[23]獲得紋理顯著性。首先，將紋理表達式通過k-means[24]算法進行聚類，并將聚類中心作為代表紋理[23]，最后每個紋理特征都可以用其最近的代表紋理進行表示。使用的濾波器組是高斯導(dǎo)數(shù)以及其希爾伯特變換沿著y軸旋轉(zhuǎn)得到的，具體為

式中：μ是標(biāo)準(zhǔn)化常數(shù)，σ和l分別是尺度參數(shù)和方向參數(shù)。對于圖像I的第i個像素Ii的紋理顯著性定義如下：

式中ti和tj分別是像素Ii和Ij的紋理特征。圖2中的第3列是選擇性紋理檢測[23]的結(jié)果，可以看出紋理顯著性檢測能夠區(qū)分出不同紋理的對象，但結(jié)果依然會包含背景中的部分紋理內(nèi)容，比如第3行的紋理檢測結(jié)果。

2.3 全局對比度顯著性

空間加權(quán)對比度在文獻[5，18]中已被證明是有效的顯著性檢測方法。在文獻[5]中是將圖片分割成若干區(qū)域，計算區(qū)域及顏色對比度，再用每個區(qū)域與其他區(qū)域?qū)Ρ榷燃訖?quán)和定義此區(qū)域的顯著性。本文中直接在第1節(jié)中獲得的超像素基礎(chǔ)上進行計算。對于任意超像素spi，在CIE LAB色彩空間中計算超像素spi的顏色平均值ci以及平均像素坐標(biāo) di，并將 di歸一化到[0，1]。對于超像素spi，其空間加權(quán)區(qū)域?qū)Ρ榷葹?/p>

式中：σp為空間加權(quán)參數(shù)，σp越小，空間權(quán)值的影響就會越大，這樣就可以使較近的區(qū)域?qū)Ξ?dāng)前區(qū)域的顯著性值產(chǎn)生較大的影響。本文中，σp2取值0.2。圖2中的第2列是全局對比度的檢測結(jié)果，全局對比度圖能進一步凸顯前景區(qū)域，加深紋理檢測圖中的顯著目標(biāo)的顯著程度。

2.4 顯著性融合

將得到的背景圖(2.1節(jié))、紋理顯著圖(2.2節(jié))以及全局對比顯著圖(2.3節(jié))進行融合。首先將紋理顯著圖和全局對比度顯著圖進行融合，旨在結(jié)合二者的優(yōu)勢，相互補充，優(yōu)化顯著圖。

式中norm(·)是對得到的顯著圖進行歸一化。在這里選擇“+”是因為紋理檢測和全局對比度檢測可以相互補充，此外，通過加運算可以使前景區(qū)域分布更均勻[19]。

在得到融合顯著圖Sal后，使用2.1節(jié)中得到的背景圖對顯著圖Sal的背景區(qū)域進行抑制，從而提高顯著圖的準(zhǔn)確率。

3 實驗與比較

本文在MSRA1000公開數(shù)據(jù)集對本文的顯著性模型進行了測試，并與一些經(jīng)典的算法進行比較：SR[25]、HC[5]、FT[26]、LC[27]、GS[28]。實驗過程中，使用的代碼均采用作者公開的代碼。

圖3是將本文的顯著性檢測模型與其他5種算法進行比較的效果圖。從圖中可以看出在MSRA1000數(shù)據(jù)集上本文提出的顯著性檢測模型比SR、HC、FT、LC相比效果有很大提升；與GS相比，本文的顯著性檢測圖前景分布更均勻，且背景區(qū)域得到了明顯抑制。

圖3 顯著圖的視覺效果對比圖Fig. 3 Visual comparison of saliency maps

為了更全面地測試方法的性能，使用PR曲線、F-measure進一步與其他方法進行比較。

對于得到的顯著圖，設(shè)定閾值Tf∈[0，255]來得到二值分割圖，并與ground truth進行比較得到準(zhǔn)確率和召回率。除此之外，我們還記算了F-measure衡量總體的檢測效果，

β2取值為0.3。由圖4～5可知，本文方法與SR、HC、FT、LC相比，準(zhǔn)確率和召回率、F-measure都有很大提升。與GS相比，由圖5可以看出，在召回率相同時，大部分情況下我們的方法準(zhǔn)確率更高，也存在小部分結(jié)果其準(zhǔn)確率微低于GS，但從圖4也能夠看出在平均情況下，無論是準(zhǔn)確度、召回率還是F-measure，本文方法均略高于GS。

圖5 正確率–召回率曲線Fig. 5 Precision-recall curves

4 結(jié)束語

圖4 統(tǒng)計指標(biāo)的對比結(jié)果Fig. 4 Quantitative comparison results

本文提出的基于Object Proposals并集的顯著性檢測模型，首先利用Object Proposals計算背景圖，然后將紋理和全局對比度結(jié)合進行顯著性檢測，最后利用背景圖抑制背景區(qū)域得到最終顯著圖。實驗結(jié)果表明，本文提出的顯著性檢測模型取得了較好的效果。