基于多圖流形排序的圖像顯著性檢測(cè)

于明 李博昭 于洋 劉依

圖像顯著性檢測(cè)是計(jì)算機(jī)視覺領(lǐng)域的關(guān)鍵技術(shù)之一,有著廣泛的應(yīng)用領(lǐng)域,包括目標(biāo)識(shí)別、圖像分類[1]、圖像檢索[2]、基于內(nèi)容感知的圖像壓縮等[3].人類視覺注意機(jī)制可以從自然圖像中提取出感興趣的區(qū)域供給大腦進(jìn)行后續(xù)分析,如何使計(jì)算機(jī)能夠更好地模擬人類的視覺注意機(jī)制,準(zhǔn)確、快速地提取圖像中的感興趣區(qū)域,是圖像顯著性檢測(cè)研究的主要內(nèi)容.

圖像顯著性檢測(cè)方法從驅(qū)動(dòng)方式上可以分為兩大類:自底向上的基于數(shù)據(jù)驅(qū)動(dòng)的方法和自頂向下的基于任務(wù)驅(qū)動(dòng)的方法[4].自底向上的方法主要利用圖像的底層特征,如對(duì)比度、顏色、亮度、紋理和邊緣等,提取圖像中的顯著目標(biāo).自頂向下方法是根據(jù)具體任務(wù)對(duì)自底向上的檢測(cè)結(jié)果進(jìn)行調(diào)整或者根據(jù)任務(wù)樣本自動(dòng)建立顯著性模型,這類方法需要大量的帶有類別標(biāo)記的示例數(shù)據(jù)集進(jìn)行訓(xùn)練,且需人為控制,并依賴于所需的任務(wù).由于自底向上的顯著性檢測(cè)方法多從圖像特征入手,不依賴于特定的任務(wù),因此目前大多數(shù)研究都是基于自底向上的方式進(jìn)行視覺顯著性檢測(cè).

對(duì)比度是引起人類視覺注意的最大因素,Goferman將自底向上的基于對(duì)比度的圖像顯著性檢測(cè)算法分成以下三類[5]:考慮局部特征,考慮整體特征,以及融合整體特征和局部特征的方法.基于局部對(duì)比度的算法通常通過計(jì)算圖像的子區(qū)域或者像素與其周圍一個(gè)小的局部鄰域的對(duì)比度來衡量該圖像子區(qū)域或者像素的顯著性,代表算法有Achanta等[6]于2008年提出的AC(Salient region detection and segmentation)算法和Yan等[7]于2013年提出的HS(Hierarchical saliency)算法.AC算法通過計(jì)算像素塊在不同鄰域上的局部對(duì)比度實(shí)現(xiàn)多尺度顯著性計(jì)算.HS算法對(duì)圖像進(jìn)行多級(jí)分割,在每個(gè)層級(jí)上利用局部對(duì)比度計(jì)算顯著圖,并引入等級(jí)機(jī)制對(duì)每個(gè)層級(jí)上的顯著圖進(jìn)行融合得到最終的顯著圖.基于全局對(duì)比度的算法特點(diǎn)是對(duì)于每個(gè)子區(qū)域或像素,將整個(gè)圖像作為對(duì)比區(qū)域計(jì)算其顯著值,代表算法有Cheng等[8]于2015年提出的HC(Histogram based constrast)算法和RC(Region based contrast)算法.HC算法將一個(gè)像素的顯著性定義為該像素與其他像素的顏色對(duì)比度之和,并使用直方圖進(jìn)行高效處理.針對(duì)HC算法僅考慮了像素的顏色特征,RC算法在此基礎(chǔ)上加入了位置信息.融合局部和全局對(duì)比度的方法在計(jì)算圖像顯著性時(shí)分別考慮局部對(duì)比度和全局對(duì)比度,并將二者通過一定的方式結(jié)合起來.Borji等[9]提出的LGPR(Local and global patch rarities)算法利用LAB空間的三個(gè)通道分別計(jì)算圖像塊之間的歐氏距離和圖像塊直方圖的概率分布,作為局部和全局對(duì)比度,并進(jìn)行融合得到最后的顯著圖.

通常,在空域中計(jì)算像素(或像素塊)的顯著性時(shí)間復(fù)雜度高,而在頻域中計(jì)算顯著性可以提高算法的速度.如Achanta等于2009年提出的FT(Frequency-tuned)算法[10]和2010年提出的MSS(Maximum symmetric surround)算法[11],還有Hou等[12]提出的SR(Spectral residual)算法都是基于頻域的顯著性檢測(cè)方法.

Wang等[13]于2015年提出了BFSS(Background and foreground seed selection)算法,通過對(duì)原始圖像進(jìn)行超像素分割并選擇背景超像素生成背景模板,計(jì)算每個(gè)超像素與背景模板中超像素塊的對(duì)比度之和,生成初始顯著圖;在二值化的初始顯著圖中選擇前景超像素生成前景模板,計(jì)算每個(gè)超像素與前景模板中超像素塊的對(duì)比度之和,生成最終的顯著圖.該算法中生成背景模板的機(jī)制耗時(shí)多,算法的時(shí)間復(fù)雜度較高.除了上述基于對(duì)比度的算法,基于閾值分割的方法也被用于進(jìn)行圖像顯著性檢測(cè).Kim等[14]于2014年提出了HDCT(High-dimensional color transform)算法,首先利用基于Otsu的多級(jí)自適應(yīng)閾值算法,計(jì)算兩個(gè)閾值,對(duì)現(xiàn)有算法生成的初始顯著圖進(jìn)行閾值分割,得到三值圖像,提取三值圖像中非中間值區(qū)域像素的顏色特征,這些像素將被用作顯著區(qū)域和背景區(qū)域的初始顏色樣本,然后將低維顏色空間映射到高維顏色空間并以顏色樣本為約束,根據(jù)顏色樣本的約束估計(jì)顏色通道的最優(yōu)線性組合,最后結(jié)合高維顏色空間中的顏色值獲得顯著性圖.Zhang等[15]于2016年提出的BMA(Boolean map approach)算法將輸入圖像利用多個(gè)閾值進(jìn)行分割得到多幅二值圖像,通過二值圖像間的拓?fù)浞治鲇?jì)算顯著圖.基于閾值分割的顯著性檢測(cè)方法對(duì)閾值的依賴性強(qiáng),閾值選擇不好往往會(huì)使算法失效.

基于圖模型的顯著性檢測(cè)算法利用圖的不同連接方式直觀地刻畫數(shù)據(jù)節(jié)點(diǎn)之間多樣的結(jié)構(gòu)特征,通過構(gòu)造不同的關(guān)聯(lián)矩陣(Affinity matrix)反映圖像區(qū)域之間的相似程度,由于其檢測(cè)準(zhǔn)確率高且算法復(fù)雜度低而引起更多的關(guān)注.在IT模型[16]的基礎(chǔ)上,Harel等[17]于2006年提出GBVS(Graph based visual saliency)算法,利用馬爾科夫隨機(jī)場(chǎng)構(gòu)建二維圖像的馬爾科夫鏈,通過求其穩(wěn)定狀態(tài)得到顯著圖.Wei等[18]于2012年提出了GS(Geodesic saliency)算法,以超像素為節(jié)點(diǎn)構(gòu)造圖模型,并將節(jié)點(diǎn)的顯著性值定義為該節(jié)點(diǎn)與所有背景節(jié)點(diǎn)之間的測(cè)地距離之和,該方法原理簡(jiǎn)單,能夠較完整地檢測(cè)出顯著目標(biāo).Li等[19]于2013年提出了CHM(Contextual hypergraph modeling)算法將超圖模型引入到圖像顯著性檢測(cè)中,通過對(duì)原始圖像進(jìn)行多級(jí)分割,在每一級(jí)上建立超圖模型并結(jié)合邊緣特征計(jì)算顯著圖.Li等[20]于2015年提出RW(Random walk)算法,該算法融合顯式視覺線索和潛在視覺相關(guān)性,同時(shí)考慮圖像區(qū)域本身的信息性及不同圖像區(qū)域之間潛在的相關(guān)性,構(gòu)建有向圖模型,在該圖模型上利用隨機(jī)游走計(jì)算各區(qū)域的顯著性值.Yuan等[21]于2018年提出的RR(Regularized random)算法中引入了正則化的隨機(jī)游走排序模型RRWR(Regularized random walk ranking)和反轉(zhuǎn)修正模型RC(Reversion correction),該算法同時(shí)利用區(qū)域和像素特征,將先驗(yàn)顯著性估計(jì)引入圖像中的每個(gè)像素,從而生成基于像素細(xì)節(jié)特征和超像素區(qū)域特征的顯著圖.

基于圖模型的顯著性檢測(cè)算法普遍需要解決以下問題:如何構(gòu)建圖模型的節(jié)點(diǎn)集、邊集以及邊的權(quán)值選擇;如何利用圖模型計(jì)算節(jié)點(diǎn)的顯著性值.Yang等[22]提出的MR(Manifold ranking)算法利用圖模型刻畫圖像區(qū)域之間內(nèi)在的關(guān)系,并把流形排序的概念引入到顯著性檢測(cè)中,將圖像的顯著性檢測(cè)視為對(duì)超像素節(jié)點(diǎn)的二分類問題.通過基于圖模型的流形排序算法將局部分組融入到節(jié)點(diǎn)的分類問題中,與直接利用圖模型上節(jié)點(diǎn)之間的測(cè)地距離計(jì)算顯著圖的GS算法相比,MR算法得到的顯著目標(biāo)內(nèi)部更加均勻光滑[23].然而MR算法在構(gòu)造圖模型時(shí)僅將位置相鄰的節(jié)點(diǎn)進(jìn)行連接,沒有考慮顏色相似的節(jié)點(diǎn)之間的連接性,這樣檢測(cè)到的顯著目標(biāo)存在不完整的問題,有時(shí)也會(huì)錯(cuò)誤地突出非顯著區(qū)域.

針對(duì)以上顯著性檢測(cè)算法中存在的問題,例如顯著目標(biāo)不完整,目標(biāo)內(nèi)部不能一致均勻突出,本文提出了一個(gè)基于多圖流形排序的顯著性檢測(cè)算法.與僅利用單一圖模型的顯著性檢測(cè)算法不同,本文引入多個(gè)圖模型,分別以超像素為節(jié)點(diǎn)構(gòu)造基于超像素顏色特征的KNN圖模型和基于空間位置特征的K正則圖模型.在KNN圖模型中將顏色相近的節(jié)點(diǎn)進(jìn)行連接,在K正則圖模型中將位置近鄰的節(jié)點(diǎn)進(jìn)行連接.本文算法的主要貢獻(xiàn)是:1)在兩種圖模型中分別利用流形排序算法計(jì)算節(jié)點(diǎn)的顯著性值,并且在利用流形排序算法計(jì)算節(jié)點(diǎn)的顯著性值時(shí)使用全局前景假設(shè),一定程度上解決了顯著目標(biāo)位于邊界時(shí)MR算法失效的問題;2)將兩種圖模型下得到的節(jié)點(diǎn)顯著性值在節(jié)點(diǎn)級(jí)上進(jìn)行加權(quán)融合,得到節(jié)點(diǎn)最終的顯著性值,在一定程度上彌補(bǔ)了單一圖模型下生成的顯著圖中噪聲較多和顯著目標(biāo)不完整的問題.

其余章節(jié)組織如下:在第1節(jié)中介紹提出的基于多圖流形排序的圖像顯著檢測(cè)算法,在第2節(jié)中將本文算法與經(jīng)典的顯著性檢測(cè)算法進(jìn)行對(duì)比實(shí)驗(yàn),第3節(jié)中給出總結(jié)和展望.

1 基于多圖流形排序的圖像顯著性檢測(cè)算法

本文提出的算法是在超像素基礎(chǔ)上進(jìn)行的,超像素是利用像素之間特征的相似性將顏色相近的像素分組,這樣就可以用少量的超像素代替大量的像素表示圖像,從而為后續(xù)的圖像處理降低復(fù)雜度.本文利用SLIC算法[24]對(duì)圖像進(jìn)行超像素分割,對(duì)得到的超像素塊提取顏色特征和空間位置特征,以超像素為節(jié)點(diǎn)分別構(gòu)造基于顏色特征和空間位置特征的兩類圖模型G1和G2.在這兩類圖模型上分別利用流形排序算法計(jì)算所有節(jié)點(diǎn)的顯著性值和,其中f1,i表示超像素節(jié)點(diǎn)i在G1模型下計(jì)算得到的顯著性值,f2,i表示節(jié)點(diǎn)i在G2模型下計(jì)算得到的顯著性值.將兩個(gè)圖模型上得到的節(jié)點(diǎn)的顯著性值進(jìn)行加權(quán)融合,利用融合后節(jié)點(diǎn)的顯著性值生成初始顯著圖,并根據(jù)中心先驗(yàn)和邊界抑制對(duì)初始顯著圖進(jìn)行優(yōu)化得到最終的顯著圖.在此基礎(chǔ)上將兩種圖模型下生成的顯著圖進(jìn)行融合,能夠使得檢測(cè)到的顯著目標(biāo)更加完整均勻,并且能夠在一定程度上抑制單一圖模型下由于節(jié)點(diǎn)連接錯(cuò)誤,在顯著圖中產(chǎn)生的噪聲.本文算法的流程偽碼如算法1所示:

算法1.基于多圖流形排序的圖像顯著性檢測(cè)算法

輸入:圖像In;

1)利用SLIC算法對(duì)圖像In進(jìn)行超像素分割;

2)以超像素為節(jié)點(diǎn)構(gòu)造圖模型G1,計(jì)算圖模型G1的關(guān)聯(lián)矩陣W1和度矩陣D1;

3)計(jì)算圖模型G1下節(jié)點(diǎn)的顯著性值;

4)以超像素為節(jié)點(diǎn)構(gòu)造圖模型G2,計(jì)算圖模型G2的關(guān)聯(lián)矩陣W2和度矩陣D2;

5)計(jì)算圖模型G2下節(jié)點(diǎn)的顯著性值;

7)對(duì)初始顯著圖進(jìn)行優(yōu)化,得到最終的顯著圖S.

輸出:顯著圖S.

1.1 基于圖模型流形排序的顯著性計(jì)算

本文涉及的流形排序問題又稱為半監(jiān)督回歸問題[25],是基于半監(jiān)督學(xué)習(xí)分類領(lǐng)域的一個(gè)分支.流形排序可以簡(jiǎn)單描述為:給定正樣本(或負(fù)樣本),通過排序值的大小,判定某個(gè)樣本與正樣本(或負(fù)樣本)的相似性,依此對(duì)該樣本進(jìn)行分類.基于圖模型的流形排序算法引進(jìn)圖模型刻畫數(shù)據(jù)之間的關(guān)系,使得數(shù)據(jù)的表達(dá)更加直觀.

基于圖模型流形排序的圖像顯著性計(jì)算以超像素為節(jié)點(diǎn)構(gòu)造圖模型,在圖模型的基礎(chǔ)上通過求目標(biāo)函數(shù)的最小值計(jì)算每個(gè)節(jié)點(diǎn)相對(duì)于查詢節(jié)點(diǎn)的排序值,并將這個(gè)排序值定義為節(jié)點(diǎn)的顯著性值.這里定義查詢節(jié)點(diǎn)為已標(biāo)記好的超像素節(jié)點(diǎn),例如將某個(gè)超像素節(jié)點(diǎn)標(biāo)記為前景(或背景)節(jié)點(diǎn).

設(shè)圖像中超像素個(gè)數(shù)為n,構(gòu)造數(shù)據(jù)集,其中m表示超像素節(jié)點(diǎn)特征的維數(shù),n表示超像素節(jié)點(diǎn)個(gè)數(shù),其中一些節(jié)點(diǎn)被標(biāo)記為查詢節(jié)點(diǎn).定義指示向量, 若xi為查詢節(jié)點(diǎn),則yi=1,否則yi=0.定義排序函數(shù)F:,排序函數(shù)F將m×n的數(shù)據(jù)集矩陣X映射到n維向量f,其中fi表示節(jié)點(diǎn)i相對(duì)于查詢節(jié)點(diǎn)的排序值,即節(jié)點(diǎn)的顯著值.在數(shù)據(jù)集X上構(gòu)建一個(gè)圖模型G=(X,E),其中數(shù)據(jù)集X是節(jié)點(diǎn)集,邊集E是連接節(jié)點(diǎn)的邊構(gòu)成的集合,邊的權(quán)值由關(guān)聯(lián)矩陣表示.定義為圖模型G對(duì)應(yīng)的度矩陣(Degree matrix),其中,j=1,···,n.根據(jù)流形排序的思想,排序值f的最優(yōu)解通過以下的最優(yōu)化問題得到[22]:

其中參數(shù)μ用來平衡平滑項(xiàng)(第一項(xiàng))和擬合項(xiàng)(第二項(xiàng)).根據(jù)式(1)求得f的最優(yōu)解為:

其中I為單位矩陣,參數(shù)α=1/(1+μ),S是歸一化的拉普拉斯矩陣S=D?1/2WD?1/2.利用非歸一化的拉普拉斯矩陣,得到f?的另一種形式:

文獻(xiàn)[22]中通過實(shí)驗(yàn)驗(yàn)證,式(3)比式(2)得到的顯著圖更準(zhǔn)確.本文利用式(3)計(jì)算每個(gè)節(jié)點(diǎn)的排序值即顯著性值fi.令A(yù)=(D?αW)?1,則,當(dāng)計(jì)算f?時(shí),需要將A的對(duì)角線元素置為0,否則得到的f?中將包含節(jié)點(diǎn)到自身的排序值,這是一個(gè)無意義的值并且會(huì)影響最終的排序結(jié)果.

基于圖模型流形排序的顯著性檢測(cè)算法中,查詢節(jié)點(diǎn)的選擇是一個(gè)關(guān)鍵的問題.MR算法利用背景先驗(yàn),假設(shè)圖像邊界為背景區(qū)域,將圖像邊界節(jié)點(diǎn)設(shè)置為查詢節(jié)點(diǎn),利用式(3)計(jì)算每個(gè)節(jié)點(diǎn)i相對(duì)于背景節(jié)點(diǎn)的排序值,則節(jié)點(diǎn)的顯著性值為.目前基于背景先驗(yàn)的顯著性檢測(cè)算法大多利用邊界假設(shè),即假設(shè)圖像邊界為背景區(qū)域,生成背景模板,并根據(jù)背景模板計(jì)算圖像的顯著圖,這些算法大都會(huì)遇到背景鑒別這個(gè)具有挑戰(zhàn)性的問題.其中一些算法通過不同的方法優(yōu)化背景模板,RBD(Robust background detection)算法[26]通過定義節(jié)點(diǎn)的邊界連接性判定邊界節(jié)點(diǎn)屬于背景的可能性大小,邊界連接性越大的節(jié)點(diǎn),其屬于背景的可能性越大.BFSS算法[13]則是通過定義節(jié)點(diǎn)的邊界概率選擇背景節(jié)點(diǎn),節(jié)點(diǎn)的邊界概率越大,越有可能屬于背景.UILSG(Updating initial labels from spectral graph)算法[27]通過一個(gè)邊界節(jié)點(diǎn)分類機(jī)制篩選真正的背景節(jié)點(diǎn).這些算法在一定程度上解決了背景鑒別的問題,但是仍然是基于邊界假設(shè)的思想,當(dāng)顯著目標(biāo)位于圖像邊界時(shí),算法會(huì)失效.為了解決這個(gè)問題,本文采用全局前景假設(shè)的思想,將所有的節(jié)點(diǎn)作為查詢節(jié)點(diǎn),即在利用式(3)計(jì)算節(jié)點(diǎn)的顯著性值時(shí),假設(shè)所有的節(jié)點(diǎn)為前景節(jié)點(diǎn),設(shè)置節(jié)點(diǎn)指示向量,將y代入式(3)計(jì)算節(jié)點(diǎn)的顯著性值.將所有的節(jié)點(diǎn)設(shè)置為查詢節(jié)點(diǎn),避免了背景鑒別的問題,檢測(cè)到的顯著目標(biāo)更加完整.圖1顯示了MR算法和本文算法分別利用邊界假設(shè)和全局前景假設(shè)生成的顯著圖,其中圖1(a)為原圖,圖1(b)是人工標(biāo)注圖Ground-truth,簡(jiǎn)稱GT,圖1(c)為MR算法中利用邊界假設(shè)生成的顯著圖,圖1(d)為MR算法中利用全局前景假設(shè)生成的顯著圖,圖1(e)為本文算法中利用邊界假設(shè)生成的顯著圖,圖1(f)為本文算法中利用全局前景假設(shè)生成的顯著圖.從圖中可以看出利用全局前景假設(shè)得到的顯著目標(biāo)更加完整.

1.2 多圖模型構(gòu)造

圖1 全局前景假設(shè)和邊界先驗(yàn)的比較Fig.1 Comparison of global foreground prior and background prior

在基于圖模型的顯著性檢測(cè)算法中,圖模型的構(gòu)造對(duì)顯著圖的計(jì)算至關(guān)重要.現(xiàn)有的基于圖模型的顯著性檢測(cè)算法大多利用單一的圖模型描述圖像中不同區(qū)域之間的關(guān)系,例如GS和MR算法都是以超像素為節(jié)點(diǎn),將空間相鄰的節(jié)點(diǎn)進(jìn)行連接構(gòu)造圖模型.然而在自然圖像中,不同區(qū)域之間往往具有復(fù)雜的關(guān)系,僅使用單一的圖模型并不能夠準(zhǔn)確地描述圖像區(qū)域之間的關(guān)系.Li等[28]提出的MGL(Multi-graph learning)算法利用優(yōu)化的多圖模型學(xué)習(xí)進(jìn)行顯著目標(biāo)檢測(cè),該算法融合多個(gè)圖模型刻畫數(shù)據(jù)節(jié)點(diǎn)之間的關(guān)系,但是這些圖模型中節(jié)點(diǎn)之間的連接關(guān)系并沒有變化,只是邊的權(quán)值不同,僅改變圖模型中邊的權(quán)值并不能反映數(shù)據(jù)本身的特性,在不同的特征下,節(jié)點(diǎn)之間的連接性也是不同的.Zhang等[29]提出的GBOF(Graph-based optimization framework)算法通過構(gòu)造兩個(gè)圖模型并計(jì)算不同圖模型下的權(quán)值矩陣,從不同的角度刻畫節(jié)點(diǎn)之間的連接性.GBOF的圖模型分別是利用閾值法查找鄰接點(diǎn)的顏色特征圖模型和基于K正則圖模型的位置特征圖模型,顏色特征圖模型利用設(shè)定的閾值尋找每個(gè)節(jié)點(diǎn)的鄰接節(jié)點(diǎn),當(dāng)閾值設(shè)置不合適時(shí),會(huì)產(chǎn)生孤立節(jié)點(diǎn),影響顯著目標(biāo)的檢測(cè)結(jié)果.位置圖模型與MR算法一致,兩類圖模型融合時(shí)利用圖模型的權(quán)值矩陣,通過最小化能量函數(shù)得到節(jié)點(diǎn)相對(duì)于查詢節(jié)點(diǎn)的排序值,進(jìn)而生成顯著圖.

在基于圖模型的顯著性檢測(cè)算法中,圖模型需要能夠體現(xiàn)數(shù)據(jù)節(jié)點(diǎn)之間的連接性.常用的構(gòu)圖方法有K 正則圖、KNN圖、全連接圖和ε-圖.K 正則圖構(gòu)造方式簡(jiǎn)單,且具有對(duì)稱性,可以用于描述超像素節(jié)點(diǎn)的空間位置特性.KNN圖與ε-圖都可以用于刻畫節(jié)點(diǎn)之間基于顏色特征的連接性,KNN圖模型是根據(jù)節(jié)點(diǎn)之間的顏色差異尋找每個(gè)節(jié)點(diǎn)的K個(gè)鄰接節(jié)點(diǎn),ε-圖是根據(jù)閾值尋找每個(gè)節(jié)點(diǎn)的近鄰節(jié)點(diǎn),但是如果閾值設(shè)置不準(zhǔn)確,ε-圖構(gòu)造的圖模型中會(huì)產(chǎn)生孤立點(diǎn),影響算法的性能,所以本文使用KNN圖模型刻畫節(jié)點(diǎn)之間基于顏色特性的連接性.全連接圖指的是將圖模型中所有的節(jié)點(diǎn)兩兩相連,不能準(zhǔn)確地體現(xiàn)不同節(jié)點(diǎn)之間的連接關(guān)系.

1.2.1 KNN圖模型

顏色是自然圖像中的重要信息,顏色相似的區(qū)域很可能屬于同一個(gè)物體,本文基于顏色特征構(gòu)造KNN圖模型作為圖模型G1=(V1,E1).在KNN圖中每個(gè)節(jié)點(diǎn)只與它在某個(gè)距離測(cè)度下的K個(gè)近鄰節(jié)點(diǎn)相連.KNN圖模型能夠自適應(yīng)地反映節(jié)點(diǎn)在特征空間中的分布特性,在高密度區(qū)域,KNN圖的半徑變小;在低密度區(qū)域,KNN圖的半徑變大[30],這種能夠自動(dòng)適應(yīng)節(jié)點(diǎn)分布特性的優(yōu)點(diǎn),使得KNN圖能夠很好地?cái)M合節(jié)點(diǎn)在顏色特征下的分布特性,因而可以刻畫節(jié)點(diǎn)在顏色特征下的連接性.

本文提取CIELAB顏色空間中超像素塊所包含的像素點(diǎn)的顏色特征均值作為節(jié)點(diǎn)的顏色特征c=(l,a,b)T,提取超像素塊所包含的像素點(diǎn)的空間位置特征均值作為節(jié)點(diǎn)的空間位置特征z=(x,y)T.定義dist(ci,cj)為超像素i和j之間的顏色距離,其中ci和cj表示超像素i和j的顏色特征;定義dist(zi,zj)為超像素i和j之間的空間位置距離,其中zi和zj表示超像素i和j的空間位置特征.KNN圖模型中,如果僅使用顏色距離尋找每個(gè)節(jié)點(diǎn)的近鄰節(jié)點(diǎn),而不考慮相鄰節(jié)點(diǎn)之間的連接性,這樣構(gòu)造出的G1圖模型生成的顯著圖中顯著目標(biāo)內(nèi)部不均勻;如果僅使用空間位置距離尋找每個(gè)節(jié)點(diǎn)的近鄰節(jié)點(diǎn),構(gòu)造出的G1圖模型生成的顯著圖中背景與顯著目標(biāo)邊界不明確,并且會(huì)錯(cuò)誤地突出背景區(qū)域,所以本文在尋找近鄰節(jié)點(diǎn)時(shí)利用式(4)的距離度量方式:

計(jì)算超像素i與其他超像素之間的距離dist(i,j),j=1,2,···,n,,根據(jù)dist值尋找超像素i的K個(gè)近鄰超像素.利用式(4)搜索得到近鄰節(jié)點(diǎn),既考慮了節(jié)點(diǎn)之間顏色特征的相似性又考慮了節(jié)點(diǎn)之間空間位置的連接性,不僅能夠限制顏色相近但位置相距較遠(yuǎn)的節(jié)點(diǎn)之間的連接性,又能夠提高顏色差異較大但是位置相距較近的節(jié)點(diǎn)之間的連接性.

這里考慮節(jié)點(diǎn)位于圖像的內(nèi)部和位于圖像邊界區(qū)域兩種情況,當(dāng)節(jié)點(diǎn)位于圖像內(nèi)部時(shí),在節(jié)點(diǎn)i與它的K個(gè)近鄰節(jié)點(diǎn)j之間構(gòu)造一條有向邊eij∈E1,Inner,E1,Inner為有向邊集合,有向邊的權(quán)值定義為:

其中σ是一個(gè)常數(shù),用來控制權(quán)值的強(qiáng)度.

由于圖像的邊界區(qū)域大多屬于背景區(qū)域,在KNN圖模型的基礎(chǔ)上,本文將邊界節(jié)點(diǎn)兩兩連接.邊界節(jié)點(diǎn)指的是當(dāng)超像素中包含圖像邊界像素時(shí),則該超像素節(jié)點(diǎn)被定義為邊界節(jié)點(diǎn).將圖像的任意兩個(gè)邊界節(jié)點(diǎn)i和j之間構(gòu)造兩條有向邊,分別為從節(jié)點(diǎn)i指向節(jié)點(diǎn)j的有向邊eij和從節(jié)點(diǎn)j指向節(jié)點(diǎn)i的有向邊eji,其中eij,eji∈E1,Boundary,E1,Boundary為有向邊集合,集合E1,Boundary中的有向邊上的權(quán)值定義為:

圖2 不同圖模型生成的顯著圖比較Fig.2 Comparison of saliency maps obtained by different graphs

綜上所述,G1圖模型中邊的權(quán)值為:

1.2.2 K正則圖模型

在自然圖像中位置相近的圖像區(qū)域?qū)儆谕活悈^(qū)域(前景或背景區(qū)域)的概率很大.與文獻(xiàn)[22]中構(gòu)造圖模型的方法相同,這里將空間位置相近的節(jié)點(diǎn)進(jìn)行連接,利用K正則圖(K regular graph)構(gòu)造G2=(V2,E2)圖模型.在G2圖模型中每個(gè)節(jié)點(diǎn)不僅與它的相鄰節(jié)點(diǎn)連接,并且和與它相鄰節(jié)點(diǎn)有共同邊界的節(jié)點(diǎn)進(jìn)行連接.根據(jù)中心偏置原理,顯著目標(biāo)大多位于圖像中心,圖像的邊界區(qū)域很可能屬于同一區(qū)域(背景區(qū)域),故與G1圖模型的構(gòu)造方式類似,在G2中本文也將圖像的邊界節(jié)點(diǎn)兩兩連接,加強(qiáng)邊界節(jié)點(diǎn)之間的連接性.G2圖模型中邊的權(quán)值為:

1.3 顯著性融合

圖模型G1將顏色相近的節(jié)點(diǎn)連接起來,得到的顯著圖能夠比較完整地突出顯著目標(biāo),但是存在顯著目標(biāo)內(nèi)部不均勻或者顯著目標(biāo)不能一致高亮的問題;G2模型中將位置相近的節(jié)點(diǎn)連接起來,得到的顯著圖能夠使顯著目標(biāo)的內(nèi)部一致高亮,但是顯著圖中存在突出背景區(qū)域,顯著目標(biāo)與背景區(qū)域邊界不清晰的問題.如圖2所示,圖2(a)為原圖,圖2(b)為GT,圖2(c)為超像素分割圖像,圖2(d)為僅利用G1圖模型生成的顯著圖,圖2(e)為僅使用G2圖模型生成的顯著圖,圖2(f)為G1和G2融合生成的顯著圖.從圖2(d)中可以看出檢測(cè)到的顯著目標(biāo)雖然比較完整且邊界清晰,但其內(nèi)部沒有均勻一致高亮;圖2(e)中盡管顯著目標(biāo)內(nèi)部均勻一致高亮但是背景噪聲明顯.故本文提出了一種融合方式,將這兩種圖模型得到的節(jié)點(diǎn)的顯著性值在節(jié)點(diǎn)級(jí)上進(jìn)行融合,即在兩種圖模型中,分別利用第1.1節(jié)中的式(3)計(jì)算節(jié)點(diǎn)的顯著性值,記為,將和進(jìn)行加權(quán)融合,得到超像素最終的顯著性值:

其中f=(f1,f2,···,fn)T,fi表示超像素i的顯著性值,i=1,2,···,n.從圖2(f)中可以看出檢測(cè)到的顯著目標(biāo)內(nèi)部不僅一致均勻突出,并且濾除了部分背景噪聲.

1.4 顯著圖優(yōu)化

利用第1.3節(jié)中式(11)計(jì)算超像素的顯著性值f=(f1,f2,···,fn)T,其中fi表示第i個(gè)超像素的顯著性值,i=1,2,···,n,將顯著性值賦給超像素i所包含的所有像素作為每個(gè)像素的顯著性值,這樣得到一個(gè)全分辨率的與原圖像大小相等的初始顯著圖Sco.

由于顯著目標(biāo)大多處于圖像的中央,并且位于圖像中央的區(qū)域更能引起人們的關(guān)注,故本文引進(jìn)中心先驗(yàn)圖加強(qiáng)初始顯著圖Sco中顯著目標(biāo)的亮度.由于初始顯著圖Sco的邊界中存在一些噪聲,為了進(jìn)一步濾除背景噪聲,本文引入邊界抑制操作對(duì)初始顯著圖Sco進(jìn)行優(yōu)化.首先,根據(jù)中心先驗(yàn)思想對(duì)圖像中心進(jìn)行加強(qiáng),利用關(guān)于圖像中心的各向同性的對(duì)稱高斯模型模擬圖像的中心先驗(yàn)圖[31]:

其中xi和yi是像素的水平和垂直坐標(biāo),x0和y0是圖像中心像素的水平和垂直坐標(biāo),σx和σy分別代表水平方向和垂直方向上的方差,σx和σy取值相同.將中心先驗(yàn)圖Sce與初始顯著圖Sco進(jìn)行融合得到優(yōu)化后的顯著圖:

式(13)中“·”表示點(diǎn)乘,即將Sco與Sce兩幅顯著圖中對(duì)應(yīng)像素點(diǎn)的顯著值逐個(gè)相乘,得到顯著圖S中對(duì)應(yīng)像素的顯著值.

其次,在顯著圖S的基礎(chǔ)上,通過MATLAB中的imclearborder函數(shù)的邊界抑制操作抑制S中與邊界相連的高亮區(qū)域的亮度,即將與邊界相連的且面積較小的高亮區(qū)域的亮度降低,以進(jìn)一步去除背景噪聲,得到優(yōu)化的顯著圖.

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)庫(kù)及評(píng)價(jià)指標(biāo)

為了驗(yàn)證本文方法的有效性,將本文提出的方法在MSRA-10K[32]、SED2[33]和 ECSSD[34]這三個(gè)公開的數(shù)據(jù)集上進(jìn)行測(cè)試.MSRA-10K數(shù)據(jù)庫(kù)是目前該領(lǐng)域最常用的一個(gè)數(shù)據(jù)庫(kù),該庫(kù)中共包含10000張圖像.數(shù)據(jù)庫(kù)中的圖像顯著目標(biāo)的種類繁多,但是大多數(shù)只包含一個(gè)顯著目標(biāo),并且圖像的背景相對(duì)簡(jiǎn)單.SED2數(shù)據(jù)庫(kù)包含100張圖像,每張圖像中包含兩個(gè)顯著目標(biāo).ECSSD數(shù)據(jù)庫(kù)包含1000幅內(nèi)容豐富且背景復(fù)雜的圖像.這三個(gè)數(shù)據(jù)庫(kù)都提供了人工標(biāo)記的二值圖像作為GT,以便于評(píng)價(jià)顯著圖的性能.

對(duì)于本文方法所涉及的參數(shù),由于數(shù)據(jù)庫(kù)中的圖像多為400×300左右,為了保證算法時(shí)間效率的同時(shí)又不影響檢測(cè)結(jié)果,本文將初始超像素個(gè)數(shù)設(shè)置為200.在構(gòu)造KNN圖模型時(shí),如果每個(gè)節(jié)點(diǎn)的鄰接節(jié)點(diǎn)的個(gè)數(shù)K的取值太小會(huì)影響目標(biāo)內(nèi)部的完整性,K取值太大會(huì)檢測(cè)到較多的噪聲,實(shí)驗(yàn)中選取了多種K值進(jìn)行對(duì)比實(shí)驗(yàn),結(jié)果顯示當(dāng)K=5時(shí),實(shí)驗(yàn)結(jié)果最好.在式(4)中,λz和λc分別用來控制位置特征與顏色特征在距離公式中所占的權(quán)重,當(dāng)λz過大時(shí),檢測(cè)到的顯著目標(biāo)邊界不明確,當(dāng)λz過小時(shí),顯著目標(biāo)內(nèi)部不完整,實(shí)驗(yàn)中設(shè)置多組λz與λc的值,當(dāng)λz=0.5,λc=1實(shí)驗(yàn)結(jié)果最好,故本文中設(shè)置λz=0.5,λc=1.式(6)、(7)和(10)中的σ2均設(shè)置為經(jīng)驗(yàn)值0.05.式(11)中的μ1和μ2分別用來控制不同圖模型下超像素塊的顯著性值融合時(shí)的權(quán)重,實(shí)驗(yàn)中選取了多組μ1和μ2的值,當(dāng)μ1=μ2=0.5時(shí)實(shí)驗(yàn)結(jié)果最好.式(12)中,實(shí)驗(yàn)中選擇多組參數(shù)值進(jìn)行對(duì)比實(shí)驗(yàn),當(dāng)實(shí)驗(yàn)結(jié)果最好.

圖像顯著性檢測(cè)方法很多,本文選取14種常用的顯著性檢測(cè)算法進(jìn)行對(duì)比,這14種算法分別是基于全局對(duì)比度的HC和RC算法,基于局部對(duì)比度的AC算法,基于分層顯著性融合的HS算法,基于頻域的SR算法、FT算法和MSS算法,基于背景先驗(yàn)的GS算法,MR算法和BFSS算法,基于隨機(jī)游走的RW算法,基于高維顏色轉(zhuǎn)化的HDCT算法,基于二值圖拓?fù)浞治龅腂MA算法和基于正則隨機(jī)游走排序的RR算法.所用對(duì)比算法源碼鏈接1https://github.com/libozhao/saliency-detection-methods/blob/master/README.md和本文算法源碼2https://github.com/libozhao/saliency可見相關(guān)網(wǎng)頁(yè).MR和GS算法都是基于圖模型的顯著性檢測(cè)算法,MR是利用基于圖模型的流形排序算法進(jìn)行顯著性檢測(cè),GS是基于圖模型上的測(cè)地距離計(jì)算顯著性.本文引入四種常用的評(píng)價(jià)指標(biāo)評(píng)測(cè)提出的算法,這四種指標(biāo)分別是P-R(Precision-recall)曲線、ROC曲線、F-measure和AUC值[34].

1)P-R曲線

P-R曲線是最常用的評(píng)價(jià)顯著性檢測(cè)算法優(yōu)劣的指標(biāo).對(duì)于一幅顯著圖S,將S中像素值歸一化到[0,1],然后從0到1依次選取閾值對(duì)S進(jìn)行二值化,得到二值圖像M,GT表示Ground-truth.根據(jù)式(14)計(jì)算查準(zhǔn)率(Precision)和查全率(Recall):

2)ROC曲線

ROC曲線的繪制方式與P-R曲線類似,對(duì)于顯著圖S,將S調(diào)整到[0,1],然后從0到1依次選取閾值對(duì)S進(jìn)行二值化,得到二值圖像M,GT表示Ground-truth,表示GT取反.根據(jù)式(15)計(jì)算真陽(yáng)性率(TPR)和假陽(yáng)性率(FPR):

相同真陽(yáng)性率下,假陽(yáng)性率越小,顯著性檢測(cè)算法越好.

3)F-measure

F-measure用來綜合衡量查全率和查準(zhǔn)率:

式(16)中,β用來決定查全率和查準(zhǔn)率的影響程度,為了強(qiáng)調(diào)準(zhǔn)確率的重要性,通常β2設(shè)置為0.3.F值越大表明顯著性檢測(cè)算法的性能越好.

4)AUC值

AUC值被定義為ROC曲線下面積,即ROC曲線與X軸包圍的面積.ROC曲線有較小的假陽(yáng)性率和較大的真陽(yáng)性率是最優(yōu)的,所以AUC值越大則表示顯著性算法性能越好.

本文首先使用一系列的固定閾值對(duì)數(shù)據(jù)庫(kù)中所有圖像在某個(gè)算法下的顯著圖進(jìn)行二值化,利用得到的二值圖像與GT進(jìn)行比較,計(jì)算每幅顯著圖在不同閾值下的Precision和Recall,然后在每個(gè)閾值下分別計(jì)算所有圖像的Precision和Recall的平均值,作為該閾值下的Precision和Recall繪制P-R曲線.ROC曲線的繪制方式與P-R曲線類似,也是利用一系列的固定閾值.與Precision和Recall的計(jì)算方式不同,F值的計(jì)算方式是利用自適應(yīng)閾值對(duì)每幅顯著圖進(jìn)行二值化,然后與GT進(jìn)行比較,計(jì)算每幅圖像的F,然后計(jì)算所有圖像F的平均值,作為該方法在該數(shù)據(jù)庫(kù)上的F.

2.2 多圖模型有效性實(shí)驗(yàn)比較

為了驗(yàn)證多圖模型的有效性,本文分別在數(shù)據(jù)庫(kù)MSRA-10K、SED2和ECSSD上進(jìn)行了三組實(shí)驗(yàn).這三組實(shí)驗(yàn)分別是僅利用K正則圖模型生成顯著圖,僅利用KNN圖模型生成顯著圖,以及融合兩種模型計(jì)算得到的顯著圖,并計(jì)算這三組實(shí)驗(yàn)的P、R和F值.表1是在數(shù)據(jù)庫(kù)MSRA-10K、SED2和ECSSD上的對(duì)比實(shí)驗(yàn)結(jié)果.表1中K正則表示僅利用K正則圖模型生成顯著圖,KNN表示僅利用KNN圖模型生成顯著圖,K正則+KNN表示將K正則圖模型下生成的顯著圖與KNN模型下生成的顯著圖進(jìn)行融合.

從表1的第2～4列和第8～10列可以看出在MSRA-10K和ECSSD數(shù)據(jù)庫(kù)上,與僅利用K正則圖和KNN圖模型的實(shí)驗(yàn)結(jié)果相比,將K正則圖和KNN圖模型進(jìn)行融合的實(shí)驗(yàn)結(jié)果優(yōu)于僅利用單一圖模型的實(shí)驗(yàn)結(jié)果.在SED2數(shù)據(jù)庫(kù)中,由于存在前景與背景顏色非常相似的圖片,在構(gòu)造KNN圖模型時(shí),會(huì)錯(cuò)誤地將背景節(jié)點(diǎn)與前景節(jié)點(diǎn)連接起來,故KNN圖模型下生成的顯著圖準(zhǔn)確率低于K正則圖模型下生成的顯著圖.但是將K正則圖模型與KNN圖模型下生成的顯著圖進(jìn)行融合,結(jié)果優(yōu)于僅利用KNN圖模型生成的顯著圖,如表1第5～7列所示.故將兩個(gè)圖模型下生成的顯著圖進(jìn)行融合能夠改善實(shí)驗(yàn)結(jié)果.

2.3 全局前景假設(shè)有效性實(shí)驗(yàn)比較

為了驗(yàn)證本文中全局前景假設(shè)的有效性,本文在數(shù)據(jù)庫(kù)MSRA-10K、SED2和ECSSD上分別進(jìn)行對(duì)比實(shí)驗(yàn),在這三個(gè)數(shù)據(jù)庫(kù)上分別利用邊界假設(shè)生成顯著圖,利用全局前景假設(shè)生成顯著圖,并計(jì)算這兩類顯著圖的P、R和F值記錄在表2中.表2中“邊界”表示利用邊界假設(shè)生成的顯著圖.“全局”表示利用全局前景假設(shè)生成的顯著圖.

從表2可以看出,利用全局前景假設(shè)生成的顯著圖在三個(gè)數(shù)據(jù)庫(kù)上的R值平均提升31.0%,F值平均提升8.6%,優(yōu)于利用邊界假設(shè)生成的顯著圖.

2.4 優(yōu)化策略有效性實(shí)驗(yàn)比較

為了驗(yàn)證本文所用優(yōu)化策略的有效性,分別在數(shù)據(jù)庫(kù)MSRA-10K、SED2和ECSSD上計(jì)算初始顯著圖與優(yōu)化顯著圖,并計(jì)算相應(yīng)的P、R和F值將結(jié)果記錄在表3中.表3中的“初始圖”表示初始顯著圖,“優(yōu)化圖”表示優(yōu)化后的顯著圖.

從表3第2～4列和第8～10列可以看出,在MSRA-10K和ECSSD數(shù)據(jù)庫(kù)上,與初始顯著圖相比,優(yōu)化后的顯著圖在P值和F值上均有提升.數(shù)據(jù)庫(kù)SED2中,圖片數(shù)量小并且存在大量顯著目標(biāo)靠近邊界的圖片,在該數(shù)據(jù)庫(kù)上優(yōu)化后的顯著圖比初始顯著圖在F值上有所下降.但是在MSRA-10K和ECSSD上,加入中心先驗(yàn)和邊界抑制進(jìn)行優(yōu)化后,實(shí)驗(yàn)結(jié)果中F值和P值均有所提升.由于大多數(shù)圖像的顯著目標(biāo)處于圖像的中央,并且位于圖像中央的區(qū)域更能引起人們的關(guān)注,故本文引入優(yōu)化策略對(duì)初始顯著圖進(jìn)行優(yōu)化.

表1 K正則圖模型、KNN圖模型和K正則圖模型+KNN圖模型比較Table 1 The comparison of K regular graph,KNN graph,and K regular graph+KNN graph

表2 邊界假設(shè)和全局前景假設(shè)比較Table 2 The comparison of boundary assumption and global foreground assumption

表3 初始顯著圖和優(yōu)化后顯著圖的比較Table 3 The comparison of original saliency maps and re fined saliency maps

2.5 MSRA-10K數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果

圖3 MSRA-10K數(shù)據(jù)庫(kù)上實(shí)驗(yàn)結(jié)果Fig.3 Experimental results on the MSRA-10K database

本文算法與其他的14種算法在MSRA-10K數(shù)據(jù)庫(kù)上的部分實(shí)驗(yàn)結(jié)果的對(duì)比圖見圖3.從圖3中可以看出,基于對(duì)比度的HC和AC算法,在背景與前景顏色相似時(shí),會(huì)錯(cuò)誤地突出背景區(qū)域.FT和MSS算法,雖然保留了比較完整的圖像信息,但是沒有一致高亮顯著目標(biāo).SR算法沒有保留足夠的高頻信息,導(dǎo)致顯著目標(biāo)的邊界不清晰.當(dāng)顯著目標(biāo)之間存在較大的差異時(shí),MR算法會(huì)出現(xiàn)漏檢的現(xiàn)象,如圖3中MR算法的(a)、(b)所示;當(dāng)顯著目標(biāo)與邊界相連或者與邊界顏色相似時(shí),該算法會(huì)錯(cuò)誤地突出背景區(qū)域,如圖3中MR算法的(c)、(d)圖像所示.RC和HS的檢測(cè)結(jié)果相似,基本能夠準(zhǔn)確地定位顯著目標(biāo),但是從圖3中的(d)、(e)可以看出RC和HS算法都存在錯(cuò)誤突出背景區(qū)域的問題.當(dāng)顯著目標(biāo)與背景顏色相似時(shí),HDCT算法生成的顯著圖中不能正確地檢測(cè)出顯著目標(biāo),如圖3中HDCT算法的(c)、(e)所示.BFSS算法也是基于邊界假設(shè)的一種算法,當(dāng)顯著目標(biāo)與邊界顏色相似時(shí)會(huì)錯(cuò)誤地突出背景區(qū)域,例如BFSS算法中的(d)、(e)所示.RW 和BMA算法生成的顯著圖中顯著目標(biāo)的邊界不清晰.RR算法生成的顯著圖中存在較多的背景噪聲,如圖3中的RR算法(d)和(e)所示,當(dāng)顯著目標(biāo)之間存在較大顏色差異時(shí),RR算法存在漏檢的現(xiàn)象,如圖3中RR算法(a)和(b)所示.本文算法不僅能夠準(zhǔn)確地定位顯著目標(biāo),并且顯著目標(biāo)內(nèi)部更加光滑,邊界更加清晰,并且有效減少背景噪聲.

為了更加客觀地進(jìn)行比較,本文中利用P-R曲線、ROC曲線和F值進(jìn)行定量對(duì)比.圖4是MSRA-10K數(shù)據(jù)庫(kù)上各種算法的P-R曲線、ROC曲線和F值,其中圖4(a)和圖4(b)為P-R曲線,圖4(c)和圖4(d)為ROC曲線,圖4(e)和圖4(f)為F值.圖4中第一列表示本文算法與FT、GS、AC、MSS、HS、MR、RC、HC 和 SR算法的對(duì)比,圖4中第二列表示本文所提算法與BFSS、RW、HDCT、BMA和RR算法的對(duì)比.在后文中圖6和圖8中的排列方式同圖4.從圖4(a)和(b)中可以看出本文算法的P-R曲線與MR、RC、HS和RR算法基本持平且優(yōu)于其他算法.圖4(c)和(d)中顯示本文算法的ROC曲線優(yōu)于其他算法.圖4(e)中顯示本文算法的查全率(Recall)高于MR算法低于GS算法,查準(zhǔn)率(Precision)略低于MR算法但高于GS算法.說明本文算法在保持較高查準(zhǔn)率的同時(shí),能夠比較完整地檢測(cè)到圖像的顯著目標(biāo).

圖4 MSRA-10K數(shù)據(jù)庫(kù)上的P-R曲線、ROC曲線和F值Fig.4 P-R curves,ROC curves,and F values on the MSRA-10K database

圖5 SED2數(shù)據(jù)庫(kù)上實(shí)驗(yàn)結(jié)果Fig.5 Experimental results on the SED2 database

2.6 SED2數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果

SED2數(shù)據(jù)庫(kù)中的圖像大多含有兩個(gè)顯著目標(biāo),并且有的顯著目標(biāo)靠近圖像邊界,相比MSRA-10K數(shù)據(jù)庫(kù)中只包含單個(gè)顯著目標(biāo),SED2更具挑戰(zhàn)性,但是該數(shù)據(jù)庫(kù)中的圖片背景比較簡(jiǎn)單.圖5是SED2數(shù)據(jù)庫(kù)上的部分實(shí)驗(yàn)結(jié)果對(duì)比圖.從圖5中可以看出,HC和RC算法生成的顯著圖背景噪聲較多,顯著目標(biāo)的邊界不明確.AC、SR、FT和MSS算法沒有突出顯著目標(biāo).基于背景先驗(yàn)的MR算法,當(dāng)顯著目標(biāo)靠近邊界時(shí),會(huì)將顯著目標(biāo)錯(cuò)誤的檢測(cè)為背景,并且存在漏檢的現(xiàn)象.GS算法也存在與MR相似的問題,并且生成的顯著圖中背景噪聲較多.HDCT算法基本能夠準(zhǔn)確地定位顯著目標(biāo),但是當(dāng)顯著目標(biāo)比較大時(shí),算法會(huì)失效,如圖5中HDCT算法的(d)所示.當(dāng)顯著目標(biāo)與邊界相連或者靠近邊界時(shí),BFSS算法會(huì)錯(cuò)誤地突出背景區(qū)域.BMA算法生成的顯著圖沒有突出顯著目標(biāo),如圖5中BMA算法所示.RR算法檢測(cè)到的顯著目標(biāo)不完整,如圖5中的RR算法(c)和(d)所示.本文算法得到的顯著目標(biāo)不僅一致均勻,并且顯著圖中背景噪聲相對(duì)較少.

圖6是SED2數(shù)據(jù)庫(kù)上的P-R、ROC曲線和F值.圖6(a)中顯示,在該數(shù)據(jù)庫(kù)上,除了SR的P-R曲線比較低以外,其他9種算法的P-R曲線比較接近,HS的P-R曲線最高,本文算法略低于HS.圖6(b)中顯示,本文算法的P-R曲線與BFSS、RW、HDCT算法基本持平.圖6(c)顯示,除了SR的ROC曲線比較低以外,其他的曲線比較接近.圖6(d)顯示本文算法的ROC曲線于其他5個(gè)算法基本持平.圖6(e)顯示本文算法的查準(zhǔn)略低于最高的MSS算法;圖6(f)顯示本文算法的查準(zhǔn)率略低于HDCT算法.由于該數(shù)據(jù)庫(kù)中存在顯著目標(biāo)非常小的圖片,本文算法計(jì)算該種圖片的顯著圖時(shí),在利用SLIC算法對(duì)原始圖像進(jìn)行超像素分割時(shí)可能會(huì)將顯著目標(biāo)與背景區(qū)域分割到同一超像素塊中,故本文算法在該數(shù)據(jù)庫(kù)中的查全率低于基于像素點(diǎn)對(duì)比度的HC算法,但是由于引進(jìn)了基于顏色特征的KNN圖模型,本文算法的查全率高于MR算法.通過比較發(fā)現(xiàn)本文算法在該數(shù)據(jù)庫(kù)上保持高查準(zhǔn)率的同時(shí)能夠較完整地突出顯著目標(biāo).

2.7 ECSSD數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果

ECSSD數(shù)據(jù)庫(kù)中的圖片不僅背景復(fù)雜,并且顯著目標(biāo)的紋理也很復(fù)雜.比MSRA-10K和SED2更具挑戰(zhàn)性.圖7是ECSSD數(shù)據(jù)庫(kù)上實(shí)驗(yàn)結(jié)果的對(duì)比圖.圖7中第(a)行的原始圖像中顯著目標(biāo)與背景中的深色草地部分顏色相似,除了GS和本文算法外,其他的算法都突出了部分背景區(qū)域或者沒有完整突出顯著目標(biāo).與GS相比,本文算法的顯著目標(biāo)內(nèi)部更加均勻;圖7第(b)行中,MR算法只突出了部分顯著目標(biāo);圖7第(c)行中顯著目標(biāo)紋理比較復(fù)雜,只有MR、GS和本文算法能夠比較均勻地突出顯著目標(biāo),但是本文算法的顯著目標(biāo)內(nèi)部更加光滑完整;圖7第(d)行中顯著目標(biāo)顏色與背景相近,只有RC、MR和本文算法能夠比較好地突出顯著目標(biāo);圖7第(e)行的原始圖像中顯著目標(biāo)各部分顏色差異較大,本文算法相對(duì)完整地突出了顯著目標(biāo).

圖8是該數(shù)據(jù)庫(kù)上不同算法的P-R曲線、ROC曲線和F值.從圖8(a)、(b)和(c)、(d)可以看出本文算法的P-R曲線和ROC曲線都是該數(shù)據(jù)庫(kù)上最高的.無論從P-R曲線還是ROC曲線都可以看出,本文算法優(yōu)于當(dāng)前流行的14種算法.圖8(e)和(f)可以看出本文算法的F值是該數(shù)據(jù)庫(kù)上最高的,表明本文算法能夠比較準(zhǔn)確地檢測(cè)顯著目標(biāo),并且顯著目標(biāo)更加完整.

圖6 SED2數(shù)據(jù)庫(kù)上的P-R曲線、ROC曲線和F值Fig.6 P-R curves,ROC curves,and F values on the SED2 database

表4是各種算法在不同數(shù)據(jù)庫(kù)上的AUC值和F值,從表4第2列和第5列可以看出本文算法在MSRA-10K數(shù)據(jù)庫(kù)上的AUC值為0.9532,F值為0.8327,這兩個(gè)指標(biāo)都是該數(shù)據(jù)庫(kù)上最優(yōu)的.從表4第3列和第6列可以看出本文算法在SED2數(shù)據(jù)庫(kù)上的AUC值達(dá)到0.8937,F值達(dá)到0.7456.從表4第4列和第7列可以看出本文算法在ECSSD數(shù)據(jù)庫(kù)上的AUC值達(dá)到0.9114,F值達(dá)到0.7034,這兩個(gè)指標(biāo)都是該數(shù)據(jù)庫(kù)上最優(yōu)的.通過以上的比較發(fā)現(xiàn),本文算法能夠準(zhǔn)確地檢測(cè)出顯著目標(biāo),并且能夠一致均勻地突出顯著目標(biāo).

本文算法采用MATLAB R2014b編程實(shí)現(xiàn),系統(tǒng)環(huán)境為Windows10,CPU頻率為3.6GHZ,8GB內(nèi)存.表5為不同算法在該實(shí)驗(yàn)環(huán)境下運(yùn)行數(shù)據(jù)庫(kù)ECSSD、SED2上所有圖片和MSRA-10K上前1000張圖片所用時(shí)間的平均值.從表5中可以看出本文算法的平均運(yùn)行時(shí)間為1.30秒,結(jié)合本文算法的檢測(cè)效果,本文提出的算法具有優(yōu)越性.

圖7 ECSSD數(shù)據(jù)庫(kù)上實(shí)驗(yàn)結(jié)果Fig.7 Experimental results on the ECSSD database

表4 各種方法在不同數(shù)據(jù)庫(kù)上的AUC值和F值Table 4 The AUC and F values of the various methods on different databases

表5 各種方法平均運(yùn)行時(shí)間Table 5 The average runtimes of different methods

圖8 ECSSD數(shù)據(jù)庫(kù)上的P-R曲線、ROC曲線和F值Fig.8 P-R curves,ROC curves,and F values on the ECSSD database

3 結(jié)論

本文提出了一個(gè)基于多圖流形排序的圖像顯著性檢測(cè)算法.該算法分別利用超像素的位置特征和顏色特征,基于K正則圖和KNN圖構(gòu)造兩類圖模型,分別在兩種圖模型上利用流形排序算法計(jì)算超像素的顯著性值,并將每個(gè)圖模型下得到的超像素的顯著性值進(jìn)行加權(quán)融合得到超像素最終的顯著性值.本文將提出的算法與當(dāng)前流行的14種算法在MSRA-10K、SED2和ECSSD數(shù)據(jù)庫(kù)上進(jìn)行了對(duì)比,無論是在視覺效果上還是在定量指標(biāo)上,本文算法都具有明顯優(yōu)勢(shì).針對(duì)背景與前景顏色相似的圖片,本文算法的檢測(cè)效果需要進(jìn)一步提高,未來考慮提取更多的特征比如超像素的形狀特征,并結(jié)合流形排序算法提取更加準(zhǔn)確的顯著目標(biāo).