基于自適應背景模板與空間先驗的顯著性物體檢測方法

林華鋒 李靜 劉國棟 梁大川 李東民

顯著性檢測是指模擬人類的視覺檢測機制,采用計算機視覺方法在一幅圖像中通過抑制圖像中冗余繁雜的背景信息提取出人們感興趣的物體.近年來,顯著性物體檢測的研究引起眾多學者的興趣,提出了許多顯著性檢測方法[1?6],并將其廣泛地應用于圖像分割[7]、目標識別[8?9]、圖像檢索[10]和圖像分類[11]等多個領域.

根據顯著性物體與背景區域具有較高對比度這一假設,Cheng等[12]提出了基于“對比優先”的顯著性檢測模型.當一個顯著性物體包含多個對比度較大區域時,該方法不能完整地提取顯著性物體.根據圖像邊界區域更有可能是背景這一假設,Li等[3,13?16]提出了基于“背景優先”的顯著性檢測模型.該類顯著性檢測方法將圖像邊界作為背景區域,通過計算每個區域與背景區域的相異度獲取顯著圖.但當顯著性物體在背景區域中所占比例過大時,檢測結果會有所偏差,同時最終的顯著圖中相鄰顯著性區域往往具有不連續顯著值.

針對以上顯著性模型存在的問題,結合顯著性物體具有顏色稀有性與空間分布聚集性等特征,本文提出了一種顯著性物體檢測方法,能夠有效檢測位于圖像邊緣的顯著性物體.該方法包含三個步驟:1)根據顯著性物體的顏色稀有性,提出了一種基于自適應背景模板的顯著性檢測方法,獲取基于自適應背景模板的顯著圖.該方法將圖像邊緣區域作為原始背景區域,當顯著性物體位于圖像邊緣時,原始背景區域中不可避免地會存在一些顯著區域.因此本文提出了一種自適應背景選擇策略,能夠有效去除背景區域中的顯著區域,并將篩選后的背景區域作為自適應背景模板.通過計算超像素塊與背景模板之間的相異度,獲取基于自適應背景模板的顯著圖.由于獲取的顯著圖中屬于同一顯著性物體的相鄰超像素塊的顯著值不具有連續性,因此設計了一種基于K-means的傳播機制對其進行了優化,保證區域顯著性的一致性.2)根據顯著性物體的空間分布聚集性,提出了一種基于目標中心優先與背景模板抑制的顯著性檢測方法,獲取基于空間先驗的顯著圖.該方法可增強位于邊緣區域的顯著物體的顯著性,同時抑制背景區域的顯著性,使對比效果更加明顯.3)將獲得的兩種顯著圖進行融合得到最終的顯著圖.

本文結構安排如下:第1節介紹顯著性物體檢測方法的相關研究工作;第2節介紹本文提出的基于自適應背景模板與空間先驗的顯著性物體檢測方法;第3節介紹本文方法與其他算法在標準數據集上的對比結果,對方法中各個組成部分進行評測,并將提出的算法用于基于Web的協同顯著性檢測;第4節總結本文并討論進一步的研究方向.

1 相關工作

由于顯著性檢測算法繁多,本節主要介紹基于“對比優先”與“背景優先”模型的顯著性檢測算法.其他顯著性檢測算法可參考文獻[17],該文獻詳細介紹了40種不同顯著性檢測算法及其性能.

基于“對比優先”模型的顯著性算法可劃分為基于局部的顯著性檢測算法與基于全局的顯著性檢測算法兩大類.基于局部的方法通常假設某區域與其鄰域存在某種可量化的區分性.Itti等[18]根據人眼視覺特性,采用高斯金字塔非均勻采樣方法生成多個尺度圖像.針對每個尺度圖像,通過計算顏色、亮度、方向等底層特征的中心–周圍對比度得到相應的顯著圖,融合多個尺度圖像生成的顯著圖獲取最終顯著圖.Ma等[19]等根據局部分塊在CIELuv空間上的顏色對比度,并結合模糊膨脹的方法計算像素點的顯著,進而提出了基于模糊增長模型的顯著性檢測算法.Achanta等[20]采用多尺度雙窗口的形式,以內外窗口的像素點在CIELab空間的距離作為顯著性度量,采用頻率調諧方法獲取相應的顯著圖.但是,該方法只考慮了一階顏色特征,不足以分析復雜多變的自然圖像.Rahtu等[21]采用貝葉斯框架,計算局部中心與外圍邊緣像素點之間正規化的顏色對比度,得到顯著圖.但僅僅基于局部特征,往往突出物體邊緣或較小的局部物體,目標內部顯著值缺失.基于全局的顯著性檢測算法根據顯著性物體的獨特性獲取相應的顯著圖.Cheng等[22]使用稀疏直方圖簡化圖像顏色,采用基于圖的分割方法將圖像劃分為多個區域,根據與待測區域的空間距離越近對該區域顯著值的貢獻越大這一假設,利用空間位置距離加權的顏色對比度之和來衡量圖像區域的顯著性.Perazzi等[23]采用一種基于對比度的顯著性檢測濾波器,通過區域唯一性以及空間分布估計圖像的顯著性.然而,上述方法雖然簡單有效,但是位于顯著性目標內部的像素點可能被忽略,不能均勻的檢測出來.Margolin[24]首先將圖像劃分為多個超像素塊,并對其進行主成分分析,將獲取的主成分之間的差異定義為模式可區分性,通過結合全局顏色對比度,獲取相應的顯著圖.Yan等[25]通過將圖像劃分為多尺度圖層,針對每個圖層計算其顏色特征與空間特征的對比度,融合多個圖層生成的顯著圖獲取最終顯著圖.該方法能夠保證顯著性目標的一致性與完整性,但當顯著性目標較小時,會將顯著性目標當做背景融入到背景區域.Shen等[26]將圖像表示成某特征空間下的低秩矩陣(非顯著性區域)和稀疏噪聲(顯著性區域)的合成,并結合高層先驗知識,獲取顯著區域.

近年來,越來越多的自下而上的方法偏向于通過選擇圖像的邊緣作為背景種子來構建顯著性圖.與基于“對比優先”的顯著性檢測模型不同,基于“背景優先”的顯著性檢測模型先確定背景區域,通過計算每個區域與背景區域的相異度獲取顯著圖.Wei等[2]通過分析背景區域的特征,基于背景先驗,即邊緣與連接性,將每一個區域與圖像邊緣的最短距離定義為其顯著性值,進而提出基于測地線距離的顯著性檢測模型.Zhu等[27]根據圖像區域的空間分布,利用邊緣連接性提出了一種容錯的顯著性檢測模型.Li等[3,16]采用稠密與稀疏重構誤差模型獲取相應的顯著圖,然后利用傳播機制對獲取的顯著圖進行一致性優化,利用貝葉斯算法對優化后的顯著圖進行融合.Yang等[13]通過流形排序計算每個區域圖像邊緣的相關性,并將其作為每個區域的顯著性值,進而提出了基于流行排序的顯著性檢測模型.Jiang等[14]將圖像中的每個超像素塊映射為馬爾科夫鏈的狀態,計算狀態之間的轉移時間,并將其作為該超像素塊的顯著性值,進而提出了基于吸收馬爾科夫鏈的顯著性檢測模型.Xi等[28]通過計算圖像中每個超像素塊同位于圖像邊緣區域超像素塊的顏色對比度獲取初始顯著圖,利用提出的顯著圖優化方法計算圖像中每個像素點的顯著值,進而提出了一種基于背景優先的顯著性檢測模型.Qin等[29]通過計算圖像中每個超像素塊與背景區域的對比度,獲取顯著性圖,然后提出了一種新型的基于元胞自動機的傳播機制,對超像素塊的顯著性值進行動態更新,獲取最終的顯著圖.

2 本文方法

本節對提出的顯著性物體檢測方法SCB進行詳細介紹.圖1為SCB的總體框架圖.其中,BG是原始背景區域;BT是背景模板;BTS是基于背景模板抑制的顯著圖.BTSP是傳播的BTS;SP是基于空間先驗的顯著圖;BTSPS是最終的顯著圖;GT是人工分割圖.

圖1 SCB框架圖Fig.1 The framework of SCB salient detection method

SCB根據顯著性物體的顏色稀有性與空間分布聚集性獲取了基于自適應背景模板的顯著圖與基于空間先驗的顯著圖,通過融合兩種顯著圖獲取最終顯著圖.對給定的輸入圖像,先利用SLIC[30]超像素分割算法將輸入圖像分割成超像素塊.基于自適應背景模板的顯著性物體檢測方法提取位于圖像四周邊界的超像素塊構建原始背景區域,并使用自適應選擇策略,去除原始背景區域中顯著的超像素塊.將篩選后的超像素塊作為自適應背景模板,通過計算每個超像素塊與自適應背景模板的相異度,獲取基于自適應背景模板的顯著圖.為保證屬于同一顯著性物體的超像素塊具有連續的顯著值,使用K-means傳播機制對自適應模板的顯著圖進行優化.為增強位于圖像邊緣顯著性物體的顯著性并抑制背景區域顯著性,提出了一種基于目標中心優先與背景模板抑制的空間先驗方法,獲取基于空間先驗的顯著圖.最終,融合優化后的基于自適應背景模板的顯著圖與基于空間先驗的顯著圖,獲取最終的顯著圖.

2.1 基于自適應背景模板的顯著圖

通過實驗對比發現,與基于“對比優先”模型的顯著性物體檢測方法相比,基于“背景優先”模型的顯著性檢測算法的性能更好.因此,根據顯著性物體的顏色特征稀有性,提出了一種基于“背景優先”模型的顯著性檢測方法,即基于自適應背景模板的顯著性檢測方法,獲取基于自適應背景模板的顯著圖.

2.1.1 特征提取與超像素分割

Lab是最接近于人類視覺的一種均勻顏色空間,能夠同時反映圖像的亮度特征與顏色特征.空間位置特征能夠反映像素點的空間分布.因此,首先提取輸入圖像I中每個像素點的Lab特征與空間位置特征.根據提取的特征,利用SLIC分割算法將圖像I分割成超像素塊,其中N表示超像素塊的個數.對于任一超像素塊可表示為一個5維的特征向量,由其包含的像素點的平均顏色特征和空間位置坐標構成.超像素塊由具有相似特征的像素點組成,基于超像素塊的顯著性物體檢測能夠有效提高顯著性物體檢測的效率.

2.1.2 自適應背景模板構造

根據圖像四周的邊界區域最有可能是背景這一特點[3],通過提取位于四周邊界的超像素塊構造原始背景區域Ibr.當顯著性物體位于圖像邊界時,背景區域中不可避免地包含顯著的超像素塊.大部分基于“背景優先”模型的方法直接利用原始背景區域進行顯著性計算[3],導致顯著性檢測結果會有所偏差.為了提高顯著性物體檢測的魯棒性,本文提出了一種基于對比準則與聯通性準則的自適應選擇策略,用于從原始背景區域中移除顯著的超像素塊,并將篩選后背景區域稱為自適應背景模板.

1)對比準則.根據顯著的超像素塊與背景超像素塊之間的顏色相異度遠遠大于兩個背景超像素塊之間的顏色相異度,移除原始背景區域中的顯著超像素塊,計算每個邊界超像素塊的對比權值:

2)連通性準則.根據背景區域更容易連通圖像邊界這一特點,移除原始背景區域中的顯著超像素塊.將區域R與圖像邊界相交區域的面積與整個區域面積平方根的商定義為R的連通性.

通過觀察可知,即使顯著性物體位于圖像邊界,顯著性物體與圖像邊界相交區域的面積遠小于整個顯著性物體的面積.因此,如果一個超像素塊是顯著的,其所屬區域的連通性值一定遠遠小于背景超像素塊所屬區域的連通性值.使用無向加權圖[26]將超像素塊劃分為多個區域,兩個超像素塊與之間的測地線距離被定義為無向圖中最短路徑上所有邊的權值和.

根據式(7),計算原始背景區域中所有超像素塊權值的自適應閾值T[12]

2.1.3 顯著性計算

如果一個超像素塊與自適應背景模板的空間距離越近,那么自適應背景模板對該超像素塊顯著值的影響就越大[12].因此,將空間位置距離加權的顏色對比度之和定義為超像素塊的顯著值:

圖2 基于自適應背景模板的顯著圖Fig.2 Saliency maps based on adaptive background template

2.1.4 顯著性優化

顯著性物體可能是由不同特征的顯著性超像素塊組合而成,因此,在獲取的基于背景模板的顯著圖中,屬于同一顯著性物體的相鄰超像素塊的顯著值往往具有不連續性.為保證顯著性物體的區域一致性,提出基于K-means聚類算法的傳播機制對基于自適應背景模板的顯著圖進行一致性優化.

首先,利用K-means算法將超像素塊劃分為K個聚類,聚類中心為.如果根據經驗直接設置聚類個數或者僅僅利用超像素塊之間的顏色對比度進行聚類,都可能將具有相似顏色特征的像素塊劃分到不同的聚類中.為解決上述問題,從兩個方面對K-means算法進行優化.1)根據圖像顏色特征的直方圖分布情況,自適應地獲取聚類個數.與文獻[12]類似,將圖像的顏色特征由256個顏色值量化為12個顏色信道,計算相應的顏色直方圖,保留高頻顏色特征,并使其至少覆蓋95%的圖像像素點,剩余的顏色特征由直方圖中距離最近的顏色代替.由于量化后的每個顏色信道均可視為一個聚類,因此可將圖像的高頻顏色特征所包含的信道數目作為聚類個數K,其中1≤K≤12.2)利用空間位置距離加權的顏色特征進行聚類.由于顯著性目標包含的像素點不僅具有相似的顏色特征,而且在空間位置分布上具有聚集性.因此,利用加權的顏色對比度進行K-means聚類.

對于屬于聚類Ck的兩個相鄰[31]的超像素塊與,它們的影響因子可定義為

其中,?(i)為超像素塊的2層鄰居[29],即與超像素塊的直接相鄰的超像素塊以及與這些超像素塊相鄰的超像素塊.為了歸一化影響因子矩陣,構建一個度量矩陣

對于聚類Ck中的超像素塊, 其優化后的顯著性值可定義為

其中,ai,j是由式(11)計算得到的超像素塊與的影響因子參數.μ1與μ2分別為周圍超像素塊顯著值以及現有超像素塊顯著值的平衡參數.為超像素塊鄰居超像素塊的數目.圖3給出了利用傳播機制優化后的基于自適應背景模板的顯著圖.圖3(a)為輸入圖像;圖3(b)為基于背景模板的顯著圖;圖3(c)為優化顯著圖;圖3(d)為人工分割圖.通過對比圖3(b)與圖3(c)可知,引入傳播機制后的顯著性物體具有連續的顯著值,呈現區域一致性.由此可見,基于K-means聚類算法的傳播機制能夠有效地優化基于自適應背景模板的顯著圖,獲取更加準確的顯著性物體.

圖3 利用傳播機制優化基于自適應背景模板顯著圖Fig.3 Saliency maps based on propagation mechanism

2.2 基于空間先驗的顯著圖

人類視覺系統更多地關注圖像中心的區域[32],這被稱之為“中心優先”準則.基于“中心優先”準則的空間先驗通常用于增強位于圖像中心的顯著性物體(例如圖4(b)中的第1行的花朵).但該方法也會抑制位于圖像邊緣的顯著性物體的顯著值(例如圖4(b)中的第4行的蠟燭底座),增強位于圖像中心的背景區域(例如圖4(b)中的第2行的衣服),這顯然不是顯著性檢測所期望的結果.為解決這一問題,本文提出一種改進的基于中心優先與背景模板抑制的空間先驗方法,同時考慮了“中心優先”準則與“背景模板抑制”準則,可有效增強位于圖像邊緣顯著性物體的顯著性,同時抑制位于圖像中心的背景區域.對于輸入圖像的像素點pi,其空間先驗顯著值定義為

其中,(xi,yi)和(xk,yk)分別表示像素點pi和pk的坐標,(μx,μy)表示圖像中心,η表示圖像“中心優先”準則和“背景模板抑制”準則的平衡參數.對于式(13),等號右側第1項表示圖像“中心優先”準則,第2項表示“背景模板抑制”準則.

圖4 基于空間先驗顯著圖Fig.4 Saliency maps based on spatial prior

圖4顯示了基于空間先驗的顯著性檢測.圖4(a)為輸入圖像;圖4(b)為基于“中心優先”準則的顯著圖;圖4(c)為基于提出的空間先驗準則的顯著圖;圖4(d)為利用傳播機制優化的基于自適應背景模板顯著圖;圖4(e)為最終的顯著圖;圖4(f)為人工分割圖.對比圖4(b)與圖4(c)可知,無論顯著性物體是位于圖像中心還是圖像邊界,提出的空間先驗方法均能有效增強顯著性物體的顯著值,同時抑制了背景區域的顯著值.

2.3 顯著圖融合

目前常用的顯著圖或特征融合方法有線性融合[18]和基于像素的點乘融合等[3].經過實驗對比,線性融合能夠提高顯著性檢測的查全率,而點乘融合能夠有效抑制顯著圖中的背景區域,提高顯著性檢測的查準率.本文更關注顯著性檢測的準確率,因此采用點乘融合優化后的基于自適應背景模板的顯著圖與基于空間先驗的顯著圖.

融合得到的最終顯著圖如圖4(e)所示.本文提出的顯著性檢測方法SCB詳細步驟如下:

算法1.基于自適應背景模板與空間先驗的顯著性檢測方法

輸入.輸入圖像I,超像素塊個數N,聚類個數K,參數σgeo,σc,μ1,μ2.

輸出.顯著圖S.

1.基于選擇策略的自適應背景模板

1.1利用SLIC算法將輸入圖像I分割為N個超像素塊;

1.2提取圖像四周邊界,構建原始背景區域Ibr;

For背景區域的超像素塊

1.3根據式(1)與式(5),計算對比權值與聯通性權值;

1.4根據式(6),計算最終權值w(k);

1.5根據式(7),獲取自適應閾值T;

Ifw(k)＞Tdo

1.6從背景區域Ibr中移除超像素塊;

End If

End For

1.7利用篩選后的超像素塊,構建背景模板Nbt;

1.8根據式(8),計算基于背景模板的顯著值;

1.9利用K-means聚類算法,將超像素塊集合聚成K個聚類;

1.10根據式(11),獲取傳播矩陣A;

1.11根據式(12),計算傳播顯著值Spr.

2.基于中心優先與背景模板抑制的空間先驗

2.1根據式(13),計算基于空間先驗顯著值;

2.2根據式(14),計算最終顯著值Si,獲取相應的顯著圖S.

3 實驗結果與分析

3.1 數據集介紹

在四個數據集上對提出的方法進行評估.這四個數據集是:MSRA-1000[20]、SOD[33]、ECSSD[25]及構建的新數據集—復雜背景數據集(CBD).

MSRA-1000數據集是應用最廣泛的數據集,共包含1000幅顯著性物體突出并且與背景顏色對比度非常明顯的圖像.該數據集的人工分割圖將圖像劃分為物體區域與背景區域兩部分,顯著性物體的輪廓非常清晰,精確到像素級.SOD數據集是一個更具挑戰的數據集,共包含300張圖像,每張圖像往往包含多個顯著性物體,且物體的大小與位置不一.該數據集的人工分割圖由文獻[2]提供.ECSSD數據集包含1000張結構復雜的圖像.其中,結構復雜指的是圖像中的顯著性物體或者背景區域包含多個對比度明顯的區域.

為驗證提出的顯著性檢測方法的性能,構建了一個新的數據集.首先,收集SED2[34]、PASCAL-1500[35]與HKU-IS[36]三個數據集.依據以下三個原則挑選更有挑戰性的圖像:1)顯著性物體位于圖像邊界的圖像;2)包含多個顯著性物體的圖像;3)包含復雜背景的圖像.

3.2 參數設置與評估標準

為了獲取更好的顯著性檢測結果,針對公式中的參數做了比較實驗.實驗表明,式(4)中的參數σgeo在區間[5,15]時,表現出很強的穩定性.因此固定參數σgeo=10,式(9)中的參數被設置為0.1,式(12)中的平衡參數μ1與μ2均被設置為0.5,式(13)中的平衡參數η被設置為1.

通過對比顯著圖的準確率(Precision)–召回率(Recall)曲線、準確率–召回率–F-measure值柱狀圖[17](F-measure柱狀圖)與平均絕對誤差(Mean absolute error,MAE)柱狀圖來評價顯著性檢測的性能.針對顯著性模型產生的顯著圖用閾值進行分割,其中閾值的取值范圍為0～255.由此可以得到256個平均的準確率與召回率,以橫軸為召回率,縱軸為準確率,將這些點平滑地連接起來,產生準確率–召回率曲線.不同于準確率–召回率曲線,在繪制準確率–召回率–F-measure值柱狀圖時,利用每幅圖像的自適應閾值[20]T對圖像進行分割.

其中,參數W與H分別表示圖像的寬度與高度.對每個數據集中的顯著圖,計算他們的平均準確率與召回率.根據式(16)計算平均的F-measure值.

F-measure值用于綜合評價準確率與召回率,為了強調準確率的重要性,設置β2為0.3[13,20].

平均絕對誤差通過對比顯著圖與人工分割圖的差異來評價顯著性模型[22].根據式(17),計算每個輸入圖像的MAE,利用計算出的MAE均值繪制柱狀圖.

3.3 實驗對比結果

為驗證提出的顯著性檢測方法SCB的性能,在4個數據集上與14種經典算法進行對比,包括LC06[37]、SR07[38]、FT09[20]、CA10[39]、LR12[26]、HS13[25]、DSR13[3]、GC13[22]、GM13[13]、MC13[14]、GL14[40]、HC15[12]、RC15[12]與 LPS15[41]. 其中,算法LC、SR、FT、HC與RC的代碼由文獻[12]提供.所有顯著性檢測模型獲取的顯著圖都被標準化到[0,255].

針對顯著性物體位于圖像邊緣的圖像,圖5顯示了顯著圖的視覺比較結果.其中,前6種算法是基于“對比優先”準則的顯著性檢測模型,后4種算法與提出的SCB算法都是基于“背景優先”準則的顯著性檢測模型.最后一列為人工分割圖.通過實驗發現,與其他顯著性檢測算法相比,提出的顯著性檢測方法SCB能夠完整地檢測位于邊界的顯著性物體,取得更加準確的顯著圖,明顯優于其他算法.

圖5 針對顯著性物體位于圖像邊緣的圖像,顯著圖的視覺比較結果Fig.5 Visual comparison of previous methods,our method and ground truth for the image whose salient object locates at the border

為了全面評估提出的SCB方法的性能,從4個數據集中挑選具有挑戰性的圖像進行顯著性物體檢測[42?43].其中,前兩行圖像包含多個顯著性物體,第3行和第4行圖像具有復雜的背景,第5行和第6行圖像的顯著性物體包含復雜的結構,最后兩行圖像的顯著性物體與背景區域間的對比度較低.針對挑戰性的圖像,圖6顯示了顯著圖的視覺對比結果.實驗結果表明,提出的SCB方法不僅能夠完整地檢測出顯著性物體,而且能夠有效地抑制背景區域,優于其他顯著性算法.

圖6 顯著圖的視覺比較結果Fig.6 Visual comparison of previous methods,our method and ground truth

圖7根據準確率–召回率曲線與F-measure值柱狀圖兩個評價標準對顯著性檢測模型進行對比分析.針對MSRA-1000數據集,提出的SCB方法明顯優于大部分顯著性檢測算法,例如GC、CA、FT等.但是,由于該數據集中圖像的顯著性物體較為簡單,而提出的顯著性檢測方法更適合于復雜場景的圖像.因此,提出的SCB方法的準確率–召回率曲線與F-measure值柱狀圖都略遜于DSR、GM 與MC等算法.針對SOD數據集,提出的SCB方法與DSR、MC都取得較好的準確率–召回率曲線,但是SCB的F-measure值分別比算法DSR與算法MC高出3.1%和3.0%.對于ECSSD數據集,提出的SCB方法、HS、DSR與MC等算法都取得較好的準確率–召回率曲線與F-measure值柱狀圖.針對提出的數據集CBD,提出的SCB取得了75.3%的準確率、69.8%的召回率,遠遠高于準確率為71.5%、召回率為64.0%的MC算法,明顯超過現有的顯著性檢測模型.主要是因為構建的CBD數據集中的圖像具有較為復雜的場景,例如，顯著性物體位于圖像邊緣、多個顯著性物體、顯著性物體包含多個對比度明顯的區域等.

圖8根據MAE柱狀圖這一評價標準對顯著性檢測模型進行對比分析.針對MSRA-1000數據集,提出的SCB方法的MAE值為0.074,僅次于MAE為0.071的算法LPS.針對ECSSD數據集,只有SCB方法與DSR方法的MAE值低于0.2,但是DSR算法取得最低的MAE值.針對SOD數據集與CBD數據集,提出的SCB方法分別取得0.2235與0.135的MAE值,遠遠低于其他的顯著性檢測方法.由此可見,提出的顯著性檢測方法能夠有效地抑制背景區域.

圖9進一步分析了提出的SCB方法的各個組成部分的作用與貢獻,例如自適應背景模板與空間先驗.

由圖9(a)可知,與基于原始背景區域的顯著圖相比,基于自適應背景模板的顯著圖取得更好的準確率–召回率曲線.提出的傳播機制也能夠有效地優化基于自適應背景模板的顯著圖,提高顯著性檢測的性能.圖9(b)對比了基于“中心優先”準則的空間先驗,基于“背景模板抑制”的空間先驗以及提出的空間先驗方法.通過比較可知,提出的空間先驗方法取得最好的性能.

表1顯示了顯著性檢測模型在數據集CBD上平均處理一幅圖像所需的時間.實驗借助MATLAB工具在Intel Core i3-3220處理器,4GB內存的硬件環境下進行.其中,超像素分割的時間不計入處理時間.提出的SCB算法每幅圖像平均檢測時間為1.12s.

3.4 基于Web的協同顯著性檢測系統

協同顯著性檢測是從一組圖像中發現其間共有的顯著性物體.全局分布特征用來衡量每個圖像區域在一組圖像中的分布情況,是協同顯著性檢測的一個重要的全局指標.如果同一個區域均勻地分布在每一個圖像,則該區域將會獲得更大的全局分布特征權值.在提出的SCB方法中,引入全局分布特征,提出相應的協同顯著性檢測算法,用于協同顯著性物體檢測,獲取協同顯著圖.

圖7 不同算法的準確率–召回率曲線與F-measure值柱狀圖Fig.7 Quantitative results of the precision/recall curves and F-measure metrics

圖8 針對MSRA-1000、SOD、ECSSD與CBD數據集,不同顯著性檢測方法的MAE柱狀圖Fig.8 Quantitative results of the MAE value of MSRA-1000,SOD,ECSSD and CBD

圖9 針對MSRA-1000數據集,提出的SCB方法各個組成部分的準確率–召回率曲線Fig.9 Quantitative results of each component of SCB method in MSRA-1000 dataset

表1 平均檢測時間對比表Table 1 The table of contrast result in running times

圖10 針對Co-saliency pairs數據集,基于Web的協同顯著圖Fig.10 The co-saliency map based on web in co-saliency pairs dataset

隨著互聯網的普及,本文構建了一個可以在線訪問的基于Web的協同顯著性檢測系統.利用高質量的開源Web開發框架Django,建立Web應用,將提出的協同顯著性檢測算法封裝到Web應用中.用戶通過Web瀏覽器訪問構建的基于Web的協同顯著性檢測系統,針對用戶輸入的多幅圖像,Django調用提出的協同顯著性算法進行處理,并將處理結果返回至Web瀏覽器.本文從Co-saliency Pairs數據集[44]中挑選4組圖像,其中每組圖像包含2張圖像.分別對每組圖像進行協同顯著性物體檢測,如圖10所示.

4 結論

本文提出一種基于自適應背景模板與空間先驗的超像素級的顯著性檢測方法.通過在4個數據集上與現有的顯著性模型對比,針對顯著性物體位于圖像邊界的圖像、背景比較復雜的圖像和包含多個顯著物體的圖像,提出的SCB方法能夠取得更好的性能.但是當顯著性物體與背景模板的顏色特征十分相似時,提出的顯著性檢測算法不能完整地檢測顯著性物體.針對提出算法的不足之處,未來工作的主要目標是通過引入更多的底層特征來優化SCB方法,并降低顯著性檢測的運行時間.

1 Qian Sheng,Chen Zong-Hai,Lin Ming-Qiang,Zhang Chen-Bin.Saliency detection based on conditional random fi eld and image segmentation.Acta Automatica Sinica,2015,41(4):711?724(錢生,陳宗海,林名強,張陳斌.基于條件隨機場和圖像分割的顯著性檢測.自動化學報,2015,41(4):711?724)

2 Wei Y C,Wen F,Zhu W,Sun J.Geodesic saliency using background priors.In:Proceedings of the 12th European Conference on Computer Vision.Berlin,Germany:Springer,2012.29?42

3 Li X H,Lu H C,Zhang L H.Saliency detection via dense and sparse reconstruction.In:Proceedings of the 2013 IEEE International Conference on Computer Vision.Sydney,Australia:IEEE,2013.2976?2983

4 Wang K Z,Lin L,Lu J B,Li C L,Shi K Y.PISA:pixelwise image saliency by aggregating complementary appearance contrast measures with edge-preserving coherence.IEEE Transactions on Image Processing,2015,24(10):3019?3033

5 Wang L J,Lu H C,Ruan X,Yang M H.Deep networks for saliency detection via local estimation and global search.In:Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston,USA:IEEE,2015.3183?3192

6 Mauthner T,Possegger H,Waltner G,Bischof H.Encoding based saliency detection for videos and images.In:Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston,USA:IEEE,2015.2494?2502

7 Jain S D,Grauman K.Active image segmentation propagation.In:Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas,Nevada,USA:IEEE,2016.2864?2873

8 Yu G,Yuan J S,Liu Z C.Propagative Hough voting for human activity detection and recognition.IEEE Transactions on Circuits and Systems for Video Technology,2015,25(1):87?98

9 Horbert E,Garc′?a G M,Frintrop S,Leibe B.Sequencelevel object candidates based on saliency for generic object recognition on mobile systems.In:Proceedings of the 2015 IEEE International Conference on Robotics and Automation.Seattle,Washington,USA:IEEE,2015.127?134

10 Yang X Y,Qian X M,Xue Y.Scalable mobile image retrieval by exploring contextual saliency.IEEE Transactions on Image Processing,2015,24(6):1709?1721

11 Lei B Y,Tan E L,Chen S P,Ni D,Wang T F.Saliencydriven image classi fi cation method based on histogram mining and image score.Pattern Recognition,2015,48(8):2567?2580

12 Cheng M M,Mitra N J,Huang X L,Torr P H S,Hu S M.Global contrast based salient region detection.IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(3):569?582

13 Yang C,Zhang L H,Lu H C,Ruan X,Yang M H.Saliency detection via graph-based manifold ranking.In:Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition.Portland,OR,USA:IEEE,2013.3166?3173

14 Jiang B W,Zhang L H,Lu H C,Yang C,Yang M H.Saliency detection via absorbing Markov chain.In:Proceedings of the 2013 IEEE International Conference on Computer Vision.Sydney,Australia:IEEE,2013.1665?1672

15 Jiang H Z,Wang J D,Yuan Z J,Wu Y,Zheng N N,Li S P.Salient object detection:a discriminative regional feature integration approach.In:Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition.Portland,OR,USA:IEEE,2013.2083?2090

16 Lu H C,Li X H,Zhang L H,Ruan X,Yang M H.Dense and sparse reconstruction error based saliency descriptor.IEEE Transactions on Image Processing,2016,25(4):1592?1603

17 Borji A,Sihite D N,Itti L.Salient object detection:a benchmark.In:Proceedings of the 12th European Conference on Computer Vision.Berlin,Germany:Springer,2012.414?429

18 Itti L,Koch C,Niebur E.A model of saliency-based visual attention for rapid scene analysis.IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(11):1254?1259

19 Ma Y F,Zhang H J.Contrast-based image attention analysis by using fuzzy growing.In:Proceedings of the 11th ACM International Conference on Multimedia.Berkeley,USA:ACM,2003.374?381

20 Achanta R,Hemami S,Estrada F,Susstrunk S.Frequencytuned salient region detection.In:Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition.Miami Beach,USA:IEEE,2009.1597?1604

21 Rahtu E,Kannala J,Salo M,Heikkil¨a J.Segmenting salient objects from images and videos.In:Proceedings of the 11th European Conference on Computer Vision.Crete,Greece:Springer,2010.366?379

22 Cheng M M,Warrell J,Lin W Y,Zheng S,Vineet V,Crook N.Efficient salient region detection with soft image abstraction.In:Proceedings of the 2013 IEEE International Conference on Computer Vision.Sydney,Australia:IEEE,2013.1529?1536

23 Perazzi F,Kr¨ahenbu¨hl P,Pritch Y,Hornung A.Saliency fi lters:contrast based fi ltering for salient region detection.In:Proceedings of the 2012 IEEE International Conference on Computer Vision and Pattern Recognition.Providence,USA:IEEE,2012.733?740

24 Margolin R,Tal A,Zelnik-Manor L.What makes a patch distinct?In:Proceedings of the 2013 IEEE International Conference on Computer Vision and Pattern Recognition.Sydney,Australia:IEEE,2013.1139?1146

25 Yan Q,Xu L,Shi J P,Jia J Y.Hierarchical saliency detection.In:Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition.Portland,OR,USA:IEEE,2013.1155?1162

26 Shen X H,Wu Y.A uni fi ed approach to salient object detection via low rank matrix recovery.In:Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition.Providence,RI,USA:IEEE,2012.853?860

27 Zhu W J,Liang S,Wei Y C,Sun J.Saliency optimization from robust background detection.In:Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus,OH,USA:IEEE,2014.2814?2821

28 Xi T,Fang Y,Lin W,Zhang Y.Improved salient object detection based on background priors.In:Proceedings of the 2015 Paci fi c Rim Conference on Multimedia.Gwangju,Korea:Springer,2015.411?420

29 Qin Y,Lu H C,Xu Y Q,Wang H.Saliency detection via cellular automata.In:Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston,USA:IEEE,2015.110?119

30 Achanta R,Shaji A,Smith K,Lucchi A,Fua P,S¨usstrunk S.SLIC superpixels compared to state-of-the-art superpixel methods.IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(11):2274?2282

31 Zhang L,Yang C,Lu H,Xiang R,Yang M H.Ranking saliency.IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(9):1892?1904

32 Judd T,Ehinger K,Durand F,Torralba A.Learning to predict where humans look.In:Proceedings of the 12th International Conference on Computer Vision.Kyoto,Japan:IEEE,2009.2106?2113

33 Movahedi V,Elder J H.Design and perceptual validation of performance measures for salient object segmentation.In:Proceedings of the 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops.San Francisco,CA,USA:IEEE,2010.49?56

34 Alpert S,Galun M,Brandt A,Basri R.Image segmentation by probabilistic bottom-up aggregation and cue integration.IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(2):315?327

35 Zou W B,Kpalma K,Liu Z,Ronsin J.Segmentation driven low-rank matrix recovery for saliency detection.In:Proceedings of the 24th British Machine Vision Conference.Bristol,UK:IEEE,2013.1?13

36 Li G B,Yu Y Z.Visual saliency based on multiscale deep features.In:Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston,USA:IEEE,2015.5455?5463

37 Zhai Y,Shah M.Visual attention detection in video sequences using spatiotemporal cues.In:Proceedings of the 14th ACM International Conference on Multimedia.New York,USA:ACM,2006.815?824

38 Hou X,Zhang L.Saliency detection:a spectral residual approach.In:Proceedings of the 2007 IEEE Conference on Computer Vision and Pattern Recognition.Minneapolis,Minnesota,USA:IEEE,2007.1?8

39 Goferman S,Zelnik-Manor L,Tal A.Context-aware saliency detection.IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(10):1915?1926

40 Tong N,Lu H C,Zhang Y,Ruan X.Salient object detection via global and local cues.Pattern Recognition,2015,48(10):3258?3267

41 Li H Y,Lu H C,Lin Z,Shen X H,Price B.Inner and inter label propagation:salient object detection in the wild.IEEE Transactions on Image Processing,2015,24(10):3176?3186

42 Xu Wei,Tang Zhen-Min.Exploiting hierarchical prior estimation for salient object detection.Acta Automatica Sinica,2015,41(4):799?812(徐威,唐振民.利用層次先驗估計的顯著性目標檢測.自動化學報,2015,41(4):799?812)

43 Yang Sai,Zhao Chun-Xia,Xu Wei.A novel salient object detection method using bag-of-features.Acta Automatica Sinica,2016,42(8):1259?1273(楊賽,趙春霞,徐威.一種基于詞袋模型的新的顯著性目標檢測方法.自動化學報,2016,42(8):1259?1273)

44 Li H L,Ngan K N.A co-saliency model of image pairs.IEEE Transactions on Image Processing,2011,20(12):3365?3375