基于對比度優化流形排序的顯著目標檢測算法

謝 暢，朱恒亮，林 曉,2，馬利莊

(1.上海交通大學 計算機科學與工程系，上海 200240； 2.上海理工大學 光電信息與計算機工程學院，上海 200093) (*通信作者電子郵箱toxic.xc@sjtu.edu.cn)

基于對比度優化流形排序的顯著目標檢測算法

謝 暢1*，朱恒亮1，林 曉1,2，馬利莊1

(1.上海交通大學 計算機科學與工程系，上海 200240； 2.上海理工大學 光電信息與計算機工程學院，上海 200093) (*通信作者電子郵箱toxic.xc@sjtu.edu.cn)

現有的基于背景先驗的顯著性算法模型中存在先驗區域選取不合理的問題，導致計算出的前景區域不準確，影響最終結果。針對該問題提出了基于對比度優化流形排序的顯著目標檢測算法。利用圖像邊界信息找出背景先驗，設計出采用顯著期望、局部對比度以及全局對比度三個指標來衡量先驗質量的算法，并根據先驗質量設計帶權加法，代替簡單乘法融合顯著先驗，從而使顯著先驗更加準確。從先驗中提取顯著區域時，更改了選取閾值的策略，更合理地選取出前景區域，再利用流形排序得到顯著性圖，從而使顯著性檢測結果更加準確。實驗結果表明，與同類算法相比，所提算法突出顯著區域，減少噪聲，更符合人類視覺感知，并在處理時間上領先于深度學習方法。

邊界先驗；先驗融合；顯著估計；全局對比度；局部對比度；流形排序

0 引言

隨著計算機技術的快速發展，視覺顯著性算法也在不斷更新。自從Itti等[1]提出計算視覺顯著性模型開始，越來越多的學者開始致力于該領域的研究。近年來，視覺顯著性在計算機視覺和模式識別領域變得越來越熱門,被廣泛地應用于圖像處理技術中，如物體檢測、視覺追蹤、圖像分割與圖像增強等。

視覺顯著性算法的目的是找出圖像中最明顯、最能吸引注意的物體或區域。從人類視覺的角度來講，圖像中的顯著性通常與局部對比度有關，這是因為顯著物體與周圍區域存在多方面的差異，如顏色、亮度、形狀、紋理等特征的差異。

目前，研究者們提出的顯著目標檢測算法，大致可以分為兩類：由任務或知識驅動的自頂向下(top-down) 方法[2-5]，由數據或刺激驅動的自底向上(bottom-up) 方法[6-14]。

自頂向下方法通常與標定真實值的監督學習有關。為了更好地將顯著性區域從背景中抽取出來，自頂向下方法中往往會用到高層次的信息或圖像特征來提高顯著性圖的準確性。例如，Wang等[15]將字典學習與條件隨機域組合，產生具有區分度的特征來描述顯著性物體; Yang[16]用深度神經網絡將局部估計與全局搜索相結合來找出圖像中最顯著的區域。

自底向上方法通常采用低層次信息比如顏色，像素差，空間距離以及邊緣來構建顯著性圖，這些方法與圖像內容、先驗知識無關。例如，Perazzi等[17]提出了一種基于對比度的視覺顯著性估計; Frintrop 等[18]則通過在語義和生物學激發的模型中加入特征融合、均值漂移等步驟，提升了傳統模型的效果。

多種低層次信息與顯著性傳播算法[19-23]相結合，是目前很多非機器學習方法的思路。為了模擬顯著性傳播過程，圖像被分割成若干區域，每個區域用一個節點表示。不同節點用帶權邊連接。已標記節點的顯著性會用具體數值量化，并通過特定算法，沿著帶權邊，迭代地向周圍未標記的鄰接節點傳遞[12]。

大多數基于圖的算法按照以下步驟工作。首先，輸入圖像(圖1(a))被分割成超像素塊(圖1(b))，依據超像素塊來構建適當的無向圖。通過加法、乘法或者其他函數組合低層次信息后，找出最可能是顯著區域的超像素塊，將這些超像素塊標記，并根據算法賦予它們相應的顯著性值(圖1(c))。接著，特定的顯著性傳播算法能夠計算出已標記節點與未標記節點之間的相似度。然后，顯著性值通過帶權邊，由已標記節點向未標記節點散射。最終，每個超像素塊都被標記且有顯著性值，由此得到整體顯著性圖(圖1(d))。

圖1 基于圖構建的顯著性檢測步驟

1 相關工作

近年來，研究者們提出了多種基于圖像分割與圖構建的顯著性計算方法，例如，利用基于流形排序的散射算法[24]，利用隨機游走的方式在圖上建立顯著性傳播過程[25]，以及通過優化上述方法而衍生出的細胞自動機算法[26]等。這些方法都以圖像邊界作為背景先驗，采用不同的傳播算法構建顯著性圖。預處理方面，這幾種方法都用到了簡單線性迭代聚類(Simple Linear Iterative Clustering, SLIC)超像素塊分割[27]。這樣做的好處是將原本像素級別的運算轉變為超像素級別的運算，減少了時間開銷。超像素塊分割能保持圖像的局部結構特征及部分語義特征，與像素級的特征相比，更利于顯著性的呈現;同時，邊界先驗的引入簡化了特征選取過程，將分析范圍縮小為圖像的特定區域，既簡化了運算，又提升了準確性。微軟亞洲研究院圖像顯著性測試集(Microsoft Reasearch Asia, MSRA)，擴展復雜場景圖像顯著性數據集(Extended Complex Scene Saliency Dataset, ECSSD)等多個公開數據集測試結果表明，無論是速度還是效果，這幾種基于圖的方法明顯優于基于像素、先驗無關的方法。其中，基于流形排序的方法[23]是目前效果較好的算法之一。

然而，基于圖的方法存在兩個缺陷。第一，選擇前景或背景先驗區域的算法存在問題。如果不能找出典型的、有代表性的先驗，最終得到的顯著性圖可能不準確，甚至和真實值相反。第二，已提出的算法中，一些不必要的步驟開銷過大，導致算法效率較低。本文會在后面討論這些問題。

一些自頂向下的方法，如文獻[6，15-16]通過提取圖像的不同特征，利用機器學習方法，根據這些特征訓練出能夠檢測圖像中顯著物體的模型。這類方法在特定訓練集下容易獲得很好的效果，在公開數據集上能夠超過自頂向上方法，尤其是判別性區域顯著特征融合(Discriminative Regional Feature Integration, DRFI)[28]在MSRA、ECSSD等數據集上的準確度領先于其他算法。

但是，這類方法的缺點同樣突出。一是機器學習普遍對訓練集有較高要求，如果沒有足夠的訓練樣本，則容易因為訓練不足而達不到預期效果，產生欠擬合；如果過度訓練，則會造成過擬合，同樣無法得到很好的效果。二是模型的適應性不足，單一模型可能在特定數據集上的結果較好，而在其他的數據集上效果不佳。三是效率問題，如果提取的特征過于復雜(尤其是高維特征)，則模型訓練會消耗大量時間，圖像通過模型進行檢測的時間也會較長，因此，盡管DRFI的效果非常好，但是在效率方面仍有不足，本文在實驗部分會比較各算法的效率。針對上述方法的優點及存在的問題，本文提出了一種新的基于流形排序的顯著目標檢測算法，首先改變了超像素塊分割的策略，其次設計了以顯著期望、全局對比度，以及局部對比度為指標的顯著置信度估計，找出最具有代表性的背景先驗，并用新的帶權相加的方式將其融合，獲得比普通乘法更好的前景估計，最終得到準確的顯著性圖，在效果上超過先前基于圖的方法，在效率上超過多種機器學習方法。

2 算法步驟

2.1 超像素塊分割

(1)

其中:SLIC算法[20]建議m取10。根據式(1)，找出每個像素最近的聚類中心，把該像素歸到對應聚類中，通過計算可得到這些新聚類的中心坐標。重復這一過程，直到每個聚類的中心坐標變化量小于一定閾值，這樣就得到一幅圖像的n個超像素塊。但是通過實驗，一般圖像在5次迭代后，聚類中心坐標變化量非常小，幾乎可以忽略不計，因此在本文算法中，劃分超像素塊的終止條件由閾值改為5次迭代。這樣節省了預處理時間開銷，也讓算法更簡單。先前的基于超像素塊算法，一般將圖片劃分為200個超像素塊。本文通過實驗，綜合衡量了效率與精準度，認為采用300個超像素塊劃分，能夠取得更精準的結果，并且在時間開銷上與劃分為200個超像素塊所需時間相差較小。

2.2 閉環無向圖構建與流形排序

(2)

其中:參數μ控制準確性與平滑性之間的平衡。將上述函數求一階導數，令導數為0，得到結果：

f*=(D-αW)-1y

(3)

其中：α=1/(1+μ)。輸入圖像被分割成超像素塊后，構建閉環無向圖G=(V,E)，其中V是分割后的超像素塊組成的點集，而邊集E由以下準則定義：1)相鄰的超像素塊相互連接;2)每個超像素塊與它相鄰的超像素塊的鄰居也相互連接;3)所有在圖像邊緣的超像素塊相互連接。于是，輸入圖像轉化為無向圖。得到邊集后，構造相似度矩陣W，定義如下：

(4)

其中：ci和cj分別是超像素塊i與j在CIELab顏色空間上的色彩均值；σ2是控制連通權值強度的因子。很明顯，由式(4)得到的相似度矩陣W是稀疏的。根據W很容易算出D。文獻[23]中，α的值被設置為0.99，σ2的值被設置為0.1。本文中，由于超像素塊的分割方式發生變化，算法不再采用上述的參數值。分割的超像素塊越精細，相鄰的超像素塊之間的聯系越緊密，所以控制連通權值強度的因子σ2應當適當變大，以補償超像素塊變多帶來的權值衰減。本文通過實驗，將σ2設為0.5。然后根據σ2的值，找到最佳的α值為0.9。

2.3 背景顯著估計

如文獻[1,18]所述，顯著性的計算源于人類視覺注意機制，人類感知習慣在決定一張圖像中的顯著物體時起到了重要作用。已有的背景估計方法中，研究者將圖像邊界作為背景候選區。這與人類視覺習慣一致：一方面, 人們在觀察圖像時，中心區域通常最先引起人的注意；另一方面，在照片或圖像中，人們不太可能將重要物體放在邊緣，因此，本文算法采用類似的方法來選取背景先驗。

一張圖像有4個邊界，以上邊界為例，首先標記與上邊界有公共邊的超像素塊。相對地，其他超像素塊視為未標記，這樣就得到指示向量y。然后將所有超像素塊按照式(3)進行排序，得到n維向量f*。f*中的每一個值代表對應超像素塊與上邊界的相似度，值越高則相似度越高。根據人類視覺習慣，與邊界相似的超像素塊，極有可能是背景或非顯著區域，因此，可以將f*看作關于上邊界的背景先驗估計。 將f*歸一化后可得到關于上邊界的背景顯著估計：

(5)

原始的流形排序算法[23]直接將4張背景顯著估計相乘得到背景顯著圖：

Sbg=Stop×Sleft×Sbottom×Sright

然而，這種方法存在明顯的問題，如果顯著性物體恰好與其中某個邊界顏色相似，或者某個邊界區域與其他邊界相差很大，則背景顯著估計就會不準確, 甚至錯誤。如圖3(a)，中心區域是一朵花，周圍是草和綠葉，頂部是被虛化的河流。 那么此情況下紅花會被看作顯著物體，而其他區域是非顯著的，但是，上邊界出現的河流與其他邊界相差較大，導致綠色區域相對顯著。根據之前的算法，得到正確的Sleft、Sbottom、Sright以及錯誤的Stop。由于乘法的性質，Stop的錯誤可能被放大，因此在融合后會出現如圖3(b)的不準確估計，最終導致圖3(c)中的不準確結果。圖3展示了背景顯著估計的準確程度對最終顯著性檢測結果的影響。

圖2 基于不同邊界的顯著估計結果

圖3 背景估計對結果的影響

在基于隨機游走的方法[25]中，研究者計算出4張背景估計，根據顏色差異計算4張圖的相似性，然后舍去與其他3張差異最大的圖。這比文獻[23]中的算法有了一定改進，但仍可能出現問題。如遇到顯著性物體與多個邊界相似的情況， 這種算法就會失效；而且計算相似性的算法涉及到多次全圖遍歷，會造成不必要的時間開銷。 綜上所述，通過簡單乘法融合背景顯著估計缺乏合理性，本文將不采用乘法的方式來融合顯著估計。

2.4 對比度優化與背景先驗融合

在基于細胞自動機的算法[26]中，研究者提出了改進方法。利用CIELab色彩特征將邊界區域聚成3類，構建出3張不同的全局顏色區別(Global Color Distinction, GCD)矩陣。接著，用全局空間距離(Global Spatial Distance, GSD)矩陣來平衡這些不同的GCD圖，背景顯著估計變為：

這種方法在聚類、計算GCD和GSD的時候會有比較大的開銷，但是將顯著估計的融合方式由簡單的乘法變成了帶權加法，能有效修正不合理的背景顯著估計。

本文利用相似的思路，設計了相應的顯著融合算法，以帶權加法的方式，通過權值修正顯著估計，改進之前的算法。根據顯著性物體在圖像中的分布情況，合理的背景顯著估計需要具備三個條件: 1)顯著區域在圖像中占的比例相對較少；2)顯著區域相對集中，同類區域顯著值接近；3)顯著區域與非顯著區域對比明顯。

根據以上條件，本文設計了三個指標來判斷顯著估計的置信度。首先定義背景顯著估計的顯著期望：

(6)

其中n為超像素塊的個數。根據條件1)，顯著區在圖像中占的比例偏少，因此，一個合理的顯著先驗，顯著值的期望E應當偏低。如果E過高，說明在顯著先驗中，顯著區域在圖像中的比例過大，或者區域內的顯著值過高。接著，定義局部顯著對比度:

(7)

其中:i為超像素塊標號，ki是與第i個超像素塊相鄰的所有超像素塊集合。局部對比度反映超像素塊與相鄰區域的差異。作為顯著先驗，根據條件2)，除了圖像邊界與圖像中物體的邊界區域，其余超像素塊與鄰接超像素塊的差異應當較小，因此Clocal較小。Clocal太大說明顯著區域不集中，或顯著區域內部的顯著值相差過大。最后，定義全局顯著對比度:

(8)

其中:i,j代表相鄰超像素塊，δ(i,j)代表相鄰超像素塊間的灰度差，Pδ(i,j)代表灰度差為δ的超像素塊分布率。根據條件3)，合理的顯著先驗，顯著區域與非顯著區域應當對比明顯，因此Cglobal應當較大。如果Cglobal太小則說明顯著區域與非顯著區域區分不明顯，不是合理的顯著先驗。

根據上述定義與分析，顯著性期望E應當較小，局部對比度Clocal應該較小，而全局對比度Cglobal應該較大，因此定義估計置信度:

p=Cglobal/(Clocal×E)

(9)

置信度p越大，說明該顯著先驗越合理，反之則越不合理。分別算出4張背景顯著估計的置信度ptop、pleft、pbottom、pright，并將背景顯著估計通過帶權加法融合:

(10)

其中i∈{top,left,bottom,right}。與之前算法相比，帶權相加的方式能在相同準確率情況下獲得更高的召回率。

2.5 前景顯著估計

Sbg是從邊界先驗的角度得到的初步的顯著性圖。根據前文所述，前景區域在圖中有較高的顯著值。由于經過對比度優化，前景區域的顯著性會提高，因此，本文不再使用平均灰度值作為選取前景的依據，而是根據實驗結果，設計了新的閾值：

t=(mean(Sbg)+max(Sbg))/2

(11)

其中:mean(Sbg)代表Sbg的均值，max(Sbg)代表Sbg中的最大值。該閾值使得相同召回率情況下，準確率更高。根據閾值得到新的指示變量y，顯著度大于閾值的超像素塊標記為前景，yi=1; 小于閾值的標記為背景，yi=0。按照式(3)對整張圖進行流形排序，得到像素塊最終的顯著性值：:

(12)

3 實驗結果及分析

本文將提出的算法在MSRA、ECSSD，大連理工-歐姆龍顯著性數據集(DUT-OMRON)[23]以及帕斯卡顯著性數據集(PASCAL-S)[29]四個公開數據集上測試，并與近年來的12種算法相比較。這12種算法分別是顯著性快速分析模型(Saliency-BasedVisualAttentionforRapidSceneAnalysis,IT)[1]、基于引導學習的顯著性檢測算法(BootstrapLearning,BL)[6]、基于全局對比度的顯著區域檢測(Globalcontrastbasedsalientregiondetection,RC)[7]、基于魯棒背景檢測的顯著性優化(RobustBackgroundDetection,RBD)[8]、層次顯著性檢測(HierarchicalSaliencydetection,HS)、基于對比度的顯著區域過濾算法(SaliencyFilter,SF)[17]、基于圖的流形排序(GraphbasedManifoldRanking,GMR)[23]、基于細胞自動機的顯著性檢測算法(SaliencyDetectionviaCelluarAutomata,BSCA)[26]、顯著區域特征融合算法(DiscriminativeRegionalFeatureIntegration,DRFI)[28]、頻域協調顯著檢測(Frequency-Tuned,FT)[30]、基于圖的顯著性檢測(Graph-Based,GB)[31]和軟圖像抽取(SoftImageAbstraction,GC)[32]。通過圖4可以看出本文算法得出的顯著區域與真實值(GroundTruth,GT)接近，噪聲明顯少于其他算法，顯著區域灰度值更均勻。

圖4 部分算法顯著性檢測結果對比

3.1 準確率-召回率曲線

準確率-召回率(Precision-Recall,PR)曲線是評價算法效果最常用的手段。通過固定閾值，得到256張二值圖，將結果與真實值(Ground-Truth,GT)比較就能得到相應的PR曲線(圖5)。

圖5 準確率-召回率曲線

從圖5所示的PR曲線可以看出，本文算法COMR在MSRA上領先其他算法，與DRFI以及BSCA基本持平，在高準確率要求的情況下，本文算法的召回率比DRFI與BSCA高。 在ECSSD數據集上，本文算法僅次于DRFI，但該算法與改進前的GMR相比，有顯著提升，同時優于效果較好的非機器學習算法RBD，以及基于細胞自動機的顯著性檢測算法BSCA。在DUT-OMRON及PASCAL-S數據集上，該算法的表現超過了包括DRFI、BL等機器學習算法在內的其他所有方法。

3.2F-值分析

通常，準確率和召回率不能單獨用來評價顯著性圖的質量，因此，本文用F-measure值對準確率和召回率進行加權調和平均，以此來判斷算法質量：

其中β2=0.3，Fβ越高說明算法效果越好。從表1可以看出，本文算法在ECSSD上的F-measure值僅次于DRFI，比其他所有算法的F-measure值高。在MSRA上，本文算法的F-measure值高于其他算法。結合多個數據集的準確率-召回率曲線，說明本文算法在效果及適應性方面，優于已有的多種算法。

3.3AUC與MAE

除了PR曲線，本文利用固定閾值的方法算出假陽性(FP)率和真陽性(TP)率，得到受試者工作特征(ReceiverOperatingCharacteristics,ROC)曲線。計算ROC曲線與坐標軸圍成的面積AUC(AreaUnderCurve)。MAE是顯著圖與真實值之間的均方誤差。這兩個指標是衡量顯著性算法效果和穩定性的重要指標。分別比較這些算法的AUC與MAE，通過比較發現本文算法的AUC僅次于DRFI，高于同類型算法GMR、BRD、BSCA等。在MSRA上，本文算法的MAE已經比DRFI小，也小于同類型算法GMR、BRD、BSCA。這說明本文的算法在多個數據庫的不同指標上領先于多種現有的算法。

表1 不同數據集測試數據比較

3.4 算法效率比較

在IntelXeonE5645 2.4GHzCPU，8GBRAM，SSD硬盤的運行環境下，測試了12種算法對每張圖的平均處理時間。

從表2可以看出，本文算法的運行時間適中，比大多數算法消耗的時間少，尤其是對于效果較好的DFRI算法以及較新的BSCA算法，本文算法速度幾乎是它們的3倍。對于速度較快的算法，例如FT，本文算法效果遙遙領先。同類型算法GMR、RBD的時間開銷與本文算法接近，但從圖4以及各項效果指標可以看出，本文算法優于這兩種算法。

4 結語

本文針對目前基于先驗的顯著性算法中先驗選取不合理或不準確的情況，提出利用局部對比度與全局對比度的關系優化先驗融合過程的顯著性物體檢測算法：

1) 在預處理階段改進了超像素塊分割策略，使預處理時間縮短，增加超像素塊分割個數，使算法精確度提升。

2) 設計了顯著期望、全局對比度以及局部對比度三個指標，判斷顯著估計的置信度，幫助找出合理的顯著先驗。

3) 改進了顯著估計的融合方式，利用顯著置信度及帶權加法替代之前的簡單乘法，使得到的顯著性估計的召回率提升。

4) 在前景顯著估計中設計了新的閾值選取策略，使得到的最終結果具有更高的準確率。

5) 通過一系列在公開數據集上的測試，驗證了該算法的正確性，效果及性能。效果方面超過了原算法GMR，數據指標超過多種算法，并在性能方面領先于深度學習DRFI算法以及新算法BL、BSCA等。

實驗結果表明，在準確找到前景區域的前提下，基于先驗的顯著物體檢測算法能夠達到更好的效果。通過對比度優化與改進顯著融合方式，本文算法能得到恰當的前景區域，最終獲得清晰、完整、準確的顯著性圖。

當然，由于本文算法依賴于超像素塊分割以及邊界先驗，因此對于顯著物體過于靠近圖像邊界，圖像中顯著性物體多、分布零散，以及顯著性物體占據圖像絕大多數區域的情況，仍存在不足。我們會在后續研究中，逐步改善這些問題，進一步提高算法效果。

表2 算法效率比較

)

[1]ITTIL,KOCHC,NIEBURE.Amodelofsaliency-basedvisualattentionforrapidsceneanalysis[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 1998, 20(11): 1254-1259.

[2]BORJIA,SIHITEDN,ITTIL.Probabilisticlearningoftask-specificvisualattention[C]//Proceedingsofthe2012IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2012: 470-477.

[3]FRINTROPS,BACKERG,ROMEE.Goal-directedsearchwithatop-downmodulatedcomputationalattentionsystem[M]//PatternRecognition,LNCS3663.Berlin:Springer, 2005: 117-124.

[4]GAOD,VASCONCELOSN.Discriminantsaliencyforvisualrecognitionfromclutteredscenes[J].AdvancesinNeuralInformationProcessingSystems, 2004, 17: 481-488.

[5]TONGN,LUH,XIANGR,etal.Salientobjectdetectionviabootstraplearning[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2015: 1884-1892.

[6]ACHANTAR,ESTRADAF,WILSP,etal.Salientregiondetectionandsegmentation[M]//ComputerVisionSystems,LNCS5008.Berlin:Springer, 2008: 66-75.

[7]CHENGMM,ZHANGGX,MITRANJ,etal.Globalcontrastbasedsalientregiondetection[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2015, 37(3): 569-582..

[8]ZHANGW,WANGZ,YANC,etal.Saliencyoptimizationfromrobustbackgrounddetection[C]//Proceedingsofthe2014IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2014: 2814-2821.

[9] 蔣嬌,陸平,朱恒亮,等.融合對比度與背景先驗的顯著目標檢測算法[J].計算機輔助設計與圖形學學報,2016,28(1):82-89.(JIANGJ,LUP,ZHUHL,etal.Salientobjectdetectionusingcontrastandbackgroundpriors[J].JournalofComputer-AidedDesignandComputerGraphics, 2016, 28(1): 82-89.)

[10] 王晨,樊養余,李波,等.基于濾波合成的關鍵顯著性目標檢測方法[J].計算機應用,2014,34(12):3531-3535.(WANGC,FANYY,LIB,etal.Keysalientobjectdetectionbasedonfilteringintegrationmethod[J].JournalofComputerApplications, 2014, 34(12): 3531-3535.)

[11] 葛濤,馮松鶴.基于層次和動態閾值的圖像顯著區域檢測方法[J].計算機應用,2006,26(11):2721-2723.(GET.FENGSH.Amethodforimagesalientregionsdetectionbasedonlayeranddynamicthreshold[J].JournalofComputerApplications, 2006, 26(11): 2721-2723.)

[12] 趙三元,李鳳霞,沈建冰,等.基于紅黑小波的圖像顯著性檢測[J].計算機輔助設計與圖形學學報,2014,26(10):1789-1793.(ZHAOSY,LIFX,SHENJB,etal.Imagesaliencydetectionusingred-blackwavelet[J].JournalofComputer-AidedDesignandComputerGraphics, 2014, 26(10): 1789-1793.)

[13] 柳欣,鐘必能,張茂勝,等.基于張量低秩恢復和塊稀疏表示的運動顯著性目標提取[J].計算機輔助設計與圖形學學報,2014,26(10):1753-1763.(LIUX,ZHONGBN,ZHANGMS,etal.Motionsaliencyextractionviatensorbasedlow-rankrecoveryandblock-sparserepresentation[J].JournalofComputer-AidedDesignandComputerGraphics, 2014, 26(10): 1753-1763.)

[14] 胡正平,孟鵬權.全局孤立性和局部同質性圖表示的隨機游走顯著目標檢測算法[J].自動化學報,2011,37(10):1279-1284.(HUZP,MENGPQ.Graphpresentationrandomwalksalientobjectdetectionalgorithmbasedonglobalisolationandlocalhomogeneity[J].ActaAutomaticaSinica, 2011, 37(10): 1279-1284.)

[15]WANGL,LUH,RUANX,etal.Deepnetworksforsaliencydetectionvialocalestimationandglobalsearch[C]//Proceedingsofthe2015IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2015: 3183-3192.

[16]YANGJ.Top-downvisualsaliencyviajointCRFanddictionarylearning[C]//Proceedingsofthe2012IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2012: 2296-2303.

[17]PERAZZIF,KRHENBüHLP,PRITCHY,etal.Saliencyfilters:contrastbasedfilteringforsalientregiondetection[C]//Proceedingsofthe2012IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2012: 733-740.

[18]FRINTROPS,WERNERT,GARCIAGM.Traditionalsaliencyreloaded:agoodoldmodelinnewshape[C]//Proceedingsofthe2015IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2015: 82-90.

[19]GONGC,TAOD,LIUW,etal.Saliencypropagationfromsimpletodifficult[C]//Proceedingsofthe2015IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2015: 2531-2539.

[20]GOPALAKRISHNANV,HUY,RAJAND.Randomwalksongraphstomodelsaliencyinimages[C]//Proceedingofthe2009IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2009: 1698-1705.

[21]JIANGB,ZHANGL,LUH,etal.SaliencydetectionviaabsorbingMarkovchain[C]//Proceedingsofthe2013IEEEInternationalConferenceonComputerVision.Washington,DC:IEEEComputerSociety, 2013: 1665-1672.

[22]RENZ,HUY,CHIALT,etal.Improvedsaliencydetectionbasedonsuperpixelclusteringandsaliencypropagation[C]//Proceedingsofthe18thACMInternationalConferenceonMultimedia.NewYork:ACM, 2010: 1099-1102.

[23]YANGC,ZHANGL,LUH,etal.Saliencydetectionviagraph-basedmanifoldranking[C]//Proceedingsofthe2013IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2013: 3166-3173.

[24]ZHOUD,WESTONJ,GRETTONA,etal.Rankingondatamanifolds[J].AdvancesinNeuralInformationProcessingSystems, 2004, 16: 169-176.

[25]LIC,YUANY,CAIW,etal.Robustsaliencydetectionviaregularizedrandomwalksranking[C]//Proceedingsofthe2015IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2015: 2710-2717.

[26]QINY,LUH,XUY,etal.Saliencydetectionviacellularautomata[C]//Proceedingsofthe2015IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2015: 110-119.

[27]ACHANTAR,SHAJIA,SMITHK,etal.Slicsuperpixels[EB/OL]. [2016- 01- 07].https://infoscience.epfl.ch/record/149300/files/SLIC_Superpixels_TR_2.pdf?version=2.

[28]JIANGH,WANGJ,YUANZ,etal.Salientobjectdetection:adiscriminativeregionalfeatureintegrationapproach[C]//Proceedingsofthe2013IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2013: 2083-2090.

[29]LIY,HOUX,KOCHC,etal.Thesecretsofsalientobjectsegmentation[C]//Proceedingsofthe2014IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2014: 280-287.

[30]ACHANTAR,HEMAMIS,ESTRADAF,etal.Frequency-tunedsalientregiondetection[C]//Proceedingofthe2009IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2009: 1597-1604.

[31]HARELJ,KOCHC,PERONAP.Graph-basedvisualsaliency[C]//AdvancesinNeuralInformationProcessingSystems.Cambridge,MA:MITPress, 2006:545-552.

[32]CHENGMM,WARRELLJ,LINWY,etal.Efficientsalientregiondetectionwithsoftimageabstraction[C]//Proceedingsofthe2013IEEEInternationalConferenceonComputerVision.Washington,DC:IEEEComputerSociety, 2013:1529-1536.

ThisworkispartiallysupportedbytheKeyProjectofNationalNaturalScienceFoundationofChina(61133009),theNationalNaturalScienceFoundationofChina(61472245,U1304616, 61502220).

XIE Chang, born in 1991, M. S candidate. His research interests include digital imgae processing, pattern recognition, machine learning.

ZHU Hengliang, born in 1981, Ph. D. candidate. His research interests include digital image processing, pattern recognition.

LIN Xiao, born in 1978, Ph. D., associate professor. Her research interests include digital image processing, video processing.

MA Lizhuang, born in 1963, Ph. D., professor. His research interests include computer graphics, digital image processing, computer aided design, scientific data visualization, computer animation.

Salient target detection algorithm based on contrast optimized manifold ranking

XIE Chang1*, ZHU Hengliang1, LIN Xiao1,2, MA Lizhuang1

(1.DepartmentofComputerScienceandEngineering,ShanghaiJiaoTongUniversity,Shanghai200240,China; 2.SchoolofOptical-ElectricalandComputerEngineering,UniversityofShanghaiforScienceandTechnology,Shanghai200093,China)

The existing boundary prior based saliency algorithm model has the problem of improper selection of reasonable saliency prior region, which leads to the inaccurate foreground region and influence the final result. Aiming at this problem, a salient target detection algorithm based on contrast optimized manifold ranking was proposed. The image boundary information was utilized to find the background prior. An algorithm for measuring the priori quality was designed by using three indexes, namely, saliency expection, local contrast and global contrast. A priori quality design with weighted addition replaced simple multiplication fusion to make the saliency prior more accurate. When the salient regions were extracted from the a priori, the strategy of selecting the threshold was changed, the foreground region was selected more rationally, and the saliency map was obtained by using the manifold ranking, so that the saliency detection result was more accurate. The experimental results show that the proposed algorithm outperforms the similar algorithms, reduces the noise, which is more suitable for human visual perception, and ahead of the depth learning method in processing time.

boundary prior; prior fusion; saliency estimation; global contrast; local contrast; manifold ranking

2016- 09- 23;

2016- 10- 08。

國家自然科學基金重點項目(61133009)；國家自然科學基金資助項目(61472245,U1304616, 61502220)。

謝暢(1991—)，男，四川雅安人，碩士研究生，主要研究方向：圖像處理、模式識別、機器學習； 朱恒亮(1981—)，男，山東微山人，博士研究生，主要研究方向：圖像處理、模式識別； 林曉(1978—)，女，河南洛陽人，副教授，博士，CCF會員，主要研究方向：圖像處理、視頻處理； 馬利莊(1963—)，男，浙江寧波人，教授，博士，CCF會員，主要研究方向：計算機圖形學、圖像處理、計算機輔助設計、科學數據可視化、計算機動畫。

1001- 9081(2017)03- 0684- 07

10.11772/j.issn.1001- 9081.2017.03.684

TP

A