基于低秩背景約束與多線索傳播的圖像顯著性檢測

唐紅梅白夢月 韓力英 梁春陽

(河北工業大學電子信息工程學院 天津300401)

1 引言

人類的視覺注意機制能夠從復雜的場景中排除瑣碎的信息并篩選出最有吸引力的區域。顯著性檢測的目的是定位最能吸引人注意的區域，同時忽略非重要的視覺信息[1,2]。顯著性檢測作為圖像的預處理過程，被應用到圖像檢索等領域[3,4]。按照數據處理方式，顯著性檢測的方法分為兩類：自下而上模型和自上而下模型[5]。自下而上模型在數據驅動下，采用紋理、邊界等線索完成顯著性檢測。自上而下模型以任務驅動的方式對帶有類標簽的模型進行訓練，從而實現顯著性檢測，耗費時間較長[6]。本文專注于自下而上模型。

近些年，圖像的顯著性檢測算法在不斷進步。測地顯著性(Geodesic Saliency,GS)算法[7]從背景線索出發，通過測量像素到邊界的最短路徑距離來計算每個區域的顯著值；加權低秩恢復(Weighted Low Rank Recovery,WLRR)算法[8]采用背景高級先驗引導特征矩陣分解的方式得到顯著圖。文獻[9]改進VGG-16網絡以優化顯著性檢測，模型訓練成本較高。顯著性的傳播機制具有高效性，成為了顯著性檢測的重要策略之一。基于圖的流形排序(Graph Based Manifold Ranking,GBMR)算法[10]采用圖排序檢測顯著目標，依據背景先驗選取種子節點，導致顯著目標在邊界時檢測效果差；流形保持擴散(Manifold-Preserving Diffusion,MPD)算法[11]探索了平滑項和局部重建誤差項兩個假設，以保持顯著性檢測的流形結構；基于流形排序的矩陣分解(Manifold Ranking based Matrix Factorization,MRMF)算法[12]在矩陣分解中對排序問題建模，合并空間信息、嵌入標簽，賦予相鄰超像素相似的顯著性值。教學與學教(Teaching-to-Learn and Learning-to-Teach,TLLT)算法[13]采用教與學相結合的策略，從簡單性學習到高難度學習傳播顯著值，耗費時間較長。

基于流形排序的顯著性檢測已經取得了不錯的進展，但在指示向量篩選和傳播矩陣的構建方面仍存在不足：(1)指示向量的選擇通常依賴圖像背景信息，缺乏對圖像子空間信息的挖掘；(2)傳播矩陣的構建缺乏感知線索的運用，導致顯著圖的前景背景之間邊界不明顯；(3)傳播矩陣采用標準平滑約束，忽視了局部區域的平滑性，造成部分區域信息的丟失，使得丟失信息區域的節點與周圍區域連接較強的節點不能可靠傳播。為解決上述問題，提出基于低秩背景約束與多線索傳播的圖像顯著性檢測算法。本文的創新點如下：

(1)兼顧圖像子空間結構信息和節點間潛在關系，提出基于低秩背景約束與多線索傳播的顯著性檢測算法。利用高級背景先驗約束特征矩陣的分解，挖掘子空間的結構信息，增強低秩矩陣與稀疏矩陣的差異，提高前景與背景的辨別度；聯合多個線索探究節點間的冗余性和關聯性，優化傳播機制。

(2)在細化過程中，重新構建傳播矩陣，將提出的稀疏感知項與局部平滑項嵌入其中。從稀疏感知的角度出發，合理抑制顏色特征出現概率高的節點傳播，著重突出顏色特征出現概率低的節點傳播，從而達到突出前景抑制背景的效果。設計局部平滑策略，加強局部區域內節點間的關聯性，準確地呈現出局部區域內各個節點的屬性，促進同類別節點的可靠傳播。

2 提出算法整體框架

為解決基于流形排序的顯著性檢測算法缺乏子空間信息挖掘和節點間傳播不準確的問題，本文提出基于低秩背景約束與多線索傳播的圖像顯著性檢測算法，算法框架如圖1所示。首先，將圖像分割成均勻的超像素塊，全面地捕捉像素的結構信息；其次，提取每個超像素塊的特征矩陣，使用高級背景先驗約束特征矩陣分解，突出低秩矩陣與稀疏矩陣的差異性，得到前景背景分離的低秩背景約束顯著圖；進一步，為探索超像素節點間的潛在聯系，構建契合人類感知系統的局部信息圖結構，借助低秩背景約束顯著圖篩選可靠的指示向量，重構傳播矩陣，嵌入稀疏感知特性與局部平滑約束作為正則項，實現顯著值的多線索傳播，獲得精細的顯著圖。

3 基于低秩背景約束與多線索傳播的顯著性檢測

3.1 基于低秩背景約束的顯著性檢測

3.1.1構建低秩背景約束模型

為降低算法復雜度，使用簡單線性迭代聚類

圖1 基于低秩背景約束與多線索傳播的顯著性檢測算法框架

3.1.2建立背景加權約束矩陣

位置、顏色、邊界連通度先驗等視覺先驗可以在特征空間中提供相關性，背景視覺先驗約束圖像特征矩陣的分解，提高低秩矩陣和稀疏矩陣的辨別度，特別是當低秩矩陣與稀疏矩陣存在高度一致性時，也能較好地實現兩者的分離。

(1)背景位置先驗：人類容易被位于圖像中心的目標吸引，而遠離圖像中心的目標更可能屬于背景。對于超像素ki，背景位置先驗可以表示為

3.2 基于多線索傳播機制的顯著性檢測

基于低秩背景約束的顯著性檢測算法充分挖掘了圖像的空間結構信息，其假設稀疏矩陣中每個節點之間是獨立的，為了避免生成的顯著區域不均勻，深入探究節點之間的關系，提出稀疏感知與局部平滑相結合的多線索傳播機制，進一步增強前景背景的差異，提高顯著性檢測的準確率。

3.2.1建立局部信息圖結構

特征矩陣存儲了圖像的主要信息，但無法揭示超像素對之間的鄰接關系。為了探索超像素對之間的關系，建立局部信息圖結構G(V,E1)，其節點為V=[v1v2···v n],E1為節點間的邊界。相鄰節點最有可能共享相似的顯著值，將每個節點都與其相鄰節點相連；為減少節點間的測地距離，將邊界區域的每對節點彼此連接。該局部信息圖結構將局部鄰域節點約束在相同范圍內，鼓勵局部近鄰的節點分組。每對節點之間的權重wij如式(9),ci和cj分別是v i和vj在Lab顏色空間的平均值，σ1為控制顏色相似性強度的參數

圖2 先驗圖可視化結果

其中，η和θ是控制全局和局部平滑項比重的參數，ε和γ是控制擬合項和稀疏感知項的權重，M為拉普拉 斯 矩 陣，D=diag(d11d22···d n n)為置 信度 矩陣，I為單位陣。經化簡，得式(12)

4 實驗結果與分析

4.1 數據集與評價指標

圖3 改進的局部平滑傳播機制相關節點處理

圖4 基于低秩背景約束與多線索傳播的圖像顯著性檢測算法重要步驟結果圖

為評估算法的性能，在ECSSD,MSRA-10K,DUT-OMRON等3個數據集進行實驗，這3個數據集均配有人工標注的真值圖(Ground Truth,GT)。引入準確率(Precision,P)、召回率(Recall,R)、Fβ測度(F-measur e)以及平均絕對誤差(Mean Absolute Error,MAE)等指標，分別利用多閾值和自適應閾值分割得到二值圖，與真值圖進行比較得到P和R，繪制P-R曲線和P,R,F柱狀圖，其中Fβ為

其中，β2=0.3，平均絕對誤差MAE衡量顯著圖S與真值圖GT之間的差距

其中，NW和NH分別表示顯著圖的寬度和高度。

4.2 性能比較

所有算法均在Intel Core i5-5300U 2.3 GHz處理器、8 GB內存、64 bit Windows8環境下的MATLAB R2015a實現。

4.2.1定性比較

圖5展示了本文算法與GS,WLRR,GBMR,MPD,TLLT的可視化比較。第1行是單目標圖像，第2行是背景復雜的圖像，第3行是前景背景對比度低的圖像，第4行是多目標圖像，第5行是顯著目標接觸邊界的圖像。GS算法能檢測出顯著目標的大致輪廓，卻難以抑制背景，WLRR算法在前景背景對比度較低時，易受背景干擾。GBMR, MPD, TLLT算法在檢測多目標圖像時存在虛影現象。本文算法能有效處理背景復雜的場景，原因在于子空間關系的挖掘增強了前景與背景的差異性；對小顯著區域的檢測效果良好，如第1行的圖像不僅能使顯著目標高亮一致，還能準確處理胳膊與頭之間的縫隙，這是由于局部平滑項的引入加強了局部區域內節點的聯系；借助于提出的稀疏感知線索，可以檢測出前景背景對比度低的情景，還可以檢測圖像中的多個顯著目標。總之，本文算法能更好地突出所有顯著目標，具有優越性能。

4.2.2定量比較

圖6—圖8從P-R曲線、F曲線、自適應閾值下的P,R,F值和MAE等方面，在3個數據集上進行了定量比較。在ECSSD數據集和MSRA-10K數據集，本文算法的P-R曲線在召回率較高時保持較高的準確率，F曲線在很大閾值跨度上具有最大值，且平均絕對誤差均最小，更接近真值圖；在DUTOMRON數據集，本文算法的P-R曲線包圍大部分對比算法的P-R曲線，分割閾值大于150時，具有最大的F值，且MAE最小。自適應閾值分割時，ECSSD,DUT-OMRON數據集的平均召回率最高。綜上所述，本文所提算法憑借子空間結構信息和稀疏感知與局部平滑策略重構的傳播矩陣，獲得了較好的檢測結果。

4.2.3驗證稀疏感知項和局部平滑約束的有效性

為驗證所提稀疏感知項和局部平滑約束的有效性，在ECSSD數據集依次進行了WLRR算法、傳統流形排序細化算法、改進的稀疏感知傳播機制、改進的局部平滑傳播機制、本文算法等5個實驗，不同方案下的P-R曲線如圖9所示。WLRR算法的檢測能力最差，其次是傳統流形排序細化算法，改進的稀疏傳播機制和改進的局部平滑傳播機制的PR曲線均高于前兩種算法。融合稀疏感知與局部平滑策略的多線索傳播機制的P-R曲線下降較緩慢，左側頂端較高，包圍其他4個實驗的大部分曲線，兼顧了準確率和召回率。

圖5 各算法視覺對比示例

圖6 ECSSD數據集定量評價對比

圖7 MSRA-10K數據集定量評價對比

4.3 時間比較

將本文算法在ECSSD數據集的平均運行時間與5種算法對比，如表1所示。本文算法在執行背景約束、特征矩陣分解、重構傳播矩陣后，運行時間仍比MPD,TLLT算法少，綜合比較，本文算法性能優越。

4.4 應用于圖像檢索的性能分析

圖9 ECSSD數據集不同方案下的P-R曲線

將所提算法應用于圖像檢索技術，在具有1000張圖像、10個類別的Corel數據集進行圖像檢索。圖10、圖11分別展示了基于整體圖像和基于顯著圖的檢索結果，其中每一行的第1列圖像為待檢索圖像，按順序返回與待檢索圖像最相似的9張圖像。基于顯著圖的檢索不僅能夠凸出圖像的顯著特征，降低背景的干擾，提高了圖像檢索的準確率，在運行時間方面表現仍然突出，表2對比了兩種檢索方法的平均運行時間。

5 結束語

本文提出了一種低秩背景約束與多線索傳播的顯著性檢測算法，兼顧了圖像子空間結構和圖節點間的關系。利用低秩背景約束有效地區分了前景和背景，篩選出優質的指示向量，在改進的傳播矩陣中嵌入稀疏感知特性與局部平滑約束，提高了顏色特征出現概率低的節點的傳播能力，探索了局部區域內節點的關聯性，改善了節點間傳播不準確的問題。實驗證明本文算法在3個數據集上均具有優勢，尤其是圖像中有多個顯著目標時，檢測能力更為突出。未來考慮其他感知線索優化傳播機制，進一步改善節點的傳播效果。

表1 不同算法運行時間對比

圖10 基于整體圖像的圖像檢索結果

圖11 基于顯著圖的圖像檢索結果

表2 兩種圖像檢索方法的平均運行時間(s)