基于雙層超像素對比度融合的顯著區域檢測

吳 清，商常青，石陸魁，連翠葉

（河北工業大學 計算機科學與軟件學院，天津300401）

0 引 言

近年來，研究者們已經提出大量關于顯著區域檢測的方法，但是隨著互聯網的快速發展，大量的圖片出現在互聯網中，這些舊有方法仍然無法達到快速處理的要求，因此提出一種快速、準確、有效的方法是目前急需要解決的問題。

本文主要目的是提出一種能夠自動檢測圖像中顯著區域的方法，其能夠被應用于解決圖像處理領域中其它的問題。通過采用自底向上、數據驅動的方式提出一種基于超像素 （super pixel）對比度融合的顯著區域檢測方法。利用超像素之間的對比度差異來計算像素的顯著性值，取而代替了利用每個像素之間的特征差異來計算圖像中像素的顯著性值，最終產生具有全分辨率的顯著性圖。本文方法主要包括3大步驟：①采用超像素分割方法將圖像分割為多個區域，使相同區域里的元素具有相似的特性；②通過利用不同區域中顏色的差異和空間的相關性來計算不同分割區域的顯著性值；③根據相似特性聚合原理將初始的顯著圖做相似類聚合，并通過自適應閾值增加顯著區域與非顯著區域之間的對比度，最終產生一個具有多分辨率的顯著圖。本文中最重要的部分在于分割方法的選取和顯著值的計算方法。目前SLIC［1］（simple linear iterative clustering）超像素分割方法以其簡單的分割思想、準確的分割效果受到研究人員的青睞，故采用SLIC 方法作為預處理分割方法。受Achanta等［2］的啟發，本文在Achanta等提出算法的基礎上進行了改進并作為計算顯著值的計算方式。

為評估本文提出的方法的有效性和準確性，在Achanta等［2］和程明明等［3］提供的公共測試圖像集上對本文提出的方法進行測試，比較經典方法以及人工標注的參考數據，實驗結果表明，本文方法在查準率 （precision rate）和召回率 （recall rate）方面有明顯提高。

1 相關顯著性檢測方法

本文主要關注自底向上、數據驅動的顯著性檢測方法及相關分割方法，這類方法多是在生物學原理的基礎上，利用圖像固有的屬性：顏色、亮度、梯度等通過利用數學計算的方法來計算某個區域的顯著度。在Koch等［4］早期的工作中提出的生物啟發模型的基礎上，Itti等定義圖像的顯著性、提出視覺注意理論。在基于該理論的基礎上提出基于圖像特征對比度的方法，目前主要分為兩種計算方法：基于局部對比度和基于全局對比度的方法。

基于全局對比度的顯著性區域計算方法是用每一個像素和整個圖像的對比度來計算該像素的顯著性值，基于局部對比度的顯著性計算方法則是用每一個像素和其周邊一定區域范圍內的像素的對比度來計算該像素的顯著性值。前者需要計算圖像中所有像素之間的對比度，當圖像較大時，雖然可以準確的計算出圖像中每個像素的顯著度值，但是計算速率會大大降低，同時需要占用較大的計算空間；后者，當計算的局部范圍較小時，可以達到較快的計算速度，但是由于只對比一定范圍內像素的對比度，無法從整個圖像分析該像素在圖像中所具有的顯著值，所以計算的結果無法突顯出在整個圖像中的顯著性，最終導致計算結果具有較大的局限性和差異。

圖像分割作為計算機視覺領域的基本問題，圖像分割是獲取顯著區域的一種方式，圖像分割的準確度決定了最終獲取顯著目標的精確性。選取一個比較好的分割方法對達到顯著區域監測的目的起著重要的作用。Ren等［1］提出超像素的感念，所謂的超像素：就是相鄰區域中具有相似顏色、亮度、紋理等特征像素組成的圖像塊。它利用相鄰像素之間的相似程度將像素歸類分組，將圖像分成不同的區域，減少了圖像的冗余信息，為后期的二次處理提高了速度。Achanta等［1］提出一種基于超像素的圖像分割方法SLIC，由于其算法思想簡單、計算快的特點應經被應用到多個領域。

2 基于超像素分割的顯著性檢測

人類觀察周圍環境時，往往對周圍環境中局部區域與背景環境產生較大對比差異、顏色或形狀比較奇異的區域產生較大的關注，據此我們采用了基于對比度的方法來計算圖像的顯著性。CIELab 顏色空間將亮度和顏色單獨分開，它的L分量密切匹配人類亮度感知，這有助于我們更好獨立的調節各個分量，從不同的角度來分析各個分量對視覺顯著的影響。所以本文以下的對比度均采用在CIELab顏色空間來進行計算。

一個圖像往往具有數萬個甚至千萬個像素，如果采用基于全局對比度的方法來計算每個像素的顯著性，這極大的增加的計算的復雜度，通過將圖像進行分割可以達到降低計算的復雜度，但是分割圖像的個數太小，計算得到的結果不準確，分割圖像的個數太大，既不會降低計算的復雜度，又不能夠通過最大化的方式將相似的區域分割到一個區域。所以本文中通過將圖像進行兩次分割：一次粗分割即較少個數的分割個數、一次細分割即較多個數的分割個數，并利用兩次分割計算得到的顯著圖進行融合的方式來計算圖像的最終顯著性圖，這樣既可以最大化的將相似屬性或顯著的部分區域分割到一個區域，同時又降低了計算的復雜度。由于兩次分割計算顯著值的方法相同所以一下只詳細的介紹一種計算方法。

本文中首先對要處理的圖像采用超像素分割，分割后的超像素圖像利用基于全局對比度的視覺顯著性方法計算每個超像素的顯著值。對生成的初始的顯著圖采用自由競爭的方式，減少顯著圖噪聲，對顯著圖中相近的超像素進行聚合，最后采用自適應閾值的方法對超像素中非顯著的區域進行背景化，增強并保留顯著區域的部分結構，最終產生具有全分辨率的顯著圖。整個顯著圖的產生過程如圖1所示。

圖1 本文方法的流程

2.1 超像素對比度的顯著性算法

利用SLIC超像素分割方法對要處理的圖像I進行超像素分割為圖像I′。定義I′中任意兩個超像素Pi和Pj，Pi中包含m 個像素，Pj中包含n個像素，則這兩個超像素Pi和Pj在Lab顏色空間中在顏色對比值Cij，其公式

式中：i≠j，ui——超像素Pi中m 個像素在Lab顏色空間L、a、b顏色的平均值，ui——超像素Pj中n 個像素在Lab顏色空間L、a、b顏色的平均值。·2表示歐式空間距離

式中：i≠j，vi——超像素Pi中m 個像素在Lab顏色空間坐標的平均值，vj——超像素Pj中n個像素在Lab顏色空間坐標的平均值

通過利用式 （1）～式 （4），并將Lij規格化到 ［0，1］來計算超像素Pi和Pj的之間顯著值oij其公式

式中：作為控制空間距離作用的影響因子。越小空間距離對結果的影響越大，導致較遠區域的對比度會對當前區域顯著性造成較大的影響。在實驗中我們采用 ＝0.4來計算超像素之間的顯著值。

Goferman等［1］提出的原方法中，只考慮K 個最相似的圖像塊，忽略了該點在整個圖像中的顯著性，在本文中通過在Goferman等提出的算法的基礎上，通過考慮像素Pi在整個圖像中的顯著性并根據下面的公式計算超像素Pi的顯著值Oi

2.2 雙層超像素顯著性的融合

由于對圖像進行單一個數的超像素分割無法獲取到相對完整的顯著區域。粗分割可以將比較顯著的區域分割到一個區域，但是又會包含有比較大的噪聲，通過再進行細分割可以把圖像中更加細節的部分分割到一個比較小的區域，通過將粗分割和細分割的結果進行融合，既保留了部分細節的信息，同時最大化的將顯著區域聚合到一個區域。所以我們利用式 （6）對圖像進行不同程度的分割，并計算出相應分割情況下的顯著性。通過利用不同的分割效果得到的顯著圖進行融合最終獲取到圖像的顯著性圖。本文中利用超像素個數spnum＝15 和spnum＝200 的計算結果利用式 （7）進行融合得到最終的顯著圖

式中：O（spnum＝15）和O（spnum＝200）——利用式 （6）在超像素分割個數15 和200 下計算得到的具有全分辨率顯著性圖。SV ——O（spnum＝15）和O（spnum＝200）融 合 得 到 的 最 終 的 顯 著性圖。

對于背景和前景比較單一的圖像，利用本文的方法可以獲得較好的顯著圖，但是對于背景復雜的、紋理結構多樣的圖像無法準確的得到理想的結果，為獲取到更加精細的顯著圖，減弱背景區域對顯著區域的影響，在以上算法結果的基礎上，通過閾值分割的方法對顯著性圖中背景和前景區域進行分割，對低于閾值的非顯著區域進行背景化，保留高于閾值的顯著區域的部分結構信息，最終獲取圖像的顯著性圖，由于固定的閾值無法達到較好的分割效果，所以本文采用基于最大間類方差法OTSU［4］閾值分割方法來獲取一個比較合適的自適應閾值。本文中方法的最終實驗結果如圖2中第9列所示。

圖2中從左到右依次為：原圖、由Achanta等提出的AC［2］、Goferman等提出的CA［5］、由Achanta等［6］提出的FT、由Itti等提出的IT［2］、由Zhai等提出的LC［3］、由Ma等提出的MZ［5］、由Cheng等提出的HC［3］方法及本文的方法計算得到的顯著圖和由人工標注的顯著圖。

3 實驗結果及比較

實驗中，為更加準確的突出本文的方法和其它方法的不同，在Achanta等提供的MSRA1000和程明明等提供的THUS10000的公共圖像數據測試集上測試了本文的方法，據我們所知此測試集包含了大量由人工精確標注的顯著性區域。本文中所有的圖片都是在一臺Pentium? Dual－Core CPU T4300主頻2.1 Hz的個人電腦生成的，本算法是在Windows系統環境下基于Matlab程序設計語言編寫的。為了更加全面的測試本文算法的準確性，通過利用人工精確標注的顯著圖作為驗證各個算法的查準率 （precision rate）、查全率 （recall rate）的標準

式中：Tp——正的樣本，Fp——正的負樣本，Fn——負的正樣本。圖3是利用式 （8）、式 （9）計算得到的本文方法和 HC［3］、FT［6］、LC［3］、SR［7］、AC［2］、CA［3］、GB［8］、IT［2］、MZ［5］和RC［3］等 方 法 在MSRA1000 數 據 集 下 的PR（precision recall）曲線，從曲線圖中可以看到本文的方法明顯優于其它的方法。分別計算了其它方法和本文方法的查準率查全率曲線，從圖4可以明顯的看見我們的方法比其它的方法具有更高的準確度。

由于在一般情況下Precision和Recall是相互矛盾的，對一副圖像來說，如果所找到的小區域顯著區域正好完全屬于圖中的顯著目標區域的極小一部分，那么Precision就為100%，但此時Recall的值就會很低；如果把圖中顯著目標的區域比較小，計算得到的區域比較大并且已包含圖中的顯著區域，那么此時Precision 會比較小，而Recall是100%。因此就有必要綜合考慮Precision和Recall之間的關系，這里采用F－measure作為綜合評價一個算法的優良

圖2 不同方法的視覺顯著區域效果對比

圖3 不同方法的PR 曲線圖和綜合性能比較

式中：Precision和Recall為采用自適應閾值對顯著圖進行分割后的所有顯著圖計算得到的均值。由于我們通常更加側重關注查準率的大小，所以和Achanta等［1］的一樣，本文中用β2＝0.3來使查準率的權值高于召回率。從圖3和圖4中不同方法的PR 曲線的比較結果中看出，用本文的方法獲取的顯著圖的準確度明顯優于其它的方法。從圖3和圖4里的PRF直方圖可以看出本文的方法綜合評價相比以前的方法更準確。

圖3 （a）和圖3 （b）是IG［3］、AC［2］、CA［5］、FT［6］、GB［8］、HC［3］、IT［2］、LC［3］、MZ［5］、RC［3］、SR［7］、SF［9］以及本文中的方法計算得到的PR （precision recall）曲線圖，圖3 （c）是不同方法的Precision、Recall和F－measure直方圖。以上圖的計算結果都是在MSRA1000的公開測試集4上計算得到的。

圖4 不同方法在THUS10000測試集上的PR 曲線圖和綜合性能比較

圖4 中從上到下，上面的兩個圖分別是AC［2］、AIM［10］、CA［5］、FT［6］、 GB［8］、 HC［3］、IM［11］、IT［2］、LC［3］、 MSS［12］、 SEG［13］、 SeR［14］、 SR［7］、 SUN［15］、SWD［16］以及本文中的方法計算得到的PR （precision recall）曲線圖，下面的是不同方法的Precision、Recall和F－measure直方圖。

通過考慮計算所得到的顯著性圖像有助于顯著目標分割，傳統的分割方法是由人工選中矩形區域來進行初始化操作，而本文在提出的顯著性計算方法的基礎上通過利用自適應閾值OTSU 方法來改善顯著圖的分割結果，從而將顯著目標區域分割出來，分割結果如圖5所示。

圖5 顯著目標分割

4 結束語

本文中提出一種基于雙層超像素對比度融合的方法來檢測圖像的顯著性區域的檢測方法，本文的方法計算簡單、并且可以產生相對較好的顯著結果。在Achanta等［2］提出的公共數據庫上測試了本文的方法，并和近幾年來比較經典的顯著性檢測方法進行了比較，實驗結果及比較結果表明本文的方法在查準率和查全率上都優于其它方法。

由于我們提出的方法是在超像素分割的基礎上提出的，所以對圖像進行超像素分割對獲取目標的顯著區域起著重要的作用，SLIC方法雖然目前是比較好的分割方法，但是分割的結果仍然無法達到較滿意的分割結果，導致最終獲取的顯著區域有時候包含一些噪聲。加之由于有些圖像背景較為復雜且部分顯著物體的顏色與背景顏色極為相近并且背景顏色多樣化，本文的方法在處理較復雜結構的圖像時準確率無法達到期望的高度。在未來的工作中我們計劃提高分割效果的精確度，進一步考慮多重高級因素，研究出能夠處理具有復雜紋理結構的顯著性檢測方法，以克服本文現有算法在處理這類情況中存在的缺陷。

［1］Achanta R，Smith K，Lucchi A，et al.Slic superpixels［R］.Technical Report，EPFL，Tech Rep 149300，2010.

［2］Achanta R，Estrada F，Wils P，et al.Salient region detection and segmentation ［G］.LNCS 5008：International Conference on Computer Vision Systems，2008：66－75.

［3］Cheng MM，Zhang GX，Mitra NJ，et al.Global contrast based salient region detection ［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2011：409－416.

［4］Liu T，Yuan Z，Sun J，et al.Learning to detect a salient object［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33 （2）：353－367.

［5］Goferman S，Zelnik－Manor L，Tal A.Context－aware saliency detection ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34 （10）：1915－1926.

［6］Achanta R，Hemami S，Estrada F，et al.Frequency－tuned salient region detection ［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2009：1597－1604.

［7］Hou X，Zhang L.Saliency detection：A spectral residual approach ［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2007：1－8.

［8］Harel J，Koch C，Perona P.Graph－based visual saliency［C］／／Advances in Neural Information Processing Systems，2006：545－552.

［9］Perazzi F，Krahenbuhl P，Pritch Y，et al.Saliency filters：Contrast based filtering for salient region detection ［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2012：733－740.

［10］Bruce NDB，Tsotsos JK.Saliency，attention，and visual search：An information theoretic approach ［J］.Journal of Vision，2009，9 （3）：5.

［11］Murray N，Vanrell M，Otazu X，et al.Saliency estimation using a non－parametric low－level vision model ［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2011：433－440.

［12］Achanta R，Susstrunk S.Saliency detection using maximum symmetric surround ［C］／／17th IEEE International Conference on Image Processing，2010：2653－2656.

［13］Rahtu E，Kannala J，Salo M，et al.Segmenting salient objects from images and videos［G］.LNCS 6315：Computer Vision ECCV.Berlin：Springer Berlin Heidelberg，2010：366－379.

［14］Seo HJ，Milanfar P.Static and space－time visual saliency detection by self－resemblance ［J］.Journal of Vision，2009，9（12）：15.

［15］Zhang L，Tong MH，Marks TK，et al.Sun：A Bayesian framework for saliency using natural statistics［J］.Journal of Vision，2008，8 （7）：32.

［16］Duan L，Wu C，Miao J，et al.Visual saliency detection by spatially weighted dissimilarity ［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2011：473－480.