超像素和閾值分割相結合的顯著目標檢測算法

（1.上海應用技術學院 計算機科學與信息工程學院， 上海 201418； 2.華東理工大學 自動化研究所， 上海 200237）

摘 要： 現有的顯著性檢測結果普遍含噪及未能完整高亮顯著物體，使得后續的顯著目標檢測仍是一個具有挑戰性的問題。提出了一種結合超像素分割和閾值分割的新的顯著目標檢測算法。算法首先利用超像素分割方法對原圖像進行分割計算，然后依據顯著性檢測結果計算每一個分割區域像素的平均顯著度值，接著用平均顯著度值表示超像素內每一個像素的原顯著度值，最后根據閾值分割算法對其進行計算獲取二值掩碼圖以表示顯著目標檢測結果。實驗結果表明，在4種具有代表性的顯著圖上，所提算法能有效檢測顯著目標，具有較高的正確率、召回率和F度量值。

關鍵詞： 顯著目標檢測； 超像素分割； 閾值分割； 感興趣區域

中圖分類號： TN919.8?34 文獻標識碼： A 文章編號： 1004?373X（2016）14?0095?05

Salient object detection algorithm combining superpixel segmentation

with threshold segmentation

ZHANG Qing1， LIN Jiajun2

（1. College of Computer Science and Information Engineering， Shanghai Institute of Technology， Shanghai 201418， China；

2. Institute of Automation， East China University of Science and Technology， Shanghai 200237， China）

Abstract： The current saliency detection result usually contains noise， and can’t highlight the salient object completely， which makes the subsequent salient object detection be still a challenging problem， so a new salient object detection algorithm combining superpixel segmentation with threshold segmentation is proposed. In this algorithm， the superpixel segmentation method is used to segment and compute the original image， and according to the saliency detection result， the average saliency value of each segmentation area pixel is computed to express the original saliency value of each pixel in superpixel， then the threshold segmentation algorithm is used to compute the average saliency value to gain the binary mask map for expressing the salient object detection result. The experimental results show that the proposed algorithm can detect the salient objects in four representative saliency maps effectively， and has higher accuracy， recall rate and F?measure.

Keywords： salient object detection； superpixel segmentation； threshold segmentation； region of interest

0 引 言

圖像作為視覺信息的主要表達手段，是人類感知客觀世界的主要信息來源。傳統的圖像處理方法將圖像的所有區域賦予相同的優先處理等級，然而實際上人們主要關心的處理對象內容通常僅占圖像中的一小部分；因此，由計算機自動檢測出圖像的主要內容或感興趣對象的顯著目標檢測方法可以大大提高計算機信息處理效率。顯著目標檢測的研究成果可以廣泛應用于許多計算機視覺任務，如圖像/視頻壓縮[1]、目標追蹤[2]、基于內容的圖像檢索[3?4]、圖像質量評價[5]和目標識別[6?8]等。

完整的顯著目標檢測算法一般處理過程主要分為兩步：

（1） 根據視覺注意力模型計算圖像的顯著圖，顯著圖記錄圖像中每個像素的顯著度值，一般使用灰度圖來表示，簡稱顯著性檢測；

（2） 對顯著圖進行提取處理，用一幅二值掩碼圖表示最后的顯著目標檢測結果，簡稱顯著目標檢測，這是本文主要的研究內容。

目前顯著性檢測算法大體上分為兩大類：基于局部對比度和基于全局對比度。在基于局部對比度算法中，Cheng等提出了基于區域對比度的顯著圖檢測方法[9]，結合圖像分割算法，充分考慮到圖像的局部性特征，取得了較好的效果，但其運行效率相對較低。在基于全局對比度算法中，Goferman等基于全局考慮來進行顯著圖檢測[10]，但由于只疊加[K]個最相近單元對比度的策略，檢測結果有時會無法達到全局對比度的效果。Cheng等提出的基于全局直方圖對比度得到顯著圖算法在運行時間效率方面取得了較好的結果[11]。

與現有的顯著性檢測研究成果相比，在顯著圖基礎上進行顯著目標檢測提取的研究還較少，主要分為兩大類：用一矩形表示的顯著區域檢測和具有完整物體輪廓的顯著目標檢測。在顯著區域檢測方面，文獻[12]提出采用窮舉方式搜索一至少包括顯著圖95%顯著點的最小矩形區域以表示顯著目標。然而顯著區域與全圖顯著點的比值與顯著物體的形狀、大小以及輸入圖像的背景復雜度等均有關系，很難僅用一個預定義的閾值簡單表示，并且窮舉搜索會導致算法運行效率低下。Luo等提出基于顯著密度最大化算法[13]，根據顯著區域的顯著密度大于背景區域這一特征建立目標函數，直接在顯著圖上采用有效子窗口搜索算法[14]加速顯著區域搜索效率。該算法需要根據不同的顯著圖檢測算法調整算法參數以平衡檢測窗口的尺寸。Wang等提出了一個自動上下文相關的算法[15]，結合空間先驗信息和外觀更新模型，使前景物和背景在迭代過程中的能量最小化，從而獲取顯著目標。但是這類方法不適用于具有復雜背景的圖像，并且通常需要先驗知識以提高分割效果。在顯著目標檢測方面，現有的算法較多的是使用一閾值對顯著圖進行二值化分割處理以獲取顯著目標[16]。文獻[17]采用2倍平均顯著度的方法提取顯著目標。文獻[18]提出采用3倍平均顯著度作為閾值得到一張二值化的掩碼圖來表示圖像中感興趣的目標。文獻[19]提出使用[K]均值聚類分割圖像，當某個區域的平均顯著度大于預設的常數閾值時，便認為該區域屬于顯著目標。文獻[20]隨后提出了改進算法，使用均值漂移算法進行分割，并用自適應閾值取代常數閾值進行顯著目標檢測。文獻[21]提出采用矩量保持法進行顯著目標的分割。

本文提出一種簡單的結合超像素分割算法和閾值分割算法的顯著目標檢測算法，首先利用簡單線性迭代聚類的超像素分割算法對自然圖像進行分割處理，接著根據顯著圖計算每個超像素的平均顯著度值，最后利用閾值分割方法得到二值掩碼圖標識顯著目標。

本文所提算法在公開的ASD基準數據集上進行測試，并且與現有的相關算法進行比較。實驗結果表明，本文所提算法無需事先具備顯著物體形狀、大小等先驗知識，與已有的相關方法相比，具有較好的檢測效果，在正確率、召回率和F度量值等客觀評價指標方面均有提高。

1 超像素分割

超像素生成技術是將圖像中一些具有相似性質的點進行聚類[22]，從而將圖像過分割的一種圖像分割算法。在圖像的一個封閉區域內具有相同或近似顏色或者紋理等特征的像素集合稱為超像素。超像素作為像素點的聚類已經廣泛應用于圖像分割、圖像分類等領域。超像素分割的結果是具有一定視覺感知意義的原子區域，具有人類理解圖像的一定語義信息，減少了圖像像素間的冗余度。

一般的超像素算法通常不能控制超像素的數量，且形成的超像素形狀不規則。本文所提算法利用簡單線性聚類（Simple Linear Iterative Clustering algorithm with 0 parameter， SLIC0）超像素方法[23]對原圖像進行分割，產生形狀較為規則的超像素。SLIC算法將圖像附近的像素聚集為超像素，再將超像素看作圖中的每個結點實現圖像分割，該算法具有速度快、超像素個數可控、邊緣覆蓋比較準確且生成的超像素比較均勻的特點。

如圖1所示，原圖像經過SLIC0分割，輸出500個具有相似顏色、紋理特征的超像素塊，圖中向日葵的外輪廓、葉子的形狀以及白色背景區域被清晰劃分開來。

算法主要步驟如下：

步驟1：將輸入RGB圖像轉換到CIELab顏色空間。

步驟2：假設給定圖像有[N]個像素，擬分割為[K]個超像素，則每個超像素的大小為[NK]，每個聚類中心的距離為[A=NK]。將聚類中心移動到以其為中心的[3×3]窗口內梯度值最小的位置以避免聚類中心在圖像的邊緣位置。

步驟3：算法利用一個五維特征向量（[CIELab]顏色空間的亮度信息[L]和顏色信息[a]，[b]以及像素的[x]，[y]坐標值）表示像素特征信息。根據距離函數[dlab]（見式1），判斷每一個聚類中心[2S×2S]范圍內的像素點是否屬于該類，將每一類像素點都貼上相同的標簽：

[dlab=（lk-li）2+（ak-ai）2+（bk-bi）2] （1）

其中[[lk，ak，bk，xk，yk]T]為第[k]個聚類中心。

步驟4：根據得到的每一類像素點，重新計算該類的聚類中心。

步驟5：不斷迭代計算步驟（4）和步驟（5），直至算法收斂或迭代次數小于某個上限。

步驟6：通過距離比較，將一些剩余的點歸到已有的類中。

2 閾值分割

在眾多圖像分割算法中，閾值化分割因其極致簡約和高效實用而得到最多應用。閾值分割的基本思想是在圖像最小灰度和最大灰度之間確定一個閾值，然后將圖像中所有像素按其灰度級以該閾值為界分為兩類。本文所提算法利用著名的Otsu方法將經超像素分割計算后的顯著圖二值化。

Otsu方法利用統計學習中的方差分析理論，通過最大化類間方差或等價的最小化類內方差來求取最佳閾值，Otsu方法因計算簡單、實時性高、魯棒性強的特點而被廣泛使用[24]。

給定一幅[N]個像素的灰度圖像的灰度級數為[L]，其中，灰度[i]的像素個數為[ni]，則灰度為[i]（[i∈{0，1，2，…，L-1}]）的像素的頻率為[pi=niN]。假定有閾值[t]將輸入圖像中灰度不大于[t]的像素分為背景[B]，將灰度大于[t]的像素歸為目標[O]，則某一像素被分為背景和目標的概率分別為：

則分配到背景和目標中的像素的類內灰度均值分別為：

根據Otsu算法準則得到最佳閾值[t?]為：

3 本文算法

本文所提算法提出了一種基于SLIC0超像素分割算法和Otsu閾值分割算法的顯著目標檢測算法，該方法比較簡單，依據SLIC0超像素分割結果對顯著圖進行計算，用超像素的平均顯著度值取代該超像素內每個原始像素的顯著度值，再利用Otsu算法進行二值分割從而獲取掩碼圖以標識顯著目標。

算法主要流程如圖2所示。

本文算法主要步驟如下：

步驟1：利用SLIC0算法對原始[RGB]圖像[I]（見圖3（a））進行超像素分割，對屬于同一類的像素賦予相同的標簽值，得到標簽圖[labels]。

步驟2：根據標簽圖[labels]和顯著圖[S]（見圖3（b））計算每個超像素的平均顯著度值[Vk]：

[Vk=1rki，j∈rkS（i，j）] （7）

式中：[rk]表示每個超像素區域；[rk]表示分割區域的像素個數；[S（i，j）]表示坐標位置為[（i，j）]的像素顯著度值。

步驟3：超像素中的每個像素值均用平均值[Vk]替代得到顯著圖[S′]（見圖3（c））；

步驟4：運用Otsu算法對顯著圖[S′]進行閾值化分割得到二值掩碼圖[maskmap]（見圖3（d））；

步驟5：根據掩碼圖[maskmap]從原[RGB]圖像中提取顯著目標（見圖3（e））。

4 實驗結果與分析

本文所提算法在PC機上，基于Matlab R2011b實現算法，運行環境是WIN7，計算機配置為Intel Core i7?4790 CPU（3.6 GHz），16 GB內存。算法在公開測試集[ASD]上進行測試，這是目前使用最為廣泛的顯著目標數據測試集，包括1 000張彩色圖像和1 000張基準圖像。

為了驗證所提算法性能，用5種相關的且性能較好的顯著目標檢測方法對由4種現有檢測性能較好的且具有代表性的顯著性檢測算法生成的顯著圖進行顯著目標檢測提取。5種顯著目標檢測算法分別為：利用均值漂移和2倍平均顯著值進行二值化分割[20]（FT1法）、利用[K]均值聚類和固定閾值進行二值化分割[19]（AC法）、利用3倍均值進行分割[8]（SR法）、利用矩量保持算法獲取分割閾值[21]（Tsai法）和較多文獻使用的2倍平均顯著值法[7]（FT2法）。4種顯著性檢測算法分別為：IG算法[20]、AC算法[19]、HC算法[11]和RC算法[9]。其中：AC算法和RC算法利用局部對比度建模；HC算法利用全局對比度建模；而IG算法則是從頻域角度出發設計算法。這四種算法是目前比較具有代表性的顯著圖檢測算法[7]。測試中，現有算法參數選取均按照其作者在原文獻中的取值。

4.1 算法檢測性能比較與分析

針對每一幅測試圖像，本文使用正確率、回召率和[F]度量這3個客觀評價指標衡量提出算法的檢測效果，并與現有的5個相關算法進行性能比較。[F]度量是個綜合性指標，評價算法在正確率和回召率這兩方面的綜合表現。

式中：[Sd]是算法檢測得到的顯著區域；[Sg]是基準；參照文獻[7]，平衡因子[α]取值為[0.3]。

圖4是本文算法與相關算法在不同顯著圖上進行顯著目標檢測提取的性能比較結果。如圖4所示，針對1 000幅顯著目標檢測圖像測試數據集，本文所提算法在4種顯著圖上的平均F度量值均高于其他5種相關的顯著目標檢測算法。在AC顯著圖上，本文所提算法的平均F度量值較相關的五種算法FT1，AC，SR，Tsai和FT2分別提高了5.31%，3.25%，25.30%，19.73%和10.48%。在IG顯著圖上，本文所提算法的平均F度量值較相關的5種算法分別提高了5.91%，42.37%，33.46%，5.78%和7.41%。在HC顯著圖上，本文所提算法的平均F度量值較相關的5種算法分別提高了3.25%，46.78%，22.83%，4.04%和4.62%。在RC顯著圖上，本文所提算法的平均F度量值較相關的5種算法分別提高了16.94%，170.27%，116.67%，5.57%和17.06%。

圖5是本文算法與FT1，AC，SR，Tsai和FT2算法對IG顯著圖檢測得到的部分顯著目標檢測結果的視覺直觀效果對比。本文算法的檢測結果能較準確和全面地檢測到顯著區域，一方面較好抑制顯著性噪聲影響，另一方面亦能比較完整得突出整個顯著區域（見圖5（g））。AC方法檢測效果較不穩定，對于第4和第5張測試圖像均能較好完整檢測出顯著目標，但對第3和第6張測試圖像抑制噪聲情況較差（見圖5（c）），即其算法的召回率較好但正確率略低。從圖5（d）可以看出，SR算法在抑制噪聲方面表現較好，但未能完整檢測提取出顯著目標，及其算法的正確率較好但召回率偏低。FT1，Tsai和FT2方法檢測結果較為接近。圖5的視覺直觀檢測效果對于與圖4（b）的平均統計結果一致。

4.2 算法時間性能比較與分析

表1是本文算法與相關的5種算法FT1，AC，SR，Tsai和FT2的運行時間比較。由于SR，Tsai和FT2不使用任何分割算法對原圖像進行預分割操作，直接在顯著圖上計算獲取二值化閾值，因此其算法執行時間相對較短，而本文所提算法、AC和FT1算法均采用了分割算法對原圖像進行了預分割處理，因此計算機執行時間相對較長。由于SLIC0算法較均值漂移和[K]均值算法簡單，執行速度快，因此本文所提算法較AC和FT1算法運行效率更高。

5 結 語

本文提出了一種較簡單的基于超像素和閾值分割相結合的顯著目標檢測算法，使用SLIC0算法對原始圖像進行分割計算，根據顯著圖獲取每個超像素的平均顯著度值，再結合Otsu分割方法確定二值化閾值以獲取具有輪廓信息的顯著目標。

本文所提算法較現有相關算法提高了檢測效果，且對各種顯著圖均具有較好的檢測效果。所提算法適用于單目標的顯著目標檢測，今后可結合圖像語義化線索或深度信息進行多目標檢測研究。

參考文獻

[1] GUO C， ZHANG L. A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression [J]. IEEE transactions on image processing， 2010， 19（1）： 185?198.

[2] LI J， LEVINE M， AN X， et al. Visual saliency based on scale?space analysis in the frequency domain [J]. IEEE transactions on pattern analysis and machine intelligence， 2013， 35（4）： 357?366.

[3] SUN J， XIE J， LIU J， et al. Image adaptation and dynamic browsing based on two?layer saliency combination [J]. IEEE transactions on broadcasting， 2013， 59（4）： 602?613.

[4] 趙宏偉，李清亮，劉萍萍.基于分級顯著信息的空間編碼方法[J].電子學報，2014，42（9）：1863?1867.

[5] 徐少平，楊榮昌，劉小平.信息量加權的梯度顯著度圖象質量評價[J].中國圖象圖形學報，2014，19（2）：201?210.

[6] SHEN H， LI S， ZHU C， et al. Moving object detection in aerial video based on spatiotemporal saliency [J]. Chinese journal of aeronautics， 2013， 26（5）： 1211?1217.

[7] 趙丹培，肖騰蛟，史駿，等.基于顯著語義模型的機場與油庫目標的識別方法[J].計算機輔助設計與圖形學學報，2014，26（1）：47?55.

[8] REN Z， GAO S， CHIA L T， et al. Region?based saliency detection and its application in object recognition [J]. IEEE transactions on circuits and systems for video technology， 2014， 24（5）： 769?779.

[9] 張巧榮，景麗，肖會敏，等.利用視覺顯著性的圖像分割方法[J].中國圖象圖形學報，2011，16（5）：767?772.

[10] CHENG M， MITRA N， HUANG X， et al. Global contrast based salient region detection [J]. IEEE transactions on pattern analysis and machine intelligence， 2015， 37（3）： 569?582.

[11] GOFERMAN S， ZELNIK L， TAL A. Context?aware saliency detection [C]// Proceedings of 2010 IEEE Conference on Computer Vision and Pattern Recognition. California： IEEE， 2010： 2376?2383.

[12] CHENG M， ZHANG G， MITRA N， et al. Global contrast based salient region detection [C]// Proceedings of 2011 IEEE Conference on Computer Vision and Pattern Recognition. Colorado： IEEE， 2011： 409?416.

[13] LIU T， YUAN Z， SUN J， et al. Learning to detect a salient object [J]. IEEE transactions on pattern analysis and machine intelligence， 2011， 33（2）： 353?367.

[14] LUO Y， YUAN J， XUE P， et al. Saliency density maximization for efficient visual objects discovery [J]. IEEE transactions on circuits and systems for video technology， 2011， 21（12）： 1822?1834.

[15] CHRISTOPH H， LAMPERT B， HOFMANN T. Efficient subwindow search： a branch and bound framework for object localization [J]. IEEE transactions on pattern analysis and machine intelligence， 2009， 31（2）： 2129?2141.

[16] WANG L， XUE J， ZAHNG N， et al. Automatic salient object extraction with contextual cue [C]// Proceedings of 2011 IEEE International Conference on Computer Vision. Barcelona： IEEE， 2011： 1028?1035.

[17] YANG C， ZHANG L， LU H， et al. Saliency detection via graph?based manifold ranking [C]// Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland： IEEE， 2013： 3166?3173.

[18] HOU X， ZHANG L. Saliency detection： a spectral residual approach [C]// Proceedings of 2007 IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis： IEEE， 2007： 1?8.

[19] ACHANTA R， ESTRADA F， WILS P， et al. Salient region detection and segmentation [C]// Proceedings of 2008 6th International Conference on Computer Vision Systems. Greece： Springer， 2008： 66?75.

[20] ACHANTA R， HEMAMI S， ESTRADA F. Frequency?tuned salient region detection [C]// Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami： IEEE， 2009： 1597?1604.

[21] VIKRAM T， TSCHEREPANOW M， WREDE B. A saliency map based on sampling an image into random rectangular regions of interest [J]. Pattern recognition， 2012， 45（9）： 3114?3124.

[22] YANG L， TIAN J， WU D. Content based image authentication by feature point clustering and matching [J]. Security and communication networks， 2012， 5（6）： 636?647.

[23] ACHANTA R， SHAJI A. SLIC superpixels compared to state?of?the?art superpixel methods [J]. IEEE transactions on pattern analysis and machine intelligence， 2012， 34（11）： 2274?2282.

[24] 申鉉京，龍建武，陳海鵬，等.三維直方圖重建和降維的Otsu閾值分割算法[J].電子學報，2011，39（5）：1108?1114.