一種高效的圖像顯著性檢測算法

范 濤，朱 煜

(華東理工大學 信息科學與工程學院，上海 200237)

一種高效的圖像顯著性檢測算法

范 濤，朱 煜

(華東理工大學 信息科學與工程學院，上海 200237)

在人眼視覺特性的基礎上，提出了一種高效的圖像顯著性檢測方法。首先通過六邊形簡單線性可迭代聚類(HSLIC)對圖像進行預處理，獲得六邊形的超像素塊；再利用馬氏距離定義顯著塊和背景種子塊之間的距離，生成基于距離加權的全局顏色對比(GCD)初始顯著圖；然后引入自動細胞機模型對顯著圖進行優化。為進一步獲取精確的顯著性區域，提出一種改進的粒子群優化算法(NPSO)對顯著圖進行分割。所提出的算法在MSRA-5000和ECSSD數據庫進行測試及比對分析。實驗的結果表明，提取的顯著圖效果優異。

顯著性檢測； 超像素分割； 全局顏色對比； 自動細胞機； 改進的粒子群優化算法

0 引 言

隨著人工智能和計算機視覺的高速發展，圖像顯著性檢測受到了越來越多的學者和專家的關注和研究。對圖像和視頻顯著性檢測的研究始于上世紀90年代，經過多年研究，已經有了很大的進展。目前顯著性檢測已經被廣泛應用在圖像處理領域。

1998年Itti等[1]提出了ITTI顯著性檢測模型，但是這種模型計算的復雜度高，檢測的效果不太理想。2007年Hou等[2]提出了剩余頻譜(Spectral Residual，SR)顯著性檢測算法，通過對圖像的頻域進行分析得到圖像顯著圖。隨著研究的深入，學者們發現對比度計算是圖像顯著性檢測的核心。基于像素的顯著性檢測模型計算復雜度高，而且檢測效果不理想，Cheng等[3]在超像素計算的基礎上提出了基于區域對比度的算法，該算法與傳統基于像素計算的顯著性檢測模型相比較不但計算的復雜度減小，而且得到顯著圖的效果有了較大提高。但是，以上這些方法在對背景復雜圖像的顯著性檢測效果不理想，不能很好地去掉背景信息，Yang等[4]引入了MR(Manifold Ranking)模型，在計算圖像的顯著圖時考慮到圖像顯著區域塊和圖像邊緣塊的之間的相關性，得到效果不錯的顯著圖。文獻[5]中提出通過自動細胞機模型[6-7]對顯著圖進行優化，檢測效果得到了顯著的提高。文獻[8]中利用PSO(Particle Swarm Optimization)對圖像進行分割，然而PSO有容易陷入局部最優的缺點，文獻[9-10]中通過引入慣性權重w解決PSO容易陷入局部最優的缺點，同時論證了w對PSO影響很大，w太大會削弱局部尋優能力；w太小，全局尋優能力就會下降，如何選取合適的w值成為研究熱點。

本文利用在簡單線性可迭代聚類(Simple Linear Iteration Clustering，SLIC)[11]基礎上改進的六邊形可迭代聚類[12](Hexagon Simple Linear Iteration Clustering，HSLIC)算法對輸入圖像進行預處理，獲得更加切合人眼特性的超像素塊。然后利用馬氏距離去定義圖像中超像素塊與圖像背景種子塊之間的相似度，再引入自動細胞機模型，優化顯著圖。最后，提出一種Novel PSO(NPSO)算法，對顯著圖進一步優化。

1 顯著性檢測算法

1.1圖像與背景超像素對比計算初始顯著圖

圖像的前景和圖像的背景有著較大的對比度，如果能夠得到圖像的背景，就可以通過對比度的計算得到圖像的顯著圖。心理學家通過大量研究發現，人眼具有中心偏好的視覺特性，圖像的邊緣不容易引起人眼的關注，所以圖像的邊緣可以很好地作為圖像背景[13]。本文算法首先利用HSLIC算法對圖像進行預處理，得到比SLIC更符合人眼特性的六邊形超像素塊，選取圖像的邊緣超像素塊作為圖像背景種子，為了得到更好的全局顏色對比圖(Global Color Distinction，GCD)，需要對圖像的背景種子進行優化。本文通過K-means把圖像的背景種子分為k個簇，每個簇里超像素的個數為nk，在得到的k個邊緣簇的基礎上，得到k個不同的全局的顏色對比圖。第k個GCD的元素Sk,i通過下式計算：

(1)

式中：Sk,i代表超像素i在第k個GCD矩陣中的顯著值；δ1、β是常數，為平衡權重因子[5]。本文設置δ1=0.2，β∈[7，15]；dis(ci,cj)通過下式計算，代表超像素i和超像素j在CIELAB空間顏色特征的馬氏距離，

(2)

一般認為空間距離越遠的2個超像素塊的相似度越小，因此很有必要通過構建全局空間距離(Global Spacial Distance，GSD)矩陣W優化GCD。優化的過程可以通過下式來表達：

(3)

式中：Wk,i表示超像素i與圖像k個背景簇里面所有的背景種子空間距離，

(4)

(a)輸入圖像(b)HSLIC分割效果(c)基于背景的顯著圖(d)標注圖

圖1 圖像與背景超像素對比計算得到的初始顯著圖

1.2自動細胞機優化顯著圖

由圖1可見，顯著性檢測的結果會有背景殘留。為了進一步去除背景信息，可以利用自動細胞機對之前得到的顯著性檢測結果進一步優化。本文以超像素為基本單元，通過影響因子矩陣和相關矩陣構建自動細胞機模型。

1.2.1影響因子矩陣

以超像素塊為基本單元的自動細胞機模型中，某一細胞單元的下一個狀態受鄰域范圍內顏色特征與其相似的細胞單元的影響更大。鄰域超像素之間的影響因子由下式定義：

(5)

式中：NB(i)表示超像素的鄰域集合；ci和cj分別表示超像素i和j在CIELAB空間的顏色特征信息；dis(ci,cj)為超像素i和j顏色特征的馬氏距離，設置δ3=0.3。通過式(5)計算出圖像中所有的影響因子，構建影響因子矩陣。

1.2.2相關矩陣

考慮到每一個細胞的下一個狀態是由當前狀態和它的鄰域細胞的狀態決定的，需要引入一個相關矩陣來平衡這兩個決定因素。如果一個細胞單元特征與鄰域細胞單元有很大的差別，那么這個細胞的下一個狀態就會主要由自己決定；相反，如果一個細胞的特征和鄰域細胞單元特征相似，那么它將會被自己的鄰域所同化。構建相關矩陣，由下式表達：

ci=1/maxfij

(6)

為了控制ci∈[b,a+b]，通過下式對ci進行歸一化：

(7)

1.2.3同步更新準則

1.3改進的粒子群算法獲取精確顯著性區域

從圖2可以看出，顯著性檢測的效果得到了很大提高，但是對于背景復雜、背景和前景的對比度不高的圖像，還是會出現背景殘留，而且得到的顯著圖的邊緣不夠清晰。本文利用一種改進的PSO(NPSO)優化前面獲得的顯著圖。NPSO引入慣性權重 解決PSO容易陷入局部最優的缺點。NPSO通過下式更新粒子的位置和速率：

(8)

(9)

式中：c1、c2為加速因子；rand1,rand2為一個隨機數，范圍在[0,1]之間；Pbest為個體最優值；gbest為整個群體的最優值；t為當前迭代的次數。

本文提出在圖像不同區域采用不同的讓PSO算法同時具有較好的局部尋優能力和全局尋優能力。首先，利用K-means將輸入圖像分為K個cluster，本文設置K=3，分別求每個簇上粒子的平均適應值fitnessi(i=1,2,…,K)，如果fitness1gt;fitness2gt;fitness3，那么分別通過式(10)～(12)調整cluster 1～3中粒子的慣性權重w:

(10)

(11)

(12)

式中：wmax1∈[1.2，1.5]，wmax2∈[0.6，1.0]，wmax3∈[0.4，0.6]，k1∈[1，3]，k2∈[0，0.1]，k為fi的值小于2倍fgbest值的粒子的數目；fl為當前粒子的適應值；fgbest為全局最優的適應值。在尋優過程中，如果當前簇粒子平均適應值較大，采用式(10)調整慣性系數w，降低尋優速度，同樣如果當前簇粒子平均適應值過小，采用式(12)調整慣性系數，增尋優速度。本文提出的NPSO采用自適應調整慣性系數策略，在圖像的不同區域，根據當前區域粒子的平均適應值大小，自適應調整尋優的速度，有效避免了PSO容易陷入局部最優的缺點，而且還能保持不錯的全局尋優能力。由圖2可以發現，通過這種改進的PSO對圖像進行優化，得到了更好的顯著圖。

(a)

(b)

(c)

(d)

(e)

(a) 輸入圖像，(b) 基于SLIC和細胞自動機得到的顯著圖，(c) 基于HSLIC和細胞自動機得到的顯著圖，(d) 在(c)的基礎上通過本文提出的改進的PSO算法優化后的顯著圖區域，(e) 標注圖
圖2 通過自動細胞機和NPSO算法得到最終顯著圖

2 實驗結果分析

本文在MSRA-5000和ECSSD兩個標準圖像顯著性檢測的數據庫中測試算法。MSRA-5000含有5 000幅背景復雜的圖像，ECSSD數據庫里面有1 000幅不同尺度的多目標的圖像。本文用查準率(Precision)、召回率(Recall)、PR曲線評價顯著性檢測的效果。圖3所示展示了不同算法在數據集上的PR曲線，通過比較可以發現，NPSO算法的顯著性檢測效果優于其他的算法。圖4所示為NPSO算法得到的實驗結果圖與其他算法得到的實驗結果圖的比較。

(a) MSRA-5000

(b) ECSSD數據庫圖3 本文算法與其他算法的比較

(a)(b)(c)(d)(e)(f)(g)(h)

(a) 輸入圖像，(b) SR算法得到的顯著圖，(c) FT算法得到的顯著圖，(d) LC算法得到的顯著圖，(e) MR算法得到的顯著圖，(f) 基于HSLIC和自動細胞機得到的顯著圖，(g) 本文的算法得到的顯著圖，(h) 標注圖
圖4 各種算法得到的實驗結果圖

利用檢測出的顯著圖和標注圖之間的相關系數進一步評價顯著性檢測效果。圖像的相關性系數通過下式計算：

(13)

式中：S(i)是實驗檢測出來的顯著圖；G(i)為標注圖；Ug為實驗檢測出來的顯著圖的灰度均值；Us為標注圖的灰度均值。

NPSO算法得出的結果和SR[2]、FT[14]、LC[15]、MR[4]和BSCA[5]等算法的比較結果見表1。可見，NPSO算法的檢測效果與其他的算法相比較有了明顯的提高。

表1 幾種不同算法得到的顯著圖和標注圖之間相關系數

3 結 語

采用HSLIC對圖像進行預處理，得到更加符合人眼特性的超像素塊，利用馬氏距離描述兩個超像素塊之間的相似度，獲得基于距離加權GCD的初始顯著圖并利用鄰域超像素塊之間相關性引入自動細胞機模型優化顯著圖。最后提出一種改進的PSO對顯著區域進一步尋優，得到更精確的顯著區域。實驗結果分析表明，本文提出的顯著圖計算方法得到的顯著圖優于其他算法。

[1] Itti L, Koch C, Niebur E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis amp; Machine Intelligence, 1998, 20(11):1254-1259.

[2] Hou Xiaodi, Zhang Liqing.Saliency detection: A spectral residual approach[J].2007 IEEE Conference on Computer Vision and Pattern Recognition, 2007(800):1-8.

[3] Cheng Ming-Ming, Zhang Guo-xin X, Mitra Niloy J,etal.Global contrast based Salient Region Detection[C]//In 2011 IEEE Conference On Computer Vision and Pattern Recognition.IEEE,2011: 409-416.

[4] Yang C, Zhang L, Lu H,etal.Saliency detection via graph-based manifold ranking[C]// Computer Vision and Pattern Recognition.IEEE, 2013:3166-3173.

[5] Qin Y, Lu H, Xu Y,etal.Saliency detection via cellular automata[C]// IEEE Conference on Computer Vision and Pattern Recognition.IEEE, 2015:110-119.

[6] Neumann J V A W.Theory of self-reproducing automata[M].NY: University of Illinois Press, 1966.

[7] Wolfram S.Statistical mechanics of cellular automata[J].Reviews of Modern Physics, 1983, 55(3):601-644.

[8] Su Q, Cheng H, Sun W,etal.A novel PSO algorithm based on the spatial distribution of fitness[C]//International Conference on Information Technology,Computer Engineering and Management Sciences.IEEE, 2011:308-311.

[9] Misra B B, Satapathy S C, Dash P K.Particle swarm optimized polynomials for data classification[C]// International Conference on Intelligent Systems Design and Applications.IEEE Computer Society, 2006:649-654.

[10] Liu J H, Fan X P, Zhi-Hua Q U.New particle swarm optimization algorithm with dynamic change of inertia weights[J].Computer Engineering amp; Applications,2006, 43(7): 68-70.

[11] Achanta R, Shaji A, Smith K,etal.SLIC superpixels compared to state-of-the-art superpixel methods.[J].IEEE Transactions on Pattern Analysis amp; Machine Intelligence, 2012, 34(11):2274-2282.

[12] 魏昱，張彩明.圖像顯著性區域檢測方法及應用研究[D].濟南：山東大學，2012.

[13] Wei Y, Wen F, Zhu W,etal.Geodesic saliency using background priors[C]//Computer Vision-ECCV 2012.Springer Berlin Heidelberg, 2012:29-42.

[14] Achanta R, Hemami S, Estrada F,etal.Frequency-tuned salient region detection[C]// Computer Vision and Pattern Recognition, 2009.CVPR 2009.IEEE Conference on.IEEE, 2009:1597-1604.

[15] Zhai Y, Shah M.Visual attention detection in video sequences using spatiotemporal cues[C]// ACM International Conference on Multimedia.ACM, 2006:815-824.

AnEfficientAlgorithmforSaliencyDetection

FANTao,ZHUYu

(School of Information Science and Engineering, East China University of Science and Technology, Shanghai 200237, China)

Saliency detection is the process of simulating the human eye to obtain image information, and is widely used in the field of computer vision.Based on the characteristics of human visual system, this paper presents an efficient method for image saliency detection.Hexagon Simple Linear Iteration Clustering (HSLIC) was used for pre-processing to get hexagonal pixel blocks.Then, the distances between the salient patches and the background seeds were calculated by Mahalanob, and the rough saliency map of global color distinction was obtained based on distance weighting.Next, cellular automata model was applied to optimize the saliency map.To obtain more accurate saliency map, we proposed a method improved by novel PSO algorithm to segment rough saliency map and get a better saliency region.We tested the proposed method on two standard datasets, MSRA-5000 and ECSSD.Experimental results show that the effect of saliency map is better than the state-of-the-art methods.

saliency detection; superpixel segmentation; global color distinction; cellular automata; particle swarm optimization

TP 391.41

A

1006-7167(2017)10-0013-04

2017-03-02

國家自然科學基金資助項目(61370174)

范 濤(1988-)，男，安徽安慶人，碩士生，主要從事計算機視覺和圖像處理方面研究。E-mail:348967411@qq.com

朱 煜(1973-)，女，上海人，教授，博士生導師，主要研究興趣為：智能視頻分析與處理，模式識別，數字圖像處理等。E-mail:zhuyu@ecust.edu.cn