顯著性目標檢測中的視覺特征及融合

袁小艷 王安志 潘 剛 王明輝

1(四川大學計算機學院 四川 成都 610064) 2(四川文理學院智能制造學院 四川 達州 635000)

?

顯著性目標檢測中的視覺特征及融合

袁小艷1,2王安志1潘 剛2王明輝1

1(四川大學計算機學院 四川 成都 610064)2(四川文理學院智能制造學院 四川 達州 635000)

顯著性目標檢測，在包括圖像/視頻分割、目標識別等在內的許多計算機視覺問題中是極為重要的一步，有著十分廣泛的應用前景。從顯著性檢測模型過去近10年的發展歷程可以清楚看到，多數檢測方法是采用視覺特征來檢測的，視覺特征決定了顯著性檢測模型的性能和效果。各類顯著性檢測模型的根本差異之一就是所選用的視覺特征不同。首次較為全面地回顧和總結常用的顏色、紋理、背景等視覺特征，對它們進行了分類、比較和分析。先從各種顏色特征中挑選較好的特征進行融合，然后將顏色特征與其他特征進行比較，并從中選擇較優的特征進行融合。在具有挑戰性的公開數據集ESSCD、DUT-OMON上進行了實驗，從PR曲線、F-Measure方法、MAE絕對誤差三個方面進行了定量比較，檢測出的綜合效果優于其他算法。通過對不同視覺特征的比較和融合，表明顏色、紋理、邊框連接性、Objectness這四種特征在顯著性目標檢測中是非常有效的。

顯著性檢測 視覺特征 特征融合 顯著圖

0 引 言

人類視覺系統可以快速準確地定位目標，顯著性目標檢測就是通過模擬人類的這一行為提取較為完整的整體目標，即顯著性區域。早期研究是基于生物刺激模型和評價人眼固定數據, 現在研究則側重于視覺特征的研究，諸如各種顏色特征、紋理特征、形狀特征以及背景特征等, 并且這些特征也應用于其他領域，如圖像分割[1]、目標跟蹤[2]和行人檢測[3]等。每一種視覺特征都有其自身的特點，但卻無法完整地描述圖像的全部信息，因此多種特征融合的檢測方法勢在必行，能有效提高顯著性檢測的性能和效率，如李波等[4]融合了顏色對比度、分布與背景特征，姜霞霞等[5]融合了結構特征和顏色特征。這些研究都僅僅局限于幾種視覺特征的融合，沒有對視覺特征做進一步的研究。

我們該如何從眾多的圖像視覺特征中選擇出合適的特征組合?為了解決這個問題，文中對目前常用的視覺特征進行分析研究，并進一步探索這些特征的組合，從而得到顯著圖，其流程如圖1所示。將本文算法在2個較難的數據集ESSCD和DUT-OMON中共計6 000余張圖像上進行測試，并與典型的7個算法進行比較，實驗驗證了該算法的有效性，實驗結果也優于這7個算法。

圖1 本文算法流程圖

1 相關工作

由于顯著性目標檢測的重要性, 越來越多的研究者投入到其中。Itti等[6]采用了顏色、亮度和方向特征融合, 在顯著性檢測方向開創了先河。程明明等[7]提出利用顏色直方圖、顏色對比度來計算全局特征的顯著性檢測算法。Kim等[8]使用了顏色對比度、顏色直方圖、顏色分布等多種顏色特征和HOG、形狀特征來計算顏色相似性、差異性, 并進行高維顏色轉換以得到顯著圖。為了使灰度旋轉不變, Ojala等[9]提出了采用均勻LBP直方圖降低噪音, 提取圖像局部的紋理特征。MirmahdaviA等[10]采用Gabor濾波器提取全局紋理特征。針對已有的顯著檢測算法對背景復雜的圖像檢測效果較差的問題, Wang等[11]提出融合背景概率和Objectness特征的顯著目標檢測算法。Jiang等[12]提取了Focusness、Uniqueness、Objectness三種高級特征, 并進行融合。Achanta等[13]在頻率域使用顏色和亮度特征計算中心-環繞對比度, 計算非常高效。

2 視覺特征及其融合

2.1 視覺特征

圖像視覺特征是指圖像的屬性數據, 包含了一定的語義, 可以用來表示圖像內容。研究圖像必然會用到視覺特征, 如顏色、形狀、方向等。每種視覺特征所包含的信息是不同的, 對顯著性檢測的作用也是不同的。

2.1.1 顏色特征

相較于其他特征，人類更容易辨別的是顏色特征，因此顏色特征在圖像處理中被大量使用。顏色特征具有多種顏色空間, 如RGB、HIS、HSV、YIQ、CMY、CIELAB、YUV等。RGB主要描述基礎彩色(紅、綠、藍)的亮度值；HIS和HSV描述顏色的色調、亮度和飽和度, 主要用于顏色的數字化處理, 比RGB更接近于人們的經驗和對彩色的感知。CIELAB是與設備無關、基于生理特征的顏色系統, 描述顏色的亮度和色度, 其顏色比RGB更豐富。研究發現, 顯著性檢測算法均用到了顏色特征, RGB、HSV、CIELAB是最常用的三種顏色空間, 不同的顏色空間可以相互轉換。顏色特征提取的常用方法有顏色對比度、顏色直方圖、顏色分布。

顏色對比度是常用的獲取顏色特征的方法, 用于計算局部區域或全局區域間的顏色相似性和差異性, 即局部顏色對比度和全局顏色對比度, 突出圖像中顯著區域，展示顯著對象的獨特性。Kim[8]和Li[14]等利用顏色特征計算了局部和全局顏色對比度。全局顏色對比度計算如下:

(1)

局部顏色對比度計算如下:

(2)

其中dis(ci,cj)是指區域i和j的顏色值的歐幾里得距離,n是區域數量。

loci是區域i的平均位置,ρi是標準化因子。

顏色直方圖是被廣泛使用的提取顏色特征的方法，用于描述顏色的基本色調和組成分布、不同色彩在圖像中所占的比例。Kim等[8]計算了RGB直方圖、LAB直方圖、色調直方圖和飽和度直方圖。全局直方圖計算公式如下:

(3)

局部直方圖計算公式如下:

(4)

其中dis(bi,bj)是指區域i和j的顏色直方圖bin的卡方距離,n是區域數量。

pi是區域i的平均位置,Zi是標準化因子。

雖然顯著性代表了獨特性，但非顯著性不一定就不獨特。前景顏色分布在緊湊區域，背景顏色卻分布在整張圖像，顏色分布便用于測量前景與背景對象的緊湊型差異。Perazzi[15]和Cheng[16]等提出的顏色分布能夠提高性能，并能更好地體現顯著性目標的真實分布。顏色分布定義如下:

(5)

顏色局部對比度是將穩定性較好、可區分的區域和周圍的像素、區域比較，僅在輪廓附近產生高顯著值，對局部差異較大的圖像效果較好。全局對比度是從整體圖像出發, 和整張圖像的其他像素、區域比較，能夠從背景中突出大規模目標，且較均勻，具有整體一致性。顏色直方圖是采用統計方法計算顏色的數量特征，反應顏色的統計分布，具有計算方法簡單、平移旋轉不變等特性，但其失去了顏色的空間位置，導致不同的圖像可能有相同的顏色直方圖，適合于難以自動分割的圖像。顏色對比度測量顏色的差異，但不能反映顏色的空間變化，因此顏色分布可以作為顏色對比度的一個重要補充。

2.1.2 上下文特征

根據完形形態法則, 視覺可能具有一個或多個重心, 這表明越接近焦點的區域越重要。當焦點周圍的區域傳達上下文時，就會獲得我們的注意力，即顯著性。也就是說計算一個區域的顯著性，不需要計算它與圖形其他所有區域的差異，只需要計算與周圍K臨近區域的差異即可。Goferman等[17]將K取值為64，因此其顯著圖的定義為:

(6)

其中d(si,sk)是區域Si與它的K臨近區域Sk的距離。

2.1.3 紋理特征

紋理特征是圖像的一種重要特征，是整張圖像灰度值的分布規律。通過像素及周圍空間鄰域的灰度分布來實現的是局部紋理特征。局部紋理不同程度的重復性, 即全局紋理特征。提取紋理特征常用的方法有Gabor小波和LBP模式。

Gabor小波是一種重要的紋理特征提取方法，選用特定的Gabor函數，采用尺度伸縮和旋轉得到一組Gabor濾波器，實現圖像多尺度、多方向的特征提取。Riche等[18]在八個方向(0,22.5,45,67.5,90,112.5,135,157.5)和3個尺度上采用高斯Gabor濾波器計算, 產生24張結果圖, 其邊界衰減為:

(7)

其中φ是相位偏移,α是正弦因子的波長,β是方向(垂直于正弦曲線的角度),δ是空間縱橫比,σ是高斯包絡的sigma,x′=xcosβ+ysinβ,y′=-xsinβ+ycosβ。最后對這24張結果圖合并, 得到3個尺度的方向特征信息，其特征圖如圖2所示。Gabor濾波器還常用于提取形狀特征。

Gabor小波紋理特征是符合人類對頻率的感知機理的，在空域和頻域都有較好的分辨能力，具有多分辨率特性。LBP紋理特征的原理比較簡單，計算量小，具有灰度不變性和旋轉不變性的優點,且能在各種光照下工作，但其對圖像的平滑區域不敏感，需要結合其他算法。

2.1.4 HOG特征

HOG(方向梯度直方圖)特征是計算圖像中每個像素的梯度, 并統計每個單元的梯度值進行累加。Dalal等[20]計算每個像素的梯度時采用梯度算子[-1,0,1]和[1,0,-1]T與原圖像做卷積運算,分別得到x和y方向的梯度分量GDx(x,y)、GDy(x,y), 因此像素點(x,y)的梯度大小和方向為:

(8)

2.1.5 Objectness特征

Alexe等[21]提出了Objectness特征, 并以此測量一個像素或區域周圍存在完整物體的可能性。為了計算圖像區域的Objectness值, Jiang等[12]先計算了像素的Objectness值:

(9)

(10)

其中W是隨機樣本n個窗口的集合,wx是W集合中包含像素x的窗口,pro(wx)是窗口w覆蓋一個物體的概率值,Ψi是協方差矩陣,wi是窗口,z是歸一化算子。

因此圖像區域r的Objectness值如下定義:

(11)

2.1.6 邊框連接性特征

研究中發現顯著性區域與邊界的連接較少,因此可以用此特性來檢測背景,即邊框連接性。一個區域是否屬于背景, 取決于它所屬的圖像區域與圖像邊界的緊密相連度。一個圖像區域r的邊框連接性是指邊框塊周長與整個圖像區域周長或者面積開方的比例, 其定義如下:

(12)

其中,bnd是r區域中邊框塊的集合,block是r區域中的一塊。Zhu等[22]采用超像素s代替了圖像區域,邊框連接性為邊界長度Lenbd(s)和跨區域面積Area(s)的比例，如下所示：

(13)

(14)

顏色特征是顯著性檢測中最常用的視覺特征, 其與顯著目標的相關度非常高, 有較高的魯棒性。紋理特征是一種反映圖像中同質現象的視覺特征, 在空間上以一定的形式變化, 具有局部序列不斷重復、隨機排列、區域內大致均勻的特點。HOG特征是在圖像的局部方格單元上操作, 所以它對圖像幾何和光學的形變都能保持很好的不變性, 常用于獲取形狀和紋理特征。Objectness是指從客觀物體出發, 保證物體的完整性, 能提供物體位置的分布,常使用于各種視覺實驗中。邊框連接性特征是背景特征的一種，采用的是圖像區域空間分布的特點, 并有一個直觀的幾何定義, 所以它是健壯和穩定的，并且還能處理純背景圖像。

2.2 視覺特征融合

視覺特征眾多, 需要進行選擇。本文分別選擇顏色特征和其他特征，顏色特征選擇了LAB空間的局部和全局顏色對比度[8]、HSV空間的局部和全局顏色直方圖[8]、LAB空間的顏色分布[8]和上下文特征[23]，其他特征選擇了邊框連接性[22]、Objectness[12]和Gabor[18]紋理特征，如圖2所示。

圖2 特征圖

在顏色特征中, 本文選擇規則如下:

? 顏色對比度和顏色分布是互補的, 顏色直方圖是對顏色的統計, 所以需要選擇這三種特征。

? 結合人眼視覺注意機制和圖像數字處理, 需要選擇HSV和LAB空間。

根據結果比較分析，最后顏色特征的融合公式如下:

C=(LC·GC+LH·GH+Con)·D

(15)

其中LC是局部對比度,GC是全局對比度,LH是局部直方圖,GH是全局直方圖,Con是上下文特征,D是顏色分布。

本文將融合后的顏色特征與其它特征進行融合,根據結果比較分析,顏色與Objectness特征的融合優于其他特征的融合, 所以將四個特征分為兩組：顏色、Objectness特征和Gabor紋理、邊框連接性特征, 融合公式為:

SalCO=C+O,SalGB=G·B

(16)

其中C是顏色特征,O是Objectness特征,G是Gabor紋理特征,B是邊框連接性。然后再采用貝葉斯方法[24]對SalCO和SalGB進行融合,最后采用單層元胞自動機[25]進行優化。

3 實驗結果與分析

3.1 測試數據集

為了驗證各種特征和本文算法的性能, 我們在兩個較難的數據集上做了大量的實驗。ESSCD數據集含有1 000張圖片, 包含了豐富的語義和復雜的結構, 對顯著性檢測來說挑戰性非常強。 DUT-OMRON數據集包含5 000余張圖片,包含了多個顯著物體,極具挑戰性。

3.2 性能評估方法

為了和其他較優算法進行比較,我們采用了三種常用方法來評估實驗。PR曲線評估實驗的精準率P和召回率R,精準率是指顯著像素正確檢測的比率,召回率是指檢測出來的顯著像素與真值圖中顯著像素的比率。F-measure方法用于檢測像素精準率和召回率的平均數。但實驗不能只從正確率上評估,還要從錯誤率上評估,即MAE方法。 MAE方法是檢測平均絕對誤差,用于檢測非顯著區域。

3.3 實驗對比與分析

本文的特征較多，因此實驗分為了三組，即顏色特征比較實驗、多種特征比較實驗和各種顯著性檢測算法比較實驗， 以ESSCD數據集為例。

3.3.1 顏色特征比較分析

顏色特征比較是對RGB、LAB和HSV空間上顏色局部對比度、全局對比度、局部直方圖、全局直方圖和顏色分布進行比較。從圖3中可以看到, HSV空間局部顏色直方圖的精度、召回率、F-Measure、誤差均優于LAB、RGB空間, 所以本文選擇HSV空間的局部直方圖, 但其平均精準率、平均召回率、F-Measure相差太大, 不穩定, 所以又選擇相同空間較穩定的全局直方圖。HSV空間局部顏色對比度的精準率、召回率、F-Measure優于LAB、RGB空間, 但其誤差卻低于后兩者, 說明HSV空間的局部顏色對比度不穩定, 又根據規則b, 本文選擇LAB空間的局部顏色對比度, 但它的誤差稍高, 所以同時選擇誤差稍低、相同空間的全局顏色對比度。HSV空間顏色分布的精準率、召回率、F-Measure均優于LAB、RGB空間, 但其誤差卻低于LAB空間, 所以本文選擇LAB空間的顏色分布。最后由于上下文特征的誤差是最小的, 所以將上下文特征也加入。

圖3 顏色特征比較

對局部、全局對比度，局部、全局直方圖進行融合時, 采用了多種方法，如圖4所示，對比度和直方圖不能直接融合，需要將對比度、直方圖分別進行融合。局部、全局對比度融合的誤差比其單獨兩個特征降低了。局部、全局直方圖融合明顯優于其單獨的兩個特征。顏色對比度、直方圖、分布和上下文特征的融合，如圖5所示，只有四種特征都融合才優于前幾種融合

圖4 顏色對比度、直方圖融合比較

圖5 顏色對比度、直方圖、分布、上下文融合比較。Ctr:顏色對比度，Hist:顏色直方圖,D:顏色分布,Con:顏色上下文

3.3.2 多種特征比較分析

將融合的顏色特征與其他特征進行比較,如圖6所示。由于LBP、Gabor紋理特征和HOG特征對噪音較敏感，而本文沒有對圖像進行去噪處理，因此其曲線不盡人意。而邊框連接性、Objectness和顏色特征的精準率和召回率都較好, 但這三個特征都沒有從細節上刻畫顯著性對象, 所以進一步選擇了稍好的Gabor紋理特征。

圖6 所有特征比較

四種特征的融合,如圖7所示,BC、OC和BCO的PR曲線優于其他幾種融合，在F-Measure中BC與BCO差不多，但其誤差高于BCO，所以舍棄BC。若選擇BCO，后加入Gabor特征進行線性融合，便是此處的GBCO，而GBCO的PR曲線低于BCO融合，所以舍棄BCO，最終選擇OC，另一組自然就是GB。

圖7 所有特征融合比較。B:邊框連接性,C:融合的顏色特征,G:Gabor紋理特征,O:Objectness特征。將這四種特征分別進行融合,如BO=B+O，即邊框連接性與Objectness特征線性融合，其他的同等道理

3.3.3 各種模型比較分析

本文將算法與其他7個算法進行比較, FT[13]、HDCT[8]、GC[17]、HS[26]、RBD[22]、DSR[24]、UFO[12]。如圖8所示，在ESSCD數據集, 我們的算法明顯優于其他算法,雖然其F-Measure比HS算法稍低, 但召回率明顯比其高, MAE也僅僅比RBD稍差一點。在DUT-OMON數據集, 雖然我們的精準率、召回率在起始狀態略低于DSR算法, 但F-Measure高于DSR算法, 且誤差也較低, 這說明我們的算法是穩定的。

圖8 兩種數據集上不同算法比較

圖9比較了不同方法的顯著圖,從圖中可以看到我們的顯著圖相比于其他算法來說,更接近于真值圖。

圖9 兩種數據集上不同方法的顯著圖

4 結 語

顯著性檢測通常是提取各種圖像特征，并在此基礎上進行各種計算。不同特征的特性和使用都是不同的，本文對圖像的多種特征進行了定性和定量的比較，從中找到了有效特征，并將這些特征進行融合，取得了較好的顯著性目標檢測效果。通過對實驗結果的比較，在目前較難的兩個數據集上本算法的性能優于其他算法，驗證了該算法中提取特征的有效性。

[1] 司馬海峰,米愛中,王志衡,等.顯著特征融合的主顏色聚類分割算法[J].模式識別與人工智能,2016,29(6):492-503.

[2] 畢福昆,陳禾,師皓,等.機載復雜遙感場景下特定建筑區檢測跟蹤算法[J].電子學報,2016,44(6):1394-1399.

[3] 肖德貴,辛晨,張婷,等.顯著性紋理結構特征及車載環境下的行人檢測[J].軟件學報,2014,25(3):675-689.

[4] 李波,金連寶,曹俊杰,等.分層信息融合的物體級顯著性檢測[J].中國圖象圖形學報,2016,21(5):595-604.

[5] 姜霞霞,李宗民,匡振中,等.融合雙層信息的顯著性檢測[J].中國圖象圖形學報,2015,20(3):340-348.

[6] Itti L,Koch C,Niebur E.A Model of Saliency-Based Visual Attention for Rapid Scene Analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(11):1254-1259.

[7] Cheng M M,Zhang G X,Niloy J,et al.Global Contrast based Salient Region Detection[C]//IEEE Computer Vision and Pattern Recognition.USA Colorado,2011:409-416.

[8] Kim J,Han D,Tai Y W,et al.Salient Region Detection via High-Dimensional Color Transform[C]//IEEE Computer Vision and Pattern Recognition,2014:883-890.

[9] Ojala T,Pietikainen M,Maenpaa M.Multiresolution gray-scale and rotation invariant texture classification with local binary pattern[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(7):971-987.

[10] Mirmahdavi A S A,Amirkhani B,Ahmadyfard A.Random Texture Defect Detection by Modeling the Extracted Features from the Optimal Gabor Filter[J].Journal of Advances in Computer Research,2015,8(6):65-85.

[11] Wang A,Wang M,Pan G,et al.Salient object detection with high-level prior based on Bayesian fusion[J].Iet Computer Vision,2017,11(3):199-206.

[12] Jiang P,Ling H B,Yu J Y,et al.Salient Region Detection by UFO:Uniqueness,Focusness and Objectness[C]//IEEE International Conference on Computer Vision,2013:1976-1983.

[13] Achanta R,Hemami S,Estrada F,et al.Frequency-tuned Salient Region Detection[C]//IEEE Computer Vision and Pattern Recognition,2009:1597-1604.

[14] Li Y,Hou X,Koch C,et al.The Secrets of Salient Object Segmentation[C]//Computer Vision and Pattern Recognition.IEEE,2014:280-287.

[15] Perazzi F,Krahenbuhl P,Pritch Y,et al.Saliency filters:Contrast based filtering for salient region detection[C]//IEEE Computer Vision and Pattern Recognition,2012:733-740.

[16] Cheng M M,Warrell J,Lin W Y,et al.Efficient Salient Region Detection with Soft Image Abstraction[C]//IEEE International Conference on Computer Vision,2013:1529-1536.

[17] Goferman S,Manor L Z,Tal A.Context-Aware Saliency Detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(10):1915-1926.

[18] Riche N,Mancas M,Duvinage M,et al.A study of parameters affecting visual saliency assessment[J].Signal Processing:Image Communication,2013(28):642-658.

[19] Wang X Y,Han T X,Yan S C.An HOG-LBP Human Detector with Partial Occlusion Handling[C]//IEEE International Conference on Computer Vision,2009:32-39.

[20] Dalal N,Triggs B.Histograms of oriented gradients for human detection[C]//IEEE Computer Vision and Pattern Recognition,2005:886-893.

[21] Alexe B,Deselaers T,Ferrari V.What is an object?[C]//IEEE Computer Vision and Pattern Recognition,2010:73-80.

[22] Zhu W J,Liang S,Wei Y C,et al.Saliency Optimization from Robust Background Detection[C]//IEEE Computer Vision and Pattern Recognition,2014:2814-2821.

[23] Jiang H Z,Wang J D,Yuan Z J,et al.Automatic Salient Object Segmentation Based on Context and Shape[C]//British Machine Vision Conference,2011:1-12.

[24] Li X H,Lu H C,Zhang L H,et al.Saliency Detection via Dense and Sparse Reconstruction[C]//IEEE International Conference on Computer Vision,2013:2976-2983.

[25] Qin Y,Lu H,Xu Y,et al.Saliency detection via Cellular Automata[C]//IEEE Computer Vision and Pattern Recognition,2015:110-119.

[26] Yan Q,Xu L,Shi J,et al.Hierarchical Saliency Detection[C]//IEEE Conference on Computer Vision and Pattern Recognition,2013:1155-1162.

VISUALFEATUREANDFUSIONOFSALIENCYOBJECTDETECTION

Yuan Xiaoyan1,2Wang Anzhi1Pan Gang2Wang Minghui1
1(CollegeofComputerScience,SichuanUniversity,Chengdu610064,Sichuan,China)2(SchoolofIntelligentManufacturing,SichuanUniversityofArtsandScience,Dazhou635000,Sichuan,China)

The saliency object detection is a very important step in many computer vision problems, including video image segmentation, target recognition, and has a very broad application prospect. Over the past 10 years of development of the apparent test model, it can be clearly seen that most of the detection methods are detected by using visual features, and the visual characteristics determine the performance and effectiveness of the significance test model. One of the fundamental differences between the various saliency detection models is the chosen of visual features. We reviewed and summarized the common visual features for the first time, such as color, texture and background. We classified them, compared and analyzed them. Firstly, we selected the better features from all kinds of color features to fuse, and then compared the color features with other characteristics, and chosen the best features to fuse. On the challenging open datasets ESSCD and DUT-OMON, the quantitative comparison was made from three aspects: PR curve, F-measure method and MAE mean error, and the comprehensive effect was better than other algorithms. By comparing and merging different visual features, it is shown that the four characteristics of color, texture, border connectivity and Objectness are very effective in the saliency object detection.

Saliency detection Visual feature Feature fusion Saliency map

2017-01-10。國家重點研究與發展計劃項目(2016YFB0700802，2016YFB0800600)；國家海洋局海洋遙感工程技術研究中心創新青年項目(2015001)。袁小艷，講師，主研領域：計算機視覺，機器學習，個性化服務。王安志，講師。潘剛，講師。王明輝，教授。

TP301.6

A

10.3969/j.issn.1000-386x.2017.08.038