一種背景抑制改進的顯著性目標檢測方法

崔麗群，趙 越，吳曉冬，魏可飛，劉 晨

(遼寧工程技術大學軟件學院，遼寧 葫蘆島 125000)

1 引言

隨著對人類視覺注意機制研究的逐步深入，顯著性目標檢測已受到了計算機視覺研究者的廣泛關注。顯著性目標檢測克服了傳統目標檢測方法對目標框的匹配、融合等繁雜過程，通過模擬人類的視覺注意機制，快速識別圖像中的顯著性目標，并標出體現目標位置及大小的顯著性區域。

顯著性目標檢測分為以底層特征為依據的自底向上顯著性目標檢測和以指定目標為驅動的自頂向下的顯著性目標檢測兩種方式[1,2]。自底向上的顯著性目標檢測在頻率域上的處理方法近年來取得了很大進展，如頻譜殘差SR(Spectrum Residual)方法[3]、基于HSV(Hue,Saturation,Value)空間改進的多尺度顯著性檢測[4]方法、相位譜傅里葉變換PFT(Phase Fourier Transformationation)方法[5]、多特征融合的相位譜四元數傅里葉變換PQFT(Phase spectrum of Quaternion Fourier Transform)方法[6]以及多尺度空間分析的超復數傅里葉變換HFT(Hypercomplex Fourier Transform)方法[7]。其中SR方法利用頻譜差余突出顯著性目標得到顯著性圖，方法簡單且速度極快；因SR方法高效簡潔的算法設計，王文豪等人[4]在SR方法基礎上選擇HSV色彩空間提取視覺特征，建立不同尺度圖像序列并利用SR方法提取特征圖，提高算法效率的同時，降低了噪聲對檢測精度的影響。PFT方法僅對圖像的相位譜進行處理也得到了與SR方法相同的效果；PQFT方法在PFT方法的基礎上采用多個特征圖融合的方式，得到了準確率更高的顯著性目標檢測結果；HFT方法利用被忽略的包含在振幅譜中的圖像信息，采用多特征融合的超復數傅里葉變換方法，通過對非顯著性區域的抑制突出顯著性目標。除了在頻率域上，在空間域上常采用圖像底層特征的差異對比來模擬人類視覺系統對觀察對象注意力的競爭、選擇機制[8]，從而得到目標的顯著性圖，如局部差異對比、鄰域及周邊位置差異對比及全局差異對比。其中基于圖模型的顯著性目標檢測GBVS(Graph Based Visual Saliency)方法[9]，利用節點底層特征之間的相互作用關系，是現有方法中模擬人眼視覺注意機制最為準確的顯著性目標檢測方法。雖然自底向上的顯著性目標檢測能夠很好地模擬人類的視覺注意機制，達到對背景的抑制作用，但是在檢測明確目標時，復雜背景中存在的底層特征相對突出的區域使其忽視了重要目標[10]，因此顯著性目標檢測的召回率雖然得到相應提高，但準確率相對較低。

在目標明確的情況下，自頂向下的顯著性目標檢測包含特征學習和顯著性計算兩個過程。特征學習過程即預先提取目標特征，通過訓練、學習獲得相關的先驗知識；顯著性計算過程是利用模型在圖像上得到突出指定目標的顯著性圖，來提高明確目標顯著性檢測的準確率。自頂向下的顯著性目標檢測方法中基于條件隨機場CRF(Conditional Random Field)的檢測方法得到了廣泛研究，在條件隨機場的圖像塊節點特征獲取過程中，為了增強特征的判別能力，文獻[11]采用字典學習的稀疏編碼[12]方式來提高特征的判別能力；文獻[13]在文獻[11]的稀疏編碼的約束部分引入局部線性約束LLC(Local Linear Constraint)，增加了類內的聚合性，減少了類間的耦合性，也進一步增強了稀疏編碼的特征判別能力。考慮到視覺、空間與鄰域、先驗知識常作為計算顯著性值的出發點，文獻[14]針對文獻[11]缺乏空間先驗知識的缺陷，引入空間金字塔模型SPM(Spatial Pyramid Model)匹配方法[15]，利用稀疏編碼的空間金字塔模型ScSPM(Sparse coding Spatial Pyramid Model)對得到的顯著性區域進行再次判別，從而得到最終的顯著性圖。以上自頂向下的顯著性目標檢測方法對于在背景與目標相近的檢測環境下的誤檢問題都沒有突出性的研究進展。

針對自底向上顯著性目標檢測缺少先驗知識，對明確目標檢測準確率較低的問題，自頂向下顯著性目標檢測對于復雜背景下的誤檢問題，本文將兩種方法相結合，通過在頻率域上采用平滑振幅譜的超復數傅里葉變換方法抑制復雜背景，在空間域上采用稀疏編碼的條件隨機場學習方法突出目標。

2 相關工作介紹

2.1 超復數傅里葉變換

在自然場景下的顯著性目標檢測圖像中，占據圖像大部分區域的往往是非目標的背景區域，檢測圖像中的背景區域會增加誤檢問題的發生概率，并降低準確率。這些重復率較高且復雜的圖像，變換到頻域上，通過頻域濾波進行有效的抑制，本文將采用超復數傅里葉變換方法。自然場景圖像如圖1所示，將圖1分塊表示后發現圖中多數為重復率較高的樹叢、樹枝和草地等背景圖像塊，如圖2所示。

Figure 1 Natural scene image圖1 自然場景圖像

Figure 2 Natural image block圖2 自然圖像塊

超復數形式的二維圖像信號融合了多特征圖，提高了顯著性判斷能力，如式(1)所示。

f(n,m)=β1f1+β2f2i+β3f3j+β4f4k

(1)

其中,n,m表示圖像的空間坐標，i,j,k滿足i2=j2=k2=ijk=-1,f1,f2,f3,f4分別為不同的特征圖，β1,β2,β3,β4分別為特征圖的權重系數，權重系數為β1=0,β2=0.5,β3=β4=0.25[5]。

f1通常用來描述運動特征，本文主要針對無運動特征的靜態圖像，因此設f1=0，其它特征圖如式(2)所示。

f2=(r+g+b)/3,

f3=R-G,

f4=B-Y

(2)

其中,r,g,b分別為輸入彩色圖像的三個顏色通道的值，R=r-(g+b)/2,G=g-(r+b)/2,B=b-(r+g)/2,Y=(r+g)/2-|r-g|/2-b。

對二維超復數形式信號進行傅里葉變換，如式(3)所示。

(3)

其中,u,v表示經過傅里葉變換后圖像的空間坐標，M,N表示圖像坐標的最大值，μ為一個單純的四元數，μ2=-1。

2.2 背景抑制

通過傅里葉反變換，式(3)中的FH[u,v]的極數形式如式(4)所示。

FH[u,v]=‖FH[u,v]‖eμ Φ(u,v)

(4)

其中,μ(u,v)、Φ(u,v)分別如式(5)所示。

A(u,v)=‖FH[u,v]‖,

(5)

其中,A(u,v)為振幅譜，P(u,v)為相位譜，X(u,v)為歐拉譜。振幅譜A(u,v)經過一系列不同尺度的高斯核g(u,v;k)平滑過程，可以消除復雜的重復性背景[7]，得到一系列平滑后的振幅譜Λ={Λk}，記為Λk(u,v)。變量k為高斯核g(u,v;k)中的尺度，且k=1,…,K,K=[log2min{H,W}]+1,H和W分別為輸入圖像的高和寬，得到背景抑制的顯著性圖如式(6)所示。

Lk=F-1Λk(u,v)eXP(u,v)

(6)

其中,F-1{·}為傅里葉反變換。

2.3 條件隨機場

條件隨機場CRF是一種基于統計分析的機器學習方法，已經被成功地應用到計算機語言學、圖像識別等若干領域。CRF是在馬爾科夫隨機場MRF(Markov Random Field)的基礎上提出的，克服了圖像特征觀察值獨立性假設的依賴，用條件概率描述像素和其鄰域或者特征之間的關系。CRF是一個無向圖模型，定義如下：

設隨機變量Aa1,a2,…,an代表觀測序列，隨機變量Bb1,b2,…，bn標示標記序列，定義無向圖G=(v,e),v表示節點集，e表示節點間的連線，即邊集。在隨機變量A的條件下，每個節點的標記值bi∈B相對于G遵從馬爾科夫特性，每個節點的標記值只與鄰近節點的標記值有關，與相對較遠的節點無關，如式(7)所示。

PbiA,bv-{i}=PbiA,bNi

(7)

其中，v-{i}表示圖G中除了節點i以外的所有節點，Ni是節點i在圖G中的鄰域節點集。此時，稱B,A服從條件隨機場分布。

3 背景抑制改進的條件隨機場學習方法

本文選擇超復數傅里葉變換方法對標準圖像進行背景抑制，在頻率域上完成部分目標檢測。為了進一步提高目標顯著度，利用條件隨機場結合空間域信息突出目標，來完成顯著性目標檢測。

首先，對圖像進行分塊，再以塊為節點v，連接節點形成節點間的邊e,建立無向圖G(v,e)。本文在連接節點的過程中采用三種不同的方式：

(1)以16像素距離的正方向四鄰域取節點連接；

(2)以16像素距離的對角方向四鄰域的連接；

(3)以32像素距離的正方向四鄰域取節點連接。

建立三種不同的無向圖，并采用點乘的融合方式融合三種圖。使用CRF的一般表達式，如公式(8)所示。

(8)

其中,Y代表狀態，在本文中存在顯著與非顯著兩個狀態分別記為數值1和-1；對圖像塊提取的原始特征采用字典學習方式稀疏得到特征編碼，特征編碼用S表示；w為CRF方法的權值系數；Ζ的作用是使歸一化；E(S,Y,w)為方法的能量函數，如式(9)所示。

E(S,Y,w)=

(9)

yi=li*yi

(10)

其中，每個節點的背景抑制權值即為每個顯著性圖像塊的灰度平均值li，取值0～1。w1為CRF模型的權值系數，通過線性支持向量機SVM(Support Vector Machine)對稀疏特征訓練得到；無向圖的相鄰節點稀疏特征編碼[si,sj]對應狀態[yi,yj]的一致性約束為φ(yi,yj,w2)=w2Ι(yi,yj)，w2為鄰域節點之間狀態一致性約束的權值，Ι(yi,yj)表示當yi與yj不相等時為1，否則為0。

最終每個節點對應特定狀態的概率等于鄰域節點狀態概率的和，通常采用四鄰域方式得到。當節點的標記yi=1時，本文認定該節點為顯著性節點，如式(11)所示。

u(si,w)=p(yi=1|si,w)

(11)

得到顯著性圖U={u1,u2,…,un}后，U與背景抑制的顯著性圖Lk點乘的方式再次判定，最終的顯著性圖Sk如式(12)所示。

Sk=Lk·U

(12)

其中,k為高斯核的尺寸，本文通過圖像熵和邊界突出程度兩個參數綜合評價選擇出最優尺度的高斯核。

圖像一維熵如式(13)所示。

(13)

其中,像素值i的取值為{0,1,…,n},pi為像素數i與總像素數的比值。圖像的二維熵較一維熵加入了圖像灰度分布的空間特征如，公(14)所示。

H2D(x)=H{gn*x}

(14)

其中,高斯低通濾波器gn的尺寸取1.2時為最佳[5]，圖像二維熵H2D(x)的值越大，顯著性圖就越混亂，目標突出就越不明顯，因此應選出二維熵值小的顯著性圖。

顯著性圖中往往邊界比較突出，本文采用避免邊界突出的策略，使邊界盡量模糊，避免背景中復雜紋理、結構干擾目標定位，如式(15)所示。

λk=∑∑K(n,m)·N(Sk(n,m))

(15)

其中,λk表示邊界突出程度，K(n,m)為與Sk(n,m)尺寸相同的二維中心高斯掩膜，∑∑K(n,m)=1，且N(*)使顯著圖Sk歸一化，總像素和為1。

融和圖像熵和邊界突出程度兩個參數，可得到相對較優的顯著性圖，最終顯著性圖的高斯核尺度如式(16)所示。

(16)

因此，背景抑制改進的顯著性目標檢測框架如圖3所示。首先，將輸入的原始圖像采用超復數形式融合形成多特征圖；通過傅里葉變換獲得振幅譜、相位譜和歐拉譜，再通過多尺度高斯核平滑后的振幅譜和原始相位譜的重構，得到背景抑制圖；然后，對原始圖像分塊提取SIFT(Scale Invariant Feature Transform)特征，通過字典對SIFT特征進行稀疏編碼，建立三種無向圖，并得到目標顯著性圖，同時對背景抑制圖分塊取每塊背景的抑制權值；最后，通過背景抑制圖對目標顯著性圖進行再次判別，選擇最優高斯尺寸，并得到最終顯著性圖。

Figure 3 The salient object detection framework proposed in this paper圖3 本文提出的顯著性目標檢測框架

4 實驗結果與分析

本文采用Graz-02數據集[16]作為檢驗數據集，該數據集是由格拉茨科技大學建立的一個比較流行的自然場景對象類數據集，常作為目標檢測和分類方法的測試和對比實驗數據集，該數據集中多為高復雜度和高類內差異的圖像，非剛體和剛體分別包括人、汽車和自行車。每個對象類數據集共包括300幅圖像，圖像尺寸為640×480或480×640，本文將序號為奇數的150幅圖像作為訓練圖像集，每幅圖像以64×64 像素尺寸為窗口，以16像素為步長移動獲取圖像塊，每塊提取256維的SIFT特征向量，另150幅圖像作為測試圖像。

實驗的軟件環境為64位Windows 10操作系統和Matlab R2010b；硬件環境為8 GB內存、2.20 GHz主頻的英特爾處理器。

4.1 評價體系

本節從兩個方面檢驗本文所提方法的有效性和準確率，通過主觀視覺的愉悅度和客觀數據如準確率、召回率、綜合評價指標F-measure和平均絕對誤差。

主觀視覺愉悅度主要是通過肉眼觀察評價實驗效果，雖然具有很強的主觀性，但是計算機視覺的研究多為模擬人眼對圖像的處理過程，因此主觀視覺的評價不可或缺。但是，對于細微的差別，人眼很難辨別，此時客觀評價的數據更具說服力。

客觀評價首先通過閾值方法將顯著性檢測結果進行二值化，然后把得到的二值化掩膜[17]結果與人工標定的真實掩膜進行對比，可能的狀態結果見表1。

P表示準確率，為檢測出的顯著性區域中所包含的真實目標區域與檢測出的顯著性區域面積的比值。R表示召回率，為檢測出的顯著性區域中所包含的目標區域與真實目標區域面積的比值。計算準確率P、召回率R、綜合評價指標F-measure及平均絕對誤差MAE的方法如式(17)所示。

(17)

其中,α2通常取0.3，U為圖像像素總數。F-mensure值越大，表明方法性能越好;MAE值越小，表明效果越好。

4.2 參數分析

實驗參數包括稀疏編碼中稀疏度約束項的控制參數λ、CRF能量函數權值w1和w2。參數λ設為0.15[11]，文獻[14]通過實驗證明，λ取0.15時，檢測結果最好。權值w1通過SVM訓練獲得，權值w2設為1。

人屬于非剛體，因姿態各異、衣著斑斕，經常與復雜的背景區分不清；自行車和汽車屬于剛體，但它們體積差異大，自行車的外觀紋理比汽車的更復雜。所以人、自行車和汽車三種不同的目標作顯著性檢測的閾值有所不同。二值化掩膜閾值決定著客觀實驗結果數據的顯著性檢測結果，以二值化的閾值為橫坐標，F-measure為縱坐標作折線圖，當F-measure值為最佳時來確定二值化掩膜閾值，如圖4所示。

Figure 4 Two threshold value and F-measure line chart of people,bicycle and cars 圖4 人、自行車、汽車的二值化閾值與F-measure的折線圖

圖4a表明，對人體目標顯著性檢測時閾值取0.2，F-measure值較高；圖4b表明,對自行車目標顯著性檢測時閾值取0.1時,F-measure較高；圖4c表明，對汽車目標顯著性檢測時閾值取0.3,F-measure值較高。

4.3 方法比較

由于目標在測試圖像中尺度不同、外形多變，無向圖構建階段最初的四鄰域連接無向圖很難準確地檢測目標，因此本文采用相加(+)和點乘(*)兩種方式對三種圖進行融合，實驗結果如表2～表4所示。

Table 2 Three images fusion (human)

Table 3 Three images fusion (cars)

Table 4 Three images fusion (bicycle)

從人、汽車及自行車實驗數據的比較結果可看出，點乘方式融合能夠在綜合指標F-measure有所提升的情況下，顯著提升準確率。

4.3.1 主觀分析

本文方法結合自底向上和自頂向下的顯著性目標檢測的優點，通過超復數傅里葉變換得到頻域平滑振幅譜與相位譜從而獲得背景抑制圖，其效果如圖5b所示。為取得最佳的顯著性目標檢測效果，實驗結合空間域明確目標表示的先驗知識來突出目標區域，最終獲得的顯著性目標檢測效果圖如圖5c所示。

Figure 5 Effect diagram圖5 效果圖

分別從測試數據集的每個對象類中取兩張圖像，通過GBVS[9]、HFT[7]、CRF[11]和本文方法做顯著性目標檢測，實驗效果如圖6所示。圖6a～圖6c中，從左向右分別為原圖、GBVS檢測結果、HFT檢測結果、CRF檢測結果和本文方法檢測結果。

Figure 6 Contrast diagram圖6 對比圖

對非剛體的人做顯著性目標檢測的實驗效果如圖6a所示。“人”作為非剛體的典型對象，由于其外觀姿態多變、常被附屬物遮擋等特點，在檢測中極具挑戰性，本文分別選取了包含一個目標對象和兩個目標對象的圖像進行對比。對剛體對象自行車、汽車做顯著性目標檢測的實驗結果如圖6b和圖6c所示，且自行車相比汽車具有更復雜的外觀紋理結構，所取兩張圖像中的目標分別處于不同的自然生活環境中。由圖觀察可知，GBVS方法的檢測結果目標區域通常過大，沒有較明確地區分出背景與目標；相比GBVS方法，雖然HFT方法檢測目標區域的范圍縮小了，但是由于缺乏先驗知識不能突出指定的目標區域；CRF模型相比前兩者，采用了學習的方式，因此具備指定目標的先驗信息，但在檢測過程中易誤檢背景中的近似目標區域；本文方法相對前三者有了很大提高，較前兩者引入了先驗知識、較CRF模型抑制了近似目標的背景干擾，縮小了檢測結果的目標區域，使目標位置更精確更具體。

4.3.2 客觀分析

客觀實驗結果數據對比是通過對不同對象類150幅測試圖像的實驗數據均值得到的，分別用準確率P、召回率R、綜合指標F-measure和平均絕對誤差MAE進行對比，見表5～表8。

Table 5 “Human” detection and comparison

Table 6 “Bicycle” detection and comparison

Table 7 “Car” detection and comparison

Table 8 Mean value comparison

以直方圖的形式進一步展示的對比結果如圖7所示。

Figure 7 Average histogram of people,bicycles, and cars圖7 人、自行車、汽車平均值直方圖

表5～表7和圖7a～圖7c分別為對人、自行車和汽車的檢測結果進行對比，表明本文方法在顯著性目標檢測時雖然在召回率R上均有所下降，但準確率得到顯著提高，且綜合指標F-measure也有顯著提高，平均絕對誤差MAE值有所降低。

表8和圖7d為三類對象的檢測結果平均值，表明本文方法的準確率P由0.426 2提高到0.640 0，綜合指標F-measure由0.405 5提高到0.558 3，平均絕對誤差MAE降低到0.128 6，雖然在召回率R上有所下降，但是在準確率P上取得了顯著提高，更能體現本文方法的普適性。

4.4 實時性比較

本文方法結合了HFT和CRF兩種方法進行顯著性目標檢測，在相同實驗條件下，對同一幅圖像進行顯著性目標檢測的時間消耗如圖8所示，由于本文方法是兩種方法的結合，因此時間消耗高于HFT方法和GBVS方法，但與CRF算法的時間消耗基本保持一致，說明本文方法在提高顯著性目標檢測準確率的基礎上，時間損失較小。

Figure 8 Contrast of time consumption圖8 時間消耗對比

5 結束語

本文提出了背景抑制的顯著性目標檢測方法，該方法結合自底向上和自頂向下兩種檢測方法的優點，以頻率域上平滑振幅譜的抑制背景圖及空間域上明確目標的先驗知識為決定因素，改進條件隨機場學習方法，顯著提高了顯著性目標檢測時的準確率。實驗結果表明，無論從主觀還是從客觀上分析，本文所提方法在保證算法運行效率的前提下，準確率均好于其它流行方法，且通過三個對象類的測試可看出，本文方法還具有很好的普適性。但是，本文方法存在召回率較低的問題，接下來將對此問題展開深入研究。