融合紋理和顏色特征的顯著目標檢測*

張艷邦 張 芬

（咸陽師范學院數學與統計學院 咸陽 712000）

1 引言

隨著計算機技術的發展，特別是互聯網技術的發展，圖像和視頻數據的獲取和傳播越來越方便。同時，它也給我們帶來了新的問題，如何在海量數據面前快速找到所需的信息。人類視覺系統可以從圖像中快速檢測出感興趣的物體，而忽略其他區域。它提供了一種確定視覺處理優先級的機制。該機制廣泛應用于計算機視覺和圖像處理領域，如目標識別［1］，圖像分割［2］，圖像/視頻壓縮［3］，圖像檢索［4］等。

根據顯著目標的不確定性，顯著目標檢測方法可分為自底向上和自頂向下兩種模式［5］。自頂向下模型是指對指定對象的檢測。在檢測之前，我們需要了解檢測任務，并通過學習訓練提取預檢測對象的特征。由于目標的多樣性，在檢測前往往不知道圖像中包含了哪些目標。因此，自底向上檢測模型具有更廣泛的應用價值。

雖然自底向上的方法不需要復雜的標注和訓練過程，但它可以獲得大量的先驗知識，如對比度先驗、背景先驗、中心先驗等，直接提取重要線索。更具體地說，對比度優先級基于人眼傾向于在整個場景中觀察具有大特征對比度的區域的事實。

1998年，Itti等［6］提出了一種計算機視覺領域的地標檢測模型，該模型通過計算若干低層視覺特征之間的局部對比度來表示顯著特征。Cheng等［7］首先根據顏色信息將所有像素劃分為不同的類別，然后計算不同類別的對比度和空間信息，生成最終的顯著性圖。在過去的幾年中，它由于同時考慮了顏色對比度和分布特征，具有很高的檢測精度而成為人們關注的焦點。Achanta等［8］利用統計信息找到特征差異較大的區域，并將其定義為顯著區域。結合顏色特征的空間信息和頻率信息，我們提出了一種顯著目標檢測方法［9］。

與對比度先驗不同，背景先驗通常選擇圖像邊界區域作為初始背景種子，然后根據圖像邊界區域與初始背景種子之間的關系確定每個圖像區域的顯著性值。例如，Yang等［10］在建立模型之前，使用流形排序得分來表示背景中圖像區域之間的特征差異。在文獻［11］中，從所有邊界區域重建每個圖像區域，重建誤差是指其顯著性值。此外，Zhang等［12］移除了底部邊界，并將其他方向的邊界區域用作背景種子［13］。黃煒亮等［14］通過貝葉斯框架融合超像素自底向上顯著性、位置信息和自頂向下顯著性信息，計算貝葉斯后驗概率為顯著性特征。

同時，將經典的機器學習算法和數學理論應用到顯著性目標檢測模型中也取得了一些成果。基于深度學習的顯著目標檢測可以看作是一個像素級的分類問題。基于深度學習的方法結合了局部特征和深度特征，可以進行端到端的訓練，在顯著目標檢測方面取得了很大的進展。在最新的卷積神經網絡（CNN）模型中，采用梯度下降算法自動完成顯著區域和非顯著區域的特征選擇。這些模型由卷積層和池層組成，利用softmax層估計每個像素屬于對象的概率。孫永盛等［15］通過螢火蟲算法優化神經網絡初始權值和閾值以提高網絡預測性能和精度，構建了顯著性目標檢測模型。Long等［16］提出了用于圖像分割的全卷積網絡（FCN）。利用FCN作為分類模型，Wang等［17］提出了一種弱監督顯著性目標檢測模型。基于CNN和FCN檢測模型在一定程度能夠較好提高檢測性能，然而，由于在網絡設計中循環應用卷積、反卷積、下采樣和上采樣，隨著網絡層數增加，訓練網絡參數需要計算機具有較高的算力。

在無監督的情況下，本文提出了一種自底向上的顯著目標模型，該模型通過圖像周圍區域的紋理特征和顏色特征獲取背景的先驗信息。然后通過計算區域間的色差得到圖像的顯著特征。最后，采用貝葉斯增強方法抑制噪聲，提高檢測效果。算法流程如圖1所示。

圖1 本文算法流程

2 本文算法

2.1 圖像背景先驗信息

超像素分割以其計算效率高、噪聲抑制能力強等優點受到研究者的廣泛關注。一般來說，一個好的超像素算法不僅可以提高檢測性能，而且可以提高檢測效率。本文利用SLIC算法［18］將輸入圖像分割成超像素。每個超級像素的顏色特征被定義為超級像素中所有灰度值的平均值。在超像素分割中，如果分割的次數太少，細節就會丟失。如果分割數目過大，會降低計算效率，無法達到理想的超像素分割效果。為了平衡計算效率和精度，分割次數為200。

拍照時，物體通常放置在圖像的內部區域，圖像的邊界區域一般是我們不關心的背景區域。然而，由于物體的不確定性，較大的物體可能占據部分圖像邊界。因此，如果直接選取圖像的邊界區域作為背景的先驗，會造成漏檢。在本文中，我們移除了邊界區域的奇異超像素，減少了漏檢。所得邊界背景先驗如圖2所示。

圖2 基于邊界信息的背景先驗。從左到右，分別有原始圖像、超像素段和基于邊界信息的背景先驗。

2.2 基于紋理特征的背景先驗檢測

紋理特征也是檢測顯著目標的一個重要特征。Gabor濾波器的頻率和方向表達式與人類視覺系統相似。它是一種用于邊緣檢測的線性濾波器。我們以30°的步長在［0°～150°］之間周期性地選取濾波方向，利用Gabor濾波得到紋理特征。

為了利用Gabor濾波響應作為特征進行分類，對紋理特征進行高斯平滑，方向特征集添加額外的空間信息，將特征集重塑為PCA和K-means函數的期望形式，并將特征信息歸一化為共同的方差和均值。

在搜索使目標函數最小化的均值時，K-means聚類被重復5次以避免局部最小化。為了檢測顯著區域，我們將特征分為兩類。我們在Lab空間的三個顏色通道中進行紋理特征提取和K-means聚類，并以二維熵最小的特征圖［9］對應的邊界特征作為背景先驗。K-means聚類結果和背景先驗如圖3所示。

圖3 基于紋理特征聚類的背景先驗檢測。左側是每個顏色通道中的不同聚類結果。右邊是熵最小的聚類結果。

基于紋理特征獲得的背景先驗信息與2.1節中通過圖像邊界獲得的背景先驗信息相結合，得到圖像的背景模型。圖4給出了兩個背景先驗構建效果。

圖4 基于紋理特征和邊界信息融合的背景先驗。從左到右依次為原始圖像、超像素分割、基于邊界信息的背景先驗、紋理特征聚類和兩者融合后背景先驗

2.3 顯著性特征檢測

由于人類視覺系統對顏色對比度最為敏感，因此顏色對比度是顯著性目標檢測的首選特征。在本文中，顯著性特征定義為

其中：其中S(i)是第i個超級像素的顯著性特征。‖Ci-Cj‖2表示超級像素Ci與Cj之間的歐氏距離，‖Ci-Cmean‖2表示超級像素Ci與整個圖像的平均像素Cmean之間的歐氏距離。‖Pi-Pj‖2指兩個超像素位置之間的歐氏距離。‖Pi-Pc‖2是指超級像素位置Pi與圖像中心Pc之間的歐氏距離。δ1是距離中心的控制參數。δ2和δ2是空間相似性的控制參數。

當一個物體能夠引起我們的注意時，它可能與整個圖像的平均像素有明顯的對比，或者它可能接近整個圖像的平均像素，但是它與周圍區域有很大的不同。顯著性特征的定義考慮了圖像中所有像素的空間加權全局對比度以及與整個圖像的平均像素的差異性。

2.4 貝葉斯特征增強

對初始顯著性映射進行二值化，計算出目標中心。突出特征的先驗概率與像素到目標中心的距離有關。離中心越近，先驗概率越大。因此，我們定義了第i超像素的先驗概率如下：

式中，d(Pi,Pj)表示第i個超像素的位置和之間的歐氏距離。dmax表示與圖像的四個頂點之間的最大距離。基于貝葉斯理論，顯著性特征由以下公式更新。

3 實驗結果

在兩個廣泛使用的公開數據集MSRA［8］和ECSSD［19］上，將我們的算法與6種傳統方法進行了比較。微軟亞洲研究數據集（MSRA）［8］是微軟亞洲研究院建立的第一個大規模開放圖像數據庫，用于定量評估視覺注意算法的有效性。它包含了1000種不同類型的圖像，在各個領域具有普遍性和代表性。這些圖片來自論壇和搜索引擎，包含各種顯著的對象，包括大目標、小目標、一個目標、多個目標、目標靠近圖像中心、目標位于圖像邊緣等等。該數據集是評價顯著性檢測算法最常用的數據集。

擴充的復雜場景顯著性數據集（ECSSD）是在復雜場景顯著性數據集（CSSD）的基礎上擴展而來的，它包含了來自BSD300［20］、VOC數據集［21］和Internet的200幅圖像。而ECSSD包含1000幅圖像，這不僅是CSSD在數量上的擴充，而且包含了更具挑戰性的圖像。

3.1 主觀評價

圖5和圖6給出了我們的方法與其他6種優秀方法的定性比較。我們可以觀察到，大多數方法都能有效地處理背景相對簡單、目標具有一致性的圖像，生成高質量的顯著性圖。然而，對于一些具有復雜背景的圖像（例如，圖5中的第1行、圖6中的第3行和第4行）。由于本文算法獲得了更為準確的背景先驗信息，同時考慮了全局和局部對比度特征。因此，檢測效果優于其他6種算法。

圖5 在MSRA數據集上，本文算法與其他6種優秀算法的定性比較

圖6 在ECSSD數據集上，本文算法與其他6種優秀方法的定性比較

3.2 客觀評價

為了比較不同方法的性能，我們使用標PR曲線［10］、Fβ測度、ROC曲線［22］、AUC［22］、IOU得分［23］和平均絕對誤差（MAE）［24］來評估本文算法的性能。

PR曲線是一種常用的顯著性圖評價指標。每個顯著特征圖被歸一化到相同的范圍［0，255］，然后通過改變整數閾值從0～255，得到256個二進制顯著性對象掩碼。分別和表示每個顯著特征圖掩碼和相應的真值。準確度和召回率可以定義為

相應的精度召回曲線繪制了256個平均精度值和256個平均召回值的比率。不同算法的PR曲線如圖7和圖8所示。

圖7 在MSRA數據集上，不同算法的PR曲線比較

圖8 在MSRA數據集上，不同算法的PR曲線比較

F測度是平均精度和平均召回率的調和平均值，其計算公式為

正如文獻［7］中所建議的，我們令β2=0.3將精確性置于比召回率更重要的位置。不同算法的F測度比較如圖9所示。

圖9 在MSRA和ECSSD數據集上，不同算法的F測度比較

ROC曲線測量不同閾值（從0～255）下真陽性和假陽性之間的折衷。ROC曲線下面積（Area-Under-the-Curve，AUC）是評價顯著性的最常用指標。圖10和圖11顯示了在MSRA和ECSSD數據集上計算的各種顯著性檢測方法的ROC曲線。圖12顯示了不同算法的AUC。可見，該算法在各種方法中具有領先的性能。

圖10 在MSRA數據集上，不同算法的ROC曲線比較

圖11 在ECSSD數據集上，不同算法的ROC曲線比較

圖12 在MSRA和ECSSD數據集上，AUC性能比較

IOU描述了計算模型和標記區域之間的重疊率［21］。它也是評價目標檢測精度的一種重要方法。

其中：Rn是以顯著性特征值的二倍為閾值得到的二值化圖像。Gn是基準圖。N表示數據集中圖像個數。IOU值越大，精度越高。圖13分別顯示了兩個數據集IOU性能比較。

圖13 在MSRA和ECSSD數據集上，IOU性能比較

MAE是另一種簡單有效的意義圖評價指標。它是基準圖和顯著性之間每像素的平均差。定義如下：

圖14分別顯示了MSRA數據集和ECSSD數據集上MAE得分的性能比較。

圖14 在MSRA和ECSSD數據集上，MAE性能比較

通過在兩個數據庫上的實驗以及對幾種評價方法的比較，我們發現本文算法的檢測效果優于其他6種方法。

從以上定性和定量的評價來看，我們的方法在這兩個數據集上都優于6種算法。與基于深度學習的方法相比，我們的方法不能獲得更好的性能。然而，基于深度學習的方法需要大量的訓練樣本，而我們的方法是完全無監督的。

4 結語

本文提出了一種基于背景先驗顯著性的目標檢測算法。基于邊界上的超像素和圖像的紋理特征，獲得背景的先驗信息。利用顏色特征的奇異性得到初始顯著性目標，并結合貝葉斯算法對顯著性特征進行增強。在兩個常用數據集上進行了測試，取得了良好的效果。雖然在沒有目標先驗信息的情況下得到了較多的圖像背景信息，但在計算過程中只計算了顏色對比度特征，仍然存在一定的漏檢現象。另外，在利用紋理進行背景檢測時，當背景和目標的紋理相似時，基于二值分類的方法容易導致目標被誤分類為背景。因此，與基于背景模型的文獻相比，本文的檢測精度并沒有太大的提高。在接下來的研究中，我們將嘗試對圖像特征進行分類，以減少漏檢現象。