基于Faster R-CNN的顯著性目標檢測方法

趙永彬 李巍 剛毅凝 王鷗 郝躍冬 劉銘堅

摘 ? 要：顯著性目標檢測成為計算機視覺領域中的研究熱點問題之一，但目前的方法在面對前景和背景對比度不強及復雜背景的圖像時，較難取得好的檢測效果。融合多尺度超像素分割方法，提出一種在背景信息相對復雜的場景中基于Faster R-CNN的顯著性目標檢測方法。首先對圖像進行多尺度超像素分割，同時利用Faster R-CNN對圖像進行目標檢測，根據似物性特點對超像素進行顯著性篩選，得到初始目標位置特征后進行顯著性檢測及優化，最后使用元胞自動機方法對多尺度超像素顯著性圖進行融合。通過在特定類數據集進行實驗，與已有典型顯著性檢測進行對比分析，驗證了本文方法在背景復雜的圖像中可提升顯著性目標檢測的精度。

關鍵詞：視覺顯著性;目標檢測;元胞自動機;超像素分割

中圖分類號：TP393 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A

Salient Object Detection Based on Faster R-CNN

ZHAO Yong-bin1，LI Wei1，GANG Yi-ning1，WANG Ou1，HAO Yue-dong2，LIU Ming-jian3？覮

（1.State Grid Liaoning Electric Power Supply Co.，LTD，Shenyang，Liaoning 110004，China;

2. Nari Group Corporation（State Grid Electric Power Research Institute），Nanjng，Jiangsu 211100，China;

3.College of Computer Science and Technology，Nanjing University of Aeronautics

and Astronautics，Nanjing，Jiangsu 211106，China）

Abstract： Saliency detection becomes an important topic in computer vision. However，most of existing approaches often ?fail when the contrast between foreground and background is similar or in complex background. We propose a salient object detection based on Faster R-CNN. It extracts the salient object in the background with relatively complex information by combining multi-scale superpixel segmentation. Firstly，we segment the input image using multi-scale superpixel segmentation and detect the object by Faster R-CNN. Secondly，according to the objectness of the object，the salient superpixels are selected and obtain the original position of the object，and the salient map is highlighted and optimized. Lastly，we use Multi-layer Cellular Automata（MCA） to fuse the multi-scale superpixel salient maps and gain the final salient maps. We evaluate the proposed approach on specific dataset and compare with the state-of-art method，which prove our approach can improve the salient object detection accuracy with the complex background and clutter scene.

Key words： visual saliency;object detection;cellular Automata;superpixel segmentation

顯著性檢測的目的是識別圖像中最吸引人注意的區域，近些年成為計算機視覺領域中非常具有代表的問題。隨著信息化技術的快速發展，我們沉浸在大量的數字媒體數據當中。如何利用有限的時間和精力從大量的數據中篩選出有用的信息具有重要的研究意義。在圖像檢索[1]、圖像分割[2]、圖像分類[3]和目標識別[4]等領域應用廣泛。

截止目前，已有大量的顯著性檢測方法被提出，并取得顯著效果。顯著性檢測主要可以分為自底向上和自頂向下這兩種模型，前者主要基于一些圖像的底層特征（如顏色、亮度、方向等）和先驗信息（如緊湊度、唯一性、背景等），而后者主要通過對圖像中有代表性的特征進行標注、訓練再檢測。自頂向下的顯著性對象檢測與對象檢測相關，其目標是自動定位指定類別的對象所在位置。

早期的方法都是屬于基于圖像屬性對比度特征的顯著檢測，大多算法依賴于圖像的屬性特征，如Itti等[5]使用中心-周邊算子，在高斯金字塔結構中計算各尺度的底層特征以實現跨尺度對比計算顯著性。受這些思想的啟發，人們提出了大量的延伸算法。Achanta[6]提出了基于頻域的顯著性區域檢測方法;Cheng[7]提出基于全局對比度的計算顯著性區域的方法;Goferman[8]提出的上下文認知算法，引入上下文認知思想，融合不同尺度下的局部特征圖，生成顯著圖。Liu[9]提出學習條件隨機場模型，利用模型將從局部、區域和全局3 個層面獲取的特征映射圖進行融合得到顯著圖;Achanta[10]將Itti等人的特征圖進行歸一化來突出圖像的顯著部分。

近來一些新的方法開始使用圖像的邊界先驗知識來引導顯著性檢測。Wei[11]假定圖像邊界接觸的圖像塊都是背景，Jiang[12]將與圖像邊界的對比度作為學習的特征;這些方法都是健壯的，因為它們描述了圖像關于邊界的空間布局，這種特征對圖像有一個直觀的兒何描述，即使圖像內容發生變化也有很好的穩定性，這種獨特的優勢是之前提出的算法中所沒有的，可以用來加強傳統對比度方法的計算。但是在面對復雜場景圖像時候，該方法往往會出現誤檢情況。

還有一類方法通過物體的似物性（Objectness）來提升顯著性檢測效果，通過“目標在哪兒”、“背景在哪兒”的檢測框架，融合顏色區別性特征、邊界先驗以及objectness特征。實現對比度特征與邊界先驗知識的互相彌補，同時使用objectness特征來保持檢測到的顯著區域的準確性。

近些年，深度學習因其可對原始數據進行更高層次、更抽象的表達，而在各個領域引起了廣泛的應用和成功[13]。深度學習的網絡模型主要包括卷積神經網絡（Convolutional Neural Network，CNN）、遞歸神經網絡（Recurrent Neural Network，RNN）和深度信念網絡（Deep Belief Network DBN）等。CNN方法比傳統算法具有更強的泛化能力。由于CNN僅適用于特征學習，許多研究者再次基礎上進一步改進，使深度學習用于目標檢測。具有代表性的工作是2015年Girshick[14]等人提出的Fast RCNN，通過將候選區域映射到CNN的最后一層特征圖上，一張圖片只需要提取一次特征，大大提高了目標檢測速度和精度;接著，Ren[15]進一步提出了Faster-RCNN，通過區域生成網絡與Fast RCNN共享特征提取網絡以及位置精修的策略，進一步提高了目標檢測的效率和精度。

因此，針對上述問題，融合超像素分割方法，提出了一種基于Faster R-CNN的顯著性目標檢測方法。首先對圖像進行多尺度分割，利用Faster R-CNN產生的可能目標去提取超像素中存在的對象來建立似物圖，然后利用前景連通將前景比重分配到超像素中，利用顯著性最優化技術去結合我們的前景和背景比重來獲得圓滑和準確的顯著圖，再利用多層元胞自動機進行融合，獲得最終顯著圖。

1 ? 基于Faster R-CNN的顯著性目標檢測

方法

1.1 ? 使用Faster R-CNN進行目標檢測

Faster R-CNN是一目標檢測及分類的方法。通過對深度神經網絡的訓練，使得該方法可以對特定類目標進行檢測以及分類，該方法的簡單網絡在計算機視覺領域權威的數據集PASCAL VOC上準確率為59.9%，而復雜網絡的準確則為78.8%。本文利用訓練好的Faster R-CNN來對輸入的圖像進行目標檢測，然后提取這個區域框進行存儲，目標檢測的結果如圖1所示，獲得可能性目標的窗口和該窗口為目標的可能性分數。

1.2 ? 多尺度超像素分割

超像素是指具有相似紋理、顏色、亮度等特征的相鄰像素構成的有一定視覺意義的不規則像素塊，可降低了圖像后處理的復雜度，所以通常作為分割算法的預處理步驟。常用的超像素生成算法有分水嶺和SLIC兩種分割算法。SLIC是基于顏色和距離相似性度量的一種梯度下降算法，具有思想簡潔，分割數量易于控制的特點，能夠得到形狀較為規則大小相對均勻的分割結果。本文采取SLIC算法對輸入圖像進行超像素分割，這是為了獲取形狀規則大小均勻的分割結果。本文根據經驗限制每個超像素中像素的個數從每個超像素單位包含100個像素，到500個像素之間，每個尺度按100個像素遞增。

假定有N個分割尺度，在當前某一分割尺度下得到的超像素集用Supi = {Spki}Nki=1表示，其中，Nk表示在第k分割尺度下的超像素個數。Spki表示第k分割尺度下第i個超像素。

1.3 ? 顯著性計算

1.3.1 ? 計算目標似物性

利用Faster R-CNN，通過對其進行特定類目標檢測訓練，可以有效的將圖像中的特定類目標檢測出來，再利用其特性將可能目標提取出來。然后，開始生成似物圖。Faster R-CNN的檢測率很高，但在極端情況下會檢測不到特定類目標，若Faster R-CNN檢測不到目標時則將整幅圖像作為目標進行處理。

目標似物性分數說明這個窗口含有目標的可能性，利用可能目標來獲得像素級的似物性分數，該分數用來說明該像素為目標其中一部分的可能性，像素級的似物性分數定義為[20]：

pixObj（p） = ?Ni=1siGi（x，y） ? （1）

其中si為Faster R-CNN檢測出的目標窗口i 中是否包含像素p，Gi為與窗口等維度的高斯濾波窗口，x，y是像素p在某個檢測窗口中的相對坐標，N為Faster R-CNN檢測出的可能目標窗口的個數。

超像素區域中所有像素的似物性分數的總和即為當前超像素區域的似物性分數，定義為：