全局信息引導的多尺度顯著物體檢測模型

陳小偉 張 裕* 林家駿 張 晴

1(上海應用技術大學 上海 201418)2(華東理工大學 上海 200237)

0 引 言

顯著物體檢測的目的是模擬人的視覺感知，從雜亂背景中定位和分割出最引人注意的具有精確輪廓的物體。近年來，顯著性物體檢測作為一個預處理步驟被廣泛應用于各種計算機視覺任務，包括視頻跟蹤[1]、目標識別[2]和圖像編輯[3]等。

根據算法是否使用深度特征，可將顯著性物體檢測算法分為兩大類：基于手動選擇特征的傳統方法[4-5]和使用深度神經網絡提取語義特征的方法[6-7]。傳統的顯著性檢測方法采用顏色、紋理、形狀等圖像中低層特征，并利用啟發式先驗條件(顏色對比度、邊界、物體級信息等)進行顯著性物體檢測計算。雖然基于傳統的方法在處理簡單場景圖像時取得了較好的檢測效果，但由于其無法提取圖像深層的語義特征，因此在面對復雜圖像時，檢測效果與人的視覺感知結果存在較大的差異。

近年來，卷積神經網絡在計算機視覺任務中顯示出了其強大的特征表征和學習能力。受此啟發，研究人員將卷積神經網絡應用于顯著性檢測任務。一些基于卷積神經網絡的顯著性檢測算法[6,8,22]利用了圖像的深度特征，取得了比傳統方法更好的檢測性能。隨著全卷積神經網絡的興起，研究人員發現，融入中低層特征的顯著性檢測模型[9-10,23-24]相比僅利用深度特征的方法更進一步提高了算法性能，因為中低層特征包含豐富的結構和細節信息，對于勾勒出完整和精確的輪廓信息具有十分重要的作用。

盡管現有算法取得了令人矚目的成果，顯著性物體檢測領域仍具有如下問題需要解決：(1) 基于特征金字塔網絡(Feature pyramid network,FPN)[11]結構的顯著檢測模型，將深度信息逐層傳遞給淺層，在傳遞過程中，深度信息必然有損失，不能全部傳遞給最淺層；(2) 自然場景中包含各種尺度的物體，而某一固定大小的卷積核只能處理固定尺寸的目標物體，因此如何在每一層次的特征中融合多尺度信息值得進一步研究。

本文提出一種簡單有效的基于全卷積神經網絡的顯著性物體檢測模型，結合圖像的多層次特征，探索多尺度特征的表示和融合，并且將全局信息直接與每一層的特征進行融合，指導多層次特征的提取，從而提高模型的檢測性能。

本文工作主要貢獻如下：(1) 提出了一種新的全局信息引導的多尺度特征卷積神經網絡用于顯著物體檢測，將全局信息直接與多層次局部特征相結合。該模型能更好利用全局信息，從而提高檢測性能。(2) 設計了多尺度卷積模塊，利用同一側輸出的不同尺度特征融合，提高網絡各層次特征的表達和學習能力。(3) 根據常用的評價指標，在ECSSD、DUT-OMRON、PASCAL-S和DUTS-TE數據上進行算法性能比較與分析，從而說明本文算法的有效性和魯棒性。

1 相關工作

顯著性檢測方法可以分為基于眼動點的顯著性預測和具有精確物體輪廓信息的顯著性物體檢測，本文主要關注顯著性物體檢測。

1.1 基于手動選擇特征的方法

大部分傳統的顯著性物體檢測方法先將圖像進行超像素分割，然后采用手動選擇圖像的中低層特征進行顯著性計算。基于局部的方法[12]使用每個超像素的對比度或獨特性等先驗信息來捕獲局部顯著區域。而基于全局的方法[13-14]通過使用整個圖像的整體信息來計算每個超像素的顯著度。由于基于手動選擇特征的方法不能有效利用圖像蘊含的語義信息，因此無法從復雜圖像中精確檢測和分割顯著性物體。

1.2 基于深度特征的方法

近年來，基于卷積神經網絡的顯著性物體檢測方法[19]明顯提高了檢測性能。Wang等[6]提出一個深度神經網絡，首先計算局部上下文中每個像素的顯著性得分，然后用另一個網絡在全局視圖上重新評估每個對象的顯著性得分。Li等[8]利用深度神經網絡提取圖像的多尺度特征，通過融合這些特征計算顯著性值。Zhao等[15]通過整合全局和局部信息預測顯著性圖。然而，上述檢測方法將圖像區域視為基本的計算單元，網絡必須運行多次得到整個圖像的顯著性值。

為了解決該問題，研究人員引入全卷積網絡，采用圖像到圖像的方式進行顯著性檢測[7]。利用全卷積網絡的各個側邊輸出的多層次特征，采用類似U-Net結構，進行顯著性檢測信息的編碼和解碼。網絡的低層側邊輸出的特征富含低層特征，但缺乏圖像的整體語義信息；而網絡的深層側邊輸出的特征含有豐富的語義信息，但缺乏圖像的結構細節。因此，結合網絡的不同側邊輸出的多層次特征有助于進一步提高顯著性預測的準確性。

Luo等[16]通過一個多分辨的4×5網格結構融合圖像的局部和全局信息，并采用Mumford-Shah函數進行邊界優化。文獻[17]采用反注意力圖引導特征選擇。文獻[18]采用跳層連接方式將深層特征融入各淺層側輸出，從而進行顯著性計算。Zhang等[10]利用注意力機制，逐層引導各側邊輸出整合多層次特征。Zhang等[20]提出采用雙向信息傳遞模型整合多層次特征。

雖然這些基于深度學習的方法已經取得了明顯的成效，但是仍有很大的進步空間，使其可以在復雜場景中均勻突出整個顯著目標并且準確判斷邊界，同時有效抑制背景噪聲。

2 模型設計

2.1 模型整體結構

為了一致高亮顯著區域，同時抑制無關背景噪聲，本文提出一種新的全局信息引導的多特征網絡(GCMF-Net)用于顯著物體檢測，探索利用全局信息引導多層次特征提取方法及多尺度特征的檢測和融合策略。

GCMF-Net的整體結構如圖1所示，主要包含多尺度特征提升模塊(MFEM)和全局信息引導模塊(GCGM)。其中，全局信息引導模塊GCGM由空洞空間卷積池化金字塔(ASPP)模塊[30]和全局特征融合模塊(GFFM)構成。本文使用基于VGG-16的全卷積網絡結構作為主干網絡模型，采用PFN結構，以由粗至細的方式更新顯著性圖。利用主干網絡提取圖像的多層次特征；利用MFEM模塊提取不同層次的多尺度特征，并將這些特征進行融合；利用ASPP模塊獲取多尺度的全局語義特征；利用GFFM模塊融合不同層次的多尺度特征與全局特征，從而準確捕獲多層次多尺度的顯著區域特征。

圖1 GCMF-Net整體結構

2.2 主干網絡

2.3 多尺度特征提升模塊

由于主干網絡的卷積層組采用固定大小的卷積核得到側邊輸出特征，因此各側邊輸出特征均對固定尺寸的顯著物體具有較好的響應值。然而，自然場景中包含各種尺度的物體，多尺度特征檢測和融合模塊的研究可以提高模型處理多尺度目標的能力，從而提升整個網絡的顯著物體檢測性能。

圖2 MFEM結構

2.4 全局信息引導模塊

本文利用空洞空間卷積池化金字塔ASPP模塊捕獲多尺度的全局語義信息，從而生成包含顯著物體位置的全局特征。實驗將ASPP的三個空洞卷積層膨脹分別率分別設置為4、6和8。

卷積神經網絡產生的高層特征包含圖像豐富的語義信息，而卷積神經網絡低層側邊輸出特征包含更多的顏色、紋理和形狀等中低層圖像特征，因此融合各個側邊輸出的不同層次特征，能提高整個網絡的特征表達和學習能力。

現有模型一般采用FPN結構，將高層語義特征逐漸與低層特征相融合，采用由粗到細的方式逐漸更新顯著性圖，提高檢測質量。但是這種逐層更新的方式在一定程度上削弱了高層語義信息對低層特征提取和更新的引導作用。因此，本文提出將全局語義信息直接與各個側邊輸出的多尺度融合特征相結合，利用高層語義信息直接引導側邊輸出的中低層特征集中于有效目標區域的特征表征與學習。

在本文提出的全局特征融合模塊中，將側邊輸出、深層的顯著特征圖、ASPP模塊生成的全局語義特征圖進行維度方向的連接，再使用32維的3×3卷積核進行特征融合，可表示為：

(1)

3 實 驗

3.1 基準數據集

為評價算法性能，在四個公開的基準數據集上進行了一系列定性和定量評價實驗。數據集包括ECSSD、DUT-OMRON、PASCAL-S和DUTS-TE，各數據集的圖像數如表1所示。

表1 基準數據集信息

3.2 評價指標

本文采用常用的準確率-召回率(PR)曲線、F測度(Fβ)、平均F測度(avgFβ)、加權F測度(wFβ)和平均絕對誤差(MAE)作為算法性能評價的量化指標。

根據從0到255的閾值，將顯著圖二值化，并與真值圖進行比較來計算準確率和召回率。PR曲線顯示了在某一數據集上不同閾值下的顯著圖的平均準確率和召回率。

Fβ用于綜合考慮準確率和召回率：

(2)

式中：p和r分別代表準確率和召回率；β是衡量準確率和召回率的平衡參數，與文獻[18]參數選取一致，本文實驗將β2設為0.3。

wFβ使用加權準確率pw和加權召回率rw進行計算：

(3)

MAE用來評價顯著圖和真值圖之間的平均像素誤差：

(4)

式中：S表示最終顯著圖；G表示真值圖；h和w分別表示圖像的高度和寬度，i和j表示像素點的位置。

3.3 實施細節

所提模型的訓練和測試是在具有Intel i7- 7700k CPU(4.2 GHz)、32 GB RAM和一塊英偉達GTX TITAN GPU的臺式計算機上，使用Python實現。

所提出的網絡基于公開的Pytorch框架。本文模型使用DUTS-TR作為訓練集。DUTS-TR包含10 553幅訓練圖像。為了提高模型的魯棒性，本文通過隨機水平翻轉進行訓練集增強。所有的訓練圖像的分辨率均320×320，每次只加載一個圖像。學習率設置為5e- 5，使用Adam作為優化算子，權重衰減為5e- 4，一共訓練25期。

為了進一步提高邊緣像素的檢測精度，使用CRF[29]對本文模型輸出的預測結果進行顯著圖優化。

3.4 算法性能對比

將本文方法與8種近三年發表的具有代表性的方法進行了比較，包括PAGR[10]、RAS[17]、BDMP[20]、R3Net[28]、RADF[25]、ASNet[26]、RFCN[7]和AFNet[27]。為了比較的公平性，所有對比算法的顯著圖均使用作者提供的實現方法獲取或作者公開的顯著預測圖。

3.4.1定量比較

本文提出的GCMF-Net模型與具有代表性的8種主流方法的PR曲線圖如圖3所示。由圖3可知，GCMF-Net在ECSSD、DUTS-TE和DUT-OMRON這3個基準數據集上，較現有的代表性算法具有競爭力，只在PASCAL-S數據集上略遜于ASNet和AFNet。

(a) ECSSD數據集

此外，GCMF-Net模型與8種主流方法在四個公開基準數據集上就Fβ、avgFβ、wFβ和MAE指標進行了定量比較，結果如表2和表3所示，“/”表示原文作者沒有提供該數據集上的顯著性圖。

由表2和表3可知：(1) GCMF-Net在PASCAL-S數據集上的avgFβ指標略遜于AFNet，而MAE指標位居第四；(2) GCMF-Net在ECSSD、DUT-OMRON和DUTS-TE數據上，均具有最佳表現。

表2 不同方法在ECSSD和DUT-OMRON基準數據集上的性能比較

表3 不同方法在PASCAL-S和DUTS-TE基準數據集上的性能比較

綜合本文方法在四個基準數據集上的PR曲線、Fβ、avgFβ、wFβ和MAE評價結果，GCMF-Net較近年的主流方法具有一定的優越性。

續表3

3.4.2定性比較

圖4顯示了GCMF-Net模型與不同算法在四個公開數據集上生成顯著性圖的視覺比較。由圖4可知，本文提出的GCMF-Net方法在各種復雜場景(例如多目標、復雜背景、大目標、小目標、目標接觸邊界、復雜目標等)中表現良好，一致高亮了顯著區域，并有效抑制了背景噪聲。

(a) 輸入 (b) 真值 (c) PAGR (d) RAS (e) BAMP (f) R3Net (g) RADF (h) ASNet (i) RFCN (j) AFNet (k) 本文圖4 不同方法生成顯著圖的視覺比較

3.5 本文模型分析

3.5.1不同側輸出的預測結果分析

本文對GCMF-Net模型的各個側邊得到的顯著性圖，在ECSSD基準數據集上的進行檢測性能比較，結果如表4所示。可以看出，最淺層的側邊得到的顯著性圖性能最佳，這表明了所提模型采用由粗至細的逐層更新策略是有效的。

表4 不同側輸出的性能比較

續表4

3.5.2不同模塊性能分析

為了驗證本文方法的可靠性和有效性，從本文模型中分別移除不同的模塊和結構，并且測試這些新的網絡模型在ECSSD和PASCAL-S數據集上的檢測性能。

采用Fβ、avgFβ、wFβ和MAE對未采用CRF進行顯著圖優化的結果進行評價，如表5所示，本文方法中的各個模塊能有效提高檢測性能。其中：Ourswo_MFEM表示移除多尺度特征提取的特征優化模塊，Ourswo_GCGM表示移除整個全局信息引導模塊，Ourswo_GFFM表示保留全局信息引導模塊中的全局特征提取部分，移除全局特征與其他側輸出的局部特征進行融合部分，Ourswo_ASPP表示移除全局信息引導模塊中的全局特征提取部分。

表5 不同模塊的性能比較

4 結 語

本文提出了一種利用多尺度和多層次特征進行顯著性目標檢測的方法。針對主干網絡的每個側輸出進行多尺度特征的提取和融合；利用從最深層側輸出提取的全局語義特征引導側輸出的多尺度特征聚焦于主要區域的特征表達和學習；采用類似于FPN的網絡結構，逐漸更新預測顯著性圖；采用深監督方式進行網絡訓練，從而得到預測顯著性圖。在測試階段，為了進一步獲得具有精確輪廓和均勻一致內部區域的顯著物體檢測結果，使用基于全連接的CRF進行顯著性圖更新。在四個公開的基準數據集上的實驗結果表明，本文方法較8種近年發表的主流算法具有優越性。未來研究將考慮引入顯著性物體的輪廓信息以獲得更清晰的目標邊界。