基于深度學習的顯著性目標檢測綜述

史彩娟，張衛明，陳厚儒，葛錄錄

華北理工大學人工智能學院，河北唐山 063210

視覺顯著性是指模仿人類視覺系統快速檢測出視覺上最獨特的顯著性區域，即顯著場景，然后對該區域進行感知和處理。顯著性目標檢測（salient object detection，SOD）是指檢測顯著場景中最吸引注意力的物體。近年，顯著性目標檢測得到了廣泛研究和應用，如圖像分類[1-2]、語義分割[3-4]、超像素[5]、圖像檢索[6]、視覺跟蹤[7]、內容感知圖像編輯[8]和機器人導航[9]等。

顯著性目標檢測方法一般可以分為傳統顯著性目標檢測方法和基于深度學習的顯著性目標檢測方法。傳統顯著性目標檢測方法主要是利用人類直觀感覺或者啟發式先驗，如利用色度比較[10]、背景比較[11]和邊界點先驗[12]等，通過人工提取特征來檢測目標。然而，人工提取特征非常耗時。近年，深度學習的發展極大促進了顯著目標檢測研究，基于深度學習的顯著性目標檢測方法不斷被提出。不同于傳統方法，基于深度學習的顯著性目標檢測方法不需要人工提取特征，而是自動學習得到多尺度特征；另外，檢測性能也有了很大提升，如檢測精度大幅提升，時效性越來越好，模型輕量級，單一網絡同時完成顯著性目標的檢測和邊界定位等。但是，現有的基于深度學習的顯著性目標檢測方法也還存在不足，如復雜背景下的顯著性目標檢測性能有待進一步提升，檢測的實時性有待提高，模型復雜度需要降低等。

近年，部分學者對基于深度學習的目標檢測方法進行了梳理總結[13-19]，但是對國內外基于深度學習的顯著性目標檢測算法的總結與分析非常有限。因此，本文將對基于深度學習的顯著性目標檢測算法進行總結分析。首先詳細闡述了基于深度學習的顯著性目標檢測的不同方法；其次簡單介紹了常用數據集和評估準則；接著對多個基于深度學習的顯著性目標檢測方法進行了性能比較；最后分析了現有基于深度學習的顯著性目標檢測方法的不足及未來發展方向。

1 基于深度學習的顯著性目標檢測方法

隨著深度學習的快速發展，基于深度學習的顯著性目標檢測方法被廣泛提出，克服了傳統方法中人工提取特征耗時或者遷移性較差等問題。圖1 給出了近年來基于深度學習的顯著性目標檢測的發展歷程及主要方法。本文分別從邊界/語義增強、全局/局部結合和輔助網絡三個不同的角度對現有的基于深度學習的顯著性目標檢測方法進行介紹。

1.1 基于邊界/語義增強的顯著性目標檢測

研究發現，深度網絡VGG[20]（visual geometry group）和ResNet[21]（residual neural network）等提取的多層多尺度特征中低層特征包含良好的空間信息，可以定位邊界，而高層特征具有豐富的語義信息，可以定位顯著性目標。因此，為了提高顯著性目標檢測的性能，有的研究對低層特征進行操作來增強邊界[22]，獲得更加清晰的顯著性目標邊界；有的研究銳化高層特征來獲得豐富的語義信息，通過語義增強來更好地定位顯著性目標[23]；還有一些研究對邊界和語義同時進行增強[24]，以獲得更好的顯著性目標檢測效果。因此，本節將從邊界增強、語義增強，邊界/語義增強三個角度對基于深度學習的顯著性目標檢測方法進行介紹。

1.1.1 基于邊界增強的顯著性目標檢測方法

Fig.1 Development of salient object detection based on deep learning圖1 基于深度學習的顯著性目標檢測的發展

邊界增強是指通過增強深度特征中的低層特征來獲得更多的邊界信息，從而更好地定位顯著目標邊界。Tai 等人提出ELD（encoded low-level distance）算法[22]對顏色及其分布和濾波器響應位置等低層特征的特征距離進行編碼，生成低階距離圖以獲得邊界檢測效果；Wang 等人提出的KSR（kernelized subspace ranking）算法[25]構建了一種基于核化的子空間排序模型來測量低層特征的兩兩距離，根據模型給出的建議分數生成低層特征圖。以上兩種方法通過編碼低層特征距離來檢測邊界信息，定位顯著性目標輪廓，但是輪廓邊界有時會模糊，導致部分邊界細節丟失，仿真結果如圖2（c）、（d）所示。為了進一步提升顯著性目標邊界檢測效果，一些研究通過引入相關操作來增強低層特征具有邊界信息。Li 等人提出的DCL（deep contrast learning）算法[26]采用分段空間池流模擬不連續的顯著性目標邊界，解決顯著性目標邊界模糊的問題。Hou 等人提出的DSS（deeply supervised salient）算法[27]是在HED（holistically-nested edge detection）體系結構中引入了具有跳躍結構的短連接，使每一層具有更加豐富的多尺度特征映射，從而獲得顯著性目標的清晰邊界。DCL 和DSS 方法的仿真顯著圖如圖2（e）、（f）所示。從仿真結果可以看出，相較于直接編碼低層特征距離的算法，進一步引入相關操作的方法獲得的顯著性目標邊界更加清晰。但是，這些操作的引入容易引起顯著性目標檢測不準確，如圖2（e）、（f）第二行出現了不準確的顯著性目標（山）。

Fig.2 Saliency maps of methods based on boundary enhancement圖2 基于邊界增強方法的顯著圖

另外，還有一些研究直接對顯著性目標的邊界進行檢測。Hou 等人提出TBOS（three birds one stone）算法[28]，采用了一種通用架構對顯著性目標邊界進行檢測，同時能夠完成骨架提取和目標分割。Feng 等人提出的AFNet（attentive feedback network）算法[29]采用BEL（boundary-enhanced loss）邊界增強損失來獲得更精確的邊界，進而實現對顯著性目標，特別是凸起窄條紋的分割。Qin等人提出的BASNet（boundaryaware salient network）算法[30]將混合損耗用于邊界感知的顯著性目標檢測，能夠準確地預測出清晰的邊界結構，以及有效地分割出顯著性目標區域。以上三種直接提取顯著性目標邊界的檢測算法的顯著圖如圖3（c）、（d）所示。從圖3 可以看出這類方法能夠提取清晰的顯著性目標邊界，邊界細節相對較好，顯著性目標的檢測準確度較高（無關的顯著性目標較少）。

Fig.3 Saliency maps of methods based on direct extraction of boundaries圖3 直接提取邊界方法的顯著圖

1.1.2 基于語義增強的顯著性目標檢測方法

語義增強是指從高層特征中獲得豐富的語義信息，從而更好地定位顯著性目標，使顯著性目標更加突出。Dai等人提出的R-FCN（region-based fully convolutional networks）算法[23]通過全卷積網絡獲得高層語義特征以獲得具有通用性的顯著性圖。Wu 等人提出CPD（cascaded partial decoder）算法[31]，直接利用生成的顯著性圖細化骨干網的特征來提高高層特征的表示能力；另外，利用多尺度特征進一步細化顯著性圖并糾正映射錯誤。Liu等人提出的PoolNet算法[32]充分利用卷積神經網絡的池操作，將金字塔池塊放在U 型結構的最頂層來獲取豐富的語義信息。以上三種基于語義增強的顯著性目標檢測方法的顯著圖如圖4（c）～（e）所示。這類方法可以準確定位顯著性目標的位置，但是由于僅針對高層特征所包含的語義進行增強，有時會造成顯著性目標邊界模糊或者多個顯著性目標重合。

Fig.4 Saliency maps of methods based on semantic enhancement圖4 基于語義增強方法的顯著圖

為了獲得有效的顯著性目標，一些研究通過引入注意力機制進一步增強語義信息。Liu 等人提出的PiCANet（pixel-wise contextual attention network）算法[33]首先為每個像素生成注意力圖，然后有選擇地整合上下文信息來構建有效特征，最后與U-Net 架構結合生成顯著性圖。Chen 等人提出的RAS（reverse attention salient）算法[34]根據逆向注意提出了一個自上而下的邊訓練邊輸出的剩余學習方式，實現對最深層語義信息的增強?；谧⒁饬C制的語義增強顯著性目標檢測算法的顯著圖如圖5（c）、（d）。引入注意力機制來有效提取語義信息，準確定位顯著性目標的位置。

Fig.5 Saliency maps of methods based on semantic enhancement with attention mechanism圖5 基于注意力機制的語義增強方法的顯著圖

1.1.3 基于邊界/語義增強的顯著性目標檢測方法

通過前面兩類方法的分析可以看出，只進行邊界增強容易造成顯著性目標模糊，而只進行語義增強則會引起顯著性目標的邊界模糊。因此，為了克服二者的缺點，一些研究對邊界和語義同時進行增強，同時獲得良好的顯著性目標信息以及輪廓信息，從而提升顯著性目標檢測性能。

Zhang 等人提出的Amulet 算法[24]將多層特征映射集到多個分辨率，獲得同時包含語義信息和邊緣細節的顯著性圖。Zhang 等人提出的BDMPM（bidirectional message passing model）算法[35]設計了一種門函數來控制消息的傳遞速率和雙向傳遞。雙向的消息傳遞結構可以同時對語義信息和空間細節進行編碼實現顯著性目標檢測。以上兩種基于邊界/語義增強的顯著性目標檢測算法的顯著圖如圖6（c）、（d）。這些方法既可以準確定位顯著性目標的位置，又可以獲得清晰的顯著性目標邊界。主要是因為通過語義增強可以減小無效目標的干擾，更好地定位顯著性目標的位置；通過邊界增強可以獲得清晰的顯著性目標邊界。

Fig.6 Saliency maps of methods based on boundaries/semantic enhancement圖6 基于邊界/語義增強方法的顯著圖

另外，還有一些研究采用金字塔結構同時對高低層特征進行處理，實現顯著性目標邊界和語義的同時增強。Wang 等人提出的SRM（stagewise refinement model）算法[36]首先利用深度前饋網絡生成一個粗略的預測圖，然后將一個金字塔結構應用于不同區域得到更加精確的顯著性圖。Wang 等人提出的PAGE（pyramid attention edge）算法[37]設計了顯著性目標檢測的基本金字塔注意結構，能夠挖掘多尺度的深層顯著性信息，同時利用一個邊緣檢測模塊完成邊界提取。Zhao 等人提出的PFA（pyramid feature attention）法[38]將多層卷積特征分成高層特征和低層特征，首先對高層特征設計了一個上下文信息金字塔模塊（context-aware pyramid feature extraction，CPFE）來提取豐富的上下文語義信息，然后采用信道注意模塊（channel-wise attention，CA）來進一步增強語義信息，從而更好地定位顯著性目標區域；對于低層特征采用空間注意模塊（spacial attention，SA）來細化空間信息，更好地定位顯著性目標的邊界；最后，將SA和CA 的輸出進行有效融合來獲得更好的顯著性圖。基于金字塔的邊界/語義增強的顯著性目標檢測算法的顯著圖如圖7（c）～（e）所示，可以看出PFA 算法性能優于PAGE 算法和SRM 算法。

1.2 基于全局/局部結合的顯著性目標檢測

研究發現全局信息（顏色、紋理、背景/前景等）包含顯著性目標的位置信息，而局部信息可以增強顯著性目標邊界。一些檢測方法采用遞歸操作、多分辨率操作和注意力機制等將全局/局部相結合以獲得更好的顯著性目標檢測性能。

Fig.7 Saliency maps of methods based on boundaries/semantic enhancement with feature pyramid圖7 基于特征金字塔的邊界/語義增強方法的顯著圖

遞歸操作是指全局和局部操作交替進行。Liu等人提出的DHSNet（deep hierarchical saliency network）[39]算法首先利用全局對比度、對象性和緊湊性等全局信息得到一個顯著性圖，然后采用層次遞歸卷積神經網絡（hierarchical recurrent convolutional neural network，HRCNN）利用局部上下文信息對顯著性圖進一步增強。Wang 等人提出的GRL 算法[40]采用遞歸方式利用加權響應圖提取上下文信息定位顯著性目標，然后對局部邊界進行細化以獲得更加清晰的邊界。雖然遞歸方式取得了一定的效果，但是研究發現遞歸操作非常耗時耗力。另一種全局/局部相結合的顯著性目標檢測方法是采用多分辨率特征來提升顯著性目標檢測效果。Luo 等人提出的NLDF（non-local deep features）[41]算法利用卷積塊和反卷積設計了一種簡單的4×5 卷積神經網絡結構，通過每一列提取并強化特定分辨率的局部特征，最后將局部和全局信息結合起來輸出。另外，還有一些研究在遞歸和多分辨率操作的基礎上添加了注意力機制，對提取的全局/局部信息進一步強化，提升顯著性目標檢測性能，如Zhang 等人提出的漸進注意引導遞歸網絡PAGR（progressive attention guided recurrent）[42]。基于全局/局部結合的顯著性目標檢測方法的顯著圖如圖8（c）～（f）所示。在相同的VGG（visual geometry group）模型下，與DHS 算法相比，NLDF 和PAGR 算法能夠獲得更加清晰的顯著性圖，由于PAGR 算法引入了注意力機制，其性能最優。

1.3 基于輔助網絡的顯著性目標檢測

Fig.8 Saliency maps of methods based on global/local combination圖8 基于全局/局部結合方法的顯著圖

基于輔助網絡的顯著性目標檢測是指采用其他領域已有模型作為輔助網絡來提升顯著性目標檢測性能。Li 等人提出的MDF（multiscale deep features）算法[43]使用預先訓練的圖像分類模型來產生分級的顯著性圖；Li 等人提出的C2S-Net（contour to contour salient network）算法[44]將深度輪廓檢測模型自動轉換為顯著性目標檢測模型；Zhang 等人提出的CapSal 算法[45]將字幕網絡（image captioning network，ICN）作為輔助語義任務來提高復雜場景中的顯著目標檢測性能；Wu 等人提出的MLSLNet（mutual learning supervised learning network）算法[46]以一種交互方式讓顯著性目標檢測和前景輪廓檢測交替進行來得到顯著性圖。圖9 給出了基于輔助網絡的顯著性目標檢測算法的顯著圖。

Fig.9 Saliency maps of methods based on auxiliary network圖9 基于輔助網絡方法的顯著圖

1.4 不同類型顯著性目標檢測方法分析比較

表1 列出了以上三種類型顯著性目標檢測方法的機制、優點、缺點和適用場景。

通過以上分析及表1 可以看出，現有基于深度學習的顯著性目標檢測方法邊界模糊的原因和相應的解決方法可以歸納為以下幾類：（1）深度模型包含許多下采樣操作，上采樣后的特征難以恢復原有的空間信息，融合后引起邊界模糊。因此，為了減小下采樣操作引起的多尺度融合損失，引入一些特定操作，如PoolNet 算法中采用功能聚合模塊等。（2）針對不同因素對邊界檢測的影響，通過編碼低層特征距離來檢測邊界信息，定位顯著性目標輪廓，如ELD 算法和KSR 算法；或者是設計新的損失函數，通過反向傳播調整模型參數，如AFNet算法和BASNet算法。（3）基礎模型簡易導致檢測的邊界模糊，可以通過多尺度操作增強原有的特征效果，如DSS 算法、SRM 算法和PAGE 算法等，或添加注意力機制來提取更有效的低層特征，如PFA 算法等。

Table 1 Analysis and comparison of different types of salient object detection methods表1 不同類型顯著性目標檢測方法分析比較

另外，通過研究分析發現，基于深度學習的顯著性目標檢測方法中常常引入注意力機制，大致可以分為三種：（1）時空域注意力，比較適合同時具有時序及空域特征的場景，通過遞歸神經網絡（recurrent neural network，RNN）設計注意力機制，如PAGR 算法；（2）軟注意力，是一種確定性的注意力，可以直接通過網絡生成，它也是可微的，可以通過神經網絡算出梯度，并且通過前向傳播和后向反饋來學習得到注意力的權重，如PFA 算法和RAS 算法；（3）硬注意力，從輸入信息中選擇重要的特征，如PiCANet 算法每個像素生成注意力圖，這種方式更高效和直接。

2 常用數據集及評估準則

介紹基于深度學習的顯著性目標檢測常用數據集以及評估準則。

2.1 常用數據集

為了滿足不同的顯著性目標檢測研究需求，多個顯著性目標檢測數據集被提出，如MSRA數據集[47]、ASD 數據集[48]、SOD 數據集[49]、MSRA10K 數據集[10]、PASCAL-S 數據集[50]、DUTS 數據集[51]、SED 數據集[52]、ECSSD 數據集[53]、DUTO-OMRON 數據集[11]和HKU-IS數據集[43]。下面對基于深度學習的顯著性目標檢測中常用的MSRA10K 數據集、HKU-IS 數據集、DUTS數據集、SOD 數據集、ECSSD 數據集、DUTO-OMRON數據集和PASCAL-S 數據集分別進行介紹。

MSRA10K 數據集：也稱為THUS10K，2007 年由西安交通大學與微軟亞洲研究院的Liu 等人提出，只提供了邊界框級別的顯著性真值標定，具有大規模和精確的注釋，常用來訓練顯著性目標檢測模型。

HKU-IS 數據集：包含4 447 個圖像，由香港大學的Li 等人在2015 年建立，該數據集中的圖像包含多個斷開連接的顯著性目標，多目標的邊界重合和色彩對比度較低。

DUTS 數據集：具有10 553 個訓練圖像和5 019個測試圖像。所有訓練圖像來自ImageNet DET[54]訓練集，而測試圖像來自ImageNet DET 測試集和SUN[55]數據集。訓練和測試集都包含非常重要的場景，用于顯著性目標檢測。

SOD 數據集：包含300 張圖像，來自于伯克利分割數據集，每張圖像具有像素級注釋。大部分圖像包含多個顯著性目標，并且目標與背景的顏色對比度較低。

ECSSD 數據集：包含1 000 張圖像，2013 年由香港中文大學的Yan 等人構建。ECSSD 數據集中的圖像具有復雜的結構和背景。

DUTO-OMRON 數據集：包含5 168 個高質量圖像，2013 年由大連理工大學的Yang 等人建立。該數據集中的圖像具有多個顯著性目標，背景相對復雜。

PASCAL-S 數據集：2014 年由喬治亞理工學院的Li 等人建立，包括8 個類別。采用不同的顯著性標記對來自PASCAL VOC[56]的850 張圖像修復后構成。PASCAL-S 數據集用于評估具有復雜背景、多個目標場景的模型性能。

2.2 常用評估準則

本節介紹基于深度學習的顯著性目標檢測中常用的評價準則。

F-度量（Fβ）[48]。對精度和召回率進行總體評估，通過加權計算可以得到Fβ，其計算公式為：

一般β2=0.3，Fβ值越大表明模型性能越好。

加權F-度量加權F-度量是F-度量的推廣，通過交替計算精度和召回率得到。加權F-度量為了解決鄰域信息的不同，為不同位置的不同誤差分配了不同的權重，其計算公式如下：

P-R 曲線。以Precision和Recall作為縱-橫軸坐標的二維曲線，即查準率-查全率曲線，選取不同閾值時對應的精度和召回率繪制。P-R 曲線圍起來的面積是AP（average precision）值，AP值越高，模型性能越好。

平均絕對誤差（MAE）[58]。MAE計算公式如下：

其中，W和H分別表示圖像的寬和高。P(x,y)表示顯著性概率結果，Y(x,y)表示真值。MAE值越小表示模型越好。

3 基于深度學習的顯著性目標檢測方法性能比較

3.1 定量比較

本節對三種類型基于深度學習的顯著性目標檢測的不同算法分別進行了定量比較，在數據集ECSSD、DUT-OMRON、HKU-IS 和DUTS-TE 上進行了實驗，采用F-度量（Fβ）和平均絕對誤差（MAE）作為評估準則，結果見表2、表3 和表4。

從以上3 個表格可以看出：（1）基于VGG16 結構，各模型性能由高到低依次為AFNet、MLSLNet、PFA 和PAGE，其中AFNet 和MLSLNet 側重于邊界信息，而PFA 和PAGE 側重于多尺度信息。由于PFA 利用了低層特征的空間信息使得其性能優于PAGE，而AFNet著重對顯著性目標的邊界（特別是凸起的窄條紋）進行提取和增強，其性能在四種方法中達到了最優。（2）基于ResNet 結構，各模型性能由高到低依次為PoolNet、CPD 和BASNet。PoolNet 取得最佳性能主要得益于其在池化操作方面做出的改進，以及采用功能聚合模塊實現不同尺度特征的無縫融合。

Table 2 Quantitative comparison of methods based on boundaries/semantic enhancement表2 基于邊界/語義增強方法的定量比較

Table 3 Quantitative comparison of methods based on global/local combination表3 基于全局/局部結合方法的定量比較

Table 4 Quantitative comparison of methods based on auxiliary networks表4 基于輔助網絡方法的定量比較

綜上所述，PoolNet 模型取得了優于其他模型的顯著性目標檢測性能。另外，也反映了基于ResNet結構的模型優于基于VGG16 結構的模型。但是，由于VGG結構相對簡單，仍然具有一定的研究及應用價值。

3.2 P-R 曲線分析

圖10 到圖14 給出了基于深度學習的顯著性目標檢測算法在5 個數據集DUT-OMRON、DUTS、ECSSD、HKU-IS 和PASCAL-S 上的P-R 曲線。

Fig.10 P-R curves on DUT-OMRON dataset圖10 DUT-OMRON 數據集上的P-R 曲線

Fig.11 P-R curves on DUTS dataset圖11 DUTS 數據集上的P-R 曲線

可以看出PoolNet 算法在5 個數據集上均取得了最佳性能，主要歸因于其在池化方面做出的改進及采用特征聚合模塊實現多尺度特征的無縫融合。

3.3 視覺比較

Fig.13 P-R curves on HKU-IS dataset圖13 HKU-IS 數據集上的P-R 曲線

Fig.14 P-R curves on PASCAL-S dataset圖14 PASCAL-S 數據集上的P-R 曲線

Fig.15 Visual comparison of different methods圖15 不同方法的視覺比較

圖15 給出了基于深度學習的不同顯著性目標檢測算法的視覺比較，從中可以看出：（1）基于邊界/語義增強的顯著性目標檢測算法中，性能由高到低的算法依次為PoolNet、CPD 和BASNet。其中，BASNet算法專注于邊界信息，能夠檢測出清晰的顯著性目標邊界，在簡單的ECSSD 數據集和PASCAL-S 數據集中表現良好。但是，在相對復雜的DUT-OMRON等數據集中表現較差，這是因為缺乏豐富的高層語義信息。CPD 算法專注于提取高層特征包含的語義信息，因此在DUT-OMRON 等數據集中的表現優于BASNet算法。PoolNet算法性能最佳，是因為設計了池化金字塔從高層特征中提取了豐富的語義信息，同時設計了功能聚合模塊實現了多尺度特征的無縫融合。（2）基于全局/局部結合的顯著性目標檢測的算法中，PAGR 算法取得了最佳性能，它在遞歸和多分辨率操作的基礎上添加了注意力機制，使產生的特征更加有效。（3）在基于輔助網絡的顯著性目標檢測算法中，MLSLNet 性能較好，其遷移的前景輪廓檢測是有效的。（4）本文所提顯著性目標檢測的算法中，PoolNet 算法取得了最好的性能，得益于算法中的池化金字塔和功能聚合模塊，獲取了豐富的語義信息，同時實現了多尺度特征的無縫融合。

4 基于深度學習的顯著性目標檢測算法的不足與未來展望

近年，基于深度學習的顯著性目標檢測方法從不同方面進行了探索，如特征金字塔、池操作、注意力機制等，并取得了不錯的性能。但是，現有方法也仍存在如下不足：

（1）現有顯著性目標檢測算法主要針對背景簡單的圖像，而實際圖像一般均具有復雜背景，因此現有方法對復雜背景下的顯著性目標檢測還有很大的局限。

（2）對于實際應用場景，一般要求顯著性目標檢測具有很好的實時性，但是現有方法主要是針對靜止圖像或者是計算復雜度比較大，導致實時性差。

（3）現有顯著性目標檢測算法對大目標的檢測效果較好，但是對實際應用中的小目標檢測性能較差，不能滿足實際應用的需求。

（4）現有顯著性目標檢測方法多采用矩形框定位顯著性目標的位置，簡單方便，但是由于顯著性目標的大小形狀各異，僅采用矩形框定位具有很大的局限性。

（5）現有顯著性目標檢測方法一般采用完全監督學習的方式訓練模型，計算量和所需時間代價巨大，不滿足實際應用環境和需求。

因此，為了克服現有方法的不足，未來基于深度學習的顯著性目標檢測可以從以下五方面展開研究：

（1）針對復雜背景下顯著性目標檢測性能較差的情況，設計適應復雜背景（對背景敏感或者前景背景對比度低等）的顯著性目標檢測模型，另外建立包含復雜背景的圖像數據集，為新模型的訓練與評估做好準備。

（2）為了滿足實際應用中對實時性的需求，設計低復雜度、輕量級的顯著性目標檢測模型是顯著性目標檢測的一個研究熱點。目前主要有三種方式：第一是直接在網絡設計中對網絡輕量級化，如輕量化網絡模型SqueezeNet 在模型設計時規定了三種特有的設計原則，同時將不同的卷積封裝成卷積網絡模塊；第二是采用深度可分離卷積，對卷積進行分離操作，然后在卷積層對神經網絡進行歸約，如MobileNet網絡可以應用于移動端；第三是對網絡直接進行壓縮與編碼，對網絡進行剪裁，然后進行權值量化共享，最后采用霍夫曼編碼降低存儲。

（3）在某些實際特定場景中目標很小，如何對小目標進行有效檢測以滿足實際應用的需求，成為了當前急需解決的一個問題。因此，特定場景下小目標檢測也是未來顯著性目標檢測的一個研究方向，可以使用分辨率更高的卷積特征圖以及殘差模塊來增強對小目標的檢測能力。

（4）針對顯著性目標檢測方法采用矩形框定位顯著性目標的局限性，可以采用不同的措施進行不同尺度目標定位。由于不同位置可能對應著不同尺度或變形的物體，采用能夠對尺度或者感受野大小進行自適應的可變形卷積來實現精確定位。另外，可以采用多點定位法完成顯著性目標的位置定位。多點定位是指在顯著性目標周圍選取幾個關鍵點，比如右上、左下、中心點和偏移量的測量。多點定位可以靈活地對顯著性目標的輪廓完成定位，省時省力，不用像矩形框那樣，提前設計并預留多個矩形框的存儲。

（5）由于人為獲取標簽費時費力，且不符合一些場景的實際情況，因此為了克服這些缺陷，采用無監督或弱監督學習進行顯著性目標檢測模型的研究和設計將是未來的必然發展方向。

5 結束語

本文對基于深度學習的顯著性目標檢測方法進行了綜述，通過對國內外研究現狀的分析可知，基于深度學習的顯著性目標檢測算法得到了廣泛研究，各種不同的方法被提出，但是檢測性能還需要進一步提升，如檢測精度、速度、復雜背景、小目標、弱監督等。因此，能夠準確、實時地對復雜背景下的小目標進行弱監督顯著性檢測是未來基于深度學習的顯著性目標檢測不斷追求的目標。