增強特征金字塔結構的顯著目標檢測算法

劉劍峰，潘 晨

中國計量大學，杭州 310000

人類視覺具有注意力機制，能夠高效處理場景中最重要信息，是當前計算機模擬人類視覺的重要研究方向。其中，顯著目標檢測（salient object detection，SOD）是一類自動感知場景中顯著目標的方法，能廣泛應用于圖像檢索[1]、機器人導航[2]、視覺跟蹤[3]、目標檢測[4]等眾多領域。近年來，深度學習表現出超群性能，基于深度網絡的顯著目標檢測（deep SOD）算法不斷突破。特征金字塔技術（feature pyramid network，FPN）[5]往往能在顯著目標檢測中發揮作用。這是由于不同特征層級的信息可以表達不同的目標屬性，充分利用這些層級信息，能形成更全面的目標檢測結果，也更符合人類感知。但是在FPN框架中為了產生更好的顯著圖，需要選擇合適的多層特征融合方式。如果不對模型中的信息進行準確的控制，則會引入一些冗余特征，如來自低層的噪聲和來自高層的粗糙邊界等，從而導致模型性能的下降。為了解決上述問題，文獻[6]提出了一種在復雜結構中引入短連接的方法。文獻[7]提出一種孿生網絡結構和結構性損失函數進行清晰邊界預測的方法。文獻[8]提出了一種使用循環卷積神經網絡的檢測方法。文獻[9]開發了一種循環顯著性檢測模型，該模型通過多路徑周期性連接將全局信息從高層傳輸到淺層。文獻[10]提出一種直接連接高級別和低級別的特征圖來聚合多級特征的顯著性方法。綜上，現有深度學習模型中影響性能的因素較多，模型結構不同、損失函數不同、池化手段不同等都導致性能差異。如何基于整體框架，綜合考慮這些因素來提升算法性能，是具有意義的研究方向。

本文利用FPN作為基本網絡結構，針對顯著目標檢測算法中的關鍵問題做了一系列相應的改進，實驗表明具有更好的檢測結果。主要有以下幾點貢獻：

（1）在沿用特征金字塔的良好U型結構[11]基礎上，改進特征融合機制，將特征融合相加操作改為特征融合相乘，使檢測結果對顯著性區域更加敏感。

（2）依靠結構性相似損失[12]模擬亮度、對比度和結構對圖片進行相似性判別；使用交并比損失[13]判別圖像感興趣位置的相似性；沿用二值交叉熵損失[14]衡量像素差別。綜合三者可以衡量“全局-局部”損失。

（3）增加殘差特征圖增強模塊，借此強化最高層特征圖語義信息。特征金字塔結構中頂層特征來源單一，通過該方法能增強最高層的信息構成，使得具有更準確的高層語義信息。

1 改進的特征金字塔結構方法

1.1 研究現狀

近年來，由于泛化能力強大的深度學習方法的發展，大多數傳統的顯著性檢測方法被逐漸取代。現有多種深度顯著目標檢測手段，比較流行的有：BASNET[15]、BMPM[16]、DSS[17]等，利用U型結構進行多尺度特征融合檢測顯著目標；PAGRN[18]、RAS[19]等采用注意力機制引導獲取顯著區域；BASNET[15]等利用改良的損失函數引導算法關注特定的信息；以及C2S[20]等利用分割網絡改進顯著性檢測的方法。

上述SOD方法中，BASNET[15]（boundary-aware salient object detection network）首先在編碼解碼結構中得到粗糙結果，然后串行添加細化方法進行修正，同時混合多種損失得到細粒度結果，使得網絡關注邊界信息。C2S[20]（contour knowledge transfer for salient object detection）提出了一種由輪廓檢測框架改良而來的顯著性檢測網絡。通過多任務之間共享參數的方式來提高精度，介紹了一種標記誤差掩膜的方法。PAGRN[18]（progressive attention guided recurrent network for salient object detection）在不同卷積通道和不同空間位置像素中都賦予權重，通過該權重構造特征，實現注意力機制為導向的顯著目標檢測網絡。BMPM[16]（a bi-directional message passing model for salient object detection）使用不同擴張率的卷積層進行多尺度特征融合，并且引入門控雙向信息傳遞模塊，進行淺層和深層信息傳遞，使特征信息有選擇地被處理。RAS[19]（reverse attention for salient object detection）通過自上而下的途徑來指導殘差顯著性學習，同時嵌入反向注意力塊（RA）。反向注意力塊通過更深層次的補充來強調非顯著區域。DSS[17]（deeply supervised salient object detection with short connections）提出了從較深側輸出到較淺側輸出的幾個短連接。使得更高級別的特征可以定位顯著區域，而較低級別的特征可以獲得精細的細節。為了使研究更具有參考價值，以上方法均作為對比實驗的參考算法，詳細內容在第2章展示。

1.2 網絡結構

本文提出了一個有效的顯著性目標檢測框架，見圖1整體框架流程圖。圖中淺紫色C1～C5階段為Resnet[21]編碼層部分，經過了圖中深藍色殘差特征圖增強模塊（residual feature augmentation，RFA）生成P6全局引導層。黃色全局融合模塊在解碼層逐漸解碼，整體網絡采用類似特征金字塔結構，使用淡藍色背景表示。

圖1 整體框架流程圖Fig.1 Whole framework flow chart

在此框架中，編碼解碼的U型結構有利于充分利用層次的特征信息；多尺度的融合機制有利于將高層語義信息和低層位置信息相融合，互補生成有效特征圖，提高檢測的能力；在此結構中多次使用了上采樣和下采樣的操作，目的是使層與層的特征圖可以相互融合，完成多尺度特征的構建。

在圖1的整體框架流程圖中，右上方藍色虛線代表全局融合模塊的一分支，對應于圖中P4到P3和P3到P2的淡藍色虛線融合方式，將在1.3節詳細介紹。

1.3 全局融合模塊

特征金字塔利用多尺度融合方式，可將高層語義信息和低層位置信息相結合。眾所周知，高層次特征圖具有強語義，信息感受野[22]很大，但不具備細節邊緣等信息。而低層次的特征圖感受野區域較小，但邊緣位置信息特別豐富。金字塔融合方式能有效提升最終輸出特征圖的感受野范圍，并且保證了一定的細節內容，有效地結合了兩者的優點。

通常特征圖融合機制采用像素間相加的形式，而在實驗中發現，利用像素點相乘操作可以更好地獲得顯著性目標檢測區域。因此，本文方法在顯著性目標檢測中，通過對應像素相乘操作來突出位置信息，使圖像對顯著區域更加敏感，從而提升該區域的檢測能力。

全局融合模塊對應于整體框架圖1中右上角的藍色虛線操作。這里以P4、P5、C3輸入，P3輸出為例。

首先下方C3層經過1×1卷積至P4相同通道，P4經過上采樣至相同尺寸，執行第一步特征層相加操作。如公式（1）所示。緊接著來自最高層的P5經過上采樣操作與剛剛相加后的結果進行像素相乘處理，得到的結果進行3×3卷積為最后的P3特征層輸出。如公式（2）所示：

考慮到這里的兩次操作可以有很多種替代方式，做了對比實驗分別為使用相乘、相加以及無操作時的顯著性特征圖結果。圖2融合機制對比圖中三個紅色特征圖對應于圖1解碼層的P2、P3、P4層。其中（1）、（2）為不操作，（3）、（4）為兩次相加操作，（5）、（6）為先相加再相乘操作。左上角藍色虛線框為特征融合單元對應（5）、（6）圖的藍色虛線區域內操作。通過圖2融合機制對比圖可以發現不采用任何操作的（1）、（2）圖效果最差，而依次采用相加和相乘處理的（5）、（6）圖層次最明顯，對細節最敏感。

圖2 融合機制對比圖Fig.2 Merge mechanism comparison diagram

1.4 殘差特征圖增強模塊

FPN（feature pyramid network）特征融合機制從C5階段自頂向下逐層融合，該方式可以獲得圖像上下文信息。低層次位置信息可以獲得高層次語義信息的增強。但問題是，C5層（最高層）由于特征通道減少，只有單一尺度的上下文信息，不兼容于其他層次的特征圖內容。

為了改進C5特征層的顯示效果，本文引進殘差特征圖增強模塊，利用殘差分支向原始分支注入不同比率的上下文信息。期望全局上下文信息可以減少P5通道中的信息丟失，同時提高特征金字塔的性能。具體操作如下：

（1）以C5為原始特征，進行比率不變自適應池化：將C5原尺寸圖按照一定比率進行上采樣得到3個不同大小的子特征圖。對應于圖3（1）和（2）中紫藍黃三種尺度特征圖。比率不變自適應池化將最深的語義層進行采樣，考慮了圖像的比率，會使C5層包含更多的有效信息。

（2）再對三個子特征圖進行自適應空間融合，如圖3中（2）：以整張圖的維度形成一種注意力。通過注意力得到概率圖，將其乘上3個子特征圖，最后進行像素相加，融合得到P6特征圖，該操作對應于圖3中（3）。自適應空間融合類似但又不同于PSP[23]（pyramid scene parsing network），它考慮到圖片的不同比率。

圖3 殘差特征圖增強模塊Fig.3 Residual feature graph enhancement

圖3中（1）表示殘差特征圖增強的卷積過程結構圖，（2）為殘差特征圖增強的整體流程，（3）為RFA中的自適應空間融合的具體結構圖。

1.5 損失函數

通常衡量兩張圖的相似程度使用均方誤差，但是對于一些在亮度降低或對比度調整的情況，均方誤差的誤差程度相差特別大，但兩張圖在內容表現上還是很相似的。為了避免出現類似問題，本文引進了一種SSIM結構性相似損失，該損失模仿圖片的3個特征（亮度、對比度和結構性）判斷兩張圖像是否相似。其中亮度的μx表示N個像素點的平均亮度，見公式（3）。l(x,y)表示衡量兩個圖片的亮度相似度，見公式（4）。

對比度σx表示圖片明暗變化劇烈程度，利用像素的標準差來表示，如公式（5），并使用公式（6）的c(x,y)來衡量對比度相似性。

結構性s(x,y)利用兩個圖片的歸一化向量表示，然后使用余弦相似度衡量相似程度，而協方差公式表達式可以使用σxy表示如公式（7）所示，最后化簡為公式（8）所示。

同時，還聯合IOU（intersection over union）損失函數為了使得結果更好地逼近二值顯著性區域。IOU可以反映預測檢測框與真實檢測框的檢測效果，并且該損失對尺度不敏感具有尺度不變性，在回歸任務中有很好的表現。

IOU損失也就是交并比損失。不僅可以確定正樣本和負樣本，還可以計算得到候選框與真實值的距離。

BCE（binary cross entropy loss）二元交叉熵損失可以運用在大多數的分割任務中，同時也是常用的分類任務損失，起到像素的分類任務。

本文模型的損失函數采用以上三種損失結合的方式。其中利用二值交叉熵的分類準確性進行判斷，利用交并比的位置敏感性調整整體區域，利用結構性相似的圖像準確性監督圖像細節。三者使用相同權重共同計算整體損失。TotalLoss表示整體損失函數構成，如公式（13）所示：

2 實驗與結果分析

2.1 數據來源與實驗設置

本文選擇5個最具代表性的數據集進行實驗測試：DUTS[24]、HKU-IS[25]、PASCAL-S[26]、SOD[27]、DUT-OMRON[28]數據集。其中DUTS數據集包含10 553個訓練圖像和5 019個測試圖像，分別為DUTS-TR和DUTS-TE。HKU-IS數據集包含4 447個帶有注釋的圖像。PASCAL-S數據集包含850張來自PASCAL VOC數據集的圖像并帶有標簽。SOD數據集包含來自7個對象的300張帶有標簽的圖像。DUT-OMRON數據集包含5 168張真實標記的圖像。

本文方法將與當前流行的6種顯著性目標檢測方法BASNET[15]、C2S[20]、PAGRN[18]、BMPM[16]、RAS[19]、DSS[17]進行實測效果圖和檢測精度對比。

同時本研究采用的是DUTS-TR數據集訓練，圖片數量為10 553張。并且實驗設置中學習率為1E-4，權重衰減為0.000 5，優化器為Adam，動量為0.9，迭代次數為24輪，損失函數參見1.5節。

2.2 評價指標

為了增加實驗說服力，使用測量性能指標準確率-召回率曲線（P-R曲線）、準確率和召回率的綜合評價指標（F度量值，F-measure[29]）和平均絕對誤差（MAE[30]）三種評價標準進行實驗結構分析，對應的計算公式如下：其中，S和G是預測的結果和人工標注的真值圖，W和H為圖像的寬和高，x和y為像素點的橫縱坐標。

2.3 消融實驗

本文方法采用了表1中相應的策略進行優化，其中EX表示不同的實驗，每行代表不同方法組合下的實驗結果，AM（add-merge）代表相加融合機制，MM（multiplymerge）代表相乘融合機制，GM（globle guidance module）代表全局引導模塊，RFA（residual feature augmentation）代表殘差特征增強模塊，SI（ssim-iou-bce）代表組合結構性相似、交并比和交叉熵作為損失函數的方法。該實驗為DUTS-TE數據集測試得到的結果。

通過表1可見，表中第一行和第二行在只改變融合方式條件下，相乘融合有更低的MAE和更高的MeanF，并且相乘操作得分普遍高于相加操作，說明相乘處理是有效的改進方式。而在RFA殘差特征增強模塊的實驗中發現，該處理都有0.1～0.2個百分點的提升。說明確實存在最高層特征圖P5信息單一，而逆向構造的P6層可以強化最高層，解決最高層特征圖信息不豐富的問題。通過表1中第四行和第五行的實驗結果發現，添加了SI（SSIM&IOU&BCE）操作可以在三種指標中同時獲得提升，說明在三種損失函數的監督下可以比單獨使用二值交叉熵（BCE loss）獲得更高的泛化能力，具備更好的檢測精度。

表1 本文提出方法的消融實驗表Table 1 Ablation experiments for proposed method

2.4 對比實驗

對主流顯著性目標檢測方法BASNET、C2S、PAGRN、BMPM、RAS、DSS進行對比實驗，得到相應的PR曲線圖和F-measure曲線圖，同時獲得以MAE、maxF、meanF作為指標值的表格，見表2，其中DT、MK、MB分別為訓練集DUTS-TR、MSRA10K、MSRA-B數據集的結果。

如圖4的PR圖中，本文方法對應圖中紅色曲線，可以看到本文方法基本都超過其他主流方法，雖然在DUT-OMRON數據集中，結果出現波動，偶爾和BASNET效果持平，但是不影響最終的評判結果。觀察圖4的F-measure圖，可發現本文方法依舊保持良好效果，但是出現在DUT-OMRON數據集中略低于BASNET。分析原因，BASNET在損失函數和編碼結構上與本文算法相似，而BASNET通過串行修復網絡進行修復，修復能力有一定隨機性，可能對DUT-OMRON數據集敏感，所以有一定的性能提升。綜上PR圖和F-measure圖，本文方法保持較高準確率的前提下獲得了更好的F-measure值結果，可以認為該方法在各種場景和數據集中具有很好的泛化能力和檢測能力。

圖4 不同數據集下各種方法的PR圖和F-measure圖Fig.4 PR graph and F-measure graph of various methods under different data sets

由表2可見多個數據集下，本文方法基本都超過主流方法，雖然在DUT-OMRON數據集下meanF指標略遜于BASNET，但是差距非常小，不影響本方法的整體表現。所以可以認為本文提出的顯著性目標檢測方法具有場景適應性。

表2 不同數據集下各種算法的實驗對比表Table 2 Experimental comparison table of various algorithms under different data sets

可以在圖5實驗效果對比圖中看到本文方法和主流方法的實際效果。本文方法基本保持了較高水準的檢測結果。著重于BASNET的對比分析中，BASNET雖然也采用了多種損失函數混合的方式，但是由于其模型結構并沒有多次特征融合處理，僅依靠后續串行修正并不能達到特別好的效果，可以觀察到BASNET的模糊白噪聲場景的情況比較多。

圖5 各種方法下的實驗效果對比圖Fig.5 Comparison diagram of experimental results under various methods

3 結束語

本文改進了顯著目標檢測算法的損失函數，結合了多種具有不同特點的損失函數，使得模型訓練時同時關注圖像邊緣信息、位置細節信息和語義分類信息。通過修改特征金字塔網絡的融合機制，使得深度網絡模型對顯著性目標區域更加敏感。利用殘差特征圖增強模塊逆向構建更高層特征圖，以此增強最高層特征圖的語義信息，有效避免最高層的信息來源單一問題。采用全局指導模塊，將高層語義信息作用于每一層解碼層中，指導加強語義能力，進而獲得一種高精度的檢測網絡。本文在常用的幾個數據集上對比了最新主流方法進行實驗。實驗結果顯示，本文方法可以取得良好的檢測結果，準確地定位顯著性目標物體。