邊緣信息增強(qiáng)的顯著性目標(biāo)檢測(cè)網(wǎng)絡(luò)

趙衛(wèi)東， 王 輝， 柳先輝

（同濟(jì)大學(xué) 電子與信息工程學(xué)院，上海 201804）

人的視覺(jué)系統(tǒng)能選擇性地注視不同場(chǎng)景中富含豐富信息的區(qū)域［1］，在機(jī)器視覺(jué)領(lǐng)域中，利用這種視覺(jué)選擇性注意力機(jī)制進(jìn)行像素級(jí)物體檢測(cè)的方法被稱(chēng)為顯著性目標(biāo)檢測(cè)（salient object detection，SOD）。由于SOD能夠在檢測(cè)出顯著對(duì)象的同時(shí)保留物體邊緣細(xì)節(jié)，在應(yīng)用中主要作為一種圖像預(yù)處理方法。

在SOD發(fā)展的早期，大多數(shù)模型依賴(lài)于圖像低層特征和啟發(fā)式算法［2］，自從深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)的興起以來(lái)，因其強(qiáng)大的特征發(fā)現(xiàn)與表達(dá)能力，目前幾乎所有的典型模型都基于深度卷積神經(jīng)網(wǎng)絡(luò)［3］。即使這些模型已經(jīng)能取得非常優(yōu)異的成績(jī)，但在網(wǎng)絡(luò)處理圖像的過(guò)程中，經(jīng)過(guò)層層下采樣，圖片的細(xì)節(jié)信息被大量丟失，使預(yù)測(cè)圖的邊緣無(wú)法很好地貼合復(fù)雜的物體邊緣。

1 相關(guān)工作

（1）特征融合

為了充分利用來(lái)自不同卷積層的信息從而檢測(cè)不同尺度的物體，一些研究聚焦于如何有效地整合多尺度特征。文獻(xiàn)［4］提出了一種具有深監(jiān)督結(jié)構(gòu)的整體嵌套邊緣檢測(cè)網(wǎng)絡(luò)來(lái)學(xué)習(xí)多層次的特征。受文獻(xiàn)［4］的啟發(fā)，很多SOD模型都采用了特征融合和深監(jiān)督的方式。文獻(xiàn)［5］設(shè)計(jì)了一個(gè)多尺度融合網(wǎng)絡(luò)，將高層語(yǔ)義信息和低層空間信息結(jié)合起來(lái)，但使用了傳統(tǒng)的超像素預(yù)處理或者條件隨機(jī)場(chǎng)后處理來(lái)提高算法效果。文獻(xiàn)［6］通過(guò)直接連接特征圖來(lái)聚合高層和低層特征，但遞歸預(yù)測(cè)顯著圖的方法降低了算法時(shí)間效率。文獻(xiàn)［7］使用金字塔池化模塊和多階段細(xì)化機(jī)制來(lái)整合全局和局部上下文信息。文獻(xiàn)［8］設(shè)計(jì)了一種雙向消息結(jié)構(gòu)，可以在多級(jí)特征之間傳遞信息，并使用一個(gè)門(mén)函數(shù)控制消息傳輸率。文獻(xiàn)［9］引入了注意力引導(dǎo)網(wǎng)絡(luò)以選擇性地融合多尺度上下文信息，并用多路徑循環(huán)反饋模型將全局語(yǔ)義信息從深層傳遞到淺層。文獻(xiàn)［6-9］提出的都是近幾年對(duì)顯著性目標(biāo)檢測(cè)效果有較大提升的模型，但都主要關(guān)注網(wǎng)絡(luò)不同層特征的融合，而沒(méi)有關(guān)注檢測(cè)到的物體邊緣模糊的問(wèn)題。

（2） 注意力機(jī)制

注意力機(jī)制是近些年的深度神經(jīng)網(wǎng)絡(luò)中一個(gè)頻繁被使用的方法，通過(guò)給不同區(qū)域的特征賦予不同的權(quán)值，達(dá)到強(qiáng)調(diào)特定信息的目的，在SOD領(lǐng)域，注意力機(jī)制也被廣泛地應(yīng)用。文獻(xiàn)［10］采用反向注意力來(lái)引導(dǎo)殘差學(xué)習(xí)。反向注意力把當(dāng)前預(yù)測(cè)的顯著區(qū)域擦除，從而引導(dǎo)網(wǎng)絡(luò)從未擦除的區(qū)域中有效地學(xué)習(xí)丟失的細(xì)節(jié)，實(shí)現(xiàn)更完整的預(yù)測(cè)。文獻(xiàn)［11］在反向注意力殘差學(xué)習(xí)的基礎(chǔ)上，提出一種級(jí)聯(lián)式的網(wǎng)絡(luò)，使高層特征和低層特征的輸出循環(huán)交替優(yōu)化彼此，但顯著增加了訓(xùn)練與預(yù)測(cè)時(shí)間。文獻(xiàn)［12］發(fā)現(xiàn)，現(xiàn)有的模型大多只考慮顯著性檢測(cè)的一個(gè)方面，即前景信息［9，13］或背景信息［10］，導(dǎo)致預(yù)測(cè)不完整。因此，他們提出了一個(gè)融合正注意力和反注意力的模塊，正注意力增強(qiáng)了顯著區(qū)域的預(yù)測(cè)，而反注意力突出了缺失的細(xì)節(jié)。文獻(xiàn)［14］也提出了雙注意力模塊來(lái)整合前景注意力和背景注意力，但文獻(xiàn)［12］采用的是自注意力，文獻(xiàn)［14］采用的是外注意力。

（3） 顯著圖細(xì)化

顯著圖邊緣模糊的問(wèn)題也是很多學(xué)者工作的重點(diǎn)。文獻(xiàn)［15］把基于超像素的過(guò)濾器作為網(wǎng)絡(luò)的一層進(jìn)行邊緣細(xì)化。雖然超像素能夠很好地提取圖像的低層特征，標(biāo)記邊緣，但傳統(tǒng)的超像素算法難以并行運(yùn)算，影響時(shí)間效率，而且不易與網(wǎng)絡(luò)整合。文獻(xiàn)［16］提出了一種多分尺度網(wǎng)格結(jié)構(gòu)的網(wǎng)絡(luò)來(lái)捕捉局部和全局線索，并引入了一種邊緣損失函數(shù)來(lái)減少物體邊界上的預(yù)測(cè)錯(cuò)誤，但邊緣預(yù)測(cè)只被簡(jiǎn)單地融合進(jìn)最終結(jié)果，沒(méi)有充分得到利用。文獻(xiàn)［17］使用標(biāo)簽解耦的方式，將顯著性物體的邊緣和內(nèi)部分開(kāi)，分別監(jiān)督細(xì)節(jié)解碼器和主體解碼器，并用交互解碼器獲得最終的預(yù)測(cè)結(jié)果，能夠得到目前最好的顯著性檢測(cè)結(jié)果之一，但模型結(jié)構(gòu)復(fù)雜。

2 邊緣信息增強(qiáng)的顯著性目標(biāo)檢測(cè)網(wǎng)絡(luò)

2.1 總體結(jié)構(gòu)

本文模型的骨干網(wǎng)絡(luò)為去掉全連接層的ResNet-50［18］。圖像的特征經(jīng)過(guò)逐層下采樣，得到分辨率小、語(yǔ)義信息豐富的特征圖，此特征圖雖然丟失了大量的細(xì)節(jié)信息，但保留了高準(zhǔn)確度的物體位置信息。較淺層的特征雖然語(yǔ)義信息不足，但具有更豐富的細(xì)節(jié)信息，尤其是邊緣信息［19］。為了能夠充分融合深層和淺層的互補(bǔ)特征，本文受到文獻(xiàn)［10］的啟發(fā)，設(shè)計(jì)了一種自頂向下逐層優(yōu)化的殘差學(xué)習(xí)網(wǎng)絡(luò)。最深層的特征經(jīng)過(guò)多尺度上下文模塊（multiscale context module，MSCM）［10］輸出粗略的預(yù)測(cè)，再逐層地向上傳遞，淺層特征通過(guò)預(yù)測(cè)殘差豐富預(yù)測(cè)圖的細(xì)節(jié)。每一層預(yù)測(cè)殘差時(shí)經(jīng)過(guò)三重注意力模塊（triple attention module，TAM），通過(guò)前景、背景、邊緣三重注意力充分提取信息。最淺層特征用于預(yù)測(cè)邊緣，經(jīng)過(guò)邊緣預(yù)測(cè)模塊（edge prediction module，EPM）預(yù)測(cè)殘差，與上一層的結(jié)果融合，得到最終預(yù)測(cè)結(jié)果。網(wǎng)絡(luò)的總體結(jié)構(gòu)如圖1所示，為展示方便，其中的顯著圖、殘差圖經(jīng)過(guò)縮放處理，使每層的輸出圖看起來(lái)大小相同。

圖1 網(wǎng)絡(luò)總體結(jié)構(gòu)圖Fig. 1 Overall architecture of network

ResNet-50 網(wǎng)絡(luò)各層輸出的特征定義為Xi(i=1，2，3，4，5)。 假設(shè)輸入的圖像I大小為H×W×3 ，則第i層特征的大小為其中，ci為特征通道數(shù)。在計(jì)算過(guò)程中，第5 層的X5經(jīng)多尺度上下文模塊MSCM輸出最小、最粗糙的顯著圖預(yù)測(cè)O5；在第i層(i=4，3，2)，TAM 利用Xi和Up×2(Oi+1)（Up×2表示雙倍上采樣）輸出殘差Ei，與Up×2(Oi+1)相加，獲得比前一層更精細(xì)的顯著圖預(yù)測(cè)；在最上層，EPM利用最大、細(xì)節(jié)最豐富的特征X1預(yù)測(cè)邊緣，并輸出殘差E1，與Up×2(O2)相加后得到網(wǎng)絡(luò)的最終預(yù)測(cè)結(jié)果。顯著圖的真值為Gs，在訓(xùn)練中監(jiān)督每層輸出的顯著圖預(yù)測(cè)；顯著邊緣圖的真值為Ge，在訓(xùn)練中監(jiān)督EPM中的邊緣預(yù)測(cè)。

2.2 三重注意力模塊

在自頂向下逐層補(bǔ)充信息、優(yōu)化顯著圖的過(guò)程中，由于來(lái)自深層的顯著圖中已有一部分語(yǔ)義信息，故如果直接用每層的特征對(duì)顯著圖進(jìn)行優(yōu)化，會(huì)被大量的冗余信息干擾。如果可以舍棄這些冗余，就能提高信息利用率，進(jìn)而提高優(yōu)化效果。為此，本文提出三重注意力模塊即TAM，通過(guò)前景、背景、邊緣三重注意力引導(dǎo)網(wǎng)絡(luò)從各層特征中充分提取信息。前景注意力又稱(chēng)正注意力，可以突出并強(qiáng)化顯著區(qū)域的預(yù)測(cè)；背景注意力又稱(chēng)負(fù)注意力，可以通過(guò)突出非顯著區(qū)域補(bǔ)充丟失的細(xì)節(jié)信息；邊緣注意力突出了物體邊緣，補(bǔ)充了復(fù)雜的邊緣細(xì)節(jié)信息。TAM的結(jié)構(gòu)如圖2所示。

圖2 TAM示意圖Fig. 2 Illustration of TAM

第i層TAM的輸入為Xi與Oi+1。Oi+1經(jīng)過(guò)兩倍上采樣后為Up×2(Oi+1)，記作。即正注意力，負(fù)注意力用公式y(tǒng)=1-x得到，邊緣注意力用公式y(tǒng)=4·x·(1-x)得到。特征Xi經(jīng)過(guò)三個(gè)分支分別獲得上述三種注意力，生成正特征、負(fù)特征、邊緣特征，公式表達(dá)為

式中：“·”表示逐元素乘；Conv表示連續(xù)的卷積、批歸一化［20］、線性整流［21］操作。Xi在三個(gè)分支上分別經(jīng)過(guò)一次Conv，可以起到通道選擇的作用，增強(qiáng)注意力的效果。三重特征最終融合并生成殘差Ei，如下：

式中：Concat 表示沿著通道維度的連接；Convs 表示連續(xù)的Conv 操作。殘差Ei由TAM 輸出后，與Up×2(Oi+1)相加即可得到本層的顯著圖預(yù)測(cè)結(jié)果，這體現(xiàn)了自頂向下逐層優(yōu)化的思想。

三種注意力中，正注意力與負(fù)注意力分別強(qiáng)調(diào)了前景與背景，而邊緣注意力則強(qiáng)化了邊緣細(xì)節(jié)，下面對(duì)邊緣注意力的計(jì)算進(jìn)行詳細(xì)的解釋。由于在顯著圖預(yù)測(cè)結(jié)果中，顯著性區(qū)域各像素的值是接近1的，只在靠近邊緣的地方小于1，而且是漸漸由1 平滑地過(guò)渡到0，即非顯著區(qū)域。因此，把值接近0.5的像素點(diǎn)認(rèn)為是恰好在邊緣上，而將值接近0或1的像素點(diǎn)認(rèn)為是遠(yuǎn)離邊緣的。在TAM 中，使用公式y(tǒng)=4·x·(1-x)將顯著預(yù)測(cè)圖轉(zhuǎn)化為邊緣預(yù)測(cè)圖，并保證值域仍為[0，1]。如圖3 所示，顯著預(yù)測(cè)圖中白色的顯著區(qū)域和黑色的非顯著區(qū)域經(jīng)過(guò)轉(zhuǎn)換后，都變?yōu)榱诉吘夘A(yù)測(cè)圖中的黑色區(qū)域，而灰色的邊緣區(qū)域經(jīng)過(guò)轉(zhuǎn)換，則變成了邊緣預(yù)測(cè)圖中白色或灰色的邊緣區(qū)域。

圖3 邊緣注意力生成示意圖Fig. 3 Illustration of edge attention generation

2.3 邊緣預(yù)測(cè)模塊

通過(guò)逐層優(yōu)化的方式可以得到細(xì)節(jié)越來(lái)越豐富的顯著圖，在此基礎(chǔ)上，本文進(jìn)一步提出邊緣預(yù)測(cè)模塊即EPM，在細(xì)節(jié)信息最豐富的網(wǎng)絡(luò)第1層，用監(jiān)督的方式獲得顯著性物體的邊緣，并優(yōu)化顯著圖，得到邊緣更加清晰的預(yù)測(cè)結(jié)果。TAM中的邊緣注意力來(lái)自網(wǎng)絡(luò)內(nèi)部，而EPM從外部獲取邊緣信息，兩者互為補(bǔ)充，共同增強(qiáng)邊緣信息。EPM的結(jié)構(gòu)如圖4所示。

圖4 EPM示意圖Fig. 4 Illustration of EPM

EPM 的輸入為X1，X1經(jīng)過(guò)RSU（residual ublocks）［22］輸出邊緣預(yù)測(cè)B，以真值邊緣圖Ge監(jiān)督。邊緣預(yù)測(cè)B經(jīng)過(guò)多層卷積生成殘差E1。該步驟用公式表達(dá)為

式中：EP（edge prediction）表示用于預(yù)測(cè)邊緣的網(wǎng)絡(luò)，本文采用的是RSU。RSU 內(nèi)部為U 型結(jié)構(gòu)，可以在不降低特征圖大小的前提下提取出多尺度特征，保留充足的邊緣信息。EPM輸出的殘差E1與第2層顯著圖相加，得到最終的預(yù)測(cè)結(jié)果。

2.4 損失函數(shù)

本文使用深監(jiān)督的方式，對(duì)每個(gè)尺度的顯著圖輸出進(jìn)行監(jiān)督，損失函數(shù)定義為

式中：Pi表示上采樣到輸入圖像大小的各層顯著預(yù)測(cè)圖；Gs表示真值預(yù)測(cè)圖；LBCE表示二元交叉熵（binary cross entropy）損失；LIoU表示交并比（intersection over union）損失。

BCE是圖像分割領(lǐng)域常用的衡量顯著圖與真值逐像素誤差的方法，計(jì)算方法如下：

式中：(r，c)表示像素坐標(biāo)。

IoU 的含義是兩個(gè)圖形相交部分與合并后圖形面積的比，用于在對(duì)象級(jí)別衡量預(yù)測(cè)顯著目標(biāo)與真實(shí)顯著目標(biāo)之間的誤差，計(jì)算方法如下：

對(duì)EPM中預(yù)測(cè)邊緣的監(jiān)督采用基礎(chǔ)的BCE損失：

將顯著圖損失與邊緣損失結(jié)合，得到最終損失函數(shù)：

式中：ωs與ωe在本文中都取1。

3 實(shí)驗(yàn)與分析

3.1 訓(xùn)練細(xì)節(jié)

本文使用PyTorch實(shí)現(xiàn)模型，并用ResNet-50的預(yù)訓(xùn)練模型初始化。在訓(xùn)練中，使用Adam優(yōu)化器，參數(shù)為默認(rèn)參數(shù)（betas=（0.9， 0.999）， epsilon=1×10-8， weight decay=0）。批大小為14，初始學(xué)習(xí)率為5×10-5，每30 代衰減至10 %，共訓(xùn)練50 代。本文使用DUTS［23］數(shù)據(jù)集的訓(xùn)練集作為本文模型的訓(xùn)練集。在圖片被輸入網(wǎng)絡(luò)之前，先縮放到336×336，并進(jìn)行標(biāo)準(zhǔn)化，將取值范圍限制到[0，1]。為充分利用訓(xùn)練集，提高模型泛化能力，本文使用色彩抖動(dòng)、隨機(jī)裁剪、隨機(jī)水平翻轉(zhuǎn)的數(shù)據(jù)增強(qiáng)方法。

3.2 數(shù)據(jù)集

為了充分評(píng)估本文提出模型的泛化能力，本文選取了6 個(gè)被廣泛使用的數(shù)據(jù)集用于評(píng)估，包括HKU-IS［24］、ECSSD［25］、PASCAL-S［26］、SOD［27］、DUT-OMRON［28］、DUTS，其中，對(duì)DUTS僅使用測(cè)試集進(jìn)行評(píng)估。所有6 個(gè)數(shù)據(jù)集都有逐像素的標(biāo)注，并且每張圖都至少有一個(gè)顯著目標(biāo)。這6 個(gè)數(shù)據(jù)集都是現(xiàn)代SOD模型進(jìn)行評(píng)估的常用數(shù)據(jù)集，具有如下特征：來(lái)自于多種多樣的自然場(chǎng)景，拍攝距離、光照條件等不一；顯著性目標(biāo)或背景常常具有復(fù)雜的紋理；顯著性目標(biāo)常常具有復(fù)雜的輪廓；部分圖片中有多個(gè)顯著性目標(biāo)，種類(lèi)可能相同，也可能不同，其中，HKU-IS 的所有圖片都具有多個(gè)顯著性目標(biāo)。

3.3 評(píng)估方法

本文使用F-measure［29］、MAE（mean absolute error，平均絕對(duì)誤差）、S-measure［30］、PR（precisionrecall，精確率-召回率）曲線、F-measure 曲線評(píng)估提出的模型。

F-measure 是綜合地考慮精確率和召回率的一種評(píng)估方法，定義如下：

式中：P和R分別代表精確率和召回率；β2按經(jīng)驗(yàn)設(shè)為0.3從而給予精確率更多的權(quán)重。在本文中報(bào)告的是平均F-measure，計(jì)算方法為每張顯著圖的閾值取所有像素平均值的兩倍。

MAE的計(jì)算方法是，取顯著圖與真值之間的逐像素誤差的平均值：

式中：H和W表示圖片的高與寬；S和G表示顯著圖和真值圖；(r，c)表示像素坐標(biāo)。數(shù)據(jù)集的MAE 通過(guò)計(jì)算所有圖片的MAE的平均值得到。

S-measure 用于評(píng)估預(yù)測(cè)顯著圖與真值之間的結(jié)構(gòu)相似度，由式（13）計(jì)算：

式中：So表示目標(biāo)結(jié)構(gòu)相似度；Sr表示區(qū)域結(jié)構(gòu)相似度；α按經(jīng)驗(yàn)設(shè)為0.5。

PR曲線是用于評(píng)估概率圖的基本方法，精確率和召回率是通過(guò)比較數(shù)據(jù)集中所有圖片的所有像素的預(yù)測(cè)結(jié)果和真值而來(lái)。在PR曲線上，每一個(gè)點(diǎn)代表[0，1]之間的某個(gè)閾值下的一對(duì)精確率和召回率。

與PR 曲線類(lèi)似，F(xiàn)-measure 曲線上的每一個(gè)點(diǎn)代表[0，1]之間的某個(gè)閾值下的F-measure。

3.4 結(jié)果對(duì)比

本文選取了近幾年表現(xiàn)最優(yōu)異的若干SOD模型，在最常用的數(shù)據(jù)集上進(jìn)行定量評(píng)估，并與本文提出的方法進(jìn)行對(duì)比，如表1與圖5。表1中，F(xiàn)、M和S分別代表F-measure、MAE 和S-measure，F(xiàn)-measure 和Smeasure越高越好，MAE越低越好，最好的結(jié)果以加粗表示，次之的結(jié)果以下劃線表示，第三的結(jié)果以斜體與下劃線表示。參數(shù)量表示整個(gè)網(wǎng)絡(luò)的參數(shù)數(shù)量，單位為百萬(wàn)（M），F(xiàn)PS（frames per second）表示該模型在GTX 1080 Ti顯卡上預(yù)測(cè)時(shí)每秒可以處理的圖片數(shù)量。PiCANet選擇以ResNet為骨干網(wǎng)絡(luò)的模型進(jìn)行評(píng)估，CAGNet使用完整的CAGNet-V評(píng)估，RASNet使用v2版本做評(píng)估。本文模型在5個(gè)數(shù)據(jù)集上達(dá)到了最佳MAE，其中，HKU-IS、PASCAL-S和DUT-OMRON分別降低了0.1 %、0.5 %和0.4 %；在5個(gè)數(shù)據(jù)集上達(dá)到了至少第二的S-measure，在2個(gè)數(shù)據(jù)集上達(dá)到了至少第二的F-measure。可知，本文模型在MAE和Smeasure上較有優(yōu)勢(shì)。在復(fù)雜度方面，本文模型參數(shù)量處于中等水平，預(yù)測(cè)速度可以初步滿(mǎn)足一般場(chǎng)景的實(shí)時(shí)性要求。在對(duì)比模型中，HVPNet與SAMNet是以輕量化為目標(biāo)設(shè)計(jì)的，但也明顯損失了預(yù)測(cè)效果。

表1 F-measure、MAE以及S-measureTab. 1 F-measure, MAE, and S-measure

圖5 F-measure曲線Fig. 5 Curves of F-measure

對(duì)上述算法在數(shù)據(jù)集DUT-OMRON、DUTS、ECSSD、HKU-IS、PASCAL-S、SOD 上繪制了Fmeasure曲線和PR曲線，結(jié)果如圖5和圖6所示。曲線的位置越靠上說(shuō)明效果越好，粗實(shí)線是本文測(cè)試結(jié)果，可以看出其基本上都在最高的位置。不過(guò)，在DUT-OMRON 數(shù)據(jù)集中，本文方法不如U2Net，在DUTS 數(shù)據(jù)集中，本文方法不如RASNet，說(shuō)明本文方法在特定場(chǎng)景下的泛化能力仍有提升空間。

圖6 PR曲線Fig. 6 Curves of PR

從上述數(shù)據(jù)集中選取了6張有代表性的圖片進(jìn)行測(cè)試，在各算法之間進(jìn)行定性對(duì)比，如圖7，第一列是原圖，第二列是真值圖，第三列是本文結(jié)果，隨后是對(duì)比模型的結(jié)果。其中，從a、b、d、e看出，本文的算法可以更完整地預(yù)測(cè)出顯著性目標(biāo)區(qū)域，并有效排除非顯著性目標(biāo)區(qū)域；從c、f、g看出，本文的算法預(yù)測(cè)出的顯著性目標(biāo)有著精細(xì)的邊緣，驗(yàn)證了邊緣信息提取的有效性。

圖7 定性對(duì)比Fig. 7 Qualitative comparison

3.5 消融實(shí)驗(yàn)

為了充分驗(yàn)證本文所提出創(chuàng)新點(diǎn)的效果，本文進(jìn)行了消融實(shí)驗(yàn)，見(jiàn)表2。依次在網(wǎng)絡(luò)中添加注意力和EPM，并在ECSSD 上評(píng)估F-measure、MAE 和Smeasure。表2中，注意力的N、P、E分別代表負(fù)注意力、正注意力和邊緣注意力。在無(wú)EPM時(shí)，從僅有負(fù)注意力到三重注意力提升0.35 %，在有EPM時(shí)，提升為0.18 %。對(duì)比無(wú)EPM和有EPM時(shí)，三種注意力條件下，F(xiàn)-measure分別提高了0.66 %、1.05 %和0.49 %。最后，從只有負(fù)注意力、無(wú)EPM到有三重注意力、有EPM，F(xiàn)-measure提高了0.84 %。綜上，本文提出的TAM和EPM均對(duì)模型的結(jié)果起到了提升效果，且兩者結(jié)合后效果更好。

表2 注意力與EPM消融實(shí)驗(yàn)Tab. 2 Ablation study on attention and EPM

單獨(dú)對(duì)邊緣融合進(jìn)行消融實(shí)驗(yàn)，對(duì)比不融合邊緣預(yù)測(cè)結(jié)果（EP）和融合邊緣預(yù)測(cè)結(jié)果（EPM）時(shí)效果的差異，見(jiàn)表3。其中，基準(zhǔn)和表2中只使用負(fù)注意力、不使用EPM的網(wǎng)絡(luò)是一致的；EP代表用邊緣真值監(jiān)督網(wǎng)絡(luò)第1層輸出的邊緣預(yù)測(cè)，但邊緣預(yù)測(cè)結(jié)果不再被輸出到其他地方；相對(duì)于EP，EPM則是用邊緣預(yù)測(cè)結(jié)果與深層的顯著圖融合，進(jìn)一步優(yōu)化顯著圖。

表3 邊緣融合消融實(shí)驗(yàn)Tab. 3 Ablation study on edge fusing

表3中的EP（簡(jiǎn)）表示使用簡(jiǎn)單的幾次卷積預(yù)測(cè)邊緣，而EP（RSU）表示使用RSU預(yù)測(cè)邊緣。從基準(zhǔn)到EP（簡(jiǎn)）時(shí)F-measure下降了，但從基準(zhǔn)到EP（RSU）和從EP（RSU）到EPM，F(xiàn)-measure依次提升了0.33 %和0.33 %，總提升為0.66 %。綜上，EPM在邊緣預(yù)測(cè)基礎(chǔ)上與顯著圖融合，有助于進(jìn)一步細(xì)化顯著預(yù)測(cè)圖，且使用復(fù)雜度較高的RSU預(yù)測(cè)邊緣是必要的。

4 結(jié)語(yǔ)

在本文中，針對(duì)常用SOD算法的結(jié)果中目標(biāo)邊緣較為模糊的問(wèn)題，本文提出了一種邊緣信息增強(qiáng)的SOD 網(wǎng)絡(luò)。該網(wǎng)絡(luò)的主體結(jié)構(gòu)是自頂向下逐層優(yōu)化的，能夠提取多尺度的信息。在此基礎(chǔ)上，本文引入了兩個(gè)模塊以增強(qiáng)邊緣信息的提取。首先，本文提出了TAM，融合了前景、背景和邊緣注意力，并且在不增加任何參數(shù)的前提下就能從預(yù)測(cè)圖中直接得出；其次，本文提出了EPM，其位于網(wǎng)絡(luò)最淺層，使用較高分辨率的特征以有監(jiān)督的方式預(yù)測(cè)邊緣，并于網(wǎng)絡(luò)深層的預(yù)測(cè)圖融合，保留了更多的邊緣細(xì)節(jié)信息。TAM 與EPM 互為補(bǔ)充，有效地提高了顯著圖預(yù)測(cè)的效果。本文在6個(gè)常用SOD數(shù)據(jù)集上用三種定量指標(biāo)評(píng)估了本文模型，在HKU-IS、PASCAL-S 和DUT-OMRON 上把MAE 分別降低了0.1 %、0.5 %和0.4 %；本文還以定性的方式展示了本文模型與近幾年SOD模型的預(yù)測(cè)結(jié)果，體現(xiàn)出本文模型能夠更完整地預(yù)測(cè)顯著目標(biāo)，并且能夠精確地預(yù)測(cè)目標(biāo)邊緣。本文模型參數(shù)量為30.28M，可以在GTX 1080 Ti上達(dá)到31FPS的預(yù)測(cè)速度。最后，用消融實(shí)驗(yàn)證明了本文提出創(chuàng)新點(diǎn)的有效性。

作者貢獻(xiàn)聲明：

趙衛(wèi)東：設(shè)計(jì)框架、技術(shù)指導(dǎo)、論文審定。

王 輝：實(shí)驗(yàn)研究、論文撰寫(xiě)。

柳先輝：技術(shù)指導(dǎo)、論文審定。