基于全局感知和局部細(xì)化的夜間顯著目標(biāo)檢測(cè)

張 彧，汪虹余，季思想，穆 楠

(四川師范大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院，四川 成都 610101)

0 引 言

在具有挑戰(zhàn)性的夜間圖像中，深度卷積神經(jīng)網(wǎng)絡(luò)方法主要存在下列挑戰(zhàn)：①夜間圖像視覺特征模糊且易受噪聲干擾；②重復(fù)池化操作導(dǎo)致對(duì)象語義和圖像結(jié)構(gòu)信息的大量丟失；③深度網(wǎng)絡(luò)只能分辨圖像像素的二元標(biāo)簽，對(duì)于邊緣特征不清晰的夜間圖像，訓(xùn)練后的網(wǎng)絡(luò)很難學(xué)習(xí)到顯著目標(biāo)的邊界知識(shí)。

為了解決這些難題，本文提出了一種用于夜間圖像中顯著目標(biāo)檢測(cè)[1-4]的全卷積深度神經(jīng)網(wǎng)絡(luò)，主要加入了兩個(gè)模塊：全局語義感知模塊(global semantic awareness，GSA)和局部結(jié)構(gòu)細(xì)化模塊(local structure refinement，LSR)。首先，模型對(duì)多層次特征中的局部信息與全局信息進(jìn)行編碼以充分利用其包含的結(jié)構(gòu)信息與語義信息。然后，對(duì)不同卷積層的特征進(jìn)行級(jí)聯(lián)壓縮從而獲取具有全局語義信息的多層次全局特征圖。并且將不同卷積層的多尺度局部特征、具有局部差異性的對(duì)比度特征和解卷積層的上采樣特征進(jìn)行合并以獲取具有結(jié)構(gòu)信息的局部特征從而增強(qiáng)局部對(duì)比度。最后，將全局與局部特征通過softmax函數(shù)進(jìn)行融合來準(zhǔn)確計(jì)算出像素級(jí)顯著性。

本研究的主要貢獻(xiàn)可以歸納為：①構(gòu)建了級(jí)聯(lián)局部結(jié)構(gòu)信息和全局語義信息的深度全卷積編碼器-解碼器網(wǎng)絡(luò)來學(xué)習(xí)夜間圖像的顯著性特征；②引入全局語義感知模塊和局部結(jié)構(gòu)細(xì)化模塊分別用于完善顯著目標(biāo)的位置信息和保持目標(biāo)邊界細(xì)節(jié)的完整性；③致力于夜間圖像的顯著目標(biāo)檢測(cè)并取得了優(yōu)越性能。

1 相關(guān)工作

目前，主流的顯著目標(biāo)檢測(cè)方法主要有兩大類：基于傳統(tǒng)手工特征的方法和基于深度學(xué)習(xí)特征的方法。

傳統(tǒng)的方法主要基于人工提取特征來檢測(cè)顯著目標(biāo)，大多數(shù)的傳統(tǒng)模型[5-8]主要基于人類直觀感覺和啟發(fā)式先驗(yàn)[5]，如色度比較[6]、邊界背景[7]和中心先驗(yàn)[8]。這些計(jì)算方法效率低下，很難捕獲到目標(biāo)的高級(jí)和全局語義知識(shí)，且容易破壞潛在的特征結(jié)構(gòu)。因此，傳統(tǒng)的檢測(cè)方法很難得在具有挑戰(zhàn)性的夜間圖像上取得令人滿意的顯著性檢測(cè)結(jié)果。

基于深度學(xué)習(xí)的顯著目標(biāo)檢測(cè)不再需要人工提取特征，其檢測(cè)性能也大幅度提高。近年來，研究人員在不同的網(wǎng)絡(luò)架構(gòu)下，對(duì)顯著性檢測(cè)進(jìn)行了大量的研究，致力于提高顯著目標(biāo)檢測(cè)的性能。Hou等[9]為了使每一層的多尺度特征映射更加豐富，在HED(holistically-nested edge detection)體系結(jié)構(gòu)中引入了具有短連接的跳躍結(jié)構(gòu)，用以獲得具有清晰邊界的顯著目標(biāo)。Liu等[10]將卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行池操作，在U型結(jié)構(gòu)的最頂層放入金字塔池塊層來獲取豐富的語義信息。Chen等[11]采用殘差學(xué)習(xí)來訓(xùn)練側(cè)輸出殘差特征以細(xì)化顯著性，并進(jìn)一步提出了反向注意機(jī)制，用自頂向下的方式指導(dǎo)這種側(cè)輸出的殘差學(xué)習(xí)。Wang等[12]使用新穎的金字塔池模塊和用于顯著性檢測(cè)的多階段細(xì)化機(jī)制來增強(qiáng)前饋神經(jīng)網(wǎng)絡(luò)。Pang等[13]提出了用聚合交互模塊來整合相鄰層次的特征，在每個(gè)解碼器單元中嵌入了自交互模塊以此削弱了二元交叉熵?fù)p失帶來的影響。Liu等[14]提出了一種像素化的上下文注意網(wǎng)絡(luò)，選擇局部或全局的上下文信息來檢測(cè)顯著目標(biāo)。Zhang等[15]引入多路徑遞歸操作，通過多路徑循環(huán)連接，將來自頂層卷積層的全局語義信息傳遞到較淺的層，以此來增強(qiáng)提出的漸進(jìn)式注意力驅(qū)動(dòng)網(wǎng)絡(luò)PAGR(progressive attention guided recurrent)。盡管基于深度學(xué)習(xí)的顯著性模型已經(jīng)能在各類復(fù)雜場(chǎng)景中也取得令人滿意的效果，然而，由于具有低對(duì)比度、信噪比偏低等因素而導(dǎo)致夜間圖像中缺乏明確的特征對(duì)顯著性信息進(jìn)行編碼，這些已有深度模型在合并網(wǎng)絡(luò)中的多個(gè)高級(jí)特征時(shí)，往往會(huì)丟失一些顯著物體的結(jié)構(gòu)細(xì)節(jié)和邊界部分，同時(shí)還會(huì)引入大量非顯著目標(biāo)信息和背景內(nèi)容。受深度模型的啟發(fā)，本研究主要采取自頂向下的方式，提出全局語義感知模塊充分利用語義信息對(duì)顯著區(qū)域進(jìn)行準(zhǔn)確定位和局部結(jié)構(gòu)細(xì)化模塊進(jìn)一步細(xì)化顯著區(qū)域邊界與內(nèi)部結(jié)構(gòu)來引導(dǎo)漸進(jìn)式的顯著性學(xué)習(xí)，從而使夜間圖像中的顯著目標(biāo)檢測(cè)結(jié)果更加準(zhǔn)確高亮。

2 顯著目標(biāo)檢測(cè)模型

本研究提出了基于局部與全局顯著性信息的深度全卷積網(wǎng)絡(luò)框架用于夜間圖像的像素級(jí)顯著性預(yù)測(cè)。在網(wǎng)絡(luò)中引入全局語義感知模塊(GSA)準(zhǔn)確定位顯著目標(biāo)位置，引入局部結(jié)構(gòu)細(xì)化模塊(LSR)細(xì)化顯著目標(biāo)邊界細(xì)節(jié)和內(nèi)部結(jié)構(gòu)信息。

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

圖1 夜間圖像顯著目標(biāo)檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)

基于全局卷積網(wǎng)絡(luò)[16]的啟發(fā)，本研究提出了全局語義感知模塊來實(shí)現(xiàn)圖像特征與卷積塊之間的密集連接，從而使金字塔特征包含更加豐富的神經(jīng)元信息。此外，本研究還利用了局部結(jié)構(gòu)細(xì)化模塊來連接每個(gè)卷積塊以保存更多的細(xì)節(jié)信息。

在將語義感知知識(shí)分配給小區(qū)域之前，本研究主要通過收集高級(jí)別卷積特征來獲取全局上下文信息。其中，F(xiàn)G為全局特征圖，Conv()代表卷積層，公式如下

FG=Conv(F5)

(1)

(2)

(3)

(4)

2.2 全局語義感知模塊

為了使網(wǎng)絡(luò)能夠處理各種類型的轉(zhuǎn)換，全局語義感知模塊通過將分類器和特征圖緊密連接來提升顯著模型的分割能力。同時(shí)，由于全局語義感知模塊的較大內(nèi)核可以獲取較大感受野而有利于編碼更多的空間信息，從而使顯著目標(biāo)的定位更準(zhǔn)確提高了顯著目標(biāo)定位的精度。

圖1右上角方框?yàn)楸疚奶岢龅娜终Z義感知模塊，其包含左右兩個(gè)分支，在左分支中應(yīng)用了一個(gè)7×1和一個(gè)1×7的卷積塊Conv，在右分支中應(yīng)用了一個(gè)1×7和一個(gè)7×1的卷積塊Conv，然后將兩個(gè)分支通過密集連接來合并，以在具有更少的參數(shù)量和計(jì)算量的同時(shí)達(dá)到和一個(gè)7×7卷積核相同的感受野，但也能獲取充分的全局信息。GSA獲得的大感受野使得特征圖能編碼更多的空間信息從而充分利用全局的線索以更準(zhǔn)確定位顯著目標(biāo)的位置。

2.3 局部結(jié)構(gòu)細(xì)化模塊

為了進(jìn)一步保留邊界信息并增強(qiáng)顯著目標(biāo)的內(nèi)部結(jié)構(gòu)與細(xì)節(jié)以使顯著目標(biāo)檢測(cè)結(jié)果更加精細(xì)化，本研究設(shè)計(jì)了結(jié)構(gòu)細(xì)化模塊來優(yōu)化目標(biāo)邊界。

圖1左下角方框?yàn)楸疚奶岢龅木植拷Y(jié)構(gòu)細(xì)化模塊，其被建模為殘差結(jié)構(gòu)[17]，其中一個(gè)分支直接連接輸入和輸出層，另一個(gè)分支由兩個(gè)3×3核大小的卷積塊Conv的殘差網(wǎng)組成。兩個(gè)分支連接后，能夠避免在卷積過程中造成的信息損失而有利于學(xué)習(xí)顯著目標(biāo)的細(xì)節(jié)信息，從而提高邊界像素的顯著分?jǐn)?shù)精確度。其輸出與輸入的維數(shù)相同。

2.4 顯著目標(biāo)檢測(cè)

最終的顯著圖由全局特征圖FG和局部特征圖FL結(jié)合而成。令SM表示顯著圖，GT表示基準(zhǔn)顯著圖，通過softmax函數(shù)來預(yù)測(cè)特征圖中像素p屬于顯著還是非顯著的概率P，公式如下

(5)

(6)

其中，調(diào)諧LCE的正加權(quán)常數(shù)為αr，LB的正加權(quán)常數(shù)為βr，區(qū)域Ωr中的像素p在真實(shí)顯著圖和生成顯著圖之間的交叉熵?fù)p失為L(zhǎng)CE，N代表像素值的個(gè)數(shù)，公式如下

(7)

(8)

本研究的監(jiān)督模型結(jié)合了LCE和LB的效果。由于兩個(gè)損失函數(shù)共同訓(xùn)練了本研究的模型，因此，可以優(yōu)化語義感知和結(jié)構(gòu)細(xì)節(jié)的參數(shù)。

3 實(shí)驗(yàn)結(jié)果

本研究在6個(gè)顯著目標(biāo)檢測(cè)數(shù)據(jù)集上進(jìn)行了大量的實(shí)驗(yàn)，以評(píng)估本模型與9個(gè)先進(jìn)的顯著性模型的性能對(duì)比。

3.1 實(shí)驗(yàn)裝置

3.1.1 評(píng)估數(shù)據(jù)集

本研究主要在5個(gè)公共數(shù)據(jù)集和1個(gè)夜間圖像數(shù)據(jù)集上測(cè)試所提出的模型，包含：①M(fèi)SRA-B數(shù)據(jù)集[18]，該數(shù)據(jù)集包含5000張圖像，大部分圖像只有一個(gè)顯著的物體。②DUT-OMRON數(shù)據(jù)集[19]，包含5168張背景復(fù)雜的圖像。③PASCAL-S數(shù)據(jù)集[20]，其中有850張具有挑戰(zhàn)性的自然圖像。④HKU-IS數(shù)據(jù)集[21]，它提供了4447張邊界重疊、對(duì)比度較低并包含多個(gè)顯著物體的圖像。⑤DUTS數(shù)據(jù)集[22]，其訓(xùn)練集包含了10 553張圖像，測(cè)試集包含5019張圖像，且這兩組均為復(fù)雜場(chǎng)景的圖像。⑥夜間圖像(NI)數(shù)據(jù)集，該數(shù)據(jù)集是由本研究提出，包含了1000張圖像，這些圖像的采集工作均是在光照不足的夜間時(shí)段進(jìn)行的，且圖像的分辨率為500×667。

3.1.2 評(píng)估模型

本研究主要將所提出的顯著目標(biāo)檢測(cè)模型9種基于深度學(xué)習(xí)特征的顯著模型進(jìn)行了比較，包括：非局部深度特征(NLDF)模型[23]、學(xué)習(xí)促進(jìn)顯著性(LPS)模型[24]、輪廓到顯著性(C2S)模型[25]、反向注意顯著性(RAS)模型[11]、疊加交叉細(xì)化(SCRN)模型[26]、預(yù)測(cè)細(xì)化(BAS)模型[27]、分割突出物體區(qū)域(F3)模型[28]、基于邊緣的多尺度U型(MEUN)模型[29]和多感知增強(qiáng)(MPI)模型[30]。

3.1.3 評(píng)估標(biāo)準(zhǔn)

為了評(píng)估所提出的模型與其它模型的性能，本研究采用了7個(gè)評(píng)價(jià)指標(biāo)，包括：

(1)真陽性率和假陽性率(TPRs-FPRs)曲線。 TPR=TP/(TP+FN) 表示正確檢測(cè)到的顯著像素與真實(shí)顯著像素的比值，F(xiàn)PR=FP/(FP+TN)表示錯(cuò)誤檢測(cè)到的顯著像素與所有非顯著像素的比值。其中，TP(真陽性)和FN(假陰性)分別是正確檢測(cè)到的顯著像素和錯(cuò)誤檢測(cè)到的非顯著像素的集合。FP(假陽性)和TN(真陰性)分別為錯(cuò)誤檢測(cè)到的顯著目標(biāo)像素和正確檢測(cè)到的非顯著像素的集合。

(2)精度-召回率(PR)曲線。 P=TP/(TP+FP) 定義為正確檢測(cè)到的顯著像素與所有檢測(cè)到的顯著像素之比， R=TP/(TP+FN) 與TPR相同，衡量檢測(cè)到的顯著像素的全面性。

(3)F-measure曲線。 F=(1+λ)P·R/(λ·P+R) 是利用P和R的加權(quán)諧波平均值計(jì)算的，其中λ的值設(shè)置為0.3用來強(qiáng)調(diào)P的效果。F-measure曲線是通過比較真實(shí)顯著圖和計(jì)算得到的二值顯著性圖來計(jì)算，其中，二值顯著性圖是通過改變閾值確定一個(gè)像素是否屬于顯著目標(biāo)計(jì)算得到的。

(4)曲線下面積(AUC)得分，其被定義為TPRs-FPRs曲線下面積的百分比，能夠直觀地表明顯著性圖對(duì)真實(shí)顯著目標(biāo)的預(yù)測(cè)程度。

(5)平均絕對(duì)誤差(MAE)得分，計(jì)算方法為求取所得的顯著性圖SM與真實(shí)顯著圖GT之間的平均絕對(duì)誤差： MAE=mean(|SM-GT|)。 MAE值越小，說明SM和GT之間的相似度越高。

(6)加權(quán)F-measure(WF)得分[31]，通過引入一個(gè)加權(quán)P來衡量精確性和一個(gè)加權(quán)R來衡量完整性： WF=[(1+β2)WP·WR]/β2·WP+WR。 WP和WR分別代表預(yù)測(cè)精度和召回精度。

(7)重疊率(OR)得分，其定義為二值顯著性圖SBM與基準(zhǔn)顯著圖GT之間的重疊顯著像素的比值，通過OR=|SBM∩GT|/|SBM∪GT| 來計(jì)算。OR得分考慮顯著像素的完整性和非顯著像素的正確性。

3.2 實(shí)驗(yàn)分析

圖2為本研究提出的模型(帶正方形標(biāo)注圖線所示)在6個(gè)數(shù)據(jù)集上與最近3年內(nèi)顯著性模型的客觀性能比較(TPRs-FPRs曲線橫坐標(biāo)代表假陽性率，縱坐標(biāo)代表真陽性率；PR曲線橫坐標(biāo)代表召回率，縱坐標(biāo)代表精準(zhǔn)率；F-measure曲線橫坐標(biāo)代表完整性，縱坐標(biāo)代表精準(zhǔn)性)，表1為在6個(gè)數(shù)據(jù)集上的各顯著性模型的定量結(jié)果對(duì)比(排名前三的結(jié)果分別表示為單下劃線，點(diǎn)下劃線和波浪線。向上箭頭↑表示值越大，性能越好。向下箭頭↓表示值越小，性能越好)。本研究基于7個(gè)指標(biāo)在6個(gè)數(shù)據(jù)集上比較了本研究所提出的顯著性模型與上述9個(gè)先進(jìn)模型的性能。定量比較結(jié)果如圖2和表1所示，結(jié)果表明所提出的模型在大多數(shù)情況下都達(dá)到了排名前三的性能，因?yàn)楸狙芯克玫降娘@著性圖更接近于真實(shí)顯著圖。具體而言，模型的局部-全局策略，能夠有效提升目標(biāo)與背景之間的對(duì)比度。GSA和LSR也進(jìn)一步完善了顯著區(qū)域的結(jié)構(gòu)和邊界。因此，本研究的模型對(duì)于夜間圖像中的顯著目標(biāo)檢測(cè)任務(wù)是有效的。

圖2 在6個(gè)數(shù)據(jù)集上本研究提出的模型(帶正方形標(biāo)注圖線所示)與最近3年內(nèi)顯著性模型的客觀性能比較

在MSRA-B數(shù)據(jù)集上性能對(duì)比如圖2(a)和表1(a)所示，大多數(shù)圖像具有單一對(duì)象和簡(jiǎn)單背景，所提出的模型在TPRs-FPRs曲線、PR曲線、F-measure曲線、AUC得分、WF得分和OR得分上均獲得了最優(yōu)性能。同時(shí)，F(xiàn)3模型在AUC和WF得分上表現(xiàn)僅次于所提出的模型。

表1 在6個(gè)數(shù)據(jù)集上的各顯著性模型的定量結(jié)果對(duì)比

在DUT-OMRON數(shù)據(jù)集上性能對(duì)比如圖2(b)和表1(b)所示，雖然圖像比較復(fù)雜和多樣，但所提出的模型在TPRs-FPRs曲線上獲得了最優(yōu)性能。本研究所提出的模型的所有性能測(cè)試指標(biāo)得分除MAE排第二外，其余指標(biāo)均排第三，BAS模型在DUT-OMRON數(shù)據(jù)集上除AUC上排第二外，其余排名均為第一。盡管BAS性能最優(yōu)，但其訓(xùn)練集所包含樣本數(shù)是本研究的2倍，主要通過擴(kuò)大訓(xùn)練數(shù)據(jù)規(guī)模來提高模型魯棒性。

在PASCAL-S數(shù)據(jù)集上性能對(duì)比如圖2(c)和表1(c)所示，本研究提出的模型與其它模型相比取得了具有競(jìng)爭(zhēng)性的性能，在TPRs-FPRs曲線上依然優(yōu)于其它模型，能夠在AUC得分上表現(xiàn)最優(yōu)。

在HKU-IS數(shù)據(jù)集上性能對(duì)比如圖2(d)以及表1(d)所示，由于大部分圖像都有相對(duì)復(fù)雜的背景，本研究所提出的模型在PR曲線、AUC指標(biāo)上表現(xiàn)最好。在MAE得分上排名第二，其WF和OR得分比取得最佳結(jié)果的BAS模型略微遜色。

在DUTS數(shù)據(jù)集上性能對(duì)比如圖2(e)以及表1(e)所示，圖像復(fù)雜多樣，本研究所提出的模型在TPRs-FPRs曲線和OR得分上均為第一。

在NI數(shù)據(jù)集上性能對(duì)比如圖2(f)和表1(f)所示，本研究所提出的模型在TPRs-FPRs曲線、PR曲線、WF分?jǐn)?shù)和OR分?jǐn)?shù)上都取得了最好的結(jié)果。在F-measure曲線上，表現(xiàn)僅次于最優(yōu)模型BAS，在AUC得分方面，本研究的模型取得了排名第二的分?jǐn)?shù)，與LPS模型的最佳結(jié)果只有0.0191的差異。這些客觀的性能對(duì)比表明，本研究提出的模型在復(fù)雜環(huán)境顯著性檢測(cè)中具有較大的潛力。

圖3為不同模型在6個(gè)數(shù)據(jù)集上生成顯著圖的主觀視覺性能對(duì)比。所提出的模型與其它顯著性模型在6個(gè)數(shù)據(jù)集上的定性比較如圖3所示。可以看出，傳統(tǒng)模型的性能始終遜色于深度學(xué)習(xí)模型，并且深度模型能檢測(cè)出更接近于真實(shí)顯著圖的顯著預(yù)測(cè)圖。盡管在簡(jiǎn)單場(chǎng)景下，大多數(shù)方法的性能都較優(yōu)，但與本研究相比依舊不夠精確，本研究抑制了大部分背景。在復(fù)雜場(chǎng)景下，盡管是一些具有競(jìng)爭(zhēng)性的深度學(xué)習(xí)方法仍舊不能準(zhǔn)確識(shí)別出顯著目標(biāo)。令人鼓舞的是本研究的模型在復(fù)雜場(chǎng)景下依舊能準(zhǔn)確地定位出顯著目標(biāo)。特別是在夜間場(chǎng)景下，大多數(shù)模型幾乎不能檢測(cè)出顯著目標(biāo)，而本模型不僅可以定位出準(zhǔn)確的顯著目標(biāo)還能夠精細(xì)化其細(xì)節(jié)結(jié)構(gòu)。這些結(jié)果說明了本研究提出的顯著目標(biāo)檢測(cè)網(wǎng)絡(luò)在具有挑戰(zhàn)性的場(chǎng)景下有著較高的有效性和魯棒性。

圖3 不同模型在6個(gè)數(shù)據(jù)集上生成顯著圖的主觀視覺性能對(duì)比

3.3 消融實(shí)驗(yàn)

為了驗(yàn)證所提出的各個(gè)模塊的優(yōu)勢(shì)并評(píng)估不同模塊的貢獻(xiàn)，本研究分別設(shè)計(jì)了3組基準(zhǔn)來訓(xùn)練顯著性模型。①基準(zhǔn)1，通過結(jié)合局部和全局線索并使用完整的卷積編碼器-解碼器網(wǎng)絡(luò)來進(jìn)行顯著目標(biāo)的檢測(cè)。該基準(zhǔn)不包含GSA和LSR模塊，只保留了VGG16主干網(wǎng)絡(luò)來訓(xùn)練生成顯著性檢測(cè)模型，主要用來對(duì)比沒有GSA和LSR模塊的顯著性網(wǎng)絡(luò)性能。②基準(zhǔn)2，將GSA嵌入到基礎(chǔ)網(wǎng)絡(luò)中，不考慮局部結(jié)構(gòu)細(xì)化，這個(gè)基準(zhǔn)可以表現(xiàn)出GSA對(duì)于定位真正顯著目標(biāo)的重要性。③基準(zhǔn)3，將LSR嵌入到基礎(chǔ)網(wǎng)絡(luò)中，不包含全局語義感知模塊，用來測(cè)試LSR對(duì)顯著目標(biāo)檢測(cè)結(jié)果的貢獻(xiàn)度。

本研究將3組基準(zhǔn)模型與完整模型進(jìn)行了性能比較。主要在MSRA-B數(shù)據(jù)集上訓(xùn)練，訓(xùn)練集包含2500張圖像，驗(yàn)證集包含500張圖像，這些圖像被組合起來訓(xùn)練本研究的4個(gè)模型。對(duì)于完整模型，完成整個(gè)訓(xùn)練過程大約需要8個(gè)小時(shí)，共迭代10次。訓(xùn)練后的模型被用于檢測(cè)所有6個(gè)數(shù)據(jù)集的顯著性圖。相比之下，NLDF和RAS模型的訓(xùn)練集與本研究相同，LPS和C2S模型的訓(xùn)練集分別包含1萬和3萬張圖像。

表2為本研究模型以及各基準(zhǔn)模型的定量結(jié)果對(duì)比表格。本模型及3個(gè)基準(zhǔn)在6個(gè)數(shù)據(jù)集上的客觀性能對(duì)比見表2。

表2 本研究模型以及各基準(zhǔn)模型的定量結(jié)果對(duì)比

由表2可以看出，加入了GSA和LSR后本模型在不同數(shù)據(jù)集上的各評(píng)價(jià)指標(biāo)均得到了有效提升。其中，在DUT-OMRON、PASCAL-S和HKU-IS數(shù)據(jù)集上，基準(zhǔn)2的各個(gè)評(píng)價(jià)指標(biāo)均能排名第二，也即本研究提出的全局感知模塊有著較好的效果；此外，在DUTS和NI數(shù)據(jù)集上，基準(zhǔn)3能夠在部分評(píng)價(jià)上排名第二，這表明本研究提出的局部細(xì)化模塊能發(fā)揮一定作用。整體而言，本研究提出的全局感知模塊和局部細(xì)化模塊有效改善了模型的性能，能夠在復(fù)雜場(chǎng)景的圖像，特別是夜間圖像上取得良好的檢測(cè)結(jié)果[32]。圖4為NI數(shù)據(jù)集上各基準(zhǔn)模型所得的顯著性結(jié)果對(duì)比圖。在NI數(shù)據(jù)集上使用不同基準(zhǔn)得到的顯著性圖的視覺對(duì)比如圖4所示。

圖4 NI數(shù)據(jù)集上各基準(zhǔn)模型所得的顯著性結(jié)果對(duì)比

從圖4中可以看出，基準(zhǔn)2的顯著目標(biāo)的形狀比基準(zhǔn)1更為準(zhǔn)確，而基準(zhǔn)3則保留了顯著目標(biāo)的平滑邊界。對(duì)比3個(gè)基準(zhǔn)，本模型能準(zhǔn)確地檢測(cè)出完整的顯著目標(biāo)，并產(chǎn)生連貫的邊界，可以得知局部-全局方法、GSA和LSR給夜間圖像顯著性結(jié)果帶來了很多優(yōu)勢(shì)。

4 結(jié)束語

本研究提出了一種用于檢測(cè)夜間場(chǎng)景中的顯著目標(biāo)的深度全卷積網(wǎng)絡(luò)，通過設(shè)計(jì)全局語義感知模塊和局部結(jié)構(gòu)細(xì)化模塊，并將其嵌入到深度網(wǎng)絡(luò)各層次中，以逐步編碼不同層次豐富的多尺度語義信息與結(jié)構(gòu)信息從而提高顯著目標(biāo)位置判斷的準(zhǔn)確性與結(jié)構(gòu)細(xì)化的精確性。本模型可以有效獲取更多的夜間圖像判別特征，從而實(shí)現(xiàn)了精確的顯著目標(biāo)檢測(cè)。通過在6個(gè)數(shù)據(jù)集上進(jìn)行大量實(shí)驗(yàn)，結(jié)果表明，本模型優(yōu)于大多數(shù)先進(jìn)的顯著性檢測(cè)方法，能夠在夜間圖像顯著目標(biāo)檢測(cè)等計(jì)算機(jī)視覺任務(wù)中發(fā)揮價(jià)值。