采用跳層卷積神經(jīng)網(wǎng)絡(luò)的RGB-D圖像顯著性檢測(cè)

陳曦濤，訾玲玲，張雪曼

遼寧工程技術(shù)大學(xué) 電子與信息工程學(xué)院，遼寧 葫蘆島 125105

顯著性檢測(cè)技術(shù)應(yīng)用在各種計(jì)算機(jī)視覺(jué)任務(wù)中，例如圖像分類(lèi)[1]、語(yǔ)義分割[2]、交通控制[3]、對(duì)象檢測(cè)[4-5]和行人檢測(cè)[6]。隨著深度傳感器的商業(yè)化成功，其所拍攝的RGB-D圖像為用戶提供了更高的觀看體驗(yàn)的同時(shí)，也對(duì)當(dāng)前的圖像顯著性檢測(cè)技術(shù)提出了更高挑戰(zhàn)。與RGB圖像相比，RGB-D圖像不僅包含顏色數(shù)據(jù)還含有獨(dú)立的深度數(shù)據(jù)，且顏色圖與深度圖是成對(duì)出現(xiàn)的，有著很強(qiáng)的結(jié)構(gòu)上的關(guān)聯(lián)性，這為顯著性檢測(cè)提供了更加豐富的信息。同時(shí)，捕獲的深度圖的質(zhì)量并不總是精確的，并且存在一些缺陷，例如深度數(shù)據(jù)的丟失，這將在某種程度上影響顯著性檢測(cè)。因此，合理使用深度數(shù)據(jù)對(duì)于提高場(chǎng)景中檢測(cè)對(duì)象的能力非常重要。

在傳統(tǒng)顯著性檢測(cè)方法中，文獻(xiàn)[7]設(shè)計(jì)了一個(gè)具有多個(gè)階段的PENG模型去整合RGB圖像和深度圖像。文獻(xiàn)[8]考慮全局深度結(jié)構(gòu)提出了一個(gè)各向異性中心環(huán)繞方法用于顯著性檢測(cè)。文獻(xiàn)[9]使用全局上下文表面定向先驗(yàn)和歸一化深度先驗(yàn)檢測(cè)顯著性物體，但是這種基于手工提取的方法缺少高級(jí)語(yǔ)義特征，存在缺陷。近年來(lái)，研究者大都采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行顯著性目標(biāo)檢測(cè)。文獻(xiàn)[10]設(shè)計(jì)了雙流卷積神經(jīng)網(wǎng)絡(luò)，文獻(xiàn)[11]提出了短鏈接的方法，可以有效地融合卷積神經(jīng)網(wǎng)絡(luò)中的圖像細(xì)節(jié)特征和高級(jí)語(yǔ)義特征。但是上述兩種方法由于缺少深度信息的引入，幾何信息描述能力略顯不足，不適用于復(fù)雜場(chǎng)景和有光線影響下的圖像。為了解決空間幾何問(wèn)題，可以將深度信息與RGB信息以互補(bǔ)的方式進(jìn)行融合。例如，文獻(xiàn)[12]提出了PCA網(wǎng)絡(luò)，該網(wǎng)絡(luò)考慮到深度和顏色的互補(bǔ)特征，進(jìn)行漸進(jìn)式融合使得顏色和深度信息得到了融合，但是忽略了中間過(guò)程深度與顏色信息的特征提取，導(dǎo)致圖像細(xì)節(jié)信息的丟失；文獻(xiàn)[13-15]制定了自適應(yīng)融合方案，融合深度和顏色特征進(jìn)行顯著性檢測(cè)；文獻(xiàn)[16-17]同時(shí)借鑒殘差連接的思想構(gòu)建DMRANet網(wǎng)絡(luò)，該網(wǎng)絡(luò)利用殘差學(xué)習(xí)的優(yōu)勢(shì)設(shè)計(jì)了多層信息融合模塊，融合深度與顏色信息，但是這種方式增加了訓(xùn)練過(guò)程的復(fù)雜性，不利于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練；文獻(xiàn)[18-20]是跳層結(jié)構(gòu)在邊緣檢測(cè)算法中的應(yīng)用，通過(guò)跳層結(jié)構(gòu)的靈活性，使得邊緣檢測(cè)效果得到了明顯的優(yōu)化，但是將此算法直接應(yīng)用到顯著性檢測(cè)中，得到的顯著性檢測(cè)圖并不理想，因?yàn)轱@著性檢測(cè)算法不僅僅要注重邊緣的緊密相關(guān)程度，還要注重圖像目標(biāo)的特征信息。

鑒于跳層結(jié)構(gòu)的多層次和多尺度特征的融合能力，可以將其引入到顯著性檢測(cè)算法中。利用其多層次的特點(diǎn)，靈活地連接圖像的高層特征和低層特征，并通過(guò)跳層結(jié)構(gòu)的多尺度融合能力，將淺層網(wǎng)絡(luò)的細(xì)節(jié)特征和深層網(wǎng)絡(luò)的語(yǔ)義特征充分結(jié)合，能更好地獲得顯著性檢測(cè)效果。基于以上優(yōu)點(diǎn)，以跳層結(jié)構(gòu)為基礎(chǔ)，提出了基于跳層卷積神經(jīng)網(wǎng)絡(luò)的RGB-D顯著性檢測(cè)方法，簡(jiǎn)稱(chēng)SCSD方法，該方法提升了顯著性檢測(cè)的準(zhǔn)確率和召回率，尤其對(duì)于復(fù)雜場(chǎng)景，光線干擾場(chǎng)景，目標(biāo)與背景區(qū)域低對(duì)比度的情況，該方法取得了很好的效果。

1 提出的SCSD方法

本章首先介紹SCSD方法思路，其次展示了網(wǎng)絡(luò)架構(gòu)，主要由數(shù)據(jù)輸入模塊、特征提取模塊和跳層融合模塊組成。最后詳細(xì)闡述該方法的實(shí)施過(guò)程。

1.1 方法思路

顯著性檢測(cè)的關(guān)鍵問(wèn)題在于獲得圖像特征，而卷積神經(jīng)網(wǎng)絡(luò)以其強(qiáng)大的學(xué)習(xí)和提取能力，可為該問(wèn)題的解決提供有效途徑。VGG16作為卷積神經(jīng)網(wǎng)絡(luò)的代表之一，有著簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)和高效的特征提取能力，在圖像分割、圖像分類(lèi)等領(lǐng)域有著廣泛的應(yīng)用，因此SCSD方法使用VGG16網(wǎng)絡(luò)作為基礎(chǔ)的網(wǎng)絡(luò)架構(gòu)。已有的基于深度學(xué)習(xí)的顯著性檢測(cè)方法存在如下缺陷：（1）卷積神經(jīng)網(wǎng)絡(luò)在提取深層特征時(shí)會(huì)出現(xiàn)信息丟失的情況[10，13]；（2）在提取淺層特征時(shí)捕捉不到顯著性目標(biāo)重要特征[11，15]。這種現(xiàn)象是由卷積神經(jīng)網(wǎng)絡(luò)自身屬性決定的，即卷積神經(jīng)網(wǎng)絡(luò)通過(guò)局部連接進(jìn)行信息合并，合并后的信息通過(guò)一系列的池化層的作用去除細(xì)節(jié)信息而獲得更高的抽象性因而造成一些信息的缺失。為了將深層特征與淺層特征充分利用，SCSD方法引用了跳層結(jié)構(gòu)，可在高層特征與淺層特征提取之后進(jìn)行特征融合。在文獻(xiàn)[20]中，利用跳層結(jié)構(gòu)進(jìn)行邊緣檢測(cè)，通過(guò)高級(jí)語(yǔ)義特征與幾何細(xì)節(jié)特征的融合取得了很好的效果。但顯著性檢測(cè)不僅需要邊緣檢測(cè)，亦需要關(guān)注圖形視覺(jué)對(duì)象的區(qū)域特征，因此在跳層融合之前提出方法增加了特征提取模塊，來(lái)過(guò)濾不必要的信息，抑制背景特征的干擾。為了更完善地解決顯著性檢測(cè)的特殊情況，例如，當(dāng)前顯著性檢測(cè)常常出現(xiàn)的由于光線反射出現(xiàn)的對(duì)目標(biāo)檢測(cè)不全[21]、背景與目標(biāo)對(duì)比度較低時(shí)出現(xiàn)的檢測(cè)不到主要目標(biāo)[22-23]、在場(chǎng)景復(fù)雜時(shí)檢測(cè)目標(biāo)過(guò)于混亂[24-25]等現(xiàn)象。本文通過(guò)深度信息剛好能夠彌補(bǔ)顏色信息的缺失。因此本文又增加了一個(gè)深度信息提取通道，輔助顏色信息進(jìn)行顯著性檢測(cè)來(lái)解決上述存在的問(wèn)題。

綜上，本文方法的思路如下。首先，為了解決在卷積神經(jīng)網(wǎng)絡(luò)中幾何細(xì)節(jié)信息和高級(jí)語(yǔ)義信息不能兼得的問(wèn)題，提出了應(yīng)用跳層結(jié)構(gòu)將二者結(jié)合的思想；其次，為了過(guò)濾不必要的細(xì)節(jié)信息，抑制背景特征的干擾，在跳層融合之前增加了特征提取模塊，以獲取更準(zhǔn)確的顯著性區(qū)域特征；最后，為了解決當(dāng)前顯著性檢測(cè)存在的不能解決低對(duì)比度和光線干擾等問(wèn)題，提出了“顏色為主，深度為輔”的思想，增加了深度通道，來(lái)輔助顏色通道進(jìn)行顯著性檢測(cè)的方法。

1.2 網(wǎng)絡(luò)架構(gòu)

本文網(wǎng)絡(luò)架構(gòu)如圖1所示，總體網(wǎng)絡(luò)在VGG-16[26]網(wǎng)絡(luò)上進(jìn)行修改，在顯著性檢測(cè)任務(wù)中通常會(huì)舍去全連接層，為了更好地定位到顯著性區(qū)域，增加平均池化層來(lái)提取高級(jí)語(yǔ)義信息，以此作為網(wǎng)絡(luò)的數(shù)據(jù)輸入模塊。在數(shù)據(jù)輸入階段，由原始網(wǎng)絡(luò)的單通道增加了深度通道使之成為雙通道，將深度圖像與RGB圖像一同送入數(shù)據(jù)輸入模塊，得到深度信息流ADi和RGB信息流Ai。VGG-16網(wǎng)絡(luò)前兩層卷積塊提取出來(lái)的特征，包含的特征多為圖像細(xì)節(jié)特征，是識(shí)別顯著性目標(biāo)的重要信息；網(wǎng)絡(luò)后三層提取的特征主要包含了圖像的全局信息，對(duì)定位顯著性目標(biāo)區(qū)域提供了主要依據(jù)。因此，在特征提取模塊，設(shè)計(jì)了6個(gè)特征提取塊，每個(gè)特征提取塊用兩個(gè)濾波通道和一個(gè)卷積層組成，用來(lái)對(duì)應(yīng)接收不同層的深度信息流及RGB信息流，充分提取深度與顏色的淺層和深層的特征信息，輸出深度特征FDi與顏色特征Fi。在跳層融合模塊，首先對(duì)深度特征FDi與顏色特征Fi使用雙線性插值操作進(jìn)行上采樣操作達(dá)到維度和尺寸上的統(tǒng)一，再通過(guò)跳層結(jié)構(gòu)按照顏色為主深度為輔的方式進(jìn)行融合，結(jié)合后的結(jié)果通過(guò)Sigmoid激活函數(shù)得到側(cè)輸出，最后對(duì)所有側(cè)輸出使用SoftmaxWithLoss損失函數(shù)由真實(shí)值對(duì)得到的所有側(cè)輸出進(jìn)行監(jiān)督學(xué)習(xí)，通過(guò)反饋傳播算法更新網(wǎng)絡(luò)的參數(shù)。

圖1 網(wǎng)絡(luò)框架Fig.1 Network framework

1.3 具體實(shí)施

考慮到成對(duì)的深度圖像和RGB圖像之間的互補(bǔ)性，采用雙路的輸入模式完成顯著性檢測(cè)，一方面有利于深度特征信息和顏色特征信息的提取；另一方面方便跳層結(jié)構(gòu)的融合。結(jié)合網(wǎng)絡(luò)架構(gòu)，對(duì)于訓(xùn)練集中的圖像首先輸入到VGG-16網(wǎng)絡(luò)，輸出ADi和Ai，采用公式（1）來(lái)計(jì)算：

其中，X與XD分別表示訓(xùn)練集中的RGB圖像和深度圖像，以X與XD作為RGB信息流和深度信息流的輸入，Ai和ADi分別代表在第i個(gè)卷積塊的RGB信息流和深度信息流的側(cè)邊輸出，Wi是卷積操作的權(quán)值參數(shù)，bi是卷積操作的偏置參數(shù)，“*”代表的是卷積操作，δ(?)表示Relu激活函數(shù)，Avg(?)是在最后一個(gè)卷積塊連接的平均池化層的池化操作。

特征提取模塊的網(wǎng)絡(luò)參數(shù)如表1。每個(gè)特征提取塊都會(huì)同時(shí)接收到RGB信息和深度信息，這兩個(gè)信息是并行的且不相互影響。進(jìn)行特征處理的主要作用是過(guò)濾不需要的細(xì)節(jié)信息并提取重要區(qū)域特征，有利于在特征融合中尋求更好的特征融合方式。提出的深度特征Fi，顏色特征FDi如公式（2）：

表1 特征提取模塊參數(shù)表Table 1 Parameter table of feature extraction layer

式中，F(xiàn)i與FDi表示Ai與ADi在第i個(gè)特征提取塊經(jīng)過(guò)特征提取運(yùn)算后的輸出，f(?)表示在特征提取塊所做的一系列卷積運(yùn)算操作。

本文運(yùn)用跳層結(jié)構(gòu)將深度信息、RGB圖像信息、圖像細(xì)節(jié)信息、高級(jí)語(yǔ)義信息很好地結(jié)合起來(lái)。由于經(jīng)過(guò)特征提取塊輸出的Fi和FDi在維度和尺寸上會(huì)有所不同，因此需要對(duì)維度和尺寸進(jìn)行相應(yīng)的調(diào)整。經(jīng)過(guò)跳層融合，得到了可預(yù)測(cè)的側(cè)輸出Si。跳層融合模塊可以采用公式（3）來(lái)表示：

式中，μ(?)表示對(duì)Fi和FDi應(yīng)用雙線性插值的方法修改其尺寸和維度。C(?)表示對(duì)已經(jīng)通過(guò)雙線性插值的Fi和FDi進(jìn)行通道融合操作，通過(guò)通道結(jié)合進(jìn)行卷積操作最終形成一個(gè)測(cè)輸出顯著性檢測(cè)圖Si。

為了生成最佳的顯著性檢測(cè)圖，所有的側(cè)輸出Si進(jìn)行一個(gè)結(jié)合，最終生成的顯著性檢測(cè)圖用φ(S)，采用公式（4）進(jìn)行計(jì)算：

式中，zi表示權(quán)重，滿足，經(jīng)過(guò)多次實(shí)驗(yàn)和檢測(cè)結(jié)果證明，側(cè)輸出1到側(cè)輸出4檢測(cè)結(jié)果呈規(guī)則性，符合檢測(cè)的目標(biāo)的形狀，但是會(huì)有不必要背景信息；側(cè)輸出5和側(cè)輸出6檢測(cè)結(jié)果可以準(zhǔn)確度定位顯著目標(biāo)，不受到背景影響，但是檢測(cè)結(jié)果呈不規(guī)則性。為了減少背景干擾的同時(shí)精準(zhǔn)定位顯著性目標(biāo)，故將側(cè)輸出5和側(cè)輸出6權(quán)重設(shè)置為0.1，其他權(quán)重都設(shè)置為0.2，不同側(cè)輸出結(jié)果如圖2。這種結(jié)合方式，充分利用了多層的特征，可以得到一個(gè)既包含高級(jí)語(yǔ)義信息又包含圖像局部細(xì)節(jié)信息的顯著性檢測(cè)圖。

圖2 側(cè)輸出對(duì)比圖Fig.2 Side outputs comparison

2 實(shí)驗(yàn)結(jié)果分析與比較

2.1 實(shí)驗(yàn)設(shè)置與數(shù)據(jù)集

（1）實(shí)驗(yàn)設(shè)置

本次實(shí)驗(yàn)平臺(tái)所使用的操作系統(tǒng)是Window10，CPU型號(hào)為英特爾酷睿i5-8300H，2.3 GHz，GPU型號(hào)為NVIDIAGTX1050ti，顯存4 GB，計(jì)算機(jī)內(nèi)存8 GB，應(yīng)用深度學(xué)習(xí)網(wǎng)絡(luò)框架為pytorch，編程語(yǔ)言為python，編程軟件為pycharm。實(shí)驗(yàn)參數(shù)設(shè)置，梯度更新方式為SGD，迭代次數(shù)為500次，批次為3，基礎(chǔ)學(xué)習(xí)率為0.001，權(quán)重衰減率為1E-6，動(dòng)量因子設(shè)為0.9，訓(xùn)練過(guò)程共花費(fèi)125 h。

（2）數(shù)據(jù)集介紹

構(gòu)建的網(wǎng)絡(luò)以四個(gè)有代表性的公開(kāi)基準(zhǔn)數(shù)據(jù)集為實(shí)驗(yàn)源數(shù)據(jù)。數(shù)據(jù)集劃分如表2，這些數(shù)據(jù)集分別為L(zhǎng)FSD[27]、NJUD[11]、NLPR[9]、SSD[28]。LFSD數(shù)據(jù)集包含了100對(duì)RGB圖像和深度圖像及相應(yīng)的手工標(biāo)注的真值圖，使用Lytrol攝像機(jī)捕獲得到，其特點(diǎn)是圖像內(nèi)容比較單一，場(chǎng)景簡(jiǎn)單，在訓(xùn)練時(shí)能夠方便卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，選用此數(shù)據(jù)集有利于網(wǎng)絡(luò)快速學(xué)習(xí)圖像中的基本特征。NJUD數(shù)據(jù)集是一個(gè)深度感知的顯著性物體檢測(cè)基準(zhǔn)數(shù)據(jù)集，包含1 985張立體圖像和對(duì)應(yīng)的深度圖像及真值圖，該數(shù)據(jù)集圖像較為復(fù)雜，接近生活中的真實(shí)場(chǎng)景，對(duì)算法有較高的要求，是衡量算法是否能在實(shí)際中得到應(yīng)用的基本數(shù)據(jù)集。NLPR數(shù)據(jù)集包含了1 000對(duì)RGB圖像和深度圖像，由彭厚文等人在2014年提出的大規(guī)模的RGB-D數(shù)據(jù)集，包含了11種室內(nèi)室外場(chǎng)景和不同光照條件下的物體可用于算法評(píng)價(jià)。SSD數(shù)據(jù)集包含80對(duì)RGB圖像和深度圖像，由三維電影捕捉而來(lái)，可以標(biāo)識(shí)提出的算法對(duì)視頻顯著性特征提取的適應(yīng)性。為了方便訓(xùn)練和測(cè)試，本文選用LFSD數(shù)據(jù)集前80張，NJUD前1 500張，NLPR前700張，SSD前60張圖片作為訓(xùn)練集，剩下的作為評(píng)估本文網(wǎng)絡(luò)性能的測(cè)試集使用。

表2 數(shù)據(jù)集劃分Table 2 Data set division

2.2 評(píng)價(jià)指標(biāo)

為了全面評(píng)估本文網(wǎng)絡(luò)的性能，本文采用了三種度量方法：平均絕對(duì)誤差（MAE）、F值（F-Measure）、結(jié)構(gòu)相似性（SSIM）。

（1）平均絕對(duì)誤差

平均絕對(duì)誤差（MAE）反應(yīng)了預(yù)測(cè)值的誤差情況，采用公式（5）進(jìn)行計(jì)算：其中，W和H分別為長(zhǎng)和高，Sˉ代表顯著性檢測(cè)圖，Gˉ代表真實(shí)值，(x,y)代表像素點(diǎn)位置。

（2）F值

F值是一個(gè)綜合評(píng)價(jià)指標(biāo)，需要顯著性檢測(cè)圖的準(zhǔn)確率（Precision）與召回率（Recall）聯(lián)合計(jì)算得出，顯著性檢測(cè)圖的Precision值與Recall值，公式如下：

在這里，將顯著性檢測(cè)圖進(jìn)行二值化，得到S，同時(shí)二值化用于監(jiān)督顯著性檢測(cè)圖的真實(shí)值，都得到G，“?”代表相交運(yùn)算。

在評(píng)價(jià)指標(biāo)中，F(xiàn)-measure是精度和查全率的加權(quán)調(diào)和平均值，會(huì)設(shè)置一個(gè)參數(shù)β去控制準(zhǔn)確率和召回率的重要程度應(yīng)對(duì)不同的需要，為了保證實(shí)驗(yàn)的公平性，與顯著性目標(biāo)檢測(cè)的對(duì)比算法[7，9，11，14，17]一樣，β2取值為0.3，采用公式（7）計(jì)算：

（3）結(jié)構(gòu)相似性

結(jié)構(gòu)相似性，是一種衡量原始圖像和測(cè)試圖像之間結(jié)構(gòu)相似度的指標(biāo)，它的取值范圍為0到1，當(dāng)預(yù)測(cè)圖和真實(shí)值越接近時(shí)，它的值越接近1，采用公式（8）進(jìn)行計(jì)算：

其中，x和y分別表示顯著性檢測(cè)圖和真實(shí)值，xˉ、yˉ、σx、σy分別是x和y的均值和標(biāo)準(zhǔn)差，σxy是協(xié)方差。

2.3 結(jié)果分析與比較

本文所提算法與當(dāng)前應(yīng)用深度學(xué)習(xí)的顯著性目標(biāo)檢測(cè)算法進(jìn)行比較，包括深度監(jiān)督顯著性檢測(cè)方法DSS[11]、漸進(jìn)式互補(bǔ)感知融合顯著性檢測(cè)方法PCA[12]，還與基于手工特征判別的經(jīng)典顯著性目標(biāo)檢測(cè)算法進(jìn)行比較，包括深度誘導(dǎo)多階段顯著性檢測(cè)方法PENG[7]、深度增強(qiáng)顯著性檢測(cè)方法DES[8]、全局先驗(yàn)顯著性檢測(cè)方法GLO[9]。本文將以上5種優(yōu)秀的顯著性檢測(cè)算法復(fù)現(xiàn)，PENG實(shí)現(xiàn)的主要方式為超像素分割，DES以聚類(lèi)的方式對(duì)顯著性特征提取，GLO使用LHM，即低級(jí)特征對(duì)比度，中級(jí)區(qū)域分組，高級(jí)先驗(yàn)增強(qiáng)為依據(jù)進(jìn)行檢測(cè)；DSS網(wǎng)絡(luò)增加了自己的融合層，PCA網(wǎng)絡(luò)自定義了適應(yīng)層，二者實(shí)驗(yàn)參數(shù)與本文一致，并在本文所提測(cè)試集上進(jìn)行實(shí)驗(yàn)，對(duì)比方法實(shí)現(xiàn)方式見(jiàn)表3。

表3 實(shí)現(xiàn)方式Table 3 Implementation approaches

本文將影響到顯著性檢測(cè)效果的問(wèn)題分為兩類(lèi)：場(chǎng)景復(fù)雜類(lèi)和低對(duì)比度類(lèi)。場(chǎng)景復(fù)雜情況又包括多目標(biāo)、大目標(biāo)、光線反射等情況。通過(guò)對(duì)比發(fā)現(xiàn)，在進(jìn)行多目標(biāo)檢測(cè)的任務(wù)上，本文提出的算法可以準(zhǔn)確地檢測(cè)出多個(gè)顯著性目標(biāo)，而其他檢測(cè)算法并不能檢測(cè)出來(lái)，但檢測(cè)出的多目標(biāo)個(gè)別輪廓出現(xiàn)間斷，這是由于目標(biāo)相距太近所致；在較大的目標(biāo)的檢測(cè)任務(wù)上，當(dāng)前的顯著性檢測(cè)算法并不能將整個(gè)目標(biāo)都檢測(cè)到，會(huì)出現(xiàn)中央缺失和邊緣缺失的現(xiàn)象，而提出的SCSD方法可以全面地檢測(cè)出整個(gè)物體，不會(huì)出現(xiàn)中間空缺、檢測(cè)一半和檢測(cè)效果模糊等問(wèn)題，如圖3。

圖3 多目標(biāo)和大目標(biāo)檢測(cè)結(jié)果比較Fig.3 Comparison of multi-target and large-target detection results

對(duì)目標(biāo)特征過(guò)于單一和光線干擾的圖像檢測(cè)如圖4。在第一行中對(duì)大門(mén)的檢測(cè)，除“SCSD”方法與PCA方法外，其他方法檢測(cè)結(jié)果均不理想，檢測(cè)結(jié)果不夠清晰，檢測(cè)出主要區(qū)域，這是由于目標(biāo)特征過(guò)于單一而導(dǎo)致的背景與目標(biāo)特征混淆，因而檢測(cè)不到目標(biāo)主體區(qū)域。光線問(wèn)題一直是顯著性檢測(cè)的難點(diǎn)，在第二行對(duì)反光的警示牌的檢測(cè)中，由于光線反射導(dǎo)致圖像的顏色信息在檢測(cè)的時(shí)候會(huì)受到干擾，除SCSD方法與PCA方法外，其他方法均出現(xiàn)對(duì)目標(biāo)檢測(cè)不全現(xiàn)象，對(duì)光線反射的部分捕捉不到特征。本文的網(wǎng)絡(luò)架構(gòu)將深度和顏色信息通過(guò)跳層融合的方式解決了這個(gè)問(wèn)題，通過(guò)引入深度信息和跳層結(jié)構(gòu)，將深度信息與顏色信息融合，得到了很好的效果。

圖4 單一目標(biāo)與光線干擾的檢測(cè)結(jié)果比較Fig.4 Comparison of detection results of single target and light interference

如圖5所示，對(duì)于低對(duì)比度類(lèi)，如果不依靠深度很容易檢測(cè)失敗，從圖中可以看，所展示的帶有特征的衣服和相框，不僅需要檢測(cè)出衣服和相框，更重要的是衣服和相框上圖案會(huì)成為干擾信息，因此這個(gè)檢測(cè)任務(wù)難度較大，本文通過(guò)深度信息與顏色相互補(bǔ)充的思想，在跳層融合時(shí)通過(guò)顏色與深度信息一共提取圖像特征解決了這個(gè)問(wèn)題。

圖5 低對(duì)比度類(lèi)目標(biāo)檢測(cè)結(jié)果比較Fig.5 Comparison of low-contrast target detection results

圖6展示本文方法與對(duì)比算法在準(zhǔn)確率上的比較。可以明顯看出，本文網(wǎng)絡(luò)在測(cè)試集上的顯著性檢測(cè)準(zhǔn)確率明顯優(yōu)于其他對(duì)比算法。對(duì)于F值和平均絕對(duì)誤差值對(duì)比如表4，實(shí)驗(yàn)證明，該網(wǎng)絡(luò)的F值比DSS、GLO、PENG和PCA在測(cè)試集上分別提高了0.095 3、0.123 4、0.160 1和0.060 6；對(duì)于平均絕對(duì)誤差指標(biāo)，本文網(wǎng)絡(luò)比DSS、PCA在測(cè)試集上分別減少了0.026 7、0.058 1；在平均處理一個(gè)RGB-D圖像測(cè)試時(shí)間上不超過(guò)0.06 s，低于其他深度學(xué)習(xí)算法所用時(shí)間。

圖6 準(zhǔn)確率的比較Fig.6 Comparison of precision

表4 平均絕對(duì)誤差和F值的比較Table 4 Comparison of average absolute error and F measure

圖7是不同方法在結(jié)構(gòu)相似性指標(biāo)的比較，可以看出基于深度學(xué)習(xí)的顯著性檢測(cè)方法比傳統(tǒng)的方法結(jié)構(gòu)相似性值更高，這得益于卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征提取能力，同時(shí)本文方法取得了最高的結(jié)構(gòu)相似性值。綜合以上實(shí)驗(yàn)，本文的方法在F值、平均絕對(duì)誤差、準(zhǔn)確率和結(jié)構(gòu)相似性等指標(biāo)都有所提升。因此，本文方法無(wú)論是在主觀評(píng)價(jià)標(biāo)準(zhǔn)還是客觀評(píng)價(jià)標(biāo)準(zhǔn)上都取得了不錯(cuò)的效果，具有一定的競(jìng)爭(zhēng)力。

圖7 結(jié)構(gòu)相似性的比較Fig.7 Comparison of structural similarity

3 結(jié)束語(yǔ)

為了實(shí)現(xiàn)RGB-D圖像顯著性檢測(cè)，提出采用跳層結(jié)構(gòu)，利用深度信息與RGB信息融合的思路，構(gòu)建了卷積神經(jīng)網(wǎng)絡(luò)的方法。實(shí)驗(yàn)結(jié)果表明，本文算法減少了深度學(xué)習(xí)算法的執(zhí)行時(shí)間，提高了準(zhǔn)確率，對(duì)F值也有了很大提升。在下一步工作中，將對(duì)網(wǎng)絡(luò)架構(gòu)改進(jìn)，在深度信息中提取出更多有效信息，加強(qiáng)對(duì)深度和顏色信息的互補(bǔ)關(guān)聯(lián)性研究，另外在圖像背景方面也要加強(qiáng)處理，以期望進(jìn)一步提升性能。