融合注意力機(jī)制的弱監(jiān)督迷彩偽裝目標(biāo)檢測(cè)算法

楊 輝，權(quán)冀川，梁新宇，郭安文，王中偉

(1.陸軍工程大學(xué) 指揮控制工程學(xué)院，江蘇 南京 210007；2.中國(guó)人民解放軍 73658部隊(duì))

0 引言

軍事上采用迷彩偽裝的目的是隱蔽自己、欺騙敵人、提高戰(zhàn)場(chǎng)生存能力。相對(duì)于通用的目標(biāo)檢測(cè)任務(wù)，圖像中的迷彩偽裝目標(biāo)與背景環(huán)境融合度較大，實(shí)現(xiàn)其目標(biāo)檢測(cè)任務(wù)更加困難。

目前，對(duì)迷彩偽裝目標(biāo)檢測(cè)研究的工作較少。傳統(tǒng)的檢測(cè)方法主要把迷彩偽裝目標(biāo)看作是一種具有特殊紋理結(jié)構(gòu)的目標(biāo)，并針對(duì)這一特性設(shè)計(jì)相應(yīng)算法提取迷彩紋理，從而實(shí)現(xiàn)迷彩偽裝目標(biāo)的檢測(cè)。Bhajantri等人[1]將目標(biāo)的迷彩偽裝紋理作為一類(lèi)物體，然后對(duì)該類(lèi)物體進(jìn)行檢測(cè)。Sengottuvelan等人[2]通過(guò)圖像的結(jié)構(gòu)信息，確定圖像中是否存在迷彩偽裝目標(biāo)。Wu等人[3]根據(jù)目標(biāo)在三維凸面上的灰度差異來(lái)檢測(cè)迷彩偽裝目標(biāo)。盡管傳統(tǒng)方法可以實(shí)現(xiàn)對(duì)迷彩目標(biāo)的檢測(cè)，但該類(lèi)方法僅利用了圖像的淺層特征信息，其檢測(cè)效果相對(duì)較差。

近年來(lái)的研究工作主要是使用基于深度卷積神經(jīng)網(wǎng)絡(luò)的強(qiáng)監(jiān)督目標(biāo)檢測(cè)算法完成迷彩偽裝目標(biāo)的檢測(cè)任務(wù)。Deng等人[4]針對(duì)迷彩偽裝目標(biāo)的特性，在RetinaNet[5]算法的基礎(chǔ)上嵌入了空間注意力和通道注意力模塊。同時(shí)，基于定位置信得分構(gòu)建了新的預(yù)測(cè)框過(guò)濾算法，有效實(shí)現(xiàn)了對(duì)迷彩偽裝人員的檢 測(cè)。Wang等 人[6]以YOLO(You Only Look Once)v5算法為基礎(chǔ)，設(shè)計(jì)了一種針對(duì)迷彩偽裝目標(biāo)的檢測(cè)算法，該算法在骨干網(wǎng)絡(luò)中加入了注意力機(jī)制，同時(shí)加入非對(duì)稱(chēng)卷積模塊增強(qiáng)了目標(biāo)的語(yǔ)義信息，從而提升了迷彩偽裝目標(biāo)的檢測(cè)精度。雖然強(qiáng)監(jiān)督目標(biāo)檢測(cè)算法比傳統(tǒng)方法的檢測(cè)效果有了很大的提升，但該類(lèi)算法模型需要在大規(guī)模標(biāo)注精度高的數(shù)據(jù)集上進(jìn)行訓(xùn)練，檢測(cè)結(jié)果嚴(yán)重依賴(lài)于數(shù)據(jù)集標(biāo)注的精度。目前的數(shù)據(jù)集標(biāo)注工作主要是靠人工完成，而人工標(biāo)注在很大程度上容易受人的主觀因素影響，在軍事應(yīng)用領(lǐng)域很難獲得大規(guī)模的且標(biāo)注精度高的數(shù)據(jù)集。

在軍事領(lǐng)域，受保密等特殊條件限制，很難構(gòu)建包含迷彩偽裝目標(biāo)的大規(guī)模圖片數(shù)據(jù)集。并且，圖片中的迷彩偽裝目標(biāo)與圖片背景的融合度較大，從本質(zhì)上增加了目標(biāo)檢測(cè)的難度。同時(shí)在人工標(biāo)注時(shí)也很容易造成誤標(biāo)或漏標(biāo)，嚴(yán)重影響數(shù)據(jù)集的使用效果。若在小規(guī)模且標(biāo)注精度低的數(shù)據(jù)集上訓(xùn)練強(qiáng)監(jiān)督目標(biāo)檢測(cè)算法，則訓(xùn)練出來(lái)的模型對(duì)迷彩偽裝目標(biāo)的檢測(cè)效果會(huì)很不理想。而弱監(jiān)督目標(biāo)檢測(cè)算法可以很好地克服強(qiáng)監(jiān)督目標(biāo)檢測(cè)算法的這一局限性。弱監(jiān)督目標(biāo)檢測(cè)算法只需要帶有圖像級(jí)標(biāo)簽（不需要標(biāo)注出目標(biāo)在圖像中的具體位置，只需要標(biāo)明圖像中包含物體的類(lèi)別）的數(shù)據(jù)集就能實(shí)現(xiàn)目標(biāo)檢測(cè)，大幅降低了對(duì)數(shù)據(jù)集標(biāo)注的要求。因此，弱監(jiān)督目標(biāo)檢測(cè)算法比強(qiáng)監(jiān)督目標(biāo)檢測(cè)算法具有更強(qiáng)的適應(yīng)能力。

目前，基于類(lèi)激活圖[7](Class Active Mapping，CAM)的模型是弱監(jiān)督目標(biāo)檢測(cè)算法(Weakly Supervised Object Detection，WSOD)中最常用的模型之一。然而，基于CAM的模型最初是針對(duì)分類(lèi)任務(wù)進(jìn)行訓(xùn)練的，其設(shè)計(jì)目標(biāo)與檢測(cè)算法不一致。具體來(lái)說(shuō)，分類(lèi)任務(wù)更加關(guān)注來(lái)卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)深層的具有語(yǔ)義意義的特征。相比之下，源自CNN淺層的特征包含的語(yǔ)義信息較少，但語(yǔ)義更加豐富。在細(xì)節(jié)上，淺層特征邊緣更清晰，失真更少。但由于以下兩個(gè)缺陷，淺層和深層特征的直接融合對(duì)于WSOD是無(wú)效的：(1)由于監(jiān)督信息不足，嵌入在淺層特征中的有意義的信息容易受到背景噪聲干擾；(2)在原始區(qū)域中只有最具有辨別力的區(qū)域被激活。

為了克服上述缺陷，本文采用了一種簡(jiǎn)單但有效的淺層特征感知偽監(jiān)督目標(biāo)定位[8](Shallow featureaware Pseudo supervised Object Localization，SPOL)算法來(lái)實(shí)現(xiàn)迷彩偽裝目標(biāo)檢測(cè)任務(wù)。該算法最大限度地嵌入淺層的低級(jí)特征，生成的CAM區(qū)域更加廣泛和清晰，在公共數(shù)據(jù)集中取得了最好的結(jié)果，如表1所示。

表1 SPOL算法與其他主流算法在公共數(shù)據(jù)集上的實(shí)驗(yàn)對(duì)比 (%)

然而迷彩偽裝目標(biāo)與背景相似度大，導(dǎo)致SPOL算法在該類(lèi)目標(biāo)上的檢測(cè)精度較低。針對(duì)這一問(wèn)題，本文分別融合了卷積塊注意力模塊(Convolutional Block Attention Module，CBAM)[12]和SE(Squeeze-and-Excitation)[13]注意力模塊，使模型更加關(guān)注迷彩偽裝目標(biāo)所在的區(qū)域，以此提高模型提取特征的能力。實(shí)驗(yàn)表明，加入CBAM模塊后，算法的檢測(cè)精度提高了4.29%；加入SE模塊后，算法的檢測(cè)精度提高了8.01%；同時(shí)加入CBAM模塊和SE模塊后，該指標(biāo)提高了7.23%，從而驗(yàn)證了本文算法在弱監(jiān)督迷彩偽裝目標(biāo)檢測(cè)任務(wù)中的有效性。

1 SPOL算法結(jié)構(gòu)

SPOL算法模型主要包括兩個(gè)階段，CAM生成和與類(lèi)別無(wú)關(guān)的分割，其算法流程如圖1所示(輸入圖像首先進(jìn)入CAM生成模塊(即MFF-Net1)獲得初始的CAM。然后使用高斯分布先驗(yàn)獲得高斯增強(qiáng)的CAM。同時(shí)，將產(chǎn)生的偽標(biāo)簽作為與類(lèi)別無(wú)關(guān)的分割模塊(即MFF-Net2)的監(jiān)督)。在CAM生成階段，乘法特征融合網(wǎng)絡(luò)(Multiplicative Feature Fusion Net，MFF-Net)旨在聚合淺層和深層特征。與以往的融合方法不同，MFF-Net網(wǎng)絡(luò)中的特征以協(xié)同方式處理，即具有清晰背景的深層特征幫助抑制淺層的噪聲，而淺層具有豐富局部結(jié)構(gòu)的特征使對(duì)象邊界更清晰。在與類(lèi)別無(wú)關(guān)的分割階段，使用高斯先驗(yàn)偽標(biāo)簽(Gaussian Prior Pseudo Label，GPPL)模塊對(duì)初始的CAM進(jìn)行細(xì)化，然后將其視為類(lèi)不可知分割模塊訓(xùn)練的偽標(biāo)簽。具體來(lái)說(shuō)，充分利用初始的整個(gè)CAM作為加權(quán)系數(shù)，通過(guò)所有坐標(biāo)的均值和方差計(jì)算得到物體的權(quán)重。然后，可以生成具有均值和方差的高斯分布，稱(chēng)為高斯先驗(yàn)偽標(biāo)簽。結(jié)合GPPL和原始CAM，可以得到改善的CAM。為了進(jìn)一步細(xì)化這些區(qū)域，通過(guò)使用組合的GPPL和CAM作為偽標(biāo)簽設(shè)計(jì)了一個(gè)與類(lèi)別無(wú)關(guān)的分割模型，在訓(xùn)練階段，具有不同大小的CAM響應(yīng)區(qū)域?qū)⒎謩e被二值化為前景和背景。同時(shí)，使用兩個(gè)預(yù)定義的閾值，其他部分將被忽略以避免訓(xùn)練期間標(biāo)簽的沖突。訓(xùn)練結(jié)束后，與初始CAM相比，獲得的對(duì)象掩碼將更加完整。最后，邊界框提取器應(yīng)用于對(duì)象掩碼以獲得最終的目標(biāo)檢測(cè)結(jié)果。

圖1 SPOL算法流程

1.1 乘法特征融合

多尺度特征融合常用于強(qiáng)監(jiān)督的目標(biāo)檢測(cè)[14]、語(yǔ)義分割[15]等任務(wù)。然而，這種策略對(duì)弱監(jiān)督目標(biāo)檢測(cè)任務(wù)無(wú)效。因?yàn)閬?lái)自淺層的特征包含太多的背景噪聲。如果沒(méi)有強(qiáng)有力的監(jiān)督，淺層的特征就會(huì)被背景噪聲所掩蓋，對(duì)最終的預(yù)測(cè)幾乎沒(méi)有效果。因此，該算法采用MFF-Net網(wǎng)絡(luò)結(jié)構(gòu)(見(jiàn)圖2)濾除淺層特征的背景噪聲。首先以相同的分辨率(即H×W)對(duì)不同分支(即X、Y、Z)的特征進(jìn)行采樣，然后通過(guò)逐元素乘法組合到后續(xù)的分類(lèi)器中。

圖2 MFF-Net網(wǎng)絡(luò)結(jié)構(gòu)

與以前的方法不同，MFF-Net網(wǎng)絡(luò)結(jié)構(gòu)以協(xié)同方式處理淺層和深層特征，可以很好地利用淺層特征。為了詳細(xì)說(shuō)明這一點(diǎn)，圖3介紹了四種具有不同監(jiān)督風(fēng)格的方法。具體來(lái)說(shuō)，圖3(a)是原始分類(lèi)模型(例如VGG[16]和ResNet50[17])，其中只有最后一層被監(jiān)督。因?yàn)闇\層特征遠(yuǎn)離監(jiān)督并受到梯度消失問(wèn)題的影響，圖3(b)顯示了深度監(jiān)督模型，其中深層和淺層特征都被直接監(jiān)督以驅(qū)動(dòng)網(wǎng)絡(luò)學(xué)習(xí)更好的表示。但是由于感受野有限，淺層特征的語(yǔ)義較少并引入了更多的噪聲。因此，這種直接監(jiān)督對(duì)弱監(jiān)督目標(biāo)檢測(cè)效果的幫助不大。與這些方法相比，特征融合提供了一種間接監(jiān)督的形式，即在監(jiān)督之前組合不同層的特征。

圖3 不同監(jiān)督方式

圖3(c)和方程(3)展示常用的加法融合策略。但是，它沒(méi)有考慮多尺度特征之間的相關(guān)性。如方程(4)所示，根據(jù)鏈?zhǔn)椒▌t，在計(jì)算網(wǎng)絡(luò)權(quán)重的梯度之前，特征相加對(duì)每個(gè)分支的梯度是相同的常數(shù)，與其他分支沒(méi)有相關(guān)性。也就是說(shuō)，當(dāng)一個(gè)分支出錯(cuò)時(shí)，不會(huì)影響其他分支。在這種情況下，網(wǎng)絡(luò)無(wú)法很好地學(xué)習(xí)每個(gè)分支，即使淺層特征是錯(cuò)誤的，預(yù)測(cè)也是可以接受的。雖然它可以在測(cè)試階段提高模型的穩(wěn)定性，但在訓(xùn)練階段卻降低了模型容量并增加了算法的訓(xùn)練難度。與其他方法不同，在MFF-Net中，不同的分支通過(guò)乘法運(yùn)算進(jìn)行強(qiáng)耦合，如式(1)所示。式(2)說(shuō)明了X分支的梯度不是恒定的，而是與Y和Z分支相關(guān)的。這三個(gè)分支在訓(xùn)練過(guò)程中會(huì)相互影響。當(dāng)一個(gè)分支未能捕捉到優(yōu)越的表示時(shí)，乘法機(jī)制會(huì)放大其錯(cuò)誤，最終導(dǎo)致預(yù)測(cè)的錯(cuò)誤。也就是說(shuō)，MFF-Net為網(wǎng)絡(luò)訓(xùn)練設(shè)置了強(qiáng)約束，其中每個(gè)分支都必須很好地學(xué)習(xí)表示。此外，在這種情況下，Y和Z依賴(lài)于X。當(dāng)X得到更好的表示時(shí)，Y和Z將得到增強(qiáng)。因此，它們的融合可以產(chǎn)生更準(zhǔn)確的預(yù)測(cè)。

1.2 基于乘法的通道注意力機(jī)制

卷積神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的特征提取能力，可以同時(shí)表示前景對(duì)象和非目標(biāo)背景特征。淺層特征的某些部分是不必要的，可以視為噪聲，會(huì)嚴(yán)重干擾最終預(yù)測(cè)。因此，如圖4所示，在不同層的特征融合之前，采用通道注意力粗略地過(guò)濾掉噪聲通道。區(qū)別于一次只關(guān)注一層的傳統(tǒng)通道注意力方法，該算法設(shè)計(jì)了一個(gè)基于乘法的通道注意力(Multiplication based Channel Attention，MCA)模塊同時(shí)處理各個(gè)層。

圖4 MCA模塊

具體來(lái)說(shuō)，對(duì)于輸入的特征圖X∈RH1×W1×C1、Y∈RH2×W2×C2和Z∈RH3×W3×C3，首 先 利 用 全 局 平 均 池化層分別實(shí)現(xiàn)X1∈R1×C1、Y1∈R1×C2和Z1∈R1×C3，然后利用3個(gè)平行的1×1 Conv層將X1、Y1和Z1分別轉(zhuǎn)移到具有相同維度R1×C′的X2、Y2和Z2。最后，利用逐元素乘法融合得到潛在的特征向量V=X2·Y2·Z2，V∈R1×C′。這種潛在的特征向量表示不同層的特征的相互耦合。因此，可以將通道注意力同時(shí)應(yīng)用于多個(gè)層。在相反的方向上，潛在的特征向量通過(guò)Sigmoid激 活函數(shù)反饋到原始維度，即X3∈R1×C3、Y3∈R1×C3和Z3∈R1×C3。基于X3、Y3、Z3，MCA模 塊使用乘法運(yùn)算實(shí)現(xiàn)對(duì)每個(gè)對(duì)應(yīng)層的通道注意。

1.3 類(lèi)不可知分割引導(dǎo)的弱監(jiān)督目標(biāo)定位

由圖1可見(jiàn)，雖然MFF-Net1網(wǎng)絡(luò)結(jié)構(gòu)已經(jīng)產(chǎn)生了最初的CAM，但它只關(guān)注最具辨別力的區(qū)域，還不足以提取準(zhǔn)確的定位邊界框。為了解決這個(gè)問(wèn)題，進(jìn)一步提出了偽監(jiān)督類(lèi)不可知分割模型，它利用了另一個(gè)MFF-Net2網(wǎng)絡(luò)結(jié)構(gòu)。這個(gè)與類(lèi)別無(wú)關(guān)的分割模型，丟棄了類(lèi)別信息，只關(guān)注定位信息，即輸出僅代表前景或背景。該模型由偽標(biāo)簽生成模塊和類(lèi)別無(wú)關(guān)的分割模塊兩部分組成。

(1)分割偽標(biāo)簽生成。首先，通過(guò)高斯先驗(yàn)偽標(biāo)簽(GPPL)模塊補(bǔ)充CAM。CAM上的每個(gè)點(diǎn)(x，y)都被視為一個(gè)樣本。位置(x，y)處的響應(yīng)對(duì)應(yīng)于其權(quán)重，通過(guò)該設(shè)置，計(jì)算所有樣本的x和y之間的均值(μx，μy)、方 差和相關(guān)系數(shù)ρ。然后，利用這些參數(shù)生成二維高斯分布，如式(5)和式(6)，有助于定位物體重心并覆蓋較寬的物體區(qū)域。

然后將原始CAM與高斯增強(qiáng)的CAM集成在一起，采用元素最大值來(lái)獲得完整的預(yù)測(cè)。下一步，增強(qiáng)的CAM被進(jìn)一步轉(zhuǎn)換為具有兩個(gè)預(yù)定義閾值的3個(gè)部分，即高置信度區(qū)域?qū)?yīng)于前景，低響應(yīng)區(qū)域?qū)?yīng)于背景，沖突區(qū)域?qū)?yīng)于低置信度區(qū)域。

(2)類(lèi)不可知分割和邊界框提取。在獲得前景和背景偽分割標(biāo)簽后，對(duì)類(lèi)別無(wú)關(guān)的分割模型(即MFF-Net2)進(jìn)行訓(xùn)練。雖然只有一部分圖像具有像素級(jí)標(biāo)簽，但分割模型可以捕獲類(lèi)似的上下文并自動(dòng)覆蓋前景。模型優(yōu)化好后，可以從類(lèi)不可知分割的預(yù)測(cè)掩碼中提取邊界框。最終的預(yù)測(cè)結(jié)合了提取的邊界框和來(lái)自獨(dú)立分類(lèi)器的分類(lèi)預(yù)測(cè)。

1.4 損失方程

CAM的生成過(guò)程，除了應(yīng)用分類(lèi)損失外，還應(yīng)用了附加損失。通過(guò)最后一個(gè)特征圖和融合的分類(lèi)特征計(jì)算兩個(gè)損失，即Laux和Lcls，如圖2所示。這兩個(gè)損失都是使用交叉熵計(jì)算的。因此，聯(lián)合損失Lc=Lcls+Laux用于優(yōu)化MFF-Net1。 對(duì)于類(lèi)不可知分割，應(yīng)用二元交叉熵?fù)p失來(lái)監(jiān)督分割模型，如式(7)所示。然而，除了沖突區(qū)域外，只考慮偽前景和背景區(qū)域。具體地，對(duì)于前景和背景，wij等于1，而對(duì)于那些沖突區(qū)域，wij設(shè)置為零。最終損失沖突區(qū)域被忽略以避免誤導(dǎo)網(wǎng)絡(luò)。

其中pij和gij分別是位置(i，j)處的預(yù)測(cè)概率和真實(shí)標(biāo)簽。

2 改進(jìn)的SPOL算法

由于迷彩偽裝目標(biāo)與圖像背景融合度較大，SPOL算法的檢測(cè)精度相對(duì)較低。為了更進(jìn)一步提高模型的檢測(cè)精度，本文在MFF-Net網(wǎng)絡(luò)模型中融入了注意力模塊，使模型更加注重迷彩偽裝目標(biāo)所在的區(qū)域，以此增強(qiáng)模型提取特征的能力，得到包含偽裝目標(biāo)更全面的CAM，進(jìn)而提高模型的檢測(cè)精度。

2.1 融合CBAM模塊的SPOL算法

2.1.1 CBAM模塊

CBAM將通道注意力和空間注意力串聯(lián)起來(lái)，通過(guò)將通道注意力圖和空間注意力圖解耦以提高計(jì)算效率，并引入全局池化利用空間全局信息。模塊結(jié)構(gòu)如圖5所示。

圖5 CBAM結(jié)構(gòu)

CBAM模塊有兩個(gè)連續(xù)的子模塊，通道注意力和空間注意力。給定輸入的特征圖X∈RC×H×W，它依次推斷一維通道注意力向量sc∈RC和二維空間注意力圖ss∈RH×W。通道注意力子模塊采用兩種不同的池化操作來(lái)聚合全局信息。它有兩個(gè)并行分支，分別使用MaxPool和AvgPool操作：

式中GAPs(·)和GMPs(·)表示空間域中的全局平均池化和全局最大池化操作。空間注意力子模塊對(duì)特征的空間關(guān)系進(jìn)行建模，是對(duì)通道注意力子模塊的補(bǔ)充。與通道注意力不同，它利用具有大內(nèi)核的卷積層來(lái)生成注意力圖。

其中Conv(·)表示卷積運(yùn)算，而GAPc(·)和GMPc(·)是通道域中的全局平均池化和全局最大池化操作。[·]表示通道上的串聯(lián)。整個(gè)注意力過(guò)程可以概括為：

CBAM模塊依次結(jié)合通道注意力和空間注意力，可以利用特征的空間和跨通道關(guān)系強(qiáng)調(diào)網(wǎng)絡(luò)關(guān)注什么以及關(guān)注哪里。即強(qiáng)調(diào)有用的通道以及增強(qiáng)信息豐富的本地區(qū)域。由于其輕量級(jí)設(shè)計(jì)，CBAM模塊可以無(wú)縫集成到任何CNN架構(gòu)中，附加成本可以忽略不計(jì)。

2.1.2 融合CBAM模塊的MFF-Net網(wǎng)絡(luò)

原始的MFF-Net網(wǎng)絡(luò)模型采用ResNet50網(wǎng)絡(luò)提取特征。雖然該網(wǎng)絡(luò)具有很強(qiáng)的特征提取能力，但是相比于通用的目標(biāo)，迷彩偽裝目標(biāo)和背景融合度非常大。目標(biāo)在圖像中不易識(shí)別，從而增大了網(wǎng)絡(luò)提取目標(biāo)特征的難度。為了緩解這一問(wèn)題帶來(lái)的影響，本文在ResNet50網(wǎng)絡(luò)中加入CBAM模塊，讓網(wǎng)絡(luò)更加注意迷彩偽裝目標(biāo)所在的區(qū)域，以此增強(qiáng)網(wǎng)絡(luò)的特征提取能力，增加的具體位置如圖6所示。

圖6 融合CBAM模塊的ResNet50網(wǎng)絡(luò)結(jié)構(gòu)

2.2 融合SE模塊的SPOL算法

2.2.1 SE模塊

SENet的核心是一個(gè)SE模塊，用于收集全局信息、捕獲通道關(guān)系和提高表示能力。SE模塊分為兩部分：擠壓模塊和激勵(lì)模塊，模塊結(jié)構(gòu)如圖7所示。

圖7 SE模塊結(jié)構(gòu)

擠壓模塊通過(guò)全局平均池化操作收集全局空間信息。激勵(lì)模塊使用全連接層和非線性層(ReLU和Sigmoid)捕獲通道關(guān)系并輸出注意力向量。然后，將輸入的特征向量與注意力向量中的相應(yīng)元素相乘來(lái)縮放輸入特征的每個(gè)通道。一個(gè)以X為輸入和Y為輸出的擠壓和激勵(lì)塊Fse(帶有參數(shù)θ)可以表述為：

2.2.2 融合SE模塊的MFF-Net網(wǎng)絡(luò)

盡管在ResNet50網(wǎng)絡(luò)中融合CBAM模塊后，增強(qiáng)了網(wǎng)絡(luò)提取特征的能力，從而提升了算法的檢測(cè)效果，但僅在網(wǎng)絡(luò)的STAGE 0模塊后加入CBAM模塊，這導(dǎo)致后續(xù)的幾個(gè)模塊在進(jìn)行特征提取操作時(shí)無(wú)法著重關(guān)注迷彩偽裝目標(biāo)所在的區(qū)域。為了進(jìn)一步利用注意力機(jī)制提高模型的檢測(cè)精度，本文在MFF-Net網(wǎng)絡(luò)模型的ResNet50中融入了SE模塊，加入的具體位置如圖8所示。

圖8 融合SE模塊的ResNet50網(wǎng)絡(luò)結(jié)構(gòu)

2.3 融合CBAM模塊和SE模塊的SPOL算法

為進(jìn)一步驗(yàn)證融合注意力模塊后目標(biāo)檢測(cè)算法的有效性，以及比較不同注意力模塊對(duì)不同尺度目標(biāo)檢測(cè)效果的影響和作用，在上述研究的基礎(chǔ)上嘗試對(duì)兩種注意力模塊進(jìn)行融合，改進(jìn)形成的網(wǎng)絡(luò)結(jié)構(gòu)如圖9所示。

圖9 融合CBAM模塊和SE模塊的ResNet50網(wǎng)絡(luò)結(jié)構(gòu)

3 實(shí)驗(yàn)分析

3.1 數(shù)據(jù)集

實(shí)驗(yàn)采用的目標(biāo)圖像來(lái)源于課題組自建數(shù)據(jù)集CSS[18]，該數(shù)據(jù)集包含雨林、叢林、雪地和山地4種野外環(huán)境下多類(lèi)型的迷彩偽裝目標(biāo)。從實(shí)際戰(zhàn)場(chǎng)偵察角度看，CSS數(shù)據(jù)集涵蓋了不同場(chǎng)景、不同天候、不同迷彩類(lèi)型的多尺度偽裝目標(biāo)，可以滿(mǎn)足多種迷彩偽裝目標(biāo)檢測(cè)識(shí)別的實(shí)驗(yàn)需求。為了滿(mǎn)足弱監(jiān)督迷彩偽裝目標(biāo)檢測(cè)算法訓(xùn)練和測(cè)試的要求，本文在CSS數(shù)據(jù)集的基礎(chǔ)上進(jìn)行了篩選與重新標(biāo)注，構(gòu)建了一個(gè)適合弱監(jiān)督目標(biāo)檢測(cè)算法的數(shù)據(jù)集。該數(shù)據(jù)集的訓(xùn)練集由6 100張迷彩偽裝目標(biāo)圖像組成，其中包括1 000張大目標(biāo)圖像、2 100張中目標(biāo)圖像以及3 000張小目標(biāo)圖像。為了更好地驗(yàn)證本文設(shè)計(jì)的算法的有效性，構(gòu)建了兩個(gè)測(cè)試集用于算法的驗(yàn)證：第一個(gè)測(cè)試集由350張迷彩偽裝目標(biāo)圖像組成，只包含大目標(biāo)和中目標(biāo)的圖像；第二個(gè)測(cè)試集包括大目標(biāo)、中目標(biāo)、小目標(biāo)三個(gè)子集，三個(gè)子集都由100張迷彩偽裝目標(biāo)圖像組成。其中，將目標(biāo)所占像素點(diǎn)與全圖像素點(diǎn)數(shù)量的百分比作為定義目標(biāo)尺度的依據(jù)。小目標(biāo)所占像素點(diǎn)與全圖像素點(diǎn)數(shù)量的比值小于或等于1%；中目標(biāo)所占像素點(diǎn)與全圖像素點(diǎn)數(shù)量的比值在1%到3%之間；大目標(biāo)所占像素點(diǎn)與全圖像素點(diǎn)數(shù)量的比值大于3%，圖10展示了不同尺度目標(biāo)的圖像樣本。

圖10 多尺度目標(biāo)圖像樣本

3.2 實(shí)驗(yàn)環(huán)境

搭建實(shí)驗(yàn)環(huán)境，使用的服務(wù)器操作系統(tǒng)為Ubuntu18.04，使用的應(yīng)用軟件環(huán)境及工具包包含CUDA、Python3.8等，使用PyTorch深度學(xué)習(xí)框架進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)所用的硬件設(shè)備配置如表2所示，訓(xùn)練算法模型時(shí)的重要參數(shù)設(shè)置如表3所示。

表2 實(shí)驗(yàn)硬件環(huán)境配置

表3 訓(xùn)練參數(shù)列表

3.3 評(píng)價(jià)指標(biāo)

常用的弱監(jiān)督目標(biāo)檢測(cè)評(píng)價(jià)指標(biāo)有以下三種：

(1)Top-1定位精度(Top-1 Loc)：預(yù)測(cè)的物體類(lèi)別必須和物體的真實(shí)類(lèi)別相同，且預(yù)測(cè)邊界框與真實(shí)框的交并比的(Intersection-over-Union，IoU)數(shù)值超過(guò)50%，即預(yù)測(cè)邊界框與真實(shí)框的重合率超過(guò)50%的比例。

(2)Top-5定位精度(Top-5 Loc)：對(duì)于預(yù)測(cè)的物體類(lèi)別，取可能性最高的5類(lèi)，只要這5類(lèi)中包含物體的真實(shí)類(lèi)別，就算分類(lèi)正確。同時(shí)，預(yù)測(cè)的邊界框與真實(shí)框的IoU數(shù)值超過(guò)50%的比例。

(3)GT-known定位精度(GT-known Loc)：預(yù)測(cè)邊界框與真實(shí)框的IoU數(shù)值超過(guò)50%的比例。

本文是在迷彩偽裝目標(biāo)數(shù)據(jù)集上進(jìn)行的對(duì)比實(shí)驗(yàn)，該數(shù)據(jù)集只有單類(lèi)物體，故采用Top-1 Loc和GT-known Loc作為目標(biāo)檢測(cè)結(jié)果的評(píng)價(jià)標(biāo)準(zhǔn)。

3.4 改進(jìn)算法的實(shí)驗(yàn)結(jié)果

表4比較了改進(jìn)算法與原始算法在弱監(jiān)督迷彩偽裝目標(biāo)圖像數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，采用的是大、中尺度目標(biāo)混合的驗(yàn)證集。其中，CBAM-SPOL表示融合CBAM模塊的檢測(cè)算法，SE-SPOL表示融合SE模塊的檢測(cè)算法，CBAM-SE-SPOL表示同時(shí)融合了CBAM模塊和SE模塊的檢測(cè)算法。

表4 不同算法的實(shí)驗(yàn)結(jié)果對(duì)比 (%)

由表4可見(jiàn)，融合注意力模塊后，算法的檢測(cè)精度比原始算法的檢測(cè)精度有比較明顯的提升。其中，加入CBAM模塊后，Top-1 Loc評(píng)價(jià)指標(biāo)提高了4.29%；加入SE模塊后，該指標(biāo)提高了8.01%。然而，同時(shí)加入CBAM模塊和SE模塊后，該指標(biāo)提高了7.23%，僅比只加入CBAM模塊提高2.94%，而比只加入SE模塊時(shí)降低0.78%。主要原因是，同時(shí)融合CBAM模塊和SE模塊后，在模型訓(xùn)練過(guò)程中，當(dāng)輸入圖像通過(guò)CBAM模塊時(shí)，模型會(huì)選擇性地丟棄一些不重要的信息，導(dǎo)致后續(xù)的SE模塊局限于關(guān)注CBAM模塊保留的特征信息，從而在一定程度上降低了模型提取特征的能力。但總體來(lái)說(shuō)，加入注意力模塊后的MFF-Net網(wǎng)絡(luò)比原始的MFF-Net網(wǎng)絡(luò)能夠提取到更多的有效特征，可增強(qiáng)算法對(duì)隱蔽性高的迷彩偽裝目標(biāo)的檢測(cè)能力。

為了驗(yàn)證注意力模塊對(duì)各種尺度迷彩偽裝目標(biāo)檢測(cè)效果的影響，分別采用含有的大目標(biāo)、中目標(biāo)、小目標(biāo)圖像的子驗(yàn)證集對(duì)上述四種算法進(jìn)行再次驗(yàn)證，并使用Top-1 Loc作為實(shí)驗(yàn)結(jié)果的評(píng)價(jià)指標(biāo)，實(shí)驗(yàn)結(jié)果如表5所示。

表5 不同算法對(duì)多尺度目標(biāo)的檢測(cè)結(jié)果對(duì)比 (%)

從表5中看出，對(duì)于三種不同尺度的迷彩偽裝目標(biāo)圖像，融合注意力模塊后的算法比原始SPOL算法的檢測(cè)效果都有明顯提升。綜合比較得出，SE-SPOL算法對(duì)大目標(biāo)圖像的檢測(cè)效果最好，Top-1 Loc評(píng)價(jià)指標(biāo)提高了18.18%；CBAM-SE-SPOL算法對(duì)中目標(biāo)圖像的檢測(cè)效果有顯著的提升，評(píng)價(jià)指標(biāo)比原始SPOL算法提高了23.21%；同時(shí)，CBAM-SESPOL算法對(duì)小目標(biāo)圖像檢測(cè)效果的提升也很明顯，評(píng)價(jià)指標(biāo)提高了6.90%。產(chǎn)生上述對(duì)比效果的主要原因是：(1)大目標(biāo)在圖像中所占的像素點(diǎn)數(shù)量多，SE通道注意力本身對(duì)大目標(biāo)的特征提取能力很強(qiáng)，而CBAM模塊和SE模塊的融合，反而會(huì)使模型丟失一些迷彩偽裝目標(biāo)的特征信息，所以當(dāng)數(shù)據(jù)集主要包含大目標(biāo)圖像時(shí)，更適合用SE-SPOL算法進(jìn)行檢測(cè)。(2)中目標(biāo)和小目標(biāo)在圖像中所占的像素點(diǎn)數(shù)量相對(duì)較少，先通過(guò)CBAM模塊使模型關(guān)注這兩類(lèi)目標(biāo)在圖像中的大致區(qū)域，然后利用SE模塊進(jìn)一步加強(qiáng)模型對(duì)這些區(qū)域的特征提取能力，會(huì)顯著改善檢測(cè)效果；所以當(dāng)數(shù)據(jù)集主要包含中目標(biāo)或小目標(biāo)時(shí)，更適合用CBAM-SE-SPOL算法進(jìn)行檢測(cè)。(3)小目標(biāo)在圖像中所占像素點(diǎn)數(shù)量太少，同時(shí)迷彩偽裝目標(biāo)與圖像背景相似度較高，采用的圖像級(jí)標(biāo)簽不含目標(biāo)的位置信息，三點(diǎn)原因綜合起來(lái)會(huì)導(dǎo)致模型訓(xùn)練時(shí)很難學(xué)習(xí)到小目標(biāo)的特征。因此，雖然改進(jìn)算法也能明顯改善對(duì)小目標(biāo)的檢測(cè)效果，但檢測(cè)精度還有很大的提升空間。

3.5 目標(biāo)檢測(cè)效果分析

圖11展示了原始算法與加入不同注意力模塊的改進(jìn)算法生成的像素級(jí)偽標(biāo)簽的比較結(jié)果。從圖中可以看出，加入注意力模塊后，改進(jìn)算法生成的偽標(biāo)簽圖像比SPOL算法更加清晰，覆蓋的目標(biāo)像素點(diǎn)更多。可見(jiàn)，改進(jìn)算法中的MFF-Net2網(wǎng)絡(luò)可以學(xué)習(xí)到更全面的目標(biāo)信息，進(jìn)而提升了模型的檢測(cè)精度。

圖11 偽標(biāo)簽比較

圖12對(duì)比了改進(jìn)算法和原始算法的檢測(cè)效果。從第1行到第3行分別為大目標(biāo)圖像、中目標(biāo)圖像以及小目標(biāo)圖像。圖中，綠色方框表示目標(biāo)的真實(shí)框，紅色方框表示算法的預(yù)測(cè)邊界框，紅色數(shù)值為目標(biāo)檢測(cè)的IoU比值。對(duì)比可見(jiàn)，本文提出的改進(jìn)算法模型對(duì)目標(biāo)的預(yù)測(cè)邊界框更加準(zhǔn)確，預(yù)測(cè)邊界框與真實(shí)框的IoU比值更大，說(shuō)明預(yù)測(cè)結(jié)果與真實(shí)情況更加接近。其中，SE-SPOL算法對(duì)大目標(biāo)的檢測(cè)效果最好，IoU比值最高；CBAM-SE-SPOL算法對(duì)中、小目標(biāo)的檢測(cè)效果最好。

圖12 檢測(cè)效果比較

4 結(jié)論

本文以弱監(jiān)督目標(biāo)定位任務(wù)中的SPOL算法為基礎(chǔ)，針對(duì)迷彩偽裝目標(biāo)圖像這一類(lèi)特殊場(chǎng)景，在算法中加入注意力模塊，加強(qiáng)模型對(duì)迷彩偽裝目標(biāo)的特征提取能力。不同算法間的實(shí)驗(yàn)結(jié)果對(duì)比表明：本文的算法比原始算法在檢測(cè)精度上得了到較大的提升。下一步的研究工作是針對(duì)實(shí)際場(chǎng)景中大量存在的模糊圖像，研究采用去模糊算法對(duì)圖像進(jìn)行增強(qiáng)，以進(jìn)一步提高模型的檢測(cè)精度。