特征增強(qiáng)的小目標(biāo)檢測(cè)算法

楊建秀，劉桂枝

（山西大同大學(xué)物理與電子科學(xué)學(xué)院，山西大同 037009）

目標(biāo)檢測(cè)是圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域的基礎(chǔ)性算法，對(duì)后續(xù)的實(shí)例分割、人臉識(shí)別、姿態(tài)估計(jì)等任務(wù)起著關(guān)鍵的作用。但在實(shí)際的應(yīng)用場(chǎng)景中，由于受成像條件及成像距離等限制，所成影像大多數(shù)面臨目標(biāo)區(qū)域小、背景干擾強(qiáng)的缺陷，給這些弱小目標(biāo)的檢測(cè)增加了難度。針對(duì)弱小目標(biāo)的檢測(cè)，傳統(tǒng)的算法首先利用滑動(dòng)窗口的策略對(duì)整幅圖像遍歷對(duì)小目標(biāo)進(jìn)行人工設(shè)計(jì)的特征提取[1]；然后根據(jù)提取到的特征對(duì)小目標(biāo)進(jìn)行分類[2-3]；深度學(xué)習(xí)的算法利用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)對(duì)小目標(biāo)進(jìn)行特征提取實(shí)現(xiàn)端到端的分類回歸任務(wù)并獲得較好的效果。

基于深度卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法，如經(jīng)典的兩階段方法Faster-rcnn[4]和R-FCN[5]，單階段方法YOLO[6]和SSD[7]等，主要是針對(duì)通用的目標(biāo)數(shù)據(jù)集設(shè)計(jì)的解決方案，對(duì)圖像中的小目標(biāo)的檢測(cè)效果不是很理想。目前基于CNN 的小目標(biāo)檢測(cè)算法如建立圖像金字塔，即利用不同尺度的圖像生成對(duì)應(yīng)不同尺度的特征，這種方法增加時(shí)間成本。為了同時(shí)提高小目標(biāo)的檢測(cè)精度和速度，最近一些算法如FPN[8],DSSD[9]和FAN[10]，利用自頂向下結(jié)構(gòu)為小目標(biāo)提供上下文信息，來(lái)提升淺層中小目標(biāo)的語(yǔ)義表達(dá)能力。但是較小的目標(biāo)很容易在更深的卷積層中丟失，所以語(yǔ)義信息也會(huì)隨之丟失。這樣僅僅依靠上下文信息增強(qiáng)小目標(biāo)特征是不夠的，本文提出一種特征增強(qiáng)的小目標(biāo)檢測(cè)算法。該算法將含有準(zhǔn)確空間位置信息的淺層特征和含有抽象語(yǔ)義信息的深層特征進(jìn)行融合來(lái)提高小目標(biāo)特征表達(dá)能力，這樣為預(yù)測(cè)層中的小目標(biāo)既提供了空間位置信息，又增強(qiáng)了語(yǔ)義信息，為解決弱小目標(biāo)的識(shí)別檢測(cè)問(wèn)題提供一條新思路。

1 特征增強(qiáng)的小目標(biāo)檢測(cè)算法

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

小目標(biāo)檢測(cè)算法是在單階段精細(xì)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)RefineDet[11]上實(shí)現(xiàn)的，整體結(jié)構(gòu)共分為三部分，默認(rèn)框細(xì)化模塊(Anchor Refined Module,ARM)，特征增強(qiáng)模塊(Feature Enhancement Module,FEM)，以及目標(biāo)檢測(cè)模塊(Object Detection Module,ODM)，整體的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)如圖1 所示。其中，ARM 模塊主要實(shí)現(xiàn)二分類任務(wù)，并對(duì)前景小目標(biāo)的位置實(shí)現(xiàn)初步預(yù)測(cè)定位，為后面的多類目標(biāo)檢測(cè)模塊ODM 提供較好的候選框回歸初始值。多類目標(biāo)檢測(cè)模塊ODM 把默認(rèn)框細(xì)化模塊ARM 優(yōu)化后的候選框作為輸入，專注多分類任務(wù)和進(jìn)一步的邊框校正。本文利用FEM 模塊將ARM 模塊和ODM 模塊連接起來(lái)實(shí)現(xiàn)了小目標(biāo)的精確定位。

首先利用VGG16 作為卷積特征提取的主干，相比于RefineDet,只保留了Conv1_1到Conv_fc7的卷積層，移除了Conv_fc7 之后較深的卷積特征層，因?yàn)檩^深的卷積層有較大的感受野，不利于小目標(biāo)的精確定位。然后根據(jù)斯坦福無(wú)人機(jī)數(shù)據(jù)集中小目標(biāo)尺寸分布選擇Conv4_3 和Conv5_3 兩個(gè)不同的淺層特征層用于小目標(biāo)物體的檢測(cè)。最后，將ODM 模塊中的P4和P5作為最后的預(yù)測(cè)層。

圖1 配合物的分子結(jié)構(gòu)圖

1.2 特征增強(qiáng)模塊

FEM(Feature Enhancement Module)模塊結(jié)合相鄰三層特征構(gòu)成一個(gè)多尺度特征金字塔，為小目標(biāo)既提供了淺層的空間位置信息，又保證了深層上下文信息的供給，從而增強(qiáng)了小目標(biāo)的語(yǔ)義信息。FEM模塊與單階段精細(xì)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)RefineDet 中自頂向下的傳輸連接模塊(Transfer Connection Block,TCB)不同。傳輸連接模塊TCB 僅僅給小目標(biāo)提供了上下文信息，而更深卷積層的上下文信息會(huì)伴隨大量的背景干擾，造成小目標(biāo)的檢測(cè)性能下降。本文提出的FEM 模塊為小目標(biāo)提供合適的上下文信息，不會(huì)引入太多的背景干擾，因?yàn)镕EM 僅利用一層或兩層包含上下文的深層語(yǔ)義信息；同時(shí)，F(xiàn)EM 模塊還融合了具有準(zhǔn)確空間位置信息的淺層特征。因此FEM 模塊為小目標(biāo)提供了增強(qiáng)的特征表示，提高小目標(biāo)的判別能力，其結(jié)構(gòu)圖如圖2所示。

為確保當(dāng)前特征層能夠與相鄰淺層特征和深層特征三層特征進(jìn)行點(diǎn)對(duì)點(diǎn)相加(Eltw sum)，采用下采樣操作將淺層特征Fn-1的尺度縮小到與當(dāng)前特征層Fn的尺度相同，同時(shí)深層特征Fn+1利用反卷積操作將其尺度擴(kuò)大到與Fn相同。Fn+1和Fn-1分別經(jīng)過(guò)一個(gè)2×2 的反卷積操作和3×3 的池化操作進(jìn)行特征學(xué)習(xí)得到，其最后通道維數(shù)都是256；同時(shí)將當(dāng)前層特征圖Fn經(jīng)過(guò)一個(gè)3×3 的卷積操作以及激活函數(shù)得到通道維數(shù)為256的特征；然后利用點(diǎn)對(duì)點(diǎn)相加操作將完成相鄰三層特征的結(jié)合，最后再經(jīng)過(guò)一個(gè)3×3的卷積層進(jìn)一步整合特征得到預(yù)測(cè)層，使其預(yù)測(cè)層的特征既有淺層的空間位置信息又包含深層語(yǔ)義特征，提高小目標(biāo)的判別表示，如圖2所示。

圖2 特征增強(qiáng)模塊(FEM)

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)環(huán)境

利用斯坦福無(wú)人機(jī)數(shù)據(jù)集作為小目標(biāo)檢測(cè)的實(shí)驗(yàn)數(shù)據(jù)，訓(xùn)練樣本和測(cè)試樣本分別為3,500 張和831張圖像。其中三類目標(biāo)小汽車、公交車和高爾夫球車作為人工標(biāo)注圖像的訓(xùn)練數(shù)據(jù)集。本文采用平均檢測(cè)準(zhǔn)確率（Average Precision,AP）和平均準(zhǔn)確率均值（mean Average Precision,mAP）作為小目標(biāo)檢測(cè)性能的評(píng)判準(zhǔn)則。

把圖像分類網(wǎng)絡(luò)VGG ISSVRC[12]訓(xùn)練的權(quán)重用于網(wǎng)絡(luò)的初始值，輸入圖像大小為320×320，訓(xùn)練圖像中每批次的數(shù)量為16。其中訓(xùn)練所用初始學(xué)習(xí)率為0.001，訓(xùn)練次數(shù)共為120 k次，在80 k次和100 k次時(shí)學(xué)習(xí)率降為0.0001和0.00001。實(shí)驗(yàn)的硬件環(huán)境為NVIDIA GTX-1080 GPU，軟件環(huán)境為Ubuntu16.04 操作系統(tǒng)下的Caffe 深度學(xué)習(xí)框架[13]，其中所用CUDA版本為8.0，cuDNN版本為6.0。

2.2 實(shí)驗(yàn)結(jié)果分析

移除了RefineDet 中Conv_fc7 之后的卷積層，利用自頂向下的結(jié)構(gòu)為小目標(biāo)提供合適的上下文信息，避免太大的感受野引入較多的背景干擾；同時(shí)，為了進(jìn)一步增強(qiáng)小目標(biāo)的特征，將淺層的空間位置信息融合到預(yù)測(cè)層中。通過(guò)設(shè)計(jì)特征增強(qiáng)模塊FEM，使得提出的小目標(biāo)測(cè)算法能夠達(dá)到89.1%的準(zhǔn)確率。如表1所示，相比于深度學(xué)習(xí)算法中的單階段實(shí)時(shí)檢測(cè)算法和兩階段高性能算法，本文所提出的方法可以達(dá)到較好的檢測(cè)性能[14-15]。從圖3 可知，特征增強(qiáng)的小目標(biāo)檢測(cè)算法對(duì)小目標(biāo)在存在遮擋等復(fù)雜環(huán)境下具有良好的檢測(cè)性能。

3 結(jié)論

針對(duì)小目標(biāo)判別性不足的問(wèn)題，在淺層獲取準(zhǔn)確的空間位置信息和足夠的語(yǔ)義信息是增強(qiáng)小目標(biāo)判別性的關(guān)鍵，因此本文提出一種特征增強(qiáng)的小目標(biāo)檢測(cè)算法。將含有準(zhǔn)確空間位置信息的淺層特征和含有抽象語(yǔ)義信息的深層特征進(jìn)行融合來(lái)提高小目標(biāo)特征表達(dá)能力，這樣為淺層中的小目標(biāo)既提供了空間位置信息，又增強(qiáng)了語(yǔ)義信息，因此這種算法可以較好解決處于遮擋、陰影干擾等復(fù)雜環(huán)境下小目標(biāo)定位問(wèn)題，為中高級(jí)計(jì)算機(jī)視覺(jué)問(wèn)題提供良好的預(yù)處理手段。

表1 斯坦福無(wú)人機(jī)數(shù)據(jù)集在不同目標(biāo)檢測(cè)算法中準(zhǔn)確率的實(shí)驗(yàn)結(jié)果對(duì)比

圖3 小目標(biāo)在復(fù)雜場(chǎng)景下識(shí)別定位的實(shí)驗(yàn)結(jié)果圖