基于PDSSD改進(jìn)型神經(jīng)網(wǎng)絡(luò)的小目標(biāo)檢測(cè)算法

王 鵬 陸振宇 詹天明 戴玉亮 蘆 佳

1(南京信息工程大學(xué)電子與信息工程學(xué)院 江蘇 南京 210044) 2(南京審計(jì)大學(xué)信息工程學(xué)院 江蘇 南京 211815)

0 引 言

隨著科技的發(fā)展和進(jìn)步，人們?nèi)粘Ｉ钪薪佑|的設(shè)備越來(lái)越智能化，圖像識(shí)別作為智能設(shè)備的一個(gè)重要因素也獲得了長(zhǎng)足的發(fā)展和進(jìn)步。根據(jù)不同對(duì)象自動(dòng)采取相對(duì)應(yīng)的解決方案是一個(gè)智能設(shè)備必不可少的能力，而擁有一個(gè)高精準(zhǔn)率的圖像識(shí)別算法對(duì)于智能化設(shè)備來(lái)說(shuō)在定位對(duì)象方面如虎添翼。圖像識(shí)別是計(jì)算機(jī)對(duì)一幅圖像進(jìn)行分析和計(jì)算之后，識(shí)別出所需要的目標(biāo)和對(duì)象的技術(shù)，在算法上可以分為目標(biāo)檢測(cè)，目標(biāo)分類(lèi)和通過(guò)數(shù)據(jù)庫(kù)匹配輸出目標(biāo)身份三個(gè)部分。目標(biāo)檢測(cè)作為圖像識(shí)別的首要部分有著舉足輕重的地位，必須將目標(biāo)成功檢測(cè)才能進(jìn)行識(shí)別，目標(biāo)檢測(cè)的精度對(duì)最終目標(biāo)識(shí)別的精度有很大的影響，因此目標(biāo)檢測(cè)也一直是計(jì)算機(jī)視覺(jué)領(lǐng)域的熱門(mén)話(huà)題之一。

1994年以來(lái)，目標(biāo)檢測(cè)算法的研究從未間斷。時(shí)至今日目標(biāo)檢測(cè)領(lǐng)域已經(jīng)誕生了很多算法，如Haar特征加上Adaboost特征檢測(cè)[1-3]，通過(guò)基于級(jí)聯(lián)分類(lèi)模型的分類(lèi)器和矩形特征來(lái)實(shí)現(xiàn)目標(biāo)檢測(cè)，由于Haar特征僅僅使用了很弱的特征，用Haar特征做分類(lèi)的檢測(cè)器也是弱分類(lèi)器，且Haar特征的精度靠的是多個(gè)弱分類(lèi)器來(lái)實(shí)行一票否決式推舉來(lái)提高命中率，因此Haar特征分類(lèi)的性能有限，分類(lèi)器的個(gè)數(shù)只能通過(guò)不斷嘗試才能確定。除此之外，還有Hog特征和Svm算法[4-6]。Hog檢測(cè)器沿用了最原始的多尺度金字塔加上滑窗的思路進(jìn)行檢測(cè)，并在圖像提取中引入了區(qū)塊(Block)的概念，將相鄰的細(xì)胞單元?dú)w并為一個(gè)Block，并在Block內(nèi)對(duì)細(xì)胞單元特征進(jìn)行局部歸一化，這樣可以進(jìn)一步增強(qiáng)其光照不變性以及非線(xiàn)性表達(dá)能力。雖然Hog特征能較好地捕捉局部形狀信息，對(duì)幾何和光學(xué)變化都有很好的不變性，但對(duì)被遮擋的目標(biāo)以及動(dòng)作幅度過(guò)大的目標(biāo)檢測(cè)都不是很理想。這些傳統(tǒng)的算法都可以實(shí)現(xiàn)目標(biāo)檢測(cè)，但是效果不是很理想，不能滿(mǎn)足要求極高的目標(biāo)檢測(cè)任務(wù)。隨著硬件條件的提升，目前深度學(xué)習(xí)在目標(biāo)檢測(cè)領(lǐng)域有了突破性的發(fā)展，并且深度學(xué)習(xí)算法效果已經(jīng)全面超越了傳統(tǒng)算法，因此深度學(xué)習(xí)算法更適合用于目標(biāo)檢測(cè)。

近年來(lái)，隨著目標(biāo)檢測(cè)在各個(gè)領(lǐng)域的廣泛運(yùn)用，在深度學(xué)習(xí)方面誕生了很多基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的新算法。在這些算法中最引人注目的有兩個(gè)分支，一是雙階段檢測(cè)Region-based-CNN(R-CNN)[7]。R-CNN是深度學(xué)習(xí)在目標(biāo)檢測(cè)領(lǐng)域真正意義上的第一個(gè)算法，其思路與傳統(tǒng)目標(biāo)檢測(cè)類(lèi)似，先尋找目標(biāo)可能出現(xiàn)的候選區(qū)域，再使用CNN預(yù)測(cè)相對(duì)應(yīng)的類(lèi)別,最后對(duì)這些候選區(qū)域使用邊界框回歸模型進(jìn)行修正。隨著研究的不斷深入，在R-CNN的基礎(chǔ)上出現(xiàn)了Mask R-CNN[8]、Fast R-CNN[9]、Faster R-CNN[10]等一系列算法。另一個(gè)分支是單階段預(yù)測(cè)，直接預(yù)測(cè)每一個(gè)默認(rèn)框的置信度和偏移量算法，包括Single Shot Multibox Detector(SSD)[11]、Deconvolutional SSD(DSSD)[12]、You Only Look Once(YOLOv1)[13]、YOLOv2[14]、YOLOv3[15]等。YOLOv2和YOLOv3是YOLOv1的改良版，在精度和速度上都有了很大的提升。SSD相對(duì)于YOLO速度更快但精確度低一點(diǎn)，DSSD是SSD作者對(duì)SSD的升級(jí)，將基礎(chǔ)網(wǎng)絡(luò)VGG16[16]改為了Resnet101[17]，并在原特征層后添加了反卷積網(wǎng)絡(luò)。DSSD與SSD相比雖然提高了精度，但是訓(xùn)練速度有大幅度的下降。SSD是2016年提出的網(wǎng)絡(luò)結(jié)構(gòu)，在當(dāng)時(shí)擁有遠(yuǎn)超其他算法的速度以及拔群的識(shí)別效果，雖然與最近提出的一些算法相比，識(shí)別效果已經(jīng)略微落后，但是不可否認(rèn)的是SSD擁有很高的可以被改進(jìn)的潛力。最近提出的一些機(jī)制能夠有效地對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，例如空洞卷積、注意力機(jī)制和殘差網(wǎng)絡(luò)等。將SSD網(wǎng)絡(luò)運(yùn)用于目標(biāo)檢測(cè)最主要的缺點(diǎn)在于圖像中小目標(biāo)的檢測(cè)。針對(duì)SSD在目標(biāo)檢測(cè)方面的缺點(diǎn)，選擇融合最近提出的一些算法來(lái)對(duì)SSD進(jìn)行改進(jìn)。

空洞卷積[18-22]可以降低圖像尺寸提高感受野，并且在很多研究者的實(shí)驗(yàn)中證明了加入空洞卷積的神經(jīng)網(wǎng)絡(luò)在池化、提取特征以及感受野方面有一定的提升。除此之外還有殘差網(wǎng)絡(luò)[23-24]，可以提高網(wǎng)絡(luò)提取特征的能力，大量的實(shí)驗(yàn)證明了殘差具有提高神經(jīng)網(wǎng)絡(luò)提取特征的能力，但同時(shí)會(huì)損耗大量的時(shí)間。基于以上的幾種方法，選擇將空洞卷積對(duì)SSD進(jìn)行強(qiáng)化，將空洞卷積組成空洞金字塔模塊(PDC模塊)結(jié)合到SSD的低層網(wǎng)絡(luò)特征層中，可以提高底層網(wǎng)絡(luò)的語(yǔ)義信息和感受野，將空洞卷積組成特征空洞金字塔模塊(FPDC模塊)結(jié)合到SSD的網(wǎng)絡(luò)特征層可以提高網(wǎng)絡(luò)提取目標(biāo)特征的能力。在PASCAL-VOC數(shù)據(jù)集上的測(cè)試結(jié)果表明，本文所提PDSSD方法比目前主流的算法具有更高的識(shí)別精度和訓(xùn)練速度。

1 SSD簡(jiǎn)介

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

SSD使用簡(jiǎn)化的VGG16作為基礎(chǔ)網(wǎng)絡(luò)，與傳統(tǒng)VGG16相比，SSD利用Astrous算法將VGG16中的兩個(gè)全連接層fc6和fc7層轉(zhuǎn)化成了conv6和conv7兩個(gè)卷積層。并利用conv7層與3×3和1×1大小的卷積核的不斷卷積形成特征金字塔結(jié)構(gòu)。然后從特征金字塔中選出conv7、conv8_2、conv9_2、conv10_2、conv11_2層，以及VGG16中的conv4_3層作為特征層。

1.2 Prior Box

(1)

式中：m是特征層的數(shù)量。由于數(shù)據(jù)集圖片樣本的多樣性，本文采用了SSD作者在DSSD中改進(jìn)的方法，添加了一組縱橫比，原SSD網(wǎng)絡(luò)使用的縱橫比為(1.0，2.0，3.0，1/2，1/3)，現(xiàn)在變?yōu)?1，1.6，2.0，3.0)。

1.3 loss函數(shù)

SSD的loss函數(shù)包含預(yù)測(cè)類(lèi)別損失和預(yù)測(cè)位置偏移量損失兩部分，其中總損失函數(shù)公式如下：

(2)

式中：N表示被挑選出來(lái)的包含正樣本和負(fù)樣本在內(nèi)的默認(rèn)框的總數(shù)；x表示輸入的圖像；c為每一類(lèi)的置信度；l表示預(yù)測(cè)的框；g表示標(biāo)簽的框；Lloc(·)表示位置偏移量損失，即默認(rèn)框與標(biāo)簽所標(biāo)記的框之間的位置偏移和網(wǎng)絡(luò)所預(yù)測(cè)出來(lái)的位置偏移量之間的損失；Lconf(·)是預(yù)測(cè)類(lèi)別損失即多類(lèi)別Softmax loss；α表示位置偏移量損失的比率，初始值設(shè)為1。Lloc(·)定義為：

(3)

(4)

(5)

(6)

(7)

(8)

(9)

(10)

2 PDSSD模型

本文使用的PDSSD網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，在VGG16中的conv4_3特征層和conv7特征層后加入了特征空洞金字塔模塊(FPDC模塊)，并將SSD中conv8_2層通過(guò)空洞金字塔模塊(PDC模塊)產(chǎn)生的PD8_2層代替原來(lái)的conv8_2層。PD8_2層通過(guò)不斷卷積產(chǎn)生的PD9_2、PD10_2、PD11_2層也取代原conv8_2、conv9_2、conv10_2、conv11_2層作為新特征層。

圖1 PDSSD模型

2.1 空洞金字塔模塊及其結(jié)構(gòu)優(yōu)化

SSD網(wǎng)絡(luò)在檢測(cè)小目標(biāo)的方面一直表現(xiàn)不佳，原因如RRC[25]和RON[26]所述。SSD在檢測(cè)目標(biāo)時(shí)，使用淺層的特征層來(lái)檢測(cè)小目標(biāo)，用深層的特征層來(lái)檢測(cè)大目標(biāo)，然而淺層所能提取的特征信息遠(yuǎn)遠(yuǎn)低于深層的特征層，因此SSD對(duì)小目標(biāo)的檢測(cè)性能會(huì)不太理想。基于此，認(rèn)為提升淺層部分的感受野和信息能夠有效地提升SSD網(wǎng)絡(luò)對(duì)小目標(biāo)的檢測(cè)。不僅如此，提升淺層部分的感受野對(duì)于深層部分的檢測(cè)精度也有一定的提升。最近提出的空洞卷積是解決這個(gè)問(wèn)題的很好的選擇，空洞卷積能夠在卷積核大小不變的前提下進(jìn)行擴(kuò)張，提高卷積核的感受野，并且能保證輸出的特征層的大小不變。

ASSP[27]和Pyramid Dilated Deeper ConvLSTM[28]等都使用了空洞金字塔的結(jié)構(gòu)，并在圖像語(yǔ)義分割和視頻流檢測(cè)上獲得了不錯(cuò)的成果，證明了空洞金字塔結(jié)構(gòu)用于捕獲多尺度的信息以及更高密度的提取特征時(shí)有一定的提升。基于此，我們也使用了類(lèi)似的結(jié)構(gòu)，并在受到了DSSD和殘差網(wǎng)絡(luò)的啟發(fā)后做出了一些改進(jìn)。DSSD在加入反卷積網(wǎng)絡(luò)時(shí)，將兩個(gè)矩陣進(jìn)行了點(diǎn)和，豐富了特征層的信息，因此在將SSD中的conv_8層融合了空洞金字塔模塊之后又嘗試與conv_8層本身進(jìn)行了矩陣相加。整體結(jié)構(gòu)如圖2所示。

圖2 空洞金字塔模塊

在空洞金字塔模塊中，輸入的圖片分別進(jìn)行擴(kuò)展尺度為3、5、10的空洞卷積，然后將三個(gè)空洞卷積的結(jié)果用concat算法結(jié)合到一起與大小為1×1×512、步長(zhǎng)為1的卷積核進(jìn)行卷積，卷積的結(jié)果與原輸入圖片大小為1×1×512、步長(zhǎng)為1的卷積核卷積的結(jié)果進(jìn)行矩陣相加得到輸出。

(11)

(12)

(13)

T=({F1，F(xiàn)2，F(xiàn)3}?(R1×1×512)s2=1)⊕(F0?(R1×1×512)s2=1)

(14)

每一個(gè)核大小為c、擴(kuò)展尺度為r的空洞卷積都能提供[(c-1)2r-1]大小的視野，人眼在觀(guān)察到物體的一些背景之后才能更加突出物體的特征，使用不同擴(kuò)展尺度的空洞卷積并且將這些空洞卷積放到一起就能夠模擬出人眼觀(guān)察物體的情形。而且空洞卷積具有使輸出的圖片大小不變的特性，這樣能夠提高感受野并提高特征提取密度的方式，很適合用來(lái)提升SSD的性能。

在測(cè)試不同擴(kuò)展尺度時(shí)，由于SSD卷積層大小以10、5、3的大小依次下降，嘗試將擴(kuò)展尺度與SSD額外添加層的大小對(duì)應(yīng)起來(lái)設(shè)為3、5、10后發(fā)現(xiàn)與ASSP將尺度設(shè)為6、12、18，以及Pyramid Dilated Deeper ConvLSTM將尺度設(shè)為1、4、8的測(cè)試結(jié)果相比準(zhǔn)確度更高，并且使用數(shù)值更大的擴(kuò)展尺度測(cè)試效果反而會(huì)下降。因此最后將其擴(kuò)展尺度設(shè)為3、5、10。將conv8層經(jīng)過(guò)空洞金字塔模塊后產(chǎn)生的層替代原SSD網(wǎng)絡(luò)的額外添加層conv8，這樣可以使SSD剩余的添加層的輸入由原來(lái)的F0?(Rc×c×C)s2變?yōu)門(mén)，在提取特征時(shí)也能獲得比之前更高的感受野，對(duì)整體網(wǎng)絡(luò)的檢測(cè)效果有較明顯的提升。由于空洞卷積的性質(zhì)，能用較少的參數(shù)獲得更多的視野，再加上模塊中使用了很多1×1的卷積進(jìn)行降維和升維，有效地減少了模塊的計(jì)算參數(shù)，因此即使在SSD加入了空洞金字塔模塊后，整體網(wǎng)絡(luò)的訓(xùn)練速度也沒(méi)有損失多少。

2.2 特征空洞金字塔模塊

SSD網(wǎng)絡(luò)一共有6個(gè)特征層，由淺到深分別是conv4_3、conv7、conv8_2、conv9_2、cov10_2、conv11_2。其中使用conv8_2經(jīng)過(guò)空洞金字塔模塊后產(chǎn)生的PD8_2層代替了SSD原來(lái)的conv8_2特征層，所以conv9_2、cov10_2、conv11_2三個(gè)深層的特征層也轉(zhuǎn)化為了PD9_2、PD10_2、PD11_2。雖然加入了空洞金字塔之后的SSD網(wǎng)絡(luò)的檢測(cè)能力有了不少的提升，但由于SSD使用淺層特征層檢測(cè)小目標(biāo)的原理，conv4_3和conv7兩個(gè)最淺的特征層提取小目標(biāo)的能力仍然不強(qiáng)，因此提出針對(duì)特征層優(yōu)化的特征空洞金字塔模塊，如圖3所示。

圖3 特征空洞金字塔模型

與空洞金字塔模塊相比特征空洞金字塔沒(méi)有在concat算法之后與原矩陣進(jìn)行相加，并且由實(shí)驗(yàn)測(cè)試之后將空洞卷積的擴(kuò)張尺度擴(kuò)大為6、12、18。由于特征層會(huì)直接輸入到預(yù)測(cè)算法，將concat算法后的結(jié)果與原矩陣相加意義不大而且會(huì)增加計(jì)算量，因此直接將concat算法后的結(jié)果作為新的特征層。在不改變特征層大小的前提下，進(jìn)一步擴(kuò)大特征的感受野和語(yǔ)義信息可以有效地提高原conv4_3層和conv7層對(duì)小目標(biāo)的提取能力。

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)步驟

實(shí)驗(yàn)步驟如圖4所示。

圖4 實(shí)驗(yàn)步驟

3.2 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)時(shí)使用的數(shù)據(jù)是PASCAL-VOC數(shù)據(jù)集，PASCAL-VOC是一個(gè)用于計(jì)算機(jī)視覺(jué)項(xiàng)目中圖像分類(lèi)、檢測(cè)和分割的一整套標(biāo)準(zhǔn)化的優(yōu)秀的數(shù)據(jù)集。PASCAL-VOC數(shù)據(jù)集文檔詳細(xì)，使用非常方便，在計(jì)算機(jī)視覺(jué)領(lǐng)域研究論文中應(yīng)用非常廣，是圖像領(lǐng)域分類(lèi)、檢測(cè)和分割算法性能檢驗(yàn)的標(biāo)準(zhǔn)數(shù)據(jù)集之一。

2005年至2012年每年歐盟資助的PASCAL組織都會(huì)舉行一個(gè)世界級(jí)的計(jì)算機(jī)視覺(jué)挑戰(zhàn)賽PASCAL VOC挑戰(zhàn)賽，這個(gè)比賽使用的數(shù)據(jù)集就是PASCAL-VOC數(shù)據(jù)集。

PASCAL-VOC數(shù)據(jù)集包括VOC2007和VOC2012兩個(gè)版本，VOC2012是VOC2007的升級(jí)版，包括了11 530幅圖片，兩個(gè)版本標(biāo)注的內(nèi)容都包含了人、動(dòng)物、車(chē)、家具等20種類(lèi)別。VOC2007包含9 963幅標(biāo)注過(guò)的圖片，由訓(xùn)練、驗(yàn)證和測(cè)試三部分組成，VOC2012由訓(xùn)練和測(cè)試兩部分組成。在實(shí)驗(yàn)時(shí)將VOC2012和VOC2007的訓(xùn)練部分組合在一起作為訓(xùn)練集，由于訓(xùn)練集直接參與模型調(diào)參的過(guò)程，不能反映模型的真實(shí)性能，并且需要驗(yàn)證集幫助調(diào)整參數(shù)和防止過(guò)擬合，因此憑借著充足的數(shù)據(jù)量借鑒留出法將VOC2012和VOC2007的測(cè)試部分的四分之三作為測(cè)試集，四分之一作為驗(yàn)證集。因此有19 000多幅訓(xùn)練集圖片，2 000多幅驗(yàn)證集圖片，5 000多幅測(cè)試集圖片。

3.3 實(shí)驗(yàn)環(huán)境和模型評(píng)估指標(biāo)

實(shí)驗(yàn)時(shí)使用的機(jī)器為T(mén)ITAN X，編程語(yǔ)言是Python 3.6,框架是Tensorflow1.4。

實(shí)驗(yàn)時(shí)評(píng)價(jià)網(wǎng)絡(luò)性能好壞的標(biāo)準(zhǔn)采用的是AP值、mAP值和FPS。其中AP值是用于評(píng)價(jià)模型性能指標(biāo)之一，可由精度(precision)和召回率(recall)組成的PR曲線(xiàn)圖中曲線(xiàn)與xy軸所圍成的圖形面積計(jì)算得知。精度(precision)表示檢測(cè)正確的數(shù)據(jù)個(gè)數(shù)除以總的檢測(cè)個(gè)數(shù)，召回率(recall)表示檢測(cè)正確的數(shù)據(jù)個(gè)數(shù)除以標(biāo)簽之中所有正數(shù)據(jù)個(gè)數(shù)。mAP值是所有的AP值的和除以檢測(cè)的類(lèi)別,也是鑒定多目標(biāo)檢測(cè)網(wǎng)絡(luò)性能的主要指標(biāo)。FPS代表網(wǎng)絡(luò)訓(xùn)練時(shí)的速度表示每秒鐘網(wǎng)絡(luò)處理的圖片數(shù)。

3.4 空洞金字塔模塊擴(kuò)張尺度

實(shí)驗(yàn)在構(gòu)建好SSD網(wǎng)絡(luò)后，先加入了空洞金字塔模塊并測(cè)試不同的擴(kuò)張尺度來(lái)確定最優(yōu)尺度，為保證實(shí)驗(yàn)準(zhǔn)確，每次實(shí)驗(yàn)的學(xué)習(xí)率設(shè)為0.000 1，Batchsize設(shè)為8。嘗試的擴(kuò)張尺度并不是隨意取值，而是以目前主流的空洞卷積最優(yōu)尺度以及被認(rèn)為可以獲得較好的結(jié)果的一些尺度，將只加入空洞金字塔模塊的SSD稱(chēng)為PDSSD-a，括號(hào)內(nèi)為擴(kuò)張尺度，在以輸入圖片大小為300×300的前提下，實(shí)驗(yàn)結(jié)果如表1所示。

表1 PDSSD-a300在不同擴(kuò)張尺度下的結(jié)果

越大的擴(kuò)張尺度不代表越高的精度，而過(guò)小的擴(kuò)張精度提升有限，為了保證準(zhǔn)確，在輸入為512×512的條件下進(jìn)行一次實(shí)驗(yàn)，結(jié)果如表2所示。

表2 PDSSD-a512在不同擴(kuò)張尺度下的結(jié)果

續(xù)表2

結(jié)合表1和表2的實(shí)驗(yàn)結(jié)果，當(dāng)擴(kuò)展尺度為3、5、10時(shí)，模型可獲得最高的mAP值，因此本文最終將空洞金字塔模塊的擴(kuò)張尺度定位為3、5、10。

3.5 特征空洞金字塔模塊擴(kuò)張尺度

在確定了空洞金字塔模塊的擴(kuò)張尺度后，嘗試單獨(dú)加入了特征空洞金字塔模塊，并且都做了不同擴(kuò)張尺度的實(shí)驗(yàn)測(cè)試，結(jié)果如表3所示。

表3 兩個(gè)FPDC模塊在不同尺度下的實(shí)驗(yàn)結(jié)果

由實(shí)驗(yàn)結(jié)果可得，擴(kuò)張尺度越大，網(wǎng)絡(luò)的表現(xiàn)越穩(wěn)定，并且與小尺度的擴(kuò)張結(jié)果對(duì)比，網(wǎng)絡(luò)的整體性能有一定的提升。雖然在輸入為512×512的條件下，特征空洞金字塔模塊的擴(kuò)張尺度設(shè)為6、12、18沒(méi)有將尺度設(shè)為6、12、18和3、5、10的精度高，但兩者精度相差不遠(yuǎn)，并且考慮到300×300條件下，兩個(gè)特征空洞金字塔模塊尺度都設(shè)為6、12、18時(shí)的精度最佳，因此根據(jù)實(shí)驗(yàn)結(jié)果最終選擇將兩個(gè)特征金字塔模塊的擴(kuò)展尺度定為6、12、18。

3.6 模型訓(xùn)練參數(shù)

在選擇最佳特征空洞金字塔模塊和空洞金字塔模塊的擴(kuò)張尺度后，對(duì)整體的PDSSD網(wǎng)絡(luò)進(jìn)行了調(diào)參，由于網(wǎng)絡(luò)具有一定的復(fù)雜性，過(guò)大的學(xué)習(xí)率和Batchsize會(huì)導(dǎo)致loss梯度爆炸和顯存溢出，能保證網(wǎng)絡(luò)正常訓(xùn)練的最大的學(xué)習(xí)率和Batchsize是0.000 1和8。當(dāng)學(xué)習(xí)率降低到0.000 01時(shí)，會(huì)導(dǎo)致loss收斂過(guò)慢。因此在實(shí)驗(yàn)測(cè)試之后本文最終將學(xué)習(xí)率設(shè)為0.000 05，Batchsize設(shè)為8。

3.7 算法對(duì)比

將調(diào)參后的PDSSD網(wǎng)絡(luò)的訓(xùn)練結(jié)果與在同樣學(xué)習(xí)率和Batchsize以及數(shù)據(jù)集下的目前主流的一些算法進(jìn)行了對(duì)比，包括了SSD作者對(duì)SSD的升級(jí)網(wǎng)絡(luò)DSSD、YOLOv2、Fast-Rcnn、Faster-Rcnn。實(shí)驗(yàn)結(jié)果如表4所示。

表4 VOC2012測(cè)試集測(cè)試結(jié)果

續(xù)表4

實(shí)驗(yàn)結(jié)果表明:在加入空洞金字塔模塊和特征空洞金字塔模塊之后，在300×300的輸入下，PDSSD檢測(cè)大部分類(lèi)別的AP值相比于SSD都有了很大的提升，mAP值提高了4.1個(gè)百分點(diǎn)；在512×512的輸入下，PDSSD的mAP值相對(duì)于SSD提高了4.5個(gè)百分點(diǎn)，而且在速度方面并沒(méi)有降低多少。相比于SSD的升級(jí)版DSSD，改進(jìn)后的網(wǎng)絡(luò)擁有更高的mAP值，并且在速度上快了2倍多。與其他主流算法相比，PDSSD網(wǎng)絡(luò)在20種類(lèi)別的檢測(cè)中有最多的最高AP值和最高的FPS。

3.8 不同模塊對(duì)模型的提升

對(duì)在SSD300中分別加入空洞金字塔模塊和特征空洞金字塔模塊對(duì)網(wǎng)絡(luò)性能的提升做了測(cè)試，結(jié)果如表5所示。

表5 不同模塊對(duì)模型的提升

單獨(dú)添加特征空洞金字塔模塊雖然沒(méi)有添加空洞金字塔模塊的提升明顯，但特征空洞金字塔對(duì)淺層特征層提取特征的能力有一定加強(qiáng)。因此同時(shí)加入空洞金字塔模塊和特征空洞金字塔模塊才能充分地提高模型的檢測(cè)能力。

3.9 對(duì)小目標(biāo)圖片檢測(cè)測(cè)試

除了網(wǎng)絡(luò)的性能提高之外，加入了空洞金字塔模塊和特征空洞金字塔模塊后的SSD在小目標(biāo)的檢測(cè)的能力上大大提升。從測(cè)試集中提取了一些有小目標(biāo)需要識(shí)別的圖片用于對(duì)比SSD和PDSSD的小目標(biāo)的檢測(cè)能力，效果如圖5所示。

(a) SSD檢測(cè)效果 (b) PDSSD檢測(cè)效果

圖5中，(a)、(c)、(e)、(g)是SSD的檢測(cè)效果圖，(b)、(d)、(f)、(h)是PDSSD的檢測(cè)效果圖。(a)和(b)是同一幅測(cè)試集圖片，PDSSD相對(duì)于SSD能夠成功檢測(cè)圖中遠(yuǎn)處較小的人和狗；(c)和(d)是同一幅測(cè)試集圖片，SSD未能檢測(cè)到圖中目標(biāo)相對(duì)較小的船而PDSSD能成功檢測(cè)；(e)和(f)是同一幅測(cè)試集圖片，其中PDSSD能夠準(zhǔn)確地識(shí)別出遠(yuǎn)處的幾個(gè)很小的目標(biāo)而SSD未能全部識(shí)別；(g)和(h)是同一幅測(cè)試集圖片，PDSSD相對(duì)SSD能成功識(shí)別右側(cè)的小羊。以上測(cè)試圖片的結(jié)果證明了加入空洞金字塔模塊和特征空洞金字塔模塊確實(shí)能提高SSD對(duì)于小目標(biāo)的檢測(cè)能力，從而提高整體網(wǎng)絡(luò)檢測(cè)目標(biāo)的mAP值。

4 結(jié) 語(yǔ)

本文提出一種通過(guò)加入空洞金字塔模塊和特征空洞金字塔來(lái)提高SSD神經(jīng)網(wǎng)絡(luò)檢測(cè)多目標(biāo)能力的方法。本文改進(jìn)后的模型在PASCAL-VOC數(shù)據(jù)集上的檢測(cè)結(jié)果顯示其擁有比目前主流的算法更高的準(zhǔn)確率和更快的速度，并且在512×512的輸入下mAP值達(dá)到了82.1%，比YOLOv2和DSSD的正確率更高。除此之外，本文根據(jù)SSD對(duì)小目標(biāo)檢測(cè)性能不高的原因提出了改善方法，并通過(guò)實(shí)驗(yàn)證明了可行性。

下一步將縮小對(duì)不同種類(lèi)檢測(cè)的精確度的差異，提高分類(lèi)和識(shí)別的準(zhǔn)確度。然后嘗試引入TDM模塊和反卷積網(wǎng)絡(luò)來(lái)進(jìn)一步改善網(wǎng)絡(luò)的性能，以及嘗試借鑒GAN對(duì)抗網(wǎng)絡(luò)來(lái)提高檢測(cè)的效果。