改進多層尺度特征融合的目標檢測算法

李康康，于振中,，范曉東，宋思遠

(1.江南大學 物聯(lián)網(wǎng)工程學院，江蘇 無錫 214122； 2.哈工大機器人國際創(chuàng)新研究院 智能裝備研究所，安徽 合肥 230601)

0 引 言

在對無序生活用品的分揀歸類或生活垃圾的分揀歸類中，因其復雜的種類、堆疊的混亂狀態(tài)，傳統(tǒng)的物體分類算法較難勝任。結合深度學習對待抓取的物體進行目標物體檢測，能夠有效解決混亂狀態(tài)下的物體分類分揀問題。

目標檢測技術在計算機視覺領域是一個非常重要的研究方向[1,2]。早期傳統(tǒng)目標檢測是利用SIFT[3]、HOG[4]、Haar[5]等手工設計特征的方法結合SVM、adaboost等一些分類器。由于目標檢測受到復雜環(huán)境、外形、大小、堆疊狀態(tài)及外部光照變化的影響，存在提取目標特征準確性、穩(wěn)定性較差的問題，導致所提取的目標特征泛化能力弱，魯棒性較差。通常需要根據(jù)每一個特定物體的形狀結構，依靠先驗知識提出相應的算法，在目標檢測精度和穩(wěn)定性上堪憂。結合深度學習的目標檢測方法有很大的優(yōu)勢，通過卷積網(wǎng)絡計算自主學習不同層級的特征更加豐富，學習到特征的表征能力更強[6]。基于深度學習的目標檢測算法主要有：R-CNN[7]、Fast R-CNN[8]、Faster R-CNN[9]、R-FCN[10]、YOLO[11]、SSD[12]等。其中，SSD算法相較于其它算法從不同尺度特征圖上進行預測，根據(jù)不同尺度特征圖其自身所對應感受野的大小檢測不同尺度的物體，有助于提高了目標檢測的精度。由于生活用品分類分揀中存在物品種類多，結構大小差別大。因此，通過改進SSD算法，基于回歸思想搭建深度神經網(wǎng)絡進行目標檢測，提高目標檢測的準確率。

1 SSD目標檢測算法

1.1 原始SSD算法模型

SSD算法模型是end-to-end的卷積神經網(wǎng)絡結構。在網(wǎng)絡結構上，原始SSD算法模型主要由基礎網(wǎng)絡(VGG)、附加特征提取網(wǎng)絡、原始默認框生成部分、卷積預測部分組成。如圖1所示，基礎網(wǎng)絡基于VGG16構建，并對其進行了統(tǒng)一調整，保留前面的卷積層，將后面的全連接層改換成卷積網(wǎng)絡層。附加網(wǎng)絡層如圖中Extra Feature layer所示，添加4個不同尺度卷積網(wǎng)絡層。卷積預測部分為所示Detetction部分，采用回歸的思想進行預測。

圖1 SSD算法模型

1.2 原始SSD算法存在的問題

原始SSD算法的基礎網(wǎng)絡VGG16和附加特征提取網(wǎng)絡是直接利用卷積層之間級聯(lián)方式，前一卷積層的輸出是下一卷積層的輸入，原始SSD算法目標預測利用不同尺度的特征圖進行。結合圖1 SSD模型結構，其多尺度計算及級聯(lián)方式過程可用數(shù)學公式定義如下[13]

Fn=φn(Fn-1)=φn(φn-1(φn-2(…φ1(I))))

(1)

R=G(Cn(Fn),Cn-1(Fn-1),…,Cn-d(Fn-d)), n>d>0

(2)

式中：Fn為第n層特征圖，φn為第n-1層到第n層特征圖的非線性卷積運算，φ1(I)為輸入圖像I得到第1層特征圖的非線性卷積運算，Cn(·)為在第n層特征圖Fn上的檢測結果，G(·)為將所有不同尺度特征圖的檢測結果進行集合統(tǒng)計，R為算法最終的結果。

由式(1)、式(2)可知，第n層特征圖上特征信息由第n-1層特征圖上信息決定，分辨率的大小決定了該層特征圖上感受野大小。SSD用來預測的特征圖Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2中最大尺度的分辨率為38*38，如果輸入圖像中小目標尺寸較小，經過pooling層池化后，會丟失低層網(wǎng)絡包含的細節(jié)信息，如邊緣信息、像素信息[14],如對一些小目標物體在經過4個pooling后，會使得小目標的特征圖減少1/16。甚至導致像素較小的目標物體的特征消失。在低層特征圖進行目標預測時，小目標特征的表達能力不夠；另一方面，在層層卷積、池化后，高層低分辨率保留的細節(jié)信息更少；從卷積特征層Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2作為預測的6個stage，未能兼顧相鄰不同尺度特征層上的特征；此外，由于SSD用于檢測的低層網(wǎng)絡中只有一層，包含的目標信息較少，算法在小目標物體的檢測上存在誤檢、漏檢[15]。因此，文中擬提出以下改進方法：深層神經網(wǎng)絡提取到的抽象特征，配合相鄰不同尺度特征圖進行特征融合；低層網(wǎng)絡結合更大分辨率特征層并與自上而下傳遞的高層語義融合，補充低層檢測層上細節(jié)信息及語義信息。

2 基于SSD的改進和優(yōu)化方法

針對上述分析，改進的SSD目標檢測算法具體為：一是在基礎網(wǎng)絡上引入額外的特征層，進一步加強目標檢測層特征表達的能力；二是在附加網(wǎng)絡層中提出融合3種不同尺度特征圖加強前后尺度圖之間的語義信息相關性；三是在進行融合時，構造特征增強模塊，優(yōu)化特征融合策略，降低參數(shù)增加帶來的檢測速度變慢的影響。

2.1 基礎網(wǎng)絡層特征融合改進

基礎網(wǎng)絡卷積層卷積計算得到的特征圖擁有較大的分辨率，深層網(wǎng)絡對分類任務有利，而對于檢測任務，需要檢測物體的位置。如圖2所示，圖片輸入網(wǎng)絡經卷積層特征提取后，將低層的特征層Conv3_3、Conv4_3進行可視化操作，特征層Conv3_3的分辨率為75*75，相對于Conv4_3特征層的分辨率38*38較大，細節(jié)特征表達較豐富。

圖2 低層特征圖可視化

為提高SSD算法低層特征層對小目標細節(jié)特征的充分表達能力，改善SSD算法對小目標的檢測效果，改進算法融合相鄰底層高分辨細節(jié)特征明確的特征圖和高層低分辨率豐富語義信息的特征圖。基礎網(wǎng)絡特征融合結構如圖3所示，圖3中仍以Conv4_3的尺度大小作為新預測stage的尺度，采用Concat方式融合Conv3_3、Conv4_3及自上而下高語義特征圖，補充Conv4_3卷積特征圖的特征信息。

圖3 基礎網(wǎng)絡特征圖融合結構

2.2 附加網(wǎng)絡層特征融合改進

隨著網(wǎng)絡卷積層的加深，卷積神經網(wǎng)絡的抽象學習能力使得特征圖的表達能力越來越強，具有豐富的語義信息[16]。文中改進算法提出結合FPN算法[17]思想，構造特征增強模塊：融合三級不同尺度特征圖并改進融合策略的方法。結構如圖4所示。

圖4 特征增強模塊連接結構

圖4左側自下向上為原始SSD算法前向卷積特征圖預測stage，在進行檢測時，使用了Conv7到Conv11_2的5種不同級別的特征層作為預測stage，分別對應圖4中一級、二級、三級…。深層網(wǎng)絡良好的平移不變性和結合更大分辨率的特征圖細節(jié)信息，有利于目標檢測中的分類預測和位置預測[18]。因此，對選擇的原始SSD預測stage，采用結合兩級不同分辨率的特征層，自上而下，將融合后的信息向下傳遞，進一步將深層的高語義信息與淺層的細節(jié)信息融合。圖4特征增強模塊連接結構算法流程：

(1)對原始SSD算法用于檢測的特征層(二級)用1×1 卷積[19]核提取特征并進行橫向鏈接操作；

(2)對兩倍于(1)中分辨率的特征圖(一級)進行1×1 卷積計算后，避免引入額外參數(shù)，采用最大池化下采樣操作；

(3)將上一輪下Concat得到的特征圖進行雙線性插值兩倍上采樣操作；

(4)Concat 融合方式能夠增加該層級下特征[20]，將上述步驟(1)～步驟(3)得到的3個相同尺度的特征圖進行Concat融合操作。

(5)重復步驟(1)～步驟(4),將融合后的各級特征圖一方面經3x3卷積核消除融合混疊效應，作為新的預測stage送入Detection任務，另一方面將特征信息傳遞，用于下一層級的特征融合。

3 改進SSD網(wǎng)絡整體結構

針對上述對原始SSD分析及文中提出改進方法，基于多層特征融合算法總體流程如圖5所示：網(wǎng)絡輸入圖片，經SSD前向網(wǎng)絡提取特征后形成不同尺度的特征圖，通過特征增強模塊提升目標特征表達能力，進行檢測任務。

圖5 基于多層特征融合算法流程

總體網(wǎng)絡設計后的結構如圖6所示。圖6中虛線框1應用于底層改進方法，對于特征層Conv4_3，引入額外高分辨率特征層，結合高層自上而下高語義特征層并采用Concat融合方式以提高小目標的檢測效果。虛線框2對應于附加網(wǎng)絡層的改進方法，Zeiler等[21]提出，不同尺度級別的卷積特征層分別表征了不同級別的語義信息，卷積網(wǎng)絡越深，卷積特征層圖語義級別越高。但并不意味著融合所有不同尺度的特征圖，隨著網(wǎng)絡的復雜度增加，網(wǎng)絡的檢測速度必然會受到某種程度的影響。因此不對Conv10_2、Conv11_2做自上而下的多級特征融合處理。

以融合得到的Conv8_2_2層為例進行說明，由圖7特征增強模塊融合流程圖得到，融合之后輸出的預測stage為Conv8_2_2層，其特征圖尺寸大小為512×10×10。Conv9_2_2層為上一特征融合模塊的輸出，512×5×5經過1×1卷積和上采樣后得到維度為10×10×128的特征圖，Conv7層經過1×1卷積和下采樣后得到256×10×10的特征圖，將上述兩個采樣后的結果和Conv8_2層特征圖經1×1 卷積提取特征得到尺度為128×10×10的特征圖融合，得到維度為512×10×10的Conv8_2*中間層，經3×3卷積核進行特征整合后，得到最終的預測stage(Conv8_2_2層)，同時作為下一特征融合模塊的輸入。

圖6 改進SSD整體結構

圖7 Conv8_2_2層特征增強融合流程

改進算法采用多級不同尺度融合的方法并結合FPN思想自上而下的傳遞各級不同尺度特征圖的特征信息。在訓練階段，由于前一級卷積層參數(shù)的更新，將影響后一級輸入層數(shù)據(jù)分布的變化，導致卷積特征層數(shù)據(jù)分布差異較大，直接進行Concat融合操作，會造成特征圖之間有較大的差異。某一網(wǎng)絡層發(fā)生微小的變化，特征經過融合層將會被累計放大下去，導致算法收斂過慢。因此在每層特征層后加入BN[22](batch normalization)操作，做歸一化處理，解決數(shù)據(jù)分布變化帶來的影響，進而降低因融合操作增加模型復雜度帶來訓練過程變慢的影響。

4 實驗數(shù)據(jù)準備與結果分析

4.1 實驗環(huán)境與數(shù)據(jù)

實驗硬件配置：CPU為Intel(R)Core(TM)i7-10750HCPU, GPU為NVIDIA RTX 1080Ti顯存6 G，內存為16 G。軟件環(huán)境：操作系統(tǒng)為Ubuntu16.04，深度學習框架為pytorch，編程語言為Python2.7，第三方庫為OpenCV，以及CUDA。

實驗用的數(shù)據(jù)集共有兩個：公開數(shù)據(jù)PASCAL VOC2007，其中VOC2007包含9963張圖像，20分類。按照PASCAL VOC2007的格式制作家庭生活用品數(shù)據(jù)集(Supplies Dataset)，包含4700張圖像，15分類(與20分類不同)。

4.2 模型訓練參數(shù)

為檢驗改進后的模型效果，將PASCAL VOC2007數(shù)據(jù)集劃分為訓練集和測試集。輸入圖片尺寸300*300，圖片經過數(shù)據(jù)增強處理。網(wǎng)絡卷積層權重采用xavier初始化方法，整個網(wǎng)絡采用批歸一化BN(BatchNormal)處理，lr設為1e-4，每進行20 000次迭代(iter)，學習率下降10倍，momentom設為0.9，weight_decay設為5e-4，batc_size設為4，進行7萬次迭代。在Supplies Dataset數(shù)據(jù)集上，采用同樣的方式進行訓練和測試。

4.3 實驗結果分析

4.3.1 訓練結果

構建改進后的網(wǎng)絡，在PASCAL VOC2007訓練集上進行訓練，模型的訓練損失如圖8所示，經過10 000次迭代訓練后，模型損失趨于平穩(wěn)，表明模型達到最好效果。將訓練得到的模型在PASCAL VOC2007測試集上進行測試，置信度閾值設置為0.5，文中改進算法的mAP(mean average precision)為78.6%，F(xiàn)PS為45 f/s。相比較于原始SSD算法的mAP提升了近10.4%。

圖8 訓練損失

4.3.2 中小目標實驗結果對比分析

為測試改進后算法的檢測性能,采用mAP為評價指標。選取PASCAL VOC2007數(shù)據(jù)集中包含中小目標的圖片200張，共10類。分別對比YOLO、Faster-RCNN、SSD和改進算法的mAP，mAP實驗結果見表1。

從檢測結果可以看出，改進算法提出的利用FPN算法思想結合不同層級融合的SSD目標檢測算法的檢測精度明顯提升。尤其對于小目標，如bottle提升了近22%，aero提升了近37%，mAP相比原SSD算法提高近14.1%,對比結果如圖9所示。

圖9 檢測對比結果

圖10為效果對比圖部分演示，左邊是原始SSD檢測效果圖，右邊是改進算法效果圖。對比圖10(a)～圖10(d)可以明顯看出，改進后算法較原SSD算法能夠正確檢測出更多的物體，提升算法檢測小目標的能力。從圖10(g)和圖10(h)則可以看出對于形態(tài)多樣的一類物體，改進算法有更高好的檢測效果,并且能夠成功定位出被遮擋的物體。從圖10(e)和圖10(f)可以看出，改進算法對小目標的檢測精度有很好的提升。仔細分析可以得出，基于SSD的目標檢測算法，在經過不同層級的特征融合后，不僅提升了物體檢測精度，對物體的召回率也有不錯的提升。

圖10 效果對比

4.3.3 生活用品數(shù)據(jù)集檢測結果對比分析

針對復雜生活用品的識別是實現(xiàn)機械臂智能抓取的重要前提條件，定位的準確與否決定著后續(xù)物體點云分割提取后的真實三維坐標，決定了機械臂在視覺系統(tǒng)下的抓取的成功率。因此，提高混亂場景下物體識別與定位的準確率尤為重要。文中在對改進后算法的可靠性進行充分實驗,生活用品數(shù)據(jù)集(Supplies Dataset)4700張，包含15類生活用品，如penholder(筆筒)、soap(香皂)、scissors(剪刀)、dumbbells(啞鈴)…等。根據(jù)PASCAL VOC2007數(shù)據(jù)集格式進行標注和修改，采用同樣的訓練方法，將得到的模型進行測，測試效果部分演示如圖11所示，左面一欄是原SSD模型的檢測效果圖，右面一欄是改進算法檢測效果圖。

圖11 效果對比

從圖11效果圖11(a)、圖11(b)和圖11(e)、圖11(f)可以看出：對于環(huán)境復雜，物體形態(tài)不明顯的種類，改進算法在融合不同層級的增強特征表達能力后，能夠準確檢測出目標物體。從效果圖11(c)和圖11(d)可以看出，對存在堆疊的物體，改進算法不僅正確檢測出小目標物體，同時也提高了檢測精度，有效避免原算法中存在的漏檢和誤檢。隨著混亂復雜度增加及物體間的疊加效應影響，從圖11(g)和圖11(h)中可以看出，文中改進算法檢測效果尤為明顯，尤其對形態(tài)相似的物體種類，改進算法在融合不同層級的特征后，能夠有效檢測出目標。如類別為pencil與類別為sosp的物體，改進算法精準定位出pencil位置，避免了原算法的定位不準。說明了改進算法對相似物體的檢測有較強的魯棒性。

通過以上檢測結果及測試結果可以得到以下結論：①改進后算法較原始SSD模型算法能夠檢測出更多的物體，減少漏檢；②改進算法能夠提高小目標物體置信度，提高檢測精度；③對于類別相似的物體，該改進后算法能夠提高準確度，減少誤檢。④改進算法對堆疊效應下物體的檢測也具有較強的魯棒性和更好的效果。

4.3.4 測試速度結果對照表

為了測試本文所提算法的可用性，使用兩個數(shù)據(jù)集進行對比驗證，由表2中PASCAL VOC2007數(shù)據(jù)集和表3中Supplies Dataset數(shù)據(jù)集上的測試結果可知，改進算法的mAP明顯提升；考慮到模型融合帶來的模型結構復雜度的提升，模型的檢測速度未受到太多的影響，基本滿足要求。

表2 實驗結果對照

表3 實驗結果對照

5 結束語

文中首先介紹了SSD算法網(wǎng)絡構成，并分析原始SSD算法存在的問題及檢測中小目標物體效果差的原因。針對這些存在的問題，提出了對網(wǎng)絡改進的方法。將改進后的算法在PASCAL VOC2007數(shù)據(jù)集和Supplies Dataset數(shù)據(jù)集上進行訓練和測試。評價指標mAP相比于原始算法提高了10.4%，考慮到算法網(wǎng)絡層的增加，檢測速度FPS為45 f/s，檢測速度符合算法的實時性要求。此外，為驗證改進算法對中小目標檢測的效果，從PASCAL VOC2007測試集里面選取200張包含小目標的圖片進行測試，改進算法的mAP明顯高于其它算法，其中相較于原始SSD算法提高了14.1%，說明改進算法的有效性。為驗證改進算法的可用性，在Supplies Dataset數(shù)據(jù)集上的測試結果表明，改進算法對存在堆疊狀態(tài)物體下的識別也具有較強的可用性和魯棒性。綜合實驗結果表明，改進的目標檢測算法在提高精度的同時，算法的實時性也基本滿足要求。在下面的研究工作中，將進一步改善網(wǎng)絡結構，調整網(wǎng)絡參數(shù)，提高算法檢測精度的同時，提高算法的檢測速度,提升算法的整體性能。