基于CB-CenterNet的自動(dòng)駕駛遮擋目標(biāo)檢測(cè)

時(shí)義,賈世杰

(大連交通大學(xué) 計(jì)算機(jī)與通信工程學(xué)院，遼寧 大連 116028)

在自動(dòng)駕駛場(chǎng)景下，車輛前方物體的檢測(cè)會(huì)受多種因素的影響，例如：光照、角度、形變、遮擋等，而其中遮擋目標(biāo)檢測(cè)問題在自動(dòng)駕駛中亟待解決.根據(jù)檢測(cè)物體的被遮擋程度，將遮擋分為三個(gè)等級(jí)：0為無遮擋；1%～45%為部分遮擋;大于等于45%為嚴(yán)重遮擋；為解決自動(dòng)駕駛場(chǎng)景下的遮擋檢測(cè)問題，目前普遍采用基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法，其中可以按訓(xùn)練過程是否預(yù)先設(shè)定錨點(diǎn)分為Anchor-based和Anchor-free的方法.在Anchor-based方法中，Wang等人[1]在Faster R-CNN[2]的基礎(chǔ)上提出Repulsion Loss，使預(yù)測(cè)框和真實(shí)框的距離縮短，與周圍其他目標(biāo)框的距離加大.相比于Anchor-based方法，Anchor-free方法在檢測(cè)精度和運(yùn)行速度上都有很大的提升，其中CenterNet[3]是基于關(guān)鍵點(diǎn)估計(jì)的端到端Anchor-free目標(biāo)檢測(cè)算法.姜建勇等[4]基于CenterNet算法設(shè)計(jì)具有注意力機(jī)制的特征融合模塊，提高算法模型的檢測(cè)精度.

盡管以上方法針對(duì)遮擋問題取得了一定效果，但Anchor-based檢測(cè)方法的網(wǎng)絡(luò)模型較大，超參數(shù)的選擇較為復(fù)雜，不滿足自動(dòng)駕駛場(chǎng)景對(duì)算法性能的要求，并且由于自動(dòng)駕駛場(chǎng)景的復(fù)雜性，上述方法不能很好地解決嚴(yán)重遮擋目標(biāo)的檢測(cè)問題.CenterNet是端到端可微分的Anchor-free檢測(cè)算法，其模型體積較小，無須事先設(shè)置錨點(diǎn)，避免了復(fù)雜的超參數(shù)選擇問題，同時(shí)免去了后處理過程，防止因該過程中非極大值抑制而導(dǎo)致目標(biāo)漏檢的情況，并且算法的整體檢測(cè)速度較快，實(shí)現(xiàn)了檢測(cè)精度和速度的平衡，滿足自動(dòng)駕駛場(chǎng)景對(duì)檢測(cè)算法的要求.本文提出一種基于改進(jìn)CenterNet(CB-CenterNet)的無錨點(diǎn)端到端檢測(cè)算法，以實(shí)現(xiàn)自動(dòng)駕駛場(chǎng)景中被遮擋物體的檢測(cè).

1 CB-CenterNet檢測(cè)網(wǎng)絡(luò)

1.1 網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)

CB-CenterNet網(wǎng)絡(luò)由四部分組成，分別是：輸入部分、特征提取部分、檢測(cè)頭部分和輸出部分.輸入為經(jīng)過裁剪處理后大小為512×512×3的圖片.網(wǎng)絡(luò)的特征提取部分首先在CenterNet的特征提取骨干網(wǎng)絡(luò)DLA34-Backbone的基礎(chǔ)上，通過借鑒CBNet[5]差級(jí)級(jí)聯(lián)結(jié)構(gòu)，設(shè)計(jì)了具有增強(qiáng)復(fù)合連接模塊的CBDLA34-Backbone差級(jí)級(jí)聯(lián)特征融合結(jié)構(gòu)；其次對(duì)CBAM(Convolutional Block Attention Module)注意力模塊[6]進(jìn)行擴(kuò)展，在CBDLA34-Backbone每個(gè)HDA模塊的殘差塊中添加了Fusion-CBAM注意力模塊.網(wǎng)絡(luò)的檢測(cè)頭部分將CenterNet三個(gè)檢測(cè)支路改變?yōu)閮蓚€(gè)檢測(cè)支路，并在兩個(gè)支路中都添加改進(jìn)的高斯采樣模塊.輸出部分圖片大小為512×512×3.改進(jìn)的CB-CenterNet檢測(cè)網(wǎng)絡(luò)如圖1所示.

圖1 CB-CenterNet檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)圖

1.1.1 增強(qiáng)復(fù)合連接模塊

在CBNet中，通過復(fù)合連接模塊將分支網(wǎng)絡(luò)與主干網(wǎng)絡(luò)進(jìn)行連接，復(fù)合連接模塊由1×1卷積和批量歸一化層組成，在分支網(wǎng)絡(luò)的淺層特征輸出中，包含更多的內(nèi)容描述、位置和細(xì)節(jié)特征信息，但1×1卷積的感受野較小，不能充分利用淺層的特征輸出，影響網(wǎng)絡(luò)的特征融合.

為增強(qiáng)檢測(cè)網(wǎng)絡(luò)對(duì)遮擋目標(biāo)的特征提取和特征融合能力，在CBDLA34-Backbone中設(shè)計(jì)了增強(qiáng)復(fù)合連接模塊(Enhanced Composite Connection Module，ECCM)，將支路DLA34-Backbone高層輸出的小尺寸特征圖在ECCM中進(jìn)行多尺度的特征提取和上采樣后，再與主干網(wǎng)絡(luò)DLA34-Backbone低層輸入的大尺寸特征圖進(jìn)行特征融合.ECCM由1×1普通卷積、3×3的深度可分離卷積、批量歸一化和最近鄰插值上采樣組成，增強(qiáng)復(fù)合連接模塊如圖2所示.

圖2 增強(qiáng)復(fù)合連接模塊

其中，深度可分離卷積由逐通道卷積和逐點(diǎn)卷積組成，逐通道卷積中，對(duì)輸入層的每個(gè)通道獨(dú)立進(jìn)行卷積運(yùn)算.逐點(diǎn)卷積中，卷積運(yùn)算會(huì)將逐通道卷積的輸出在特征通道方向上進(jìn)行加權(quán)操作，生成新的特征圖，相比于1×1卷積，3×3的深度可分離卷積不僅具有更大的感受野，而且參數(shù)量和運(yùn)算成本也較低.

在ECCM中添加不同大小的卷積核可以獲得圖像中不同大小的感受野信息，有利于網(wǎng)絡(luò)提取不同程度遮擋目標(biāo)的特征，發(fā)掘不同大小的感受野對(duì)不同程度遮擋目標(biāo)的感知能力，獲得更豐富的語義信息.

1.1.2 Fusion-CBAM注意力模塊

在CBAM通道注意力模塊中，對(duì)輸入特征向量進(jìn)行通道注意力權(quán)值的計(jì)算時(shí)，使用全局平均池化和全局最大池化將特征向量分解為每個(gè)特征通道上只有一個(gè)像素，這會(huì)導(dǎo)致特征向量的空間信息缺失，破壞了通道維度和空間維度的交互.為此本文針對(duì)自動(dòng)駕駛場(chǎng)景中嚴(yán)重遮擋目標(biāo)的檢測(cè)問題，通過擴(kuò)展CBAM中的通道注意力模塊，提出Fusion-CBAM注意力模塊.

Fusion-CBAM注意力模塊由融合通道注意力模塊(Fusion Channel Attention，F(xiàn)CA)和空間注意力模塊(Spatial Attention，SA)組成，其中FCA由三個(gè)負(fù)責(zé)跨維度交互的注意力模塊組成，分別是：①負(fù)責(zé)捕獲通道維度C與空間維度H跨維度交互的CHA(Channel High Attention)注意力模塊；②負(fù)責(zé)捕獲通道維度C和空間維度W跨維度交互的CWA(Channel Width Attention)注意力模塊；③負(fù)責(zé)捕獲不同通道間的跨通道維度交互的GPEA(Global Pooling Efficient Attention)注意力模塊.Fusion-CBAM注意力模塊如圖3所示.

圖3 Fusion-CBAM注意力模塊

Fusion-CBAM的輸入特征向量為χ∈C×H×W，融合通道注意力模塊可以表示為：

(1)

(2)

(3)

(4)

其中，AvgPool和MaxPool為分別沿著各自維度的平均池化和最大池化，GAvgPoolC和GMaxPoolC表示沿著通道維度的全局平均池化和全局最大池化，Cat為特征拼接操作，ψ7×7為卷積核大小為7×7的卷積層，C1d為一維卷積操作，將經(jīng)過σ激活函數(shù)的特征映射到輸入特征向量并將每個(gè)通道注意力模塊的輸出取平均構(gòu)成Fsuion-CBAM的FCA輸出AC(χ)∈C×H×W.

Fusion-CBAM的空間注意力模塊可以表示為：

AS(AC(χ))=AC(χ)Sa

(5)

其中，AC(χ)為輸入向量，Sa為空間注意力加權(quán)分支，AS(AC(χ))為完整的Fusion-CBAM注意力模塊的輸出.其中Sa可以表示為：

(6)

將輸入特征沿著特征通道維度做平均池化和最大池化，再經(jīng)過一個(gè)卷積核大小為7×7的卷積層，最后將得到的注意力特征圖經(jīng)過σ激活函數(shù)得到具有權(quán)重激活值的注意力加權(quán)分支Sa.

1.1.3 改進(jìn)高斯采樣模塊

通過借鑒TTFNet[7]編碼更多的訓(xùn)練樣本加快網(wǎng)絡(luò)訓(xùn)練速度的思想，在檢測(cè)頭部分的分類分支和回歸分支中分別加入改進(jìn)的高斯采樣模塊(Improved Gaussian Sampling Module，IGSM)，IGSM使用的二維高斯核公式如式(7)所示：

(7)

其中，Km為二維高斯核，(x0,y0)為目標(biāo)物體的中心位置，σx和σy為對(duì)象尺寸自適應(yīng)標(biāo)準(zhǔn)差，其中α為超參數(shù)，(h,w)為目標(biāo)物體邊界框的大小.高斯熱圖Hm由Km產(chǎn)生，(H,W)為輸入圖像的高度和寬度，輸出步長(zhǎng)r為4.

在CB-CenterNet的分類和回歸支路中使用IGSM生成高質(zhì)量的訓(xùn)練樣本，這樣既可以貼近真實(shí)物體的大小比例，使目標(biāo)分類更準(zhǔn)確，又能增強(qiáng)檢測(cè)網(wǎng)絡(luò)對(duì)遮擋目標(biāo)的檢測(cè)能力，加快模型訓(xùn)練速度，改進(jìn)前后訓(xùn)練樣本采樣方式對(duì)比如圖4所示.

圖4 改進(jìn)前后樣本采樣方式對(duì)比

1.2 損失函數(shù)

CB-CenterNet的總體損失L如式(8)所示：

L=ωlocLloc+ωregLreg

(8)

式中：Lloc為定位損失；Lreg為回歸損失；ωloc和ωreg為超參數(shù)，定位損失采用改進(jìn)的Focal-Loss，公式如式(9)所示：

(9)

回歸損失采用GIoULoss，如式(10)所示：

(10)

(11)

式中：Gm(i,j)為高斯核采樣在高斯熱圖的(i,j)點(diǎn)產(chǎn)生的高斯概率；Am為高斯采樣的范圍；am為第m個(gè)邊界框的面積.

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)所使用的操作系統(tǒng)為Ubuntu 16.04，編程語言為Python，使用隨機(jī)梯度下降法優(yōu)化損失函數(shù)，初始學(xué)習(xí)率設(shè)為6×10-4，最大迭代次數(shù)為120個(gè)epoch，權(quán)重衰減值為4×10-4，批量大小設(shè)為6.其他參數(shù)設(shè)置如下：改進(jìn)高斯采樣模塊中的超參數(shù)α設(shè)為0.54，總體損失L中的超參數(shù)ωloc和ωreg分別設(shè)為1和5，分類損失中的超參數(shù)αf和βf都設(shè)為2.

使用的數(shù)據(jù)集是從公共自動(dòng)駕駛數(shù)據(jù)集BDD100K[8]中篩選出的白天場(chǎng)景下18 430張圖片，圖片尺寸為1 280×720，將數(shù)據(jù)集按7∶2∶1的比例隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集.

實(shí)驗(yàn)采用平均精確率均值(mAP)、訓(xùn)練時(shí)間(TrainTime,TT)和每秒傳輸幀數(shù)(FPS)作為算法性能定量評(píng)價(jià)的標(biāo)準(zhǔn)，其中訓(xùn)練時(shí)間的計(jì)時(shí)單位為小時(shí)(h).平均精確率均值mAP的計(jì)算公式如式(12)所示:

(12)

其中，AP(Average Precision)是每類目標(biāo)的平均正確率，N是總的類別數(shù)量.

2.2 實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證本文設(shè)計(jì)的遮擋目標(biāo)檢測(cè)算法的有效性，將CB-CenterNet分別與SSD、YOLOv3、CornerNet和CenterNet算法進(jìn)行對(duì)比，結(jié)果如表1所示.

表1 CB-CenterNet與其他主流算法測(cè)試結(jié)果對(duì)比

從表1可以看出，CB-CenterNet的mAP比CenterNet提高4.9%，訓(xùn)練時(shí)間比CenterNet縮短15.9 h，F(xiàn)PS比CenterNet降低17.8.與其他主流算法相比，隨著使用更嚴(yán)格的IOU閾值進(jìn)行計(jì)算，CB-CenterNet的mAP50提高4.5%～15.5%，mAP75提高4.5%～20.8%.說明CB-CenterNet能達(dá)到更高的檢測(cè)精度，且模型的采樣效率也得到提升，訓(xùn)練速度更快.

圖5是CB-CenterNet與其他主流算法針對(duì)不同程度遮擋目標(biāo)的檢測(cè)結(jié)果對(duì)比，從上到下依次是無遮擋目標(biāo)檢測(cè)對(duì)比、部分遮擋目標(biāo)檢測(cè)對(duì)比和嚴(yán)重遮擋目標(biāo)檢測(cè)對(duì)比.從圖中可與看出，隨著目標(biāo)被遮擋面積的增加，SSD和YOLOv3出現(xiàn)漏檢的現(xiàn)象，CornerNet和CenterNet檢測(cè)精度大幅下降，但CB-CenterNet算法仍能保持較高的檢測(cè)精度.原因是CB-CenterNet中的差級(jí)級(jí)聯(lián)特征融合結(jié)構(gòu)可以加強(qiáng)檢測(cè)網(wǎng)絡(luò)對(duì)遮擋目標(biāo)的特征提取和特征融合能力，對(duì)于嚴(yán)重遮擋目標(biāo)，F(xiàn)usion-CBAM注意力模塊仍能利用被遮擋目標(biāo)的可視區(qū)域，提取目標(biāo)可視區(qū)域的特征進(jìn)行目標(biāo)檢測(cè).

(a) YOLOv3 (b) SSD (c) CornerNet (d) CenterNet (e) CB-CenterNet圖5 不同檢測(cè)算法針對(duì)目標(biāo)的不同程度遮擋檢測(cè)效果對(duì)比

為了驗(yàn)證具有增強(qiáng)復(fù)合連接模塊的差級(jí)級(jí)聯(lián)特征融合結(jié)構(gòu)、Fusion-CBAM注意力模塊和改進(jìn)的高斯采樣模塊在解決遮擋問題中的有效性，將CenterNet目標(biāo)檢測(cè)網(wǎng)絡(luò)作為測(cè)試基準(zhǔn)(Baseline)，按2.1實(shí)驗(yàn)設(shè)置分別進(jìn)行訓(xùn)練，測(cè)試結(jié)果如表2所示.

表2 模型消融實(shí)驗(yàn)測(cè)試結(jié)果

從表2中可以看出：

(1)與基準(zhǔn)模型相比，在CBNet的基礎(chǔ)上添加ECCM之后，mAP比Baseline提升3.1%，比CBNet提升1.2%，說明在復(fù)合連接中設(shè)計(jì)的具有不同感受野大小的卷積核可以更有效地提取特征，且整個(gè)模塊也能夠產(chǎn)生更好的特征融合效果，提升檢測(cè)模型的檢測(cè)能力；

(2)添加Fusion-CBAM注意力模塊之后，mAP比Baseline提升1.9%，比CBAM提升0.7%，說明在FCA中進(jìn)行通道和空間的跨維度交互，相比CBAM在通道注意力中只做特征通道間的交互，能充分利用網(wǎng)絡(luò)模型提取出有效特征信息，提高模型的檢測(cè)精度；

(3)與基準(zhǔn)模型相比，在添加IGSM之后，訓(xùn)練時(shí)間縮短25 h，mAP提升0.9%，原因是IGSM不僅能充分利用帶注釋的邊界框產(chǎn)生更多信息，加快網(wǎng)絡(luò)的訓(xùn)練速度，還能學(xué)習(xí)到被遮擋目標(biāo)可視部分的更多特征，提升檢測(cè)性能.

3 結(jié)論

針對(duì)自動(dòng)駕駛場(chǎng)景下的遮擋目標(biāo)檢測(cè)問題，本文提出CB-CenterNet遮擋檢測(cè)模型，通過優(yōu)化網(wǎng)絡(luò)的特征提取和特征融合過程，引導(dǎo)模型關(guān)注遮擋目標(biāo).在BDD100K數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，相比目前主流檢測(cè)算法CB-CenterNet有更高的檢測(cè)精度，但是測(cè)試速度比CenterNet有所下降，今后將對(duì)網(wǎng)絡(luò)進(jìn)行一定的輕量化處理，在保證檢測(cè)速度的前提下提高網(wǎng)絡(luò)對(duì)遮擋目標(biāo)的檢測(cè)能力.