基于改進(jìn)CenterNet的艦面多目標(biāo)檢測(cè)算法*

黃 葵 朱興動(dòng) 范加利王 正 汪 丁

（1.海軍航空大學(xué)青島校區(qū) 青島 266041）（2.海軍航空大學(xué) 煙臺(tái) 264001）

1 引言

隨著神經(jīng)網(wǎng)絡(luò)及光學(xué)技術(shù)等不斷快速發(fā)展，計(jì)算機(jī)視覺相關(guān)理論逐步成熟，研究成果在各領(lǐng)域紛紛落地。計(jì)算機(jī)視覺的應(yīng)用在各個(gè)行業(yè)得到了不同程度的開展，在國(guó)防工業(yè)領(lǐng)域的應(yīng)用也得到了極高的重視。大型船舶作為未來艦艇的發(fā)展方向之一，其甲板平面管理成為重點(diǎn)問題[1]。艦面空間非常有限，加之較為復(fù)雜的電磁環(huán)境，利用視覺方案實(shí)現(xiàn)艦面目標(biāo)的定位和追蹤管理方案相對(duì)較為成熟。艦面目標(biāo)的檢測(cè)與識(shí)別是艦面態(tài)勢(shì)感知的重要數(shù)據(jù)入口，同時(shí)對(duì)艦面無人化作業(yè)具有重要意義[2]。

目標(biāo)檢測(cè)算法近年得到了快速的發(fā)展，從傳統(tǒng)人工標(biāo)定特征的模板匹配等方法，到基于神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別技術(shù)，目標(biāo)檢測(cè)已經(jīng)有了多條技術(shù)路線。當(dāng)前先有的目標(biāo)檢測(cè)算法有R-CNN系列、SSD系列以及YOLO系列[3]。RCNN是一種雙階段（Two-Stage）的算法，首先提取特征產(chǎn)生先驗(yàn)框，后對(duì)框進(jìn)行分類和回歸，雙階段的算法精度較高而速率較低。而SSD和YOLO系列算法是One-Stage模式，可以直接進(jìn)行分類和回歸處理[4]。目前最為常用的算法是YOLO系列，但其同樣存在短板，一是需要設(shè)定先驗(yàn)框，這種方式會(huì)限制算法的性能。二是利用NMS進(jìn)行非極大抑制處理消耗很多算力，同時(shí)容易產(chǎn)生漏檢或者重復(fù)框。這些算法都是依賴于Anchor-based思想，而CenterNet算法是一種基于Anchor-free的目標(biāo)檢測(cè)算法，是從CornerNet算法的基礎(chǔ)上改進(jìn)而來的，去除了YOLO系列算法需要設(shè)定先驗(yàn)錨框的弊端，同時(shí)可以提取到關(guān)鍵點(diǎn)的信息，具有較好的通用性。

2 CenterNet算法原理

CenterNet算法是從 2018年 Law 等[5]提出的CornerNet算法為基礎(chǔ)，CornerNet算法是預(yù)測(cè)兩個(gè)角點(diǎn)，因此需要判斷哪些角點(diǎn)是屬于同一個(gè)目標(biāo)。而 2019年 Zhou等[6]提出了 CenterNet目標(biāo)檢測(cè)算法，直接通過目標(biāo)中心點(diǎn)的特征信息進(jìn)行目標(biāo)分類和回歸，相比于CornerNet利用角點(diǎn)進(jìn)行檢測(cè)可以更好的獲取到內(nèi)部的特征，并取得了一定的效果。但在艦面目標(biāo)檢測(cè)的應(yīng)用上，由于遮擋和角度問題，檢測(cè)精度依舊不是很理想。本文針對(duì)艦面目標(biāo)檢測(cè)的痛點(diǎn)問題，在CenterNet目標(biāo)檢測(cè)模型的基礎(chǔ)上進(jìn)行改進(jìn)和優(yōu)化，通過數(shù)據(jù)增強(qiáng)以及注意力機(jī)制等策略優(yōu)化網(wǎng)絡(luò)以提升目標(biāo)檢測(cè)模型的性能。

CenterNet網(wǎng)絡(luò)模型采用的是先編碼后解碼的網(wǎng)絡(luò)結(jié)構(gòu)提取圖像的特征，然后通過檢測(cè)網(wǎng)絡(luò)分別預(yù)測(cè)網(wǎng)絡(luò)的中心點(diǎn)、偏移值以及尺度等信息，并利用關(guān)鍵點(diǎn)的特征信息來預(yù)測(cè)目標(biāo)的類型和回歸框的位置以及目標(biāo)的長(zhǎng)與寬[7]，檢測(cè)方式如圖1所示。文中根據(jù)CenterNet網(wǎng)絡(luò)存在的問題和檢測(cè)目標(biāo)的特點(diǎn)，提出了與目標(biāo)特征相匹配的檢測(cè)分支，分別為艦面目標(biāo)熱力圖預(yù)測(cè)、中心點(diǎn)偏移量預(yù)測(cè)和目標(biāo)尺寸預(yù)測(cè)[8]。

圖1 CenterNet檢測(cè)方式

CenterNet算法的網(wǎng)絡(luò)結(jié)構(gòu)主要可以分為圖像輸入、編碼模塊、解碼模塊以及檢測(cè)網(wǎng)絡(luò)[9]，如圖2所示。

圖2 CenterNet算法檢測(cè)流程

圖像輸入的尺寸可以根據(jù)圖像設(shè)備設(shè)定，在輸入模塊中會(huì)resize為512×512的圖像，同時(shí)為了防止變形會(huì)對(duì)空白部分進(jìn)行填充。

編碼和解碼網(wǎng)絡(luò)作為重要組成部分，主要是完成目標(biāo)中心點(diǎn)的特征信息提取，常用的結(jié)構(gòu)主要有Resnet-18、DLA-34、Hourglass-104或者ResNet等，本文所采用的是帶有反卷積的ResNet結(jié)構(gòu)。

在檢測(cè)網(wǎng)絡(luò)部分主要有三個(gè)分支，熱力圖（Heat map）分支預(yù)測(cè)關(guān)鍵中心點(diǎn)，中心偏移圖（Center offset map）預(yù)測(cè)中心點(diǎn)的偏移，高寬圖（Height width map）預(yù)測(cè)框的長(zhǎng)和寬[10]。其中，Heat map包括C個(gè)通道，每個(gè)通道對(duì)應(yīng)一個(gè)類別，Center offset map是一個(gè)維度為2的feature maps，分別預(yù)測(cè)x，y方向上中心點(diǎn)位的偏移，Height width map也是一個(gè)維度為2的feature maps，分別預(yù)測(cè)框的長(zhǎng)和寬。CenterNet網(wǎng)絡(luò)的檢測(cè)流程如圖2所示。

3 算法的改進(jìn)

CenterNet算法相比于YOLO系列算法更為簡(jiǎn)單，將網(wǎng)格劃分的目標(biāo)檢測(cè)問題轉(zhuǎn)換成了關(guān)鍵點(diǎn)估計(jì)問題。通過實(shí)驗(yàn)發(fā)現(xiàn)CenterNet算法在簡(jiǎn)單場(chǎng)景下能夠基本實(shí)現(xiàn)單目標(biāo)的正確檢測(cè)，但在多目標(biāo)和密集目標(biāo)等復(fù)雜場(chǎng)景時(shí)，其檢測(cè)性能依舊有限，因此需要在原算法的基礎(chǔ)上進(jìn)行進(jìn)一步的改進(jìn)，如圖3所示。

圖3 不同的艦面目標(biāo)場(chǎng)景

3.1 數(shù)據(jù)增強(qiáng)策略

CenterNet算法以中心點(diǎn)進(jìn)行目標(biāo)估計(jì)，因此需要根據(jù)充分的數(shù)據(jù)量以保證各視角下中心特征點(diǎn)有充分的特征信息。數(shù)據(jù)集決定模型的上限，而好的算法才能逼近上限。從神經(jīng)網(wǎng)絡(luò)生成神經(jīng)網(wǎng)絡(luò)模型需要利用大量的標(biāo)簽數(shù)據(jù)進(jìn)行訓(xùn)練，通過訓(xùn)練使模型達(dá)到最為理想的擬合效果。而在艦面目標(biāo)數(shù)據(jù)采集數(shù)據(jù)樣本量有限的情況下，需要通過數(shù)據(jù)增強(qiáng)方法進(jìn)一步豐富樣本數(shù)據(jù)，防止模型在訓(xùn)練過程中出現(xiàn)過擬合現(xiàn)象[11]。

在數(shù)據(jù)增強(qiáng)上，主要是解決兩個(gè)方面的問題，一是由于數(shù)據(jù)樣本有限帶來的模型過擬合問題，二是數(shù)據(jù)樣本分布不均衡帶來的數(shù)據(jù)樣本不平衡問題。數(shù)據(jù)增強(qiáng)分為離線和在線兩種方式，離線增強(qiáng)是在訓(xùn)練前對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理以獲得數(shù)量翻倍的增強(qiáng)數(shù)據(jù)集，而在線增強(qiáng)是在訓(xùn)練過程的預(yù)處理階段中對(duì)原數(shù)據(jù)集中的圖像直接進(jìn)行變換等處理后送入神經(jīng)網(wǎng)絡(luò)中，增強(qiáng)過程伴隨著整個(gè)訓(xùn)練過程。

數(shù)據(jù)增強(qiáng)方法主要是通過對(duì)圖片的屬性參數(shù)進(jìn)行調(diào)整，例如圖片的尺度比例、亮暗、色彩以及噪聲等屬性。通過豐富不同的圖像屬性來擬合不同艦面場(chǎng)景下的圖像特征，增強(qiáng)對(duì)不同背景下環(huán)境的檢測(cè)性能。目前常用的數(shù)據(jù)增強(qiáng)方法主要有Cut-Out、Random Erasing、Mixup以及Mosaic等。CutOut和Random Erasing是在基礎(chǔ)變換的情況下，隨機(jī)生成一個(gè)遮擋框加入圖片中形成新的樣本。文中融合兩種類型的組合方式，并加入天氣圖層疊加盡可能逼近真實(shí)環(huán)境，如圖4所示。

圖4 策略示意圖

在艦面目標(biāo)數(shù)據(jù)集中，由于模型數(shù)量配比及圖像采集比例問題，不同目標(biāo)的數(shù)量存在著較大的差異，因此在訓(xùn)練過程中容易出現(xiàn)數(shù)據(jù)集的不平衡，導(dǎo)致數(shù)據(jù)樣本采集過采樣或欠采樣。為了保持五類艦面目標(biāo)的樣本的分布均衡性，所以需要在數(shù)據(jù)增強(qiáng)的過程中通過重采樣技術(shù)在數(shù)據(jù)增強(qiáng)的過程中對(duì)生成的樣本數(shù)量進(jìn)行調(diào)整。

重采樣技術(shù)是通過調(diào)整多數(shù)類和少數(shù)類在整個(gè)數(shù)據(jù)集中的比例來實(shí)現(xiàn)不同類型目標(biāo)數(shù)據(jù)的再平衡。重采樣技術(shù)通常分為欠采樣和過采樣方法。欠采樣方法是通過刪除部分多數(shù)類來達(dá)到平衡，而文中為了保留充分的數(shù)據(jù)量采用過采樣方法，即通過數(shù)據(jù)增強(qiáng)方法合成新的少數(shù)類樣本，將新的樣本添加到原始的數(shù)據(jù)集中來達(dá)到各類樣本的平衡。SMOTE是由Chawla等[12]提出的基于隨機(jī)過采樣改進(jìn)的一種線性插值過采樣方法，通過取每一個(gè)稀有樣本數(shù)量點(diǎn)x，以樣本點(diǎn)附近選出k個(gè)最臨近的樣本點(diǎn)，并以0～1的采樣倍率進(jìn)行線性插值從而產(chǎn)生新的合成數(shù)據(jù)，其公式如下：

通過將SMOTE算法與數(shù)據(jù)增強(qiáng)策略進(jìn)行組合，不僅可以解決了簡(jiǎn)單復(fù)制少數(shù)類樣本帶來的數(shù)據(jù)樣本重復(fù)問題，還能可以根據(jù)原始數(shù)據(jù)集進(jìn)行靈活調(diào)整，可以使得目標(biāo)數(shù)據(jù)得以充分的利用。

3.2 CBAM注意力機(jī)制

注意力機(jī)制最早是應(yīng)用在自然語言領(lǐng)域，隨后在網(wǎng)絡(luò)模型引入計(jì)算機(jī)視覺領(lǐng)域后，經(jīng)實(shí)驗(yàn)發(fā)現(xiàn)同樣對(duì)目標(biāo)檢測(cè)模型的性能有提升。

注意力機(jī)制主要是用來解決特征融合產(chǎn)生的信息干擾問題，主要分為空間注意力模塊（Spartial Attention Model，SAM）和通道注意力模塊（Chanel Attention Model，CAM）[13]。本文引入了CBAM注意力模塊[14]，其核心是讓神經(jīng)網(wǎng)絡(luò)忽略無關(guān)特征而關(guān)注重要的內(nèi)容，因而可以自適應(yīng)調(diào)整在通道域和空間域上的特征融合權(quán)重，使網(wǎng)絡(luò)模型更加關(guān)注艦面目標(biāo)的特征信息而忽略甲板面等背景信息。兩個(gè)子模塊的模型如圖5和圖6所示。

圖5 CAM模塊

圖6 SAM模塊

在CAM模塊中，將輸入的特征分別通過最大池化和平均池化兩種池化方式后，再通過多層感知機(jī)（Muti-Layer Perception，MLP）輸出得到對(duì)應(yīng)的特征。多層感知機(jī)由兩個(gè)全連接層組成，先后進(jìn)行降維和升維操作，然后將特征相加之后通過激活函數(shù)后得到CAM模塊的通道注意力分布權(quán)重，其計(jì)算公式如下：

其中，O表示輸入的原特征，σ表示Sigmoid激活函數(shù)。

在SAM模塊中，將CAM模塊得到的權(quán)重與原特征進(jìn)行相乘后作為輸入，將平均池化和最大池化得到的特征圖后進(jìn)行堆疊并進(jìn)行卷積操作，再通過激活函數(shù)后獲得空間注意力的權(quán)重分布。其公式如下：

其中，F(xiàn)是模塊的輸入，f7*7是進(jìn)行7*7的卷積操作。

在兩個(gè)模塊的組合搭建上，作者通過實(shí)驗(yàn)證明先通道后空間并與原特征并行時(shí)效果最好，能夠最有效地保留圖像的特征信息。在與早期發(fā)展的SE（Squeeze-and-Excitation）模塊[15]相比時(shí)，CBAM 模塊可以同時(shí)關(guān)注到通道特征和空間特征，以此來調(diào)節(jié)對(duì)不同通道和空間位置的注意力權(quán)重，提高對(duì)目標(biāo)特征的關(guān)注程度和檢測(cè)性能。

3.3 損失函數(shù)改進(jìn)

通常CenterNet算法的損失函數(shù)同樣可以分為三個(gè)子模塊，熱力圖關(guān)鍵中心點(diǎn)預(yù)測(cè)損失函數(shù)，中心點(diǎn)偏移量預(yù)測(cè)損失函數(shù)和角度預(yù)測(cè)損失函數(shù)[16]。其總的損失函數(shù)為

其中，Lk表示熱力圖關(guān)鍵點(diǎn)預(yù)測(cè)損失函數(shù)，Langle表示關(guān)鍵點(diǎn)角度預(yù)測(cè)損失函數(shù)、Loff表示關(guān)鍵點(diǎn)偏移量預(yù)測(cè)損失函數(shù)，λ表示超參數(shù)。

根據(jù)艦面目標(biāo)檢測(cè)的特點(diǎn)，考慮到不需要角度問題的設(shè)定，因此只設(shè)定熱力圖關(guān)鍵點(diǎn)損失函數(shù)、關(guān)鍵點(diǎn)偏移量損失函數(shù)以及目標(biāo)尺寸損失函數(shù)。在損失函數(shù)中，中心點(diǎn)的位置至關(guān)重要，會(huì)直接影響到檢測(cè)框的準(zhǔn)確率，為了均衡熱力圖中的正負(fù)樣本，文中采用中心損失的變體作為熱力圖損失，其表達(dá)式為

其中，Yxyc為關(guān)鍵點(diǎn)的實(shí)際位置和類別，?xyc為關(guān)鍵點(diǎn)位置和類別的預(yù)測(cè)值，α和β為超參數(shù)，N為關(guān)鍵點(diǎn)的數(shù)量。

而在關(guān)鍵點(diǎn)偏移量損失中，由于經(jīng)過特征提取網(wǎng)絡(luò)進(jìn)行下采樣后，坐標(biāo)在映射過程中會(huì)發(fā)生偏移，因此需要進(jìn)行補(bǔ)償，中心點(diǎn)偏移損失函數(shù)的表達(dá)式為

其中，為網(wǎng)絡(luò)預(yù)測(cè)后的偏移值，p表示圖像中心的坐標(biāo)值，?表示縮放后的中心近似坐標(biāo)值，T表示縮放因子。

最后根據(jù)目標(biāo)檢測(cè)框的大小，建立目標(biāo)尺寸損失函數(shù)，其公式為

其中，和分別表示真實(shí)的檢測(cè)框橫縱長(zhǎng)度，xc和yc分別表示檢測(cè)框橫縱長(zhǎng)度預(yù)測(cè)值。

最后得到算法總的損失函數(shù)為

其中，λs和λoff為超參數(shù)。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 數(shù)據(jù)集的創(chuàng)建

在數(shù)據(jù)集的建立上，在實(shí)驗(yàn)室仿真平臺(tái)上搭建等比例模型，通過購(gòu)置相應(yīng)的模型配件進(jìn)行組裝上色，還原甲板面上艦面目標(biāo)的分布情況，并對(duì)攝像機(jī)視場(chǎng)進(jìn)行調(diào)整，以貼近實(shí)際的使用場(chǎng)景。

實(shí)驗(yàn)中利用工業(yè)相機(jī)捕獲圖像信息，圖像格式為1280×720的JPG圖像。然后利用LabelImg圖像標(biāo)注工具對(duì)圖像中艦面目標(biāo)的類型和位置進(jìn)行標(biāo)注，得到PASCAL VOC數(shù)據(jù)集，用于網(wǎng)絡(luò)模型的訓(xùn)練，具體的樣本數(shù)據(jù)如表1所示。

表1 數(shù)據(jù)集設(shè)置

4.2 實(shí)驗(yàn)參數(shù)及評(píng)價(jià)指標(biāo)

本實(shí)驗(yàn)中網(wǎng)絡(luò)的訓(xùn)練環(huán)境如表2所示。

表2 實(shí)驗(yàn)環(huán)境

在訓(xùn)練過程中，設(shè)置迭代輪數(shù)為40，初始學(xué)習(xí)率為0.0001，結(jié)束學(xué)習(xí)率為0.000001，在訓(xùn)練集和驗(yàn)證集上的的loss曲線如圖7所示。

圖7 損失函數(shù)圖

為評(píng)價(jià)目標(biāo)檢測(cè)模型的性能，本文根據(jù)需要設(shè)定以下參數(shù)作為評(píng)價(jià)指標(biāo)。

1）查準(zhǔn)率（Precision，P）和召回率（Recall，R）分別表示對(duì)召回目標(biāo)的檢測(cè)正確率和對(duì)正確目標(biāo)的召回比例，計(jì)算公式如下：

其中，TP表示預(yù)測(cè)的目標(biāo)類別和真實(shí)類別一致樣本的數(shù)量；FP表示預(yù)測(cè)的目標(biāo)類別和真實(shí)類別不一樣的樣本數(shù)量；FN表示未被檢測(cè)出來的樣本。

2）平均準(zhǔn)確率是一種常用的多類圖像分類的評(píng)價(jià)方法，可以衡量目標(biāo)檢測(cè)性能的優(yōu)劣，通常用各類的AP均值來mAP來表示，其計(jì)算公式為

3）幀率，是神經(jīng)網(wǎng)絡(luò)每秒預(yù)測(cè)圖片的數(shù)量，可以用來衡量模型的計(jì)算性能。

4）模型體積，用于表示模型占電腦存儲(chǔ)空間的大小，用于衡量模型的輕量化水平。

4.3 實(shí)驗(yàn)結(jié)果

為進(jìn)一步對(duì)比分析模型的優(yōu)劣，在實(shí)驗(yàn)中加入主流的Faster R-CNN算法和YOLOv4算法，在相同的數(shù)據(jù)集上進(jìn)行對(duì)比，通過相同的訓(xùn)練策略對(duì)算法進(jìn)行多次測(cè)試并取平均值，以通過評(píng)價(jià)指標(biāo)來進(jìn)行對(duì)比，結(jié)果如表3所示。通過實(shí)驗(yàn)表明，改進(jìn)的CenterNet算法準(zhǔn)確率得到了較大的提升，模型體積也相對(duì)較小便于部署，并且相比于其他算法速率都有較大的優(yōu)勢(shì)。

表3 算法性能對(duì)比

通過在相同的樣圖上進(jìn)行測(cè)試，對(duì)比圖8和圖9可以發(fā)現(xiàn)，圖8中漏檢了圖像中間的plane2和plane3等目標(biāo)，在圖9中問題得以解決并且檢測(cè)框的位置和大小也更加合理。

圖8 原CenterNet效果

圖9 改進(jìn)的CenterNet效果

根據(jù)表4可以得知，在兩類飛機(jī)等簡(jiǎn)單目標(biāo)上，各類算法的性能都較為優(yōu)秀，效果提升較小。但在車輛和人等小目標(biāo)上，改進(jìn)的CenterNet算法性能提升較大。通過圖10也可以看出在小目標(biāo)上的檢測(cè)率提升更為顯著。

表4 算法性能對(duì)比

圖10 算法準(zhǔn)確率對(duì)比圖

通過算法對(duì)比分析可以得到，YOLOv4算法雖然檢測(cè)準(zhǔn)確率最高的，但是其檢測(cè)速率相對(duì)較慢。而CenterNet算法作為一個(gè)端對(duì)端的網(wǎng)絡(luò)，只有一個(gè)候選框因此免去了非極大抑制等計(jì)算，以極小的代價(jià)來實(shí)現(xiàn)感知物體內(nèi)部特征，從而能有效抑制漏檢和誤檢，在檢測(cè)速度和檢測(cè)準(zhǔn)確率上保持一個(gè)相對(duì)均衡的水平。在相同閾值的情況下實(shí)驗(yàn)表明，數(shù)據(jù)增強(qiáng)方法對(duì)召回率的提升有較大幫助，可以有效降低模型的誤檢率。通過損失函數(shù)的改進(jìn)，進(jìn)一步提高了模型對(duì)多類目標(biāo)擬合度和檢測(cè)性能。而注意力機(jī)制模塊的引入使得模型抗背景干擾的能力得到了改善，有效解決了背景干擾問題。

5 結(jié)語

本文針對(duì)艦面目標(biāo)類型多、環(huán)境復(fù)雜、位置密集等問題，通過數(shù)據(jù)增強(qiáng)方法進(jìn)一步豐富樣本信息，使得其可以充分利用中心點(diǎn)特征實(shí)現(xiàn)目標(biāo)檢測(cè)與識(shí)別。為進(jìn)步分離目標(biāo)與背景特征，引入注意力機(jī)制模塊來自適應(yīng)調(diào)整空間及通道特征融合權(quán)重，使目標(biāo)能夠更好地從背景中剝離出來，增強(qiáng)模型的抗背景干擾能力。最后針對(duì)遮擋問題，對(duì)損失函數(shù)進(jìn)行改進(jìn)，提升在遮擋情況下的檢測(cè)性能。通過實(shí)驗(yàn)對(duì)比分析，本文提出的方法在艦面目標(biāo)檢測(cè)上檢測(cè)率達(dá)到了93.22%，速率達(dá)到了35fps，能夠滿足艦面目標(biāo)檢測(cè)準(zhǔn)確性和實(shí)時(shí)性的要求。