基于雙分支頭部解耦和注意力機(jī)制的災(zāi)害環(huán)境人體檢測

郝 帥,楊晨祿,趙秋林,馬 旭,孫曦子,王海瑩,孫浩博,吳瑛琦

(西安科技大學(xué) 電氣與控制工程學(xué)院,陜西 西安 710054)

0 引 言

人體檢測作為目標(biāo)檢測領(lǐng)域的一個(gè)重要研究方向分支,在智能監(jiān)控[1]、道路交通[2]、緊急救援[3]等領(lǐng)域被廣泛應(yīng)用。自然災(zāi)害環(huán)境中,如地震、山地滑坡、洪水等,利用計(jì)算機(jī)視覺對受災(zāi)人員進(jìn)行快速、準(zhǔn)確定位是應(yīng)急救援的重要輔助手段。然而,自然災(zāi)害的巨大破壞性往往使救援現(xiàn)場處于一個(gè)危險(xiǎn)而又復(fù)雜的場景中,進(jìn)而導(dǎo)致受災(zāi)人員肢體可能被部分掩埋,給救援的準(zhǔn)確性和時(shí)效性造成一定影響。因此,面向復(fù)雜災(zāi)害環(huán)境下,探索一種快速、準(zhǔn)確的人體檢測方法可以協(xié)助救援人員迅速完成對受災(zāi)人員的搜救,對于智能化應(yīng)急救援的實(shí)現(xiàn)具有重要意義。

目前,人體檢測算法主要分為2大類：傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)[4]。傳統(tǒng)機(jī)器學(xué)習(xí)主要是利用滑窗技術(shù)實(shí)現(xiàn)人工特征提取,并結(jié)合分類器實(shí)現(xiàn)人體目標(biāo)檢測,代表算法有HOG+SVM[5]、DPM[6]等。李闖等通過構(gòu)造相交檢測窗口對HOG特征進(jìn)行了優(yōu)化,并結(jié)合基于子單元插值法來提高人體目標(biāo)檢測精度[7]。戴植毅等使用DPM檢測算法對人體檢測,通過利用快速傅里葉變換和Soft Binning直方圖降維對算法進(jìn)行優(yōu)化,從而在保證檢測精度的同時(shí)提高人體目標(biāo)檢測速度[8]。楊鴿等提出一種基于HSV與RGB顏色空間的人體檢測與跟蹤算法,在RGB空間通過背景減除法實(shí)現(xiàn)人體目標(biāo)檢測,并在HSV空間對陰影進(jìn)行去除從而消除因光照和人體形變等因素造成的干擾[9]。傳統(tǒng)算法雖然能夠在一定條件下有效檢測人體,但人工設(shè)計(jì)的特征提取器在復(fù)雜的調(diào)參過程下,往往存在實(shí)時(shí)性欠缺、魯棒性差等問題,且只滿足特定場景下的檢測要求,從而導(dǎo)致其泛化能力有限。

近年來,基于深度學(xué)習(xí)的檢測算法已經(jīng)成為目標(biāo)檢測領(lǐng)域中的一種主流方法,其通過從海量數(shù)據(jù)中自動(dòng)學(xué)習(xí)、提取目標(biāo)有用信息,從而實(shí)現(xiàn)目標(biāo)的準(zhǔn)確檢測?；谏疃葘W(xué)習(xí)的目標(biāo)檢測算法通過卷積神經(jīng)網(wǎng)絡(luò)可以有效完成特征提取、分類和回歸,從而實(shí)現(xiàn)端到端的學(xué)習(xí)。深度學(xué)習(xí)算法可以分為一階段檢測算法和二階段檢測算法。其中二階段算法包括R-CNN[10],Fast R-CNN[11],Faster R-CNN[12]等。賀藝斌等在Faster-RCNN算法框架下通過融合ResNet50網(wǎng)絡(luò)來提高對多尺度人體特征的提取能力,但其對于光線昏暗的場所檢測效果欠佳[13-14]。陶祝等在Faster R-CNN網(wǎng)絡(luò)基礎(chǔ)上利用空間金字塔池化層替換原有池化層,并通過試驗(yàn)證明該方法可以較好地解決大場景下人體部分遮擋問題[15]。雖然二階段檢測算法計(jì)算精度高但其檢測速度較慢,難以滿足復(fù)雜災(zāi)害環(huán)境下的實(shí)時(shí)檢測需求。

一階段檢測算法只需提取一次特征即可實(shí)現(xiàn)目標(biāo)檢測,能夠極大提高檢測速度,其中SSD[16],YOLO系列[17]算法表現(xiàn)較為出色。李國進(jìn)等為了增強(qiáng)卷積網(wǎng)絡(luò)提取特征能力,在SSD網(wǎng)絡(luò)中增加FPN結(jié)構(gòu)對人體進(jìn)行檢測,并通過試驗(yàn)證明所提出的方法相比于原始網(wǎng)絡(luò)具有更高的檢測精度[18]。

YOLO系列算法能夠保證檢測精度的同時(shí)較好地兼顧算法的實(shí)時(shí)性[19]。李巖等在YOLOv3的基礎(chǔ)上采用一種基于歸一化層γ系數(shù)的模型剪枝方法,該方法能夠在保證人體目標(biāo)檢測精度的同時(shí)提高模型的檢測速度[20]。李挺等利用YOLOv4網(wǎng)絡(luò)對人體目標(biāo)進(jìn)行檢測,將原網(wǎng)絡(luò)中CSPDarknet53替換為Mobilenetv2以減少參數(shù)量,并在網(wǎng)絡(luò)中引入Bottom-up以連接減少淺層信息的丟失,最后加入CBAM注意力模塊增強(qiáng)人體目標(biāo)特征的表達(dá)能力[21],該方法能夠準(zhǔn)確檢測人體目標(biāo)的同時(shí),具有良好的實(shí)時(shí)性。鄒有成等在YOLOv5框架下將激活函數(shù)替換為SiLU激活函數(shù)來簡化網(wǎng)絡(luò)體系結(jié)構(gòu),從而提高重疊人體目標(biāo)的檢測精度[22]。

盡管YOLOv5目標(biāo)檢測算法具有模型體積小、檢測精度高、速度快等優(yōu)點(diǎn),但是利用其進(jìn)行災(zāi)害環(huán)境下的人體目標(biāo)檢測時(shí),仍然存在以下3個(gè)問題：

1)基于YOLOv5的主干特征提取網(wǎng)絡(luò)由于采用大量的卷積運(yùn)算易造成部分小尺度目標(biāo)特征在進(jìn)行卷積提取特征時(shí)信息丟失,進(jìn)而導(dǎo)致災(zāi)害環(huán)境下人體小目標(biāo)檢測精度受限;

2)受復(fù)雜環(huán)境干擾,人體目標(biāo)可能受到部分遮擋造成目標(biāo)特征無法準(zhǔn)確表達(dá),進(jìn)而導(dǎo)致網(wǎng)絡(luò)檢測精度低;

3)人體在復(fù)雜場景中易被遮擋,進(jìn)而造成檢測網(wǎng)絡(luò)獲取的人體信息較少,最終導(dǎo)致預(yù)測框定位不準(zhǔn)確。

針對上述問題,在YOLOv5的框架下提出一種基于雙分支頭部解耦檢測器和注意力機(jī)制的多尺度人體檢測網(wǎng)絡(luò)。主要貢獻(xiàn)和創(chuàng)新點(diǎn)如下：

1)為解決受災(zāi)人體目標(biāo)受多尺度影響及小目標(biāo)特征提取困難的問題,將原有的三尺度特征層拓展為了四尺度特征層,并將同一特征原始輸入和輸出節(jié)點(diǎn)間建立連接以增強(qiáng)網(wǎng)絡(luò)多尺度特征融合能力;

2)為解決受災(zāi)人體目標(biāo)特征易淹沒于復(fù)雜背景中而導(dǎo)致檢測網(wǎng)絡(luò)精度下降問題,在C3模塊后引入注意力模塊以增強(qiáng)復(fù)雜災(zāi)害環(huán)境下人體特征顯著性,同時(shí)抑制復(fù)雜背景干擾;

3)為精準(zhǔn)定位目標(biāo)位置,構(gòu)建雙分支頭部解耦檢測器分別用于人體識(shí)別和定位,以使預(yù)測框坐標(biāo)更加精準(zhǔn);

4)為了進(jìn)一步提高密集人體目標(biāo)檢測精度,在網(wǎng)絡(luò)中引入Varifocal Loss優(yōu)化網(wǎng)絡(luò)參數(shù),提升檢測框定位精度。

1 YOLOv5算法理論

YOLOv5模型網(wǎng)絡(luò)主要由輸入層(Input)、主干層(Backbone)、頸部層(Neck)和輸出層(Output)4個(gè)部分組成,其結(jié)構(gòu)如圖1所示。

圖1 YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Detection framework of YOLOv5

Input：將輸入圖像縮放到640×640,再經(jīng)過自適應(yīng)縮放、mosaic數(shù)據(jù)增強(qiáng),最后送入主干提取網(wǎng)絡(luò)中,并計(jì)算不同訓(xùn)練集中的最佳錨框值。

Backbone：主干網(wǎng)絡(luò)主要由CBS、C3以SPPF等組成,C3由3次卷積的CSPBottleneck模塊組成,CSPBottleneck模塊采用通道分離的思想,將輸入特征圖分為2個(gè)部分,分別進(jìn)行不同的處理。其中,一部分通過一個(gè)卷積層進(jìn)行降維處理,另一部分則直接進(jìn)行卷積操作,最后再將2個(gè)部分的結(jié)果進(jìn)行拼接。這種方式既能夠增加網(wǎng)絡(luò)的感受野和特征表示能力,又能夠降低計(jì)算量和參數(shù)數(shù)量,從而提高模型的性能和效率。SPPF模塊通過使用多個(gè)小尺寸池化核來取代SPP模塊中的單個(gè)大尺寸池化核,指定一個(gè)卷積核,每次池化后的輸出成為下一個(gè)池化的輸入,從而提高網(wǎng)絡(luò)運(yùn)行速度。

Neck：使用FPN和PAN[23]相結(jié)合的方式從而加強(qiáng)網(wǎng)絡(luò)的特征融合能力。

Output：主體部分使用3個(gè)Detect檢測器對網(wǎng)絡(luò)進(jìn)行檢測。

2 構(gòu)建檢測網(wǎng)絡(luò)

所提出的基于雙分支頭部解耦檢測器和注意力機(jī)制的多尺度災(zāi)害環(huán)境下人體檢測網(wǎng)絡(luò)框架如圖2所示。所搭建網(wǎng)絡(luò)框架主要實(shí)現(xiàn)步驟如下。

圖2 改進(jìn)的YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Improved detection framework of YOLOv5

Step1：選取災(zāi)害救援現(xiàn)場圖像和圖片數(shù)據(jù)制作數(shù)據(jù)集,其中2 624張作為訓(xùn)練樣本,其余656張作為測試樣本。

Step2：標(biāo)注訓(xùn)練數(shù)據(jù)集并設(shè)置訓(xùn)練初始參數(shù)進(jìn)行訓(xùn)練。

Step3：訓(xùn)練過程中構(gòu)建頸部網(wǎng)絡(luò),擴(kuò)充特征檢測尺度,在融合注意力機(jī)制同時(shí)將同一特征原始輸入和輸出節(jié)點(diǎn)間添加連接,以增強(qiáng)網(wǎng)絡(luò)對小目標(biāo)特征提取能力和多尺度特征融合能力。

Step4：在輸出層構(gòu)建雙分支頭部解耦檢測器分別用于人體識(shí)別和定位,使預(yù)測框坐標(biāo)更加精準(zhǔn)。

Step5：為了提升檢測框定位精度,引入Varifocal Loss優(yōu)化網(wǎng)絡(luò)參數(shù)。

Step6：訓(xùn)練結(jié)束得到預(yù)訓(xùn)練權(quán)重文件。

Step7：將預(yù)訓(xùn)練權(quán)重文件在測試數(shù)據(jù)集上進(jìn)行預(yù)測驗(yàn)證。

2.1 頸部網(wǎng)絡(luò)重構(gòu)

災(zāi)害環(huán)境中,受災(zāi)人員可能被廢墟掩埋或被洪水淹沒造成人體目標(biāo)存在多尺度問題,從而造成傳統(tǒng)人體目標(biāo)檢測算法難以有效檢測。針對上述問題,在原YOLOv5的Neck部分添加淺層特征網(wǎng)絡(luò)作為檢測層以增強(qiáng)檢測網(wǎng)絡(luò)對小目標(biāo)人體識(shí)別能力;同時(shí),在特征金字塔結(jié)構(gòu)中添加連接,提高網(wǎng)絡(luò)多尺度特征融合能力;最后,嵌入輕量注意模型(Efficient Channel Attention,ECA)以抑制復(fù)雜背景干擾。

2.1.1 小目標(biāo)檢測層

在YOLOv5的網(wǎng)絡(luò)中使用深度神經(jīng)網(wǎng)絡(luò)來提取目標(biāo)的特征表示,原始圖片的輸入尺寸為640×640,頸部網(wǎng)絡(luò)通過對原圖片的多次采樣操作,分別生成新特征圖尺度,大小為80×80、40×40、20×20。但在實(shí)際災(zāi)害環(huán)境中,受災(zāi)人員的隨機(jī)分布會(huì)造成人體目標(biāo)存在多尺度問題,尤其是一些尺寸較小的人體目標(biāo),經(jīng)過多次下采樣其大部分特征信息會(huì)消失,從而影響最終檢測效果。針對上述問題,在原YOLOv5網(wǎng)絡(luò)基礎(chǔ)上新增一層160×160的檢測層,將原有的特征融合部分改為四尺度特征融合,進(jìn)而能夠捕捉更多小尺寸的人體目標(biāo)信息。

2.1.2 特征金字塔重構(gòu)

YOLOv5采用FPN和PAN相結(jié)合的方式來提取特征,如圖3(a)所示。但PAN結(jié)構(gòu)無法提取網(wǎng)絡(luò)中的原始特征信息,會(huì)導(dǎo)致訓(xùn)練學(xué)習(xí)出現(xiàn)偏差,影響檢測準(zhǔn)確度。針對此問題,重構(gòu)原有的Neck結(jié)構(gòu),在PAN結(jié)構(gòu)的結(jié)點(diǎn)增加來自主干特征提取網(wǎng)絡(luò)中原始特征層的輸入,如圖2紅色箭頭線條所示。在訓(xùn)練過程中獲得原始特征信息,避免訓(xùn)練學(xué)習(xí)過程偏離預(yù)期,從而提高模型的準(zhǔn)確性和可靠性,改進(jìn)后的結(jié)構(gòu)如圖3(b)所示。

圖3 特征融合結(jié)構(gòu)示意Fig.3 Schematic diagram of feature fusion structure

2.1.3 ECA注意力模型

為了解決復(fù)雜背景干擾導(dǎo)致人體目標(biāo)顯著度較低的問題,引入ECA通道注意力模型,將其嵌入到特征金字塔的多個(gè)特征傳遞分支結(jié)構(gòu)中來提升人體特征提取的能力,進(jìn)而提高檢測網(wǎng)絡(luò)的檢測精度。ECA通道注意力模塊是對特征圖進(jìn)行特征通道自適應(yīng)篩選,強(qiáng)調(diào)學(xué)習(xí)突出信息,采用一種不降維局部跨信道交互策略和自適應(yīng)進(jìn)擇一維卷積核大小的方法,以極少參數(shù)量顯著提升特征提取質(zhì)量,其結(jié)構(gòu)如圖4所示。

圖4 ECA結(jié)構(gòu)Fig.4 ECA module

從圖4可以看出,ECA通過全局平均池化,將輸入的特征圖從二維矩陣壓縮為具有全局信息的1×1×C數(shù)列(C為特征通道數(shù)),然后通過大小為k的快速一維卷積,在不降維的情況下生成通道權(quán)重,進(jìn)行局部跨通道交互,共享通道參數(shù),獲取各個(gè)通道之間的相關(guān)依賴關(guān)系,見式(1)

ω=σ(C1Dk(y))

(1)

式中ω為特征權(quán)重;C1D為一維卷積;k為該區(qū)域跨通道交互的覆蓋范圍;y為聚合特征。

由于通道維數(shù)通常是2的指數(shù)倍,所以采用以2為底的指數(shù)函數(shù)來表示非線性關(guān)系,計(jì)算公式如下

C=φ(k)=2(γ*k)-b

(2)

因此,確定通道維數(shù)C,卷積核的大小k通過以下的公式計(jì)算得到

k=ψ(C)=|log2(C)/γ+b/γ|

(3)

式中γ,b分別為縮放因子和偏置項(xiàng),分別取為2和1。然后把所得到各個(gè)通道的權(quán)重加權(quán)到原來的輸入特征圖上。

文中在C3模塊后引入ECA模型前后對比的結(jié)果如圖5所示,其中紅色部分表示顯著度較高的區(qū)域,并且顏色越深表示顯著度越高。

圖5 加入ECA前后對比Fig.5 Comparison results before and after adding CBA

從圖5可以看出,通過引入ECA,可以提高復(fù)雜背景下待檢測人體目標(biāo)的顯著性,為后續(xù)進(jìn)一步準(zhǔn)確檢測人體目標(biāo)奠定了良好的基礎(chǔ)。

2.2 雙分支頭部解耦檢測器

受復(fù)雜災(zāi)害環(huán)境影響,受災(zāi)人員肢體可能被建筑、洪水等物體遮擋,進(jìn)而造成人體目標(biāo)檢測難度增大。被遮擋的人體目標(biāo)通常需要精確的定位信息來判斷位置,然而,在基于深度學(xué)習(xí)的目標(biāo)檢測的分類和定位任務(wù)中,兩者的關(guān)注點(diǎn)存在顯著差異：前者更加關(guān)注如何將特征圖與已知的類別進(jìn)行比較,以確定最佳的匹配結(jié)果;而后者則更加關(guān)注如何通過調(diào)整邊界框的參數(shù)來達(dá)到精確的定位。但通過同一個(gè)特征圖進(jìn)行分類和定位的效果不佳,會(huì)發(fā)生失調(diào)的問題[24]。

針對災(zāi)害環(huán)境中對被遮擋人體目標(biāo)定位不準(zhǔn)確的問題,文中將傳統(tǒng)的耦合檢測頭分離成2個(gè)具有獨(dú)立子任務(wù)的頭部分支,將輸入特征從空間維度進(jìn)行解耦,分別用于分類和定位,以此來提升圖像中人體目標(biāo)對分類和定位的敏感性和精確度,如圖6所示。

圖6 解耦頭結(jié)構(gòu)Fig.6 Structure of decoupled head

圖6中,H,W,C分別為著輸入特征圖的高度(Height),寬度(Width)以及通道數(shù)(Channel)。解耦檢測器首先對輸入特征圖通過1×1卷積降低通道維數(shù),以降低參數(shù)量的產(chǎn)生。特征圖輸出包括2條支路,一條支路負(fù)責(zé)分類,先使用2個(gè)3×3的卷積提取特征信息后,再通過1×1的卷積將特征圖的通道維數(shù)調(diào)整至預(yù)測目標(biāo)的類別數(shù)量,在該特征圖上完成分類;另一條支路負(fù)責(zé)定位,通過3×3卷積層提取特征后,將特征圖分為2個(gè),一個(gè)根據(jù)獲取目標(biāo)的置信度分?jǐn)?shù)確定了該點(diǎn)真實(shí)目標(biāo)框與預(yù)測框的交并比,另一個(gè)則預(yù)測邊界框的中心坐標(biāo)以及框的寬度和高度{x,y,w,h}。相較于耦合頭部網(wǎng)絡(luò),解耦頭部結(jié)構(gòu)可以使網(wǎng)絡(luò)參數(shù)進(jìn)一步降低,同時(shí)減少了特征共用,從而提升模型對人體的定位和分類能力。

2.3 變焦損失

在YOLOv5中使用的Focal Loss可以有效解決樣本中類別不均衡問題,其中函數(shù)表達(dá)式如下

(4)

式中p為經(jīng)過激活函數(shù)的輸出,即預(yù)測樣本屬于1的概率;y為真實(shí)標(biāo)簽值;α為平衡正負(fù)樣本的權(quán)重;(1-p)γ,pγ為調(diào)制每個(gè)樣本的權(quán)重,減少容易分類的樣本的權(quán)重,使得算法模型能夠更加精細(xì)地識(shí)別復(fù)雜的樣本,從而提升準(zhǔn)確度。

Varifocal Loss通過繼承Focal Loss的加權(quán)方法可以有效解決連續(xù)IACS(IoU-Aware Classification Score)中回歸時(shí)類別不平衡的問題,并且可以更好地優(yōu)化密集目標(biāo)訓(xùn)練中前景類和背景類之間極度不平衡的問題,從而更好地預(yù)測IACS,有效提升檢測目標(biāo)的定位精度存在置信度和定位精度,Varifocal loss定義為

VFL(p,y)=

(5)

式中p為預(yù)測的IACS,代表目標(biāo)分?jǐn)?shù)。對于前景點(diǎn)時(shí),將其ground truth類q設(shè)為生成的邊界框和它的ground truth(gt_IoU)之間的IoU,否則為0,在對于背景點(diǎn)時(shí),所有類的目標(biāo)q為0。引入Pγ縮放負(fù)樣本(q=0),同時(shí)將正樣本與訓(xùn)練目標(biāo)q加權(quán),對gt_IoU較高的正樣本,則它對損失的貢獻(xiàn)將會(huì)較高。最后,為了均衡正負(fù)樣本之間的比例,在損失函數(shù)中增加可調(diào)比例因子α,文中取為0.75。

3 試驗(yàn)結(jié)果及數(shù)據(jù)分析

試驗(yàn)環(huán)境配置參數(shù)見表1。

表1 試驗(yàn)環(huán)境配置參數(shù)Table 1 Configuration parameters in experiment

3.1 數(shù)據(jù)集采集

截取災(zāi)害救援場景如泥石流、洪災(zāi)等視頻中的3 280張圖片作為數(shù)據(jù)樣本。試驗(yàn)中選取2 624張作為訓(xùn)練樣本,其余656張作為測試樣本。

3.2 網(wǎng)絡(luò)模型訓(xùn)練

在模型訓(xùn)練過程中,將學(xué)習(xí)率設(shè)置為0.01,迭代批量大小設(shè)置為16。當(dāng)訓(xùn)練達(dá)到100輪時(shí),學(xué)習(xí)率降至0.001,損失函數(shù)和精度也趨于穩(wěn)定,最終經(jīng)過300輪模型迭代訓(xùn)練,得到模型的權(quán)重。

3.3 試驗(yàn)結(jié)果及分析

為了全面評估文中算法的性能,采用mAP@0.5、召回率Recall、準(zhǔn)確率Precision和平均檢測處理時(shí)間作為衡量標(biāo)準(zhǔn),其相關(guān)參數(shù)計(jì)算公式如下

(6)

(7)

(8)

式中NTP,NFP和NFN分別為正確檢測數(shù)、誤檢數(shù)和漏檢數(shù);AP為P-R曲線積分;N為檢測類別數(shù)量。

所設(shè)計(jì)的網(wǎng)絡(luò)模型與YOLOv5的平均精度值(mean Average Precision,mAP)、召回率(Recall)和準(zhǔn)確率(Precision)曲線對比結(jié)果如圖7、圖8和圖9所示。

圖7 mAP@0.5對比曲線Fig.7 mAP@0.5 comparison curves

圖8 召回率對比曲線Fig.8 Recall comparison curves

圖9 準(zhǔn)確率對比曲線Fig.9 Precision comparison curves

從圖7可以看出,隨著迭代次數(shù)增加,文中算法和YOLOv5算法分別在迭代40輪和80輪時(shí),mAP@0.5數(shù)值上升到0.85左右。算法通過重構(gòu)頸部網(wǎng)絡(luò)和引入解耦檢測器,使得mAP@0.5值最終穩(wěn)定在0.9以上,達(dá)到較高的檢測精度。從圖8和圖9可以看出,算法的準(zhǔn)確率和召回率也均高于YOLOv5算法。從圖10可以看出,優(yōu)化損失函數(shù)后,網(wǎng)絡(luò)的損失值降低,最終穩(wěn)定在0.044,文中所提出的檢測模型達(dá)到了較好的訓(xùn)練效果。在融合淺層網(wǎng)絡(luò)、ECA注意力模塊、解耦檢測器以及損失函數(shù)優(yōu)化4方面進(jìn)行改進(jìn),為了更好地評估各模塊的效果,設(shè)計(jì)消融試驗(yàn),其試驗(yàn)結(jié)果見表2。

表2 消融試驗(yàn)結(jié)果Table 2 Ablation experiment results

圖10 損失對比曲線Fig.10 Loss comparison curves

由表2可知,YOLOv5網(wǎng)絡(luò)檢測精度為89.4%,但在融合淺層網(wǎng)絡(luò)、引入注意力機(jī)制、解耦檢測器以及損失函數(shù)優(yōu)化4個(gè)方面的改進(jìn)后,文中算法的檢測精度得到了提升,最終達(dá)到92.2%。為了進(jìn)一步驗(yàn)證所提算法的優(yōu)勢,選取具有代表性的4種場景對模型進(jìn)行驗(yàn)證,分別為：災(zāi)害環(huán)境或救援環(huán)境中存在多尺度目標(biāo)、嚴(yán)重遮擋/小目標(biāo)、部分遮擋以及復(fù)雜背景情況。將試驗(yàn)結(jié)果與其他常見檢測算法進(jìn)行比較,檢測結(jié)果如圖11所示。

圖11 檢測結(jié)果對比Fig.11 Comparison of test results

圖11為人體被遮擋圖像,圖11(a)中為選取的4種災(zāi)害救援場景情況并標(biāo)注其中待檢測的人體,從左到右4組試驗(yàn)結(jié)果及分析如下。

第1組試驗(yàn)：待檢測人體出現(xiàn)多尺度情況,從第1組對比試驗(yàn)可以看到,YOLOv3、YOLOv4、YOLOv5、SSD以及Faster RCNN對于多尺度目標(biāo)有漏檢情況發(fā)生,然而文中通過構(gòu)建解耦檢測器,有效提高了圖像中人體目標(biāo)對定位和分類的敏感性和精確度,能夠檢測出所有目標(biāo)。

第2組試驗(yàn)：待檢測人體存在嚴(yán)重遮擋和小目標(biāo)情況,從第2組對比試驗(yàn)可以看到,原始算法、YOLOv3、YOLOv4、SSD以及Faster RCNN對于被遮擋的目標(biāo)存在漏檢的情況,而文中算法通過增加淺特征檢測層,對微小人體目標(biāo)的特征提取能力更強(qiáng),能夠檢測出所有目標(biāo)。

第3組試驗(yàn)：待檢測人體存在部分遮擋情況,從第3組對比試驗(yàn)可以看到,原始算法、YOLOv3對于在復(fù)雜情況下的標(biāo)檢測能力有限,YOLOv4、YOLOv5、SSD以及Faster RCNN和文中算法可以檢測出所有目標(biāo),而文中算法通過對損失函數(shù)的優(yōu)化,相較于其他算法可獲得較高的置信度。

第4組試驗(yàn)：待檢測人體存在復(fù)雜背景情況,從第4組對比試驗(yàn)可以看到泥土顏色和人體膚色接近,使人體目標(biāo)受到復(fù)雜背景冗余信息干擾,導(dǎo)致原始算法、YOLOv3、YOLOv4、SSD以及Faster RCNN對于被嚴(yán)重遮擋的目標(biāo)存在漏檢的情況,而文中算法通過嵌入注意力機(jī)制,提高檢測模型對人體特征的特征表達(dá)能力,可以檢測出所有目標(biāo),并且相較于其他算法檢測框也更接近真實(shí)框大小。

為了更好地評估文中算法的性能,將其與SSD、Faster RCNN、YOLOv3、YOLOv4和YOLOv5檢測網(wǎng)絡(luò)進(jìn)行了對比試驗(yàn)。在這些算法的訓(xùn)練過程中,采用相同的數(shù)據(jù)樣本和參數(shù),最終的檢測結(jié)果見表3。

由表3可知,文中算法的mAP@0.5%明顯高于其他算法,雖然檢測速度略低于YOLOv5,但是相比于其他算法實(shí)時(shí)性較好。

4 結(jié) 論

1)通過引入淺層檢測層并融合注意力機(jī)制可以使檢測網(wǎng)絡(luò)更好的學(xué)習(xí)小目標(biāo)人體特征,進(jìn)而提高樣本小目標(biāo)人體的檢測精度。

2)通過在檢測網(wǎng)絡(luò)中構(gòu)建解耦檢測器可以有效提升目標(biāo)在復(fù)雜背景下的特征表達(dá)能力,在一定程度上減少復(fù)雜背景所導(dǎo)致的漏檢和誤檢。

3)利用災(zāi)害救援場景的所得到的數(shù)據(jù)進(jìn)行測試驗(yàn)證,算法在多種不同復(fù)雜測試環(huán)境下,對災(zāi)害人體的平均檢測精度可達(dá)92%以上,召回率可達(dá)90%以上,具有較好的實(shí)時(shí)性和魯棒性,對于分辨率為640×640的圖片檢測速度可達(dá)35 fps。