融合Lite-HRNet的Yolo v5雙模態(tài)自動(dòng)駕駛小目標(biāo)檢測(cè)方法*

劉子龍，沈祥飛

（上海理工大學(xué)光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093）

前言

隨著近10年計(jì)算機(jī)軟硬件的迅速發(fā)展，人工智能成為目前炙手可熱的領(lǐng)域，其中作為人工智能領(lǐng)域領(lǐng)頭羊的計(jì)算機(jī)視覺(jué)，是目前應(yīng)用最廣的領(lǐng)域。作為計(jì)算機(jī)視覺(jué)的基本分支之一，目標(biāo)檢測(cè)發(fā)揮著至關(guān)重要的作用，其主要任務(wù)是實(shí)現(xiàn)目標(biāo)的定位和分類。目前我國(guó)大力發(fā)展新能源汽車，并且都配備自動(dòng)駕駛系統(tǒng)和駕駛輔助系統(tǒng)。自動(dòng)駕駛系統(tǒng)可以輔助駕駛員進(jìn)行安全駕駛，以此提升道路安全。而在自動(dòng)駕駛系統(tǒng)和駕駛輔助系統(tǒng)中，目標(biāo)檢測(cè)技術(shù)也顯得尤為重要。

隨著深度學(xué)習(xí)的發(fā)展，與傳統(tǒng)方法相比，神經(jīng)網(wǎng)絡(luò)有著更強(qiáng)大的學(xué)習(xí)特征能力和信息表征能力，而且傳統(tǒng)方法的模型復(fù)雜，難以取得重大突破。基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法逐漸成為主流，其主要分為兩大類。第1類是兩階段目標(biāo)檢測(cè)算法，其中最為經(jīng)典的就是Girshick等推出的RCNN（region convolutional neural net-works）算法［1］，隨后又連續(xù)推出了Fast RCNN［2］與Faster RCNN［3］算法。第2類是單階段目標(biāo)檢測(cè)算法，代表作有SSD（single shot multibox detector）［4］、Yolo（you only look once）［5］，Yolo

系列算法是Redmon等在2015年提出的一個(gè)目標(biāo)檢測(cè)算法，隨后Redmon等又推出了Yolo v2［6］以及Yolo v3［7］。雖然兩階段算法在目標(biāo)檢測(cè)中有著不錯(cuò)的準(zhǔn)確率，但由于檢測(cè)速度的限制，使得該系列算法難以在工業(yè)應(yīng)用中進(jìn)行推廣。而基于回歸方法的端到端Yolo系列算法降低了網(wǎng)絡(luò)復(fù)雜度，導(dǎo)致其檢測(cè)精度有所降低，但卻顯著提高了檢測(cè)速度。

Yolo v5作為目前最新的Yolo系列算法，其在檢測(cè)速度和檢測(cè)精度上有著顯著的提升，但是在小目標(biāo)以及密集目標(biāo)中表現(xiàn)仍有不足。為了解決小目標(biāo)檢測(cè)中存在的問(wèn)題，Zhang等［8］提出了Yolso（you only look small object）目標(biāo)檢測(cè)算法，該算法指出分類網(wǎng)絡(luò)的特征提取器不能合理表達(dá)小目標(biāo)的特征，原因在于目標(biāo)的外觀信息不足，且周圍存在大量的背景干擾。為了解決這些問(wèn)題，該學(xué)者構(gòu)建了背景感知模塊加強(qiáng)對(duì)背景的感知，但該算法與Yolo v3相比也并未取得較大的領(lǐng)先，所以難以達(dá)到實(shí)際使用要求。

基于上述主流目標(biāo)檢測(cè)算法的優(yōu)缺點(diǎn)，并且考慮到現(xiàn)有算法只利用可見(jiàn)光圖像進(jìn)行檢測(cè)，由于這種單一的圖像輸入模式，明亮場(chǎng)景與暗光場(chǎng)景對(duì)目標(biāo)檢測(cè)的效果會(huì)產(chǎn)生巨大的差異。在暗光場(chǎng)景下，傳統(tǒng)相機(jī)傳感器接收到的光線不足，使得目標(biāo)與背景之間無(wú)法準(zhǔn)確區(qū)分，嚴(yán)重影響了檢測(cè)器的性能。因此本文針對(duì)小目標(biāo)和密集人群檢測(cè)效果不佳及暗光場(chǎng)景下目標(biāo)背景間難以區(qū)分的問(wèn)題對(duì)Yolo v5進(jìn)行改進(jìn)，首先對(duì)主干網(wǎng)絡(luò)進(jìn)行修改，利用Lite-HRNet［9］高分辨率特征網(wǎng)絡(luò)增加高分辨率的特征層來(lái)提高對(duì)小目標(biāo)和密集人群的檢測(cè)精度。其次為了提高檢測(cè)速度取消融合層中復(fù)雜的融合結(jié)構(gòu)，并且對(duì)邊界框損失函數(shù)進(jìn)行改進(jìn)以提高回歸速度和精度。然后為了充分發(fā)揮可見(jiàn)光圖像與紅外圖像的互補(bǔ)優(yōu)勢(shì)，在輸入端使用動(dòng)態(tài)加權(quán)融合的方式將可見(jiàn)光圖像與紅外光圖像進(jìn)行輸入。最后利用小目標(biāo)數(shù)據(jù)增強(qiáng)算法對(duì)數(shù)據(jù)集進(jìn)行樣本擴(kuò)充，并且考慮到算法應(yīng)用場(chǎng)景的特殊性，使用二分K-means算法來(lái)選取更為合適的錨框。實(shí)驗(yàn)結(jié)果表明該算法在檢測(cè)速度基本不變的情況下，對(duì)密集目標(biāo)和小目標(biāo)的檢測(cè)精度明顯提升，滿足實(shí)際應(yīng)用需求。

1 Yolo v5簡(jiǎn)介

Yolo作為單階段算法的代表作之一，Yolo v3是Redmon等所提出的最后一個(gè)算法，在其退出計(jì)算機(jī)視覺(jué)領(lǐng)域之后，有學(xué)者提出了Yolo v5算法，其主要由輸入層、主干網(wǎng)絡(luò)層、特征融合層和檢測(cè)層組成，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。作為目前最新的Yolo系列算法，Yolo v5算法采用了CSPDarknet53作為主干網(wǎng)絡(luò)，其中包含了兩種CSP（cross stage partial）［10］結(jié)構(gòu)，解決了主干網(wǎng)絡(luò)中的梯度信息重復(fù)問(wèn)題，將梯度的變化集成到特征圖中，在保證檢測(cè)精度和檢測(cè)速度的同時(shí)減少了運(yùn)算量。Yolo v5算法在較深的主干網(wǎng)絡(luò)中使用了帶有殘差模塊的CSP1_X結(jié)構(gòu)，可以避免梯度消失導(dǎo)致網(wǎng)絡(luò)退化的問(wèn)題，而為了減少計(jì)算量將帶有普通卷積的CSP2_X結(jié)構(gòu)在特征融合層中使用。

Yolo v5網(wǎng)絡(luò)在頭部增加了圖像切片（Focus）結(jié)構(gòu)，將1張圖片按照像素點(diǎn)分成4張，長(zhǎng)寬縮小兩倍，通道數(shù)增加至原來(lái)的4倍，提高了檢測(cè)速度。Yolo v5在尾部還增加了空間金字塔池化（spatial pyramid pooling，SPP）結(jié)構(gòu)，其主要作用是擴(kuò)大感受野來(lái)解決特征圖與錨框的對(duì)齊問(wèn)題。Yolo v5的融合網(wǎng)絡(luò)由特征金字塔網(wǎng)絡(luò)（feature pyramid networks，F(xiàn)PN）和路徑聚合網(wǎng)絡(luò)（path aggregation networks，PAN）組成，F(xiàn)PN可以增強(qiáng)算法對(duì)不同尺度目標(biāo)的檢測(cè)性能。但是其單一自上而下的融合方式忽略了重用底層特征圖中的信息，加入的PAN采用自下而上的融合結(jié)構(gòu)，改善了底層信息的傳播，豐富了整個(gè)特征信息層次。

在Yolo v3網(wǎng)絡(luò)中，正樣本匹配方式是最大交并比（intersection over union，IoU）［11］策略，并且一個(gè)真實(shí)框只能對(duì)應(yīng)一個(gè)錨框，極易造成正負(fù)樣本失衡，使得正樣本錨框梯度下降，最終導(dǎo)致算法收斂速度過(guò)慢。而Yolo v5網(wǎng)絡(luò)利用增加正樣本錨框的方法來(lái)代替最大交并比的匹配策略，將靠近中心點(diǎn)的兩個(gè)鄰近網(wǎng)格同時(shí)作為該真實(shí)框的正樣本錨框，利用該方法將正樣本數(shù)量提升至3倍，大大提升了模型的收斂速度。

2 Yolo v5算法優(yōu)化方法

2.1 邊界框損失函數(shù)改進(jìn)

Yolo v5中使用GIoU［12］來(lái)解決預(yù)測(cè)框A與真實(shí)框B不相交時(shí)，IoU損失為0的問(wèn)題。公式如下：

式中：Ac表示預(yù)測(cè)框A與真實(shí)框B的最小外接矩形的面積；u表示框A與B相交的面積。

但在實(shí)際使用過(guò)程中還存在一些不足，Zheng等［13］經(jīng)過(guò)研究發(fā)現(xiàn)網(wǎng)絡(luò)會(huì)優(yōu)先選擇擴(kuò)大預(yù)選框的面積而不是移動(dòng)預(yù)選框來(lái)覆蓋真實(shí)框。為解決這些問(wèn)題，提出DIoU（distance-IoU）的思想，公式如下：

式中：ρ2（b，bgt）為A與B中心點(diǎn)之間的距離，gt表示真實(shí)框；c2為A與B最小外接矩形的對(duì)角線。

相比GIoU，DIoU直接限制了最小外接矩形的面積，這使得網(wǎng)絡(luò)更傾向于移動(dòng)預(yù)選框而不是擴(kuò)大預(yù)選框。但是當(dāng)兩個(gè)框的中心點(diǎn)重合時(shí)，c2與ρ2（b，bgt）的值都不變，所以又在DIoU中加入了長(zhǎng)寬比提出了CIoU（complete-IoU）［13］的思想，公式如下：式中：a為權(quán)重系數(shù)；v指的是預(yù)測(cè)框和實(shí)際框長(zhǎng)寬比的差異，如果一致則v=0。

CIoU考慮到了邊界框回歸時(shí)的重疊面積、中心點(diǎn)距離和縱橫比，但由于縱橫比描述的是一個(gè)相對(duì)值，在計(jì)算時(shí)存在不確定性。因此本文采用Zhang等提出的EIoU（efficient-IoU）［14］，公式如下：

式中cw和ch分別表示寬和高。

EIoU的損失分為3個(gè)部分，分別是重疊損失、中心距離損失和寬高損失。將縱橫比的損失拆分成預(yù)測(cè)的寬高分別與最小外接框?qū)捀叩牟钪担粌H解決了寬高比的不確定性還加快了收斂速度。文獻(xiàn)［15］中提出在損失函數(shù)IoU中引入超參數(shù)α，提出了一種新的alpha-IoU損失函數(shù)，公式如下：

在選擇合適的α?xí)r可以改進(jìn)檢測(cè)器的性能，這種加權(quán)的方式不僅為實(shí)現(xiàn)不同邊界框的回歸精度提供了很大的靈活性，并且不會(huì)引入額外的參數(shù)。因此本文也在EIoU中引入超參數(shù)α，改進(jìn)之后的損失函數(shù)公式為

2.2 可見(jiàn)光圖像與紅外圖像特征融合

紅外相機(jī)的工作原理是接收紅外輻射，而紅外輻射具有較強(qiáng)的穿透性，甚至可以克服部分障礙而探測(cè)到目標(biāo)，具有較大的作用距離和較強(qiáng)的抗干擾性，所以對(duì)于因距離遠(yuǎn)而導(dǎo)致尺度小的目標(biāo)具有較好的捕捉能力。在不同的場(chǎng)景下，可見(jiàn)光圖像與紅外圖像也體現(xiàn)出了較大的差異，例如白天光照充足或者出現(xiàn)熱量交叉的情況下可見(jiàn)光圖像保留了更多的細(xì)節(jié)信息，但是在暗光場(chǎng)景下紅外圖像可以不受目標(biāo)顏色和尺度變化的影響，甚至在完全漆黑、煙霧、惡劣天氣和眩光等具有挑戰(zhàn)性的場(chǎng)景中，也可檢測(cè)并區(qū)分行人、騎行者和機(jī)動(dòng)車輛，彌補(bǔ)了傳統(tǒng)相機(jī)在暗光場(chǎng)景下的弱感知力的問(wèn)題。為了發(fā)揮兩者的互補(bǔ)優(yōu)勢(shì)得到更好的檢測(cè)效果，本文設(shè)計(jì)了動(dòng)態(tài)權(quán)重分配策略，根據(jù)圖像灰度值的離散程度來(lái)分配權(quán)重，始終將較高的權(quán)重分配到目標(biāo)與背景對(duì)比度較大的圖片中。如圖2所示，可見(jiàn)光圖像中目標(biāo)與背景之間的對(duì)比度較低，目標(biāo)與背景之間沒(méi)有形成顯著的區(qū)分，且灰度分布相對(duì)集中。紅外圖像中目標(biāo)與背景之間對(duì)比鮮明，且細(xì)節(jié)處紋理清晰，通過(guò)灰度離散圖可以看出灰度值分布均勻。

對(duì)此本文使用標(biāo)準(zhǔn)差函數(shù)來(lái)量化圖像灰度值的離散程度，首先計(jì)算大小為A×B的圖片灰度平均值，然后根據(jù)式中的灰度平均值進(jìn)一步計(jì)算灰度的標(biāo)準(zhǔn)差，公式如下：

式中：x（i，j）表示圖片中像素點(diǎn)為（i，j）的灰度值；arg表示圖片灰度平均值；σ表示圖片灰度標(biāo)準(zhǔn)差。

為了標(biāo)準(zhǔn)化權(quán)重分配，將可見(jiàn)光圖像和紅外圖像的標(biāo)準(zhǔn)差進(jìn)行歸一化，記可見(jiàn)光圖像的權(quán)重為Wrgb，紅外圖像的權(quán)重為Wip，公式如下：

式中：σrgb表示可見(jiàn)光圖像的灰度標(biāo)準(zhǔn)差；σip表示紅外圖像的灰度標(biāo)準(zhǔn)差。

輸入端結(jié)構(gòu)如圖3所示。分別計(jì)算兩張圖片的標(biāo)準(zhǔn)差并歸一化權(quán)重，然后根據(jù)權(quán)重進(jìn)行線性融合，將融合后的圖像輸入到算法中，這樣可以充分發(fā)揮紅外圖像和可見(jiàn)光圖像的互補(bǔ)優(yōu)勢(shì)。

2.3 Yolo v5網(wǎng)絡(luò)模型改進(jìn)

在自動(dòng)駕駛領(lǐng)域，小目標(biāo)包含道路中的小動(dòng)物、行人等小目標(biāo)，也泛指由于距離較遠(yuǎn)而導(dǎo)致的小尺度目標(biāo)。由于這類目標(biāo)在圖片中占用的像素點(diǎn)較少，現(xiàn)有的算法難以準(zhǔn)確地將其與背景區(qū)分導(dǎo)致檢測(cè)效果不盡人意。又由于Yolo v5算法的主干網(wǎng)絡(luò)經(jīng)過(guò)了多次下采樣，導(dǎo)致低分辨率特征圖中的細(xì)節(jié)信息大量丟失。而高分辨率的特征圖中含有較多的細(xì)節(jié)信息，并且擁有的較小感受野可以更好地識(shí)別小目標(biāo)，所以增加一層高分辨率的檢測(cè)層對(duì)提升小目標(biāo)的檢測(cè)效果有著至關(guān)重要的作用。為得到高分辨率特征圖本文采用高分辨率HRNet［16］網(wǎng)絡(luò)對(duì)主干網(wǎng)絡(luò)進(jìn)行改進(jìn)，該方法由4個(gè)階段組成，從高分辨率的卷積開(kāi)始作為第1階段，然后逐步增加高分辨率到低分辨率的子網(wǎng)，將多分辨率子網(wǎng)進(jìn)行并行連接，并且在每個(gè)階段都進(jìn)行各個(gè)分辨率之間的信息融合，使每一個(gè)高低分辨率的表征都從其他并行連接中反復(fù)提取信息來(lái)實(shí)現(xiàn)信息增強(qiáng)。因此HRNet網(wǎng)絡(luò)可以保持一條高分辨率特征層用于小目標(biāo)的檢測(cè)，而不是使用低分辨率網(wǎng)絡(luò)通過(guò)上采樣恢復(fù)成高分辨率網(wǎng)絡(luò)，但由于自動(dòng)駕駛場(chǎng)景中的實(shí)時(shí)性也同樣重要，本文對(duì)HRNet網(wǎng)絡(luò)進(jìn)行輕量化處理。受輕量化網(wǎng)絡(luò)ShuffleNet［17］的啟發(fā)，將高效置換模塊嵌入到HRNet網(wǎng)絡(luò)中。又由于置換模塊重度使用1×1卷積造成的計(jì)算量過(guò)大，引入一種輕量化條件通道加權(quán)來(lái)替換1×1卷積，結(jié)構(gòu)如圖4所示。

圖中H是交叉分辨率加權(quán)函數(shù)。由于第s個(gè)階段有s個(gè)并行分辨率，以及權(quán)重映射W1、W2、W3、W4，分別為對(duì)應(yīng)的分辨率。使用輕量級(jí)函數(shù)H計(jì)算多個(gè)并行分支的通道權(quán)重，使用該權(quán)重進(jìn)行通道、分辨率之間的信息交換，映射公式如下：

式中｛X1，...，Xs｝是s分辨率的輸入映射，X1對(duì)應(yīng)最高分辨率，Xs對(duì)應(yīng)第s個(gè)最高分辨率。

圖中F是指空間加權(quán)函數(shù)，函數(shù)實(shí)現(xiàn)為：Xs-GAP-ReLU-Sigmoid-Ws，全局平均池化算子（GAP）的作用是從所有位置收集空間信息。為了探究使用條件通道加權(quán)替換前后模型的大小變化，使用10億次浮點(diǎn)運(yùn)算（GFLOPs）和浮點(diǎn)運(yùn)算數(shù)量（Params）來(lái)量化模型的大小，分別將替換前后的網(wǎng)絡(luò)在flir測(cè)試集中進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果如表1所示。從表中可以看出替換后的網(wǎng)絡(luò)復(fù)雜度減少了50%，由此可得使用條件通道加權(quán)可以顯著加快網(wǎng)絡(luò)的運(yùn)行速度。

表1 使用條件通道加權(quán)替換前后模型大小對(duì)比

Yolo v5的檢測(cè)層使用了FPN結(jié)構(gòu)。文獻(xiàn)［18］中指出FPN的成功在于它分而治之地解決了多尺度目標(biāo)檢測(cè)問(wèn)題，而不是它的多尺度特征融合。最深一層的特征包含了足夠多的上下文信息來(lái)檢測(cè)中大尺寸的目標(biāo)。如圖5所示，圖（a）在平均檢測(cè)精度幾乎一樣的情況下計(jì)算量卻遠(yuǎn)大于圖（b）。最深的C5層攜帶了足夠的上下文信息來(lái)檢測(cè)中大尺寸的目標(biāo)，這使得多尺度特征融合遠(yuǎn)遠(yuǎn)不如分治重要。

因此本文引入一種新的方法來(lái)優(yōu)化Yolo v5算法，由于主干網(wǎng)絡(luò)中已經(jīng)進(jìn)行了充分的特征融合，所以后續(xù)不再使用復(fù)雜的多尺度融合方法，而是直接使用主干網(wǎng)絡(luò)中的多尺度輸出，這樣可以保證中大尺寸目標(biāo)的檢測(cè)性能基本不變的情況下降低網(wǎng)絡(luò)復(fù)雜度，進(jìn)而減少運(yùn)算量。但是低分辨率的特征難以準(zhǔn)確將小目標(biāo)與背景進(jìn)行區(qū)分造成漏檢。為避免這個(gè)問(wèn)題，本文在原有3層檢測(cè)層的基礎(chǔ)上利用主干網(wǎng)絡(luò)中的高分辨率特征層增加一層針對(duì)小目標(biāo)的特征檢測(cè)層。高分辨率的特征圖有著較多的細(xì)節(jié)信息和較小的感受野，有利于準(zhǔn)確地將小目標(biāo)與背景進(jìn)行區(qū)分，改進(jìn)后網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

2.4 數(shù)據(jù)集準(zhǔn)備

由于本文網(wǎng)絡(luò)適用場(chǎng)景的特殊性，使用大型通用數(shù)據(jù)集難以衡量本文網(wǎng)絡(luò)的性能。因此本文使用flir紅外數(shù)據(jù)集，該數(shù)據(jù)集提供了可見(jiàn)光圖像和對(duì)應(yīng)的紅外圖像，數(shù)據(jù)是通過(guò)安裝在車上的普通相機(jī)和熱成像相機(jī)真實(shí)錄制的，共包含14 000張圖片，其中60%為日間場(chǎng)景，40%為夜間場(chǎng)景。存在部分密集目標(biāo)和遠(yuǎn)小目標(biāo)的情況，可以驗(yàn)證本文算法的有效性，這些圖片中包含person、car、dog、bicycle、bus、truck這6個(gè)類別。對(duì)這些圖片按照8∶2進(jìn)行劃分，分別作為訓(xùn)練集和測(cè)試集，并且使用邊緣特征匹配方法將可見(jiàn)光圖像與紅外圖像對(duì)齊。

由于數(shù)據(jù)集中沒(méi)有足夠的小目標(biāo)來(lái)驗(yàn)證本文算法增加小目標(biāo)檢測(cè)層的有效性，所以需要對(duì)數(shù)據(jù)集進(jìn)行樣本增強(qiáng)，本文采用文獻(xiàn)［19］中提出的方法對(duì)數(shù)據(jù)集進(jìn)行增強(qiáng)，解決了小目標(biāo)樣本數(shù)量太少的問(wèn)題。該方法在自建的小目標(biāo)庫(kù)中隨機(jī)選取8個(gè)小目標(biāo)，采用泊松融合的方法融合到原始圖片中，但是泊松融合存在一個(gè)嚴(yán)重的缺陷，即融合后的目標(biāo)中含有背景的像素，導(dǎo)致目標(biāo)的顏色與背景相近，但在本文算法中增加與背景顏色相近的訓(xùn)練目標(biāo)可以增強(qiáng)算法對(duì)前后景的辨別能力并提高算法的魯棒性，增強(qiáng)前后對(duì)比如圖7所示。

2.5 錨框優(yōu)化

每個(gè)數(shù)據(jù)集都有各自的應(yīng)用領(lǐng)域和側(cè)重點(diǎn)，COCO［20］數(shù)據(jù)集含有80個(gè)類別，并且多為大尺度目標(biāo)，而本文中使用的flir紅外數(shù)據(jù)集只有6個(gè)類別。為得到更好的預(yù)測(cè)結(jié)果，需要選出適合flir數(shù)據(jù)集的錨框。Yolo v5網(wǎng)絡(luò)中使用的K-means［21］算法對(duì)真實(shí)框聚類生成9個(gè)錨框，但是由于K-means算法初始聚類點(diǎn)的隨機(jī)性，極易造成局部最優(yōu)。為得到更準(zhǔn)確的錨框，本文采用二分K-means算法，該算法通過(guò)劃分類來(lái)克服初始點(diǎn)的問(wèn)題。由于本文算法增加了一個(gè)新的特征檢測(cè)層，所以需要選取12個(gè)錨框，使用二分K-means得到最終的12個(gè)錨框分別為：（5，6），（7，14），（15，13），（13，26），（25，16），（34，28），（20，50），（54，21），（57，42），（46，97），（88，55），（130，78）。本文引入BPR（best possible recall）來(lái)對(duì)通過(guò)聚類得出的12個(gè)錨框進(jìn)行驗(yàn)證，公式如下：

式中：best recall表示最多能夠被召回的真實(shí)框數(shù)量；all表示所有的真實(shí)框數(shù)量。

BPR越接近1效果越好，計(jì)算聚類得出的12個(gè)錨框，最終得到BPR的值是0.997，表示錨框具有較強(qiáng)的代表性，可以滿足實(shí)驗(yàn)的要求。

3 實(shí)驗(yàn)結(jié)果與分析

在本節(jié)中，將改進(jìn)之后的算法與Yolov5進(jìn)行比較，實(shí)驗(yàn)環(huán)境、訓(xùn)練細(xì)節(jié)、評(píng)價(jià)指標(biāo)和實(shí)驗(yàn)結(jié)果分析如下。

3.1 實(shí)驗(yàn)環(huán)境

本次實(shí)驗(yàn)基于Windows 10平臺(tái)通過(guò)Python語(yǔ)言實(shí)現(xiàn)，使用Pytorch深度學(xué)習(xí)框架來(lái)搭建網(wǎng)絡(luò)模型，硬件環(huán)境為AMD R7 3700x CPU、32GB內(nèi)存和RTX2070顯卡。

3.2 訓(xùn)練細(xì)節(jié)

為了找出性能提升最大的α值，在Yolo v5算法中使用α-EIoU邊界框函數(shù)進(jìn)行測(cè)試，結(jié)果如圖8所示。由圖可見(jiàn)，當(dāng)α=3時(shí)，對(duì)算法的檢測(cè)性能提升最大，達(dá)到了1.68%。

分別將Yolo v5算法和本文算法在flir紅外數(shù)據(jù)集上進(jìn)行訓(xùn)練。批大小設(shè)置為8，模型訓(xùn)練迭代次數(shù)設(shè)置為300，初始學(xué)習(xí)率為0.001，訓(xùn)練過(guò)程中采用余弦退火算法對(duì)學(xué)習(xí)率進(jìn)行動(dòng)態(tài)調(diào)整。訓(xùn)練過(guò)程中的損失函數(shù)情況如圖9（a）所示，由于本文算法進(jìn)行了輕量化操作和對(duì)損失函數(shù)的改進(jìn)，可以看出修改后的算法收斂速度明顯變快，并且最終收斂之后的損失也比原算法更小。

3.3 評(píng)價(jià)指標(biāo)

為了驗(yàn)證改進(jìn)的目標(biāo)檢測(cè)算法的有效性，選取準(zhǔn)確度P（precision），召回率R（recall）、AP（average precision）、mAP@0.5（mean average precision）和檢測(cè)速度FPS（frames per second）5項(xiàng)指標(biāo)對(duì)算法進(jìn)行評(píng)價(jià)，各指標(biāo)公式如下：

式中：tp表示識(shí)別為正樣本的數(shù)量；fn表示錯(cuò)誤識(shí)別為負(fù)樣本的正樣本數(shù)量；fp表示錯(cuò)誤識(shí)別為正樣本的負(fù)樣本數(shù)量；P表示準(zhǔn)確率；R表示召回率；k表示類別總數(shù)。

3.4 定量分析

訓(xùn)練過(guò)程中的R、P和mAP@0.5變化情況如圖9所示，由于使用了高分辨率網(wǎng)絡(luò)并且增加了小目標(biāo)檢測(cè)層，對(duì)小目標(biāo)及密集目標(biāo)的檢測(cè)效果得到了提升，使得整體檢測(cè)準(zhǔn)確率明顯增加。

由圖9可知，本文算法的召回率、準(zhǔn)確度和mAP@0.5相比Yolo v5均有明顯的提升。再結(jié)合表2可知，本文算法在召回率R、準(zhǔn)確度P和mAP@0.5分別有8.74%、8.31%和7.64%的性能提升，但是由于添加的高分辨率主干網(wǎng)絡(luò)和新增的小目標(biāo)檢測(cè)層使得檢測(cè)速度降低了0.62幀/s。

表2 Yolo v5算法改進(jìn)前后的性能對(duì)比

為了深入探究本文算法對(duì)各個(gè)類別的影響。將Yolo v5算法與本文算法進(jìn)行測(cè)試，如表3所示，可以看出本文算法在各個(gè)類別均有不同程度的提升，尤其是person、bicycle、dog，在AP（IoU=0.5）上分別有了6.74%、12.19%、10.39%的提升。這3個(gè)類別相對(duì)另外3個(gè)類別來(lái)說(shuō)目標(biāo)尺度較小，進(jìn)一步驗(yàn)證了本文改進(jìn)對(duì)小目標(biāo)及密集目標(biāo)檢測(cè)的有效性。

表3 Yolo v5（A）和本文算法（B）的6個(gè)類別性能測(cè)試對(duì)比

3.5 定性分析

選取交通場(chǎng)景下具有小尺度目標(biāo)或密集目標(biāo)的圖片，分別使用Yolo v5算法和本文算法進(jìn)行檢測(cè)，并將小目標(biāo)和密集目標(biāo)處進(jìn)行細(xì)節(jié)放大。由圖10（a）可知，圖片中第1個(gè)放大處有一位推車的男子，該目標(biāo)較小且左側(cè)有其他行人遮擋。圖中第2個(gè)放大處有大量密集程度較高且距離較遠(yuǎn)的購(gòu)物人員，這兩處在Yolo v5算法中都沒(méi)有檢測(cè)出來(lái)，可以觀察到右側(cè)對(duì)比圖中的本文算法可以準(zhǔn)確地檢測(cè)出來(lái)，并且檢測(cè)準(zhǔn)確率均比原算法有一定程度的提高。

為了進(jìn)一步驗(yàn)證本文算法在雙模態(tài)輸入下的有效性，又選取了一對(duì)可見(jiàn)光-紅外圖像進(jìn)行測(cè)試。如圖10（b），圖中第1個(gè)放大處有兩輛汽車，在可見(jiàn)光圖片中由于光線較暗，進(jìn)行特征提取時(shí)細(xì)節(jié)信息丟失，導(dǎo)致原Yolo v5算法只檢測(cè)出第一輛汽車，圖中第2個(gè)放大處有兩位行人，右邊的黑色衣服行人幾乎與背景融為一體，原Yolo v5算法只檢測(cè)出其中一位。由于是夜間場(chǎng)景，紅外圖像分配到了較高的權(quán)重，提取到了大量的紅外信息，因此本文算法可以將兩輛汽車和兩位行人準(zhǔn)確地檢測(cè)出來(lái)。得益于本文設(shè)計(jì)出的動(dòng)態(tài)權(quán)重分配策略，充分發(fā)揮了可見(jiàn)光-紅外圖像之間的互補(bǔ)優(yōu)勢(shì)。

這兩張圖片中一共有4處細(xì)節(jié)，檢測(cè)難度非常大以至于原Yolo v5算法都沒(méi)有檢測(cè)出來(lái)，作為對(duì)比的本文算法都可以準(zhǔn)確地檢測(cè)出來(lái)，可以看出本文提出的改進(jìn)方法效果是非常明顯的。

3.6 消融實(shí)驗(yàn)

為了探究本文改進(jìn)點(diǎn)對(duì)Yolo v5算法的提升效果，對(duì)改進(jìn)點(diǎn)逐一進(jìn)行消融實(shí)驗(yàn)分析，實(shí)驗(yàn)結(jié)果如表4所示。其中A表示使用改進(jìn)α-EIoU作為邊界框損失函數(shù)。B表示使用改進(jìn)Lite-HRNet網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)。C表示在特征檢測(cè)層中取消使用特征融合。D表示使用小目標(biāo)樣本增強(qiáng)算法。E表示使用改進(jìn)二分K-meams算法對(duì)錨框進(jìn)行聚類。F表示將可見(jiàn)光-紅外圖像使用動(dòng)態(tài)權(quán)重進(jìn)行融合。

由表4可見(jiàn)，將α-EIoU作為損失函數(shù)的算法1在mAP和FPS上均有小幅度的提升。改進(jìn)主干網(wǎng)絡(luò)后的算法2在檢測(cè)精度上提升了4.46個(gè)百分點(diǎn)，但由于增加了主干網(wǎng)絡(luò)的復(fù)雜度，使得檢測(cè)速度降低了5.69幀/s。算法3中取消特征融合層中的復(fù)雜特征融合結(jié)構(gòu)，大大減少了計(jì)算量。在檢測(cè)精度基本不變的情況下顯著提高了檢測(cè)速度。算法4中加入了小目標(biāo)樣本增強(qiáng)算法，提升了小目標(biāo)的檢測(cè)性能，由于小目標(biāo)樣本量的增加，使得檢測(cè)速度降低了1.42幀/s。算法5中對(duì)錨框聚類算法進(jìn)行了改進(jìn)，使得聚類出的錨框具有更強(qiáng)的代表性，實(shí)驗(yàn)結(jié)果表明檢測(cè)精度和速度均有提升。算法6中采用了可見(jiàn)光-紅外圖像雙模態(tài)輸入，得益于本文設(shè)計(jì)的動(dòng)態(tài)權(quán)重分配策略使兩種圖像之間發(fā)揮互補(bǔ)優(yōu)勢(shì)，顯著提升了算法的檢測(cè)性能。本文算法檢測(cè)精度提升了7.64個(gè)百分點(diǎn)。

3.7 與其他目標(biāo)檢測(cè)算法進(jìn)行性能對(duì)比

為了進(jìn)一步驗(yàn)證本文算法的檢測(cè)性能，將本文算法與Faster RCNN、SSD、Yolo v4、YoloX［22］、TPHYolo v5［23］、DetectoRS［24］目標(biāo)檢測(cè)算法進(jìn)行對(duì)比，均采用flir數(shù)據(jù)集雙模態(tài)輸入進(jìn)行性能測(cè)試，同時(shí)使用mAP@0.5和FPS作為評(píng)價(jià)指標(biāo)，檢測(cè)結(jié)果如表5所示。

表5 主流目標(biāo)檢測(cè)算法測(cè)試結(jié)果對(duì)比

從表中可以看出DetectoRS作為兩階段算法，在檢測(cè)速度上遠(yuǎn)遠(yuǎn)落后于單階段算法。相反，其在檢測(cè)精度上具有明顯的優(yōu)勢(shì)，但是與主流單階段算法相比依然難以拉開(kāi)較大差距，而本文算法在檢測(cè)速度遙遙領(lǐng)先的情況下檢測(cè)精度基本與其持平。本文算法在速度與精度之間取得了平衡，在滿足實(shí)時(shí)性要求的同時(shí)媲美兩階段算法的檢測(cè)精度，滿足工業(yè)應(yīng)用需求。

4 結(jié)論

本文中以Yolo v5目標(biāo)檢測(cè)算法為基礎(chǔ)，針對(duì)小目標(biāo)以及密集人群檢測(cè)效果不佳和暗光場(chǎng)景下目標(biāo)背景間難以區(qū)分的問(wèn)題，使用輕量化網(wǎng)絡(luò)來(lái)作為Yolo v5算法的主干網(wǎng)絡(luò)，并通過(guò)增加高分辨率的檢測(cè)層來(lái)提高小目標(biāo)和密集目標(biāo)的檢測(cè)效果。采用可見(jiàn)光-紅外圖像雙模態(tài)輸入，并通過(guò)動(dòng)態(tài)權(quán)重融合策略，使得暗光場(chǎng)景下算法可以提取到更多的細(xì)節(jié)信息，改進(jìn)特征融合來(lái)減少計(jì)算量以提高檢測(cè)速度。在flir數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果顯示，本文算法在檢測(cè)速度基本不變的情況下，提高了7.64個(gè)百分點(diǎn)的檢測(cè)精度，且對(duì)小目標(biāo)和密集目標(biāo)的檢測(cè)效果改善明顯。下一步將在保證檢測(cè)精度的同時(shí)對(duì)算法進(jìn)行更多的輕量化，進(jìn)一步加快檢測(cè)速度，并且將該算法應(yīng)用于車載嵌入式設(shè)備，使該算法得以應(yīng)用于智能汽車的目標(biāo)檢測(cè)中。