基于視頻融合的人車目標(biāo)檢測(cè)算法

摘 要：近年來(lái)，房屋周圍的人車目標(biāo)檢測(cè)算法作為智慧安防領(lǐng)域中的重要部分，備受研究人員的關(guān)注。智慧安防中涉及的目標(biāo)檢測(cè)任務(wù)需要具備隱蔽性、實(shí)時(shí)性、持續(xù)性、豐富性等特點(diǎn)。根據(jù)這些特點(diǎn)，針對(duì)人車目標(biāo)在白天與夜晚的不同特征，設(shè)計(jì)了一種基于紅外與微光視頻融合的人車目標(biāo)檢測(cè)算法，該算法采用改進(jìn)的YOLO-FastestV2目標(biāo)檢測(cè)算法，解決了基于紅外與微光視頻融合下人車目標(biāo)的快速檢測(cè)難題，可以較隱蔽地持續(xù)捕獲行人與車輛目標(biāo)。在智能分析處理模塊利用聲振探測(cè)器與AI智能分析聯(lián)合判斷，能夠有效應(yīng)對(duì)周圍環(huán)境的干擾。經(jīng)驗(yàn)證，該算法抗干擾能力強(qiáng)，準(zhǔn)確性高，具有較好的應(yīng)用價(jià)值。

關(guān)鍵詞：智慧安防；目標(biāo)檢測(cè)；視頻融合；YOLO-FastestV2；AI智能分析；聲振探測(cè)器

中圖分類號(hào)：TP39 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2024）12-00-04

0 引 言

改革開放以來(lái)，中國(guó)人民的生活發(fā)生了翻天覆地的變化。改革的目的就是促進(jìn)生產(chǎn)力的逐步發(fā)展和各項(xiàng)事業(yè)的不斷進(jìn)

步[1]。從“十二五”開始，我國(guó)在智慧安防領(lǐng)域的建設(shè)、開發(fā)等方面都有了重大技術(shù)突破，所設(shè)計(jì)的產(chǎn)品在朝著國(guó)產(chǎn)化方向不斷發(fā)展[2]。智慧安防領(lǐng)域最關(guān)注的技術(shù)是基于視頻監(jiān)控的目標(biāo)檢測(cè)算法。它不僅可以對(duì)重點(diǎn)關(guān)注區(qū)域中的目標(biāo)進(jìn)行檢測(cè)與識(shí)別，還能夠?qū)Ξ惓Ｇ闆r進(jìn)行實(shí)時(shí)報(bào)警。當(dāng)前大多數(shù)視頻輸入或基于常見(jiàn)的可見(jiàn)光相機(jī)，或基于紅外相機(jī)。可見(jiàn)光相機(jī)在光線良好的白天能夠很好地捕捉到畫面中的目標(biāo)；紅外相機(jī)能夠在黑夜中捕捉到畫面中人眼不容易看見(jiàn)的熱目標(biāo)。由于智慧安防監(jiān)控具有隱蔽性的特點(diǎn)，導(dǎo)致可見(jiàn)光相機(jī)的進(jìn)光量不足，為目標(biāo)檢測(cè)帶來(lái)了困難。在這種情況下，微光相機(jī)可以很好地呈現(xiàn)出較清晰的監(jiān)控畫面。在微光環(huán)境下，目標(biāo)表面的照度比較低，一般相機(jī)對(duì)目標(biāo)信號(hào)的獲取依賴于目標(biāo)表面反射的自然光，因此很難完成目標(biāo)檢測(cè)任務(wù)[3-4]。微光相機(jī)因其特殊的傳感器件能夠捕獲更多的自然光線，所以可以獲得比可見(jiàn)光相機(jī)更清晰、畫面信息更豐富的照片。綜合考慮，基于微光與紅外相機(jī)融合的視頻更有利于檢測(cè)智慧安防領(lǐng)域中的目標(biāo)。

現(xiàn)代目標(biāo)檢測(cè)算法的檢測(cè)速度與準(zhǔn)確率遠(yuǎn)遠(yuǎn)高于傳統(tǒng)目標(biāo)檢測(cè)算法。傳統(tǒng)的目標(biāo)檢測(cè)算法因?yàn)榇蟛糠痔卣餍枰謩?dòng)設(shè)計(jì)，所以檢測(cè)速度較慢；現(xiàn)代的目標(biāo)檢測(cè)算法多基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）[5-6]實(shí)現(xiàn)，所以效率較高。通過(guò)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)目標(biāo)的特征，在經(jīng)過(guò)大量數(shù)據(jù)訓(xùn)練以后可以準(zhǔn)確快速地檢測(cè)到圖像中的目標(biāo)位置與類別[7]。現(xiàn)代目標(biāo)檢測(cè)算法中的一階段目標(biāo)檢測(cè)算法因?yàn)闄z測(cè)速度比兩階段目標(biāo)檢測(cè)器更快，并且檢測(cè)精度高，所以多被用于實(shí)時(shí)目標(biāo)檢測(cè)。一階段目標(biāo)檢測(cè)算法中最經(jīng)典的是YOLO系列目標(biāo)檢測(cè)算法[8-9]。YOLO-Fastest系列目標(biāo)檢測(cè)算法是基于YOLO改進(jìn)的輕量級(jí)目標(biāo)檢測(cè)算法，它們專注于單核、實(shí)時(shí)推理性能和實(shí)時(shí)條件下的低CPU使用率。在保證低成本的背景下，可以讓功耗設(shè)備滿足實(shí)時(shí)性能標(biāo)準(zhǔn)，使得它們的應(yīng)用范圍更廣。

本文針對(duì)智慧安防領(lǐng)域中人車目標(biāo)檢測(cè)算法的特性，設(shè)計(jì)了一種基于紅外與微光視頻融合的人車目標(biāo)檢測(cè)算法。該算法在微光與夜晚環(huán)境下也可以很好地檢測(cè)到人車目標(biāo)。此外，針對(duì)YOLO-FastestV2目標(biāo)檢測(cè)算法進(jìn)行改進(jìn)，使之能夠更好地滿足實(shí)時(shí)性要求。

1 視頻融合

1.1 設(shè)計(jì)流程

本文設(shè)計(jì)了一種微光與紅外雙路圖像實(shí)時(shí)融合的方法，提高了目標(biāo)探測(cè)的分辨能力和細(xì)節(jié)，能滿足各種環(huán)境的應(yīng)用需求。該方法采用雙光融合技術(shù)及智能分析處理手段，有效增強(qiáng)了微光圖像的目標(biāo)反射和熱紅外圖像的目標(biāo)熱輻射特性，以及微光對(duì)光照變化的敏感性和紅外熱成像的透視能力等，解決了在背景與目標(biāo)特征相似的情況下無(wú)法進(jìn)行目標(biāo)智能識(shí)別的難題。

該方法的工作流程：在正常工作時(shí)，如果聲振探測(cè)器探測(cè)到振動(dòng)信號(hào)，就會(huì)喚醒紅外相機(jī)與微光相機(jī)，而紅外圖像與微光圖像融合后的圖像會(huì)送入智能分析處理模塊進(jìn)行AI檢測(cè)，如果檢測(cè)到人車目標(biāo)，就會(huì)抓拍一張圖片并錄一段10 s的視頻，如果人車目標(biāo)仍存在，則循環(huán)上述步驟；如果10 s

內(nèi)無(wú)人車目標(biāo)，則關(guān)閉AI檢測(cè)，并終止本地視頻錄制。再次判斷是否有聲振觸發(fā)，如果持續(xù)60 s無(wú)聲振觸發(fā)，那么紅外相機(jī)與微光相機(jī)會(huì)進(jìn)入休眠模式。通過(guò)這種方法可以有效對(duì)周圍環(huán)境進(jìn)行處理，通過(guò)聲振探測(cè)和圖像檢測(cè)的方法進(jìn)行智能研判，排除周圍環(huán)境對(duì)AI檢測(cè)準(zhǔn)確性的干擾。

本文設(shè)計(jì)的系統(tǒng)結(jié)構(gòu)如圖1所示。

檢測(cè)目標(biāo)不僅包含目標(biāo)檢測(cè)框，還包含時(shí)間、類別、編號(hào)等信息，方便后續(xù)查找分析。根據(jù)實(shí)際安裝區(qū)域和環(huán)境，可以長(zhǎng)期記錄人車等目標(biāo)的數(shù)據(jù)信息。通過(guò)目標(biāo)特征設(shè)計(jì)分類和異常行為分析，可以對(duì)新采集的數(shù)據(jù)重新進(jìn)行AI訓(xùn)練，并對(duì)智能分析處理模塊的AI檢測(cè)模型進(jìn)行更新，提高人車目標(biāo)識(shí)別準(zhǔn)確率與探測(cè)精度。

1.2 融合效果對(duì)比分析

圖2（a）是下午光線較暗時(shí)的微光圖像。微光相機(jī)能夠在低光照環(huán)境中捕捉到清晰、銳利的圖像；能夠在明暗對(duì)比強(qiáng)烈的環(huán)境中捕捉到完整的畫面。圖2（b）為與圖2（a）同一時(shí)段的紅外圖像。紅外相機(jī)比微光相機(jī)的分辨率低，但對(duì)熱目標(biāo)的監(jiān)控表現(xiàn)良好，所以常與可見(jiàn)光圖像融合在一起。圖2（c）是微光圖像與紅外圖像融合后的圖像。兩者重疊部分中的目標(biāo)信息更加豐富，既有微光圖像的紋理信息，又有紅外圖像的熱目標(biāo)特性。融合后的圖像進(jìn)行了互補(bǔ)，可以提高智慧安防中目標(biāo)檢測(cè)算法的識(shí)別率與準(zhǔn)確性。

圖2中3個(gè)子圖的左上角是中間有行人目標(biāo)區(qū)域的放大圖。從3個(gè)圖中可以看出，此時(shí)微光圖像黑色框中的行人目標(biāo)用肉眼已經(jīng)看不清楚，而紅外圖像的行人目標(biāo)最明顯，融合圖像中的行人目標(biāo)也比較明顯。微光圖像中樹木房屋的紋理最清晰，紅外圖像中樹木房屋的紋理幾乎不可見(jiàn)，融合圖像中樹木房屋的紋理較清晰。綜上所述，融合后的圖像有利于進(jìn)行目標(biāo)檢測(cè)。

2 智能分析處理

人車目標(biāo)檢測(cè)算法作為智慧安防領(lǐng)域不可或缺的內(nèi)容，可以有效增強(qiáng)監(jiān)控人員對(duì)監(jiān)控畫面中目標(biāo)的記錄分析能力。傳統(tǒng)人車檢測(cè)算法無(wú)法在復(fù)雜場(chǎng)景下實(shí)現(xiàn)實(shí)時(shí)性和高精度檢測(cè)，原因在于采用了滑動(dòng)窗口進(jìn)行區(qū)域選擇導(dǎo)致了較高的時(shí)間復(fù)雜度和窗口冗余，且外觀形態(tài)的多姿性、光照變化的不定性和背景的多樣性會(huì)導(dǎo)致人工手動(dòng)設(shè)計(jì)特征的方法魯棒性不佳，泛化性差以及算法步驟繁雜等，從而導(dǎo)致檢測(cè)效率慢、精度低，難以滿足實(shí)際情況中對(duì)目標(biāo)檢測(cè)的高性能需求。

2.1 網(wǎng)絡(luò)框架

針對(duì)以上問(wèn)題，本文通過(guò)改進(jìn)YOLO-FastestV2深度學(xué)習(xí)網(wǎng)絡(luò)，提出了一種基于紅外與微光視頻融合的人車目標(biāo)檢測(cè)算法。基于YOLO-FastestV2改進(jìn)的目標(biāo)檢測(cè)網(wǎng)絡(luò)整體框架如圖3所示。

YOLO-FastestV2框架按照Backbone結(jié)合Neck與Head的基本范式搭建，其中主要用到的模塊有：ShuffleV2Block、CBS（Conv+BN+SiLU）、Upsample以及DWConvBlock[10]。YOLO-FastestV2采用的圖像數(shù)據(jù)增強(qiáng)方式為Mosaic數(shù)據(jù)增強(qiáng)，這種增強(qiáng)方式將使用4張訓(xùn)練圖像按一定比例組合成一張圖像。它通過(guò)隨機(jī)縮放、隨機(jī)裁剪、隨機(jī)排布的方式進(jìn)行拼接，能使模型學(xué)會(huì)在更小的范圍內(nèi)識(shí)別對(duì)象。

從圖3可以看出，YOLO-FastestV2模型的Backbone為ShuffleNetV2。為了在保持較高通道數(shù)量的同時(shí)，不能有太多的密集卷積數(shù)量和分組數(shù)量，引入了“channel split”通道分離操作。在每個(gè)單元開始之前，輸入通道會(huì)被分成2個(gè)分支，其中1個(gè)分支保持恒等映射，另外1個(gè)分支包括3個(gè)具有相同輸入輸出通道的卷積。然后2個(gè)分支進(jìn)行通道級(jí)融合操作。最后進(jìn)行通道打亂操作，用來(lái)增強(qiáng)神經(jīng)網(wǎng)絡(luò)的信息交互能力。

此外，YOLO-FastestV2使用11×11和22×22共2個(gè)尺度的檢測(cè)頭，因?yàn)橥ㄟ^(guò)測(cè)試發(fā)現(xiàn)，在COCO數(shù)據(jù)集上使用3個(gè)檢測(cè)頭（11×11，22×22，44×44）和使用2個(gè)檢測(cè)頭（11×11，22×22）的精度無(wú)太大差異。

2.2 模型訓(xùn)練與轉(zhuǎn)換

在訓(xùn)練人車目標(biāo)檢測(cè)模型時(shí)，共采集了3 587張圖片。其中行人目標(biāo)6 351個(gè)，車輛目標(biāo)2 589個(gè)。經(jīng)過(guò)200個(gè)Batchsize的訓(xùn)練，該模型最終mAP值為89%，可以滿足日常需求。訓(xùn)練好的模型需要利用RKNN_Toolkit模型轉(zhuǎn)換工具把Pytorch模型轉(zhuǎn)換為RKNN模型。經(jīng)測(cè)試，轉(zhuǎn)換后的模型運(yùn)行速度最高可以達(dá)到50 FPS。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 小目標(biāo)檢測(cè)

針對(duì)人車目標(biāo)檢測(cè)的距離檢測(cè)，在微光模式下進(jìn)行了實(shí)驗(yàn)驗(yàn)證。保證攝像頭固定不動(dòng)，通過(guò)調(diào)節(jié)攝像頭焦距使得圖像中的目標(biāo)從大變小，并依次抓拍一張圖像，效果如圖4所示。

圖4最后一列第一幅圖中最左邊的車輛目標(biāo)的像素是74×73，屬于中小型目標(biāo)；第二幅圖中行人目標(biāo)的像素是76×145，也屬于中小型目標(biāo)。其中，車輛距離攝像頭約100 m，行人距離攝像頭約50 m，能夠滿足日常監(jiān)控需求。

3.2 實(shí)際測(cè)試指標(biāo)

網(wǎng)絡(luò)訓(xùn)練的原始模型經(jīng)過(guò)量化轉(zhuǎn)為unit8的RKNN模型，測(cè)試數(shù)據(jù)見(jiàn)表1，其中平均每張圖片耗時(shí)為22.769 9 ms，幀率大于40 FPS，能滿足實(shí)時(shí)運(yùn)行的要求。

針對(duì)探測(cè)率與虛警率進(jìn)行了實(shí)際測(cè)試。在設(shè)備正常運(yùn)行時(shí)，行人目標(biāo)在沿距離探測(cè)設(shè)備25 m的切線方向上走動(dòng)20 m（起點(diǎn)和終點(diǎn)分別距離切點(diǎn)10 m）；由起點(diǎn)步行至終點(diǎn)后停止運(yùn)動(dòng)，記錄此過(guò)程實(shí)時(shí)視頻中行人目標(biāo)是否有檢測(cè)框標(biāo)識(shí)。同樣由終點(diǎn)開始步行至起點(diǎn)，往返運(yùn)動(dòng)并記錄（往返共記錄10次）。車輛目標(biāo)沿距離探測(cè)設(shè)備80 m的切線方向上運(yùn)動(dòng)40 m（起點(diǎn)和終點(diǎn)分別距離切點(diǎn)20 m）；由起點(diǎn)開始行駛至終點(diǎn)后停止移動(dòng)并熄火，直至探測(cè)設(shè)備不再上報(bào)任何報(bào)警消息，記錄此過(guò)程實(shí)時(shí)視頻中車輛目標(biāo)是否有檢測(cè)框標(biāo)識(shí)。同樣由終點(diǎn)開始行駛至起點(diǎn)，往返運(yùn)動(dòng)并記錄（往返共記錄10次）。通過(guò)計(jì)算未收到報(bào)警的次數(shù)與總測(cè)試次數(shù)的比值就可以算出探測(cè)率。

在確保視場(chǎng)沒(méi)有人員或車輛的情況下，查看實(shí)時(shí)視頻中是否有人員目標(biāo)/車輛目標(biāo)檢測(cè)框標(biāo)識(shí)，每隔20 s記錄1次，共計(jì)35次并記錄收到的情報(bào)總數(shù)，計(jì)算出虛警率。

測(cè)試數(shù)據(jù)見(jiàn)表2，其中探測(cè)率為90.000 0%，虛警率為2.857 1%。

4 結(jié) 語(yǔ)

本文設(shè)計(jì)的基于視頻融合的人車目標(biāo)檢測(cè)算法，利用微光與紅外圖像的融合，能夠在光線太強(qiáng)或者太弱時(shí)捕獲清晰的目標(biāo)圖像，并通過(guò)改進(jìn)的YOLO-FastestV2目標(biāo)檢測(cè)網(wǎng)絡(luò)實(shí)時(shí)對(duì)圖像中的人車目標(biāo)進(jìn)行檢測(cè)。該算法能夠快速準(zhǔn)確地對(duì)人車目標(biāo)進(jìn)行檢測(cè)，并根據(jù)目標(biāo)的位置進(jìn)行智能分析與報(bào)警，具有較高的集成度，可以針對(duì)不同的場(chǎng)景與目標(biāo)重新訓(xùn)練模型，滿足客戶不同的需求。

參考文獻(xiàn)

[1]李政華. 國(guó)家構(gòu)建視角下統(tǒng)一戰(zhàn)線功能角色變遷研究[D].長(zhǎng)春：吉林大學(xué)，2023.

[2]陶永，袁家虎，何國(guó)田，等.面向中國(guó)未來(lái)智能社會(huì)的智慧安防系統(tǒng)發(fā)展策略[J].科技導(dǎo)報(bào)，2017，35（5）：82-88.

[3]董發(fā)祥，李瑛，劉朝暉，等.一種基于高靈敏度CCD的微光相機(jī)設(shè)計(jì)[C]//中國(guó)電子學(xué)會(huì)，中國(guó)振動(dòng)工程學(xué)會(huì).2010振動(dòng)與噪聲測(cè)試峰會(huì)論文集.中國(guó)科學(xué)院西安光學(xué)精密機(jī)械研究所，中國(guó)科學(xué)院研究生院，西安郵電學(xué)院，2010：5.

[4]方勇，張建軍.面向智能視頻監(jiān)控中的運(yùn)動(dòng)目標(biāo)檢測(cè)方法研究[J].計(jì)算技術(shù)與自動(dòng)化，2022，41（4）：79-83.

[5]郭曉靜，隋昊達(dá).改進(jìn)YOLOv3在機(jī)場(chǎng)跑道異物目標(biāo)檢測(cè)中的應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用，2021，57（8）：249-255.

[6]杜紫薇，周恒，李承陽(yáng)，等.面向深度卷積神經(jīng)網(wǎng)絡(luò)的小目標(biāo)檢測(cè)算法綜述[J].計(jì)算機(jī)科學(xué)，2022，49（12）：205-218.

[7]羅建晨. 面向車輛多特性檢測(cè)的雙目立體視覺(jué)車速測(cè)量?jī)?yōu)化[D].鄭州：中原工學(xué)院，2021.

[8] GU Y Z， MAKOTO S， ZHANG X L. An active stereo vision system based on neural pathways of human binocular motor system [J]. Journal of bionic engineering， 2007， 4（4）： 185-192.

[9]龔琳茜.基于YOLO的目標(biāo)人員身份識(shí)別與跟蹤方法[J].計(jì)算機(jī)與數(shù)字工程，2022，50（12）：2669-2672.

[10] dog qiu qiu. YOLO-Fastest： YOLO-fastest-v1.1.0. 2021 [EB/OL]. https： //github.com/dog-qiuqiu/Yolo-Fastest （accessed on 22 August 2022）.

作者簡(jiǎn)介：李杲陽(yáng)（1996—），男，碩士，工程師，研究方向?yàn)橛?jì)算機(jī)視覺(jué)、深度學(xué)習(xí)。

杜 娟（1984—），女，工程師，研究方向?yàn)榘卜老到y(tǒng)集成。

張 磊（1997—），男，碩士，工程師，研究方向?yàn)橛?jì)算機(jī)視覺(jué)、深度學(xué)習(xí)。

蔣長(zhǎng)帥（1987—），男，碩士，高級(jí)工程師，研究方向?yàn)樗欧刂啤D像處理。

王二紅（1982—），女，工程師，研究方向?yàn)榘卜老到y(tǒng)集成。