基于目標(biāo)跟蹤的行為識(shí)別方法研究
——以安全帽佩戴識(shí)別檢測為例

陳 光,喬 梁,黃曉明,熊 芹

(1.國能九江發(fā)電有限公司,江西 九江 332000; 2.國能豐城發(fā)電有限公司,江西 豐城 330011)

施工人員佩戴安全帽能有效降低事故的發(fā)生率,特別是工業(yè)制造、發(fā)電等行業(yè)需進(jìn)行安全帽監(jiān)測。但目前的監(jiān)測方法大多采用人工巡邏監(jiān)控或查看監(jiān)控視頻,存在人力資源消耗大、管理成本高、效率低下、漏檢和誤檢概率較高等問題,故搭建基于目標(biāo)識(shí)別算法的無人監(jiān)管檢測系統(tǒng)來實(shí)時(shí)監(jiān)測現(xiàn)場施工人員是否佩戴安全帽具有工程價(jià)值與實(shí)際意義。

1 安全帽佩戴識(shí)別檢測系統(tǒng)的設(shè)計(jì)

1.1 目標(biāo)檢測系統(tǒng)架構(gòu)

目標(biāo)檢測系統(tǒng)基于人工智能、邊緣計(jì)算、大數(shù)據(jù)分析、圖像識(shí)別等技術(shù),可實(shí)現(xiàn)高效管理、可視化呈現(xiàn)、智能化識(shí)別。安全帽佩戴識(shí)別檢測系統(tǒng)在技術(shù)架構(gòu)上具備以下功能:①圖像采集功能。利用多類別、多角度視頻和圖像采集設(shè)備,進(jìn)行數(shù)據(jù)采集。②應(yīng)用功能。進(jìn)行安全帽佩戴識(shí)別,集成顯示多角度圖像、視頻數(shù)據(jù),基于現(xiàn)場物聯(lián)網(wǎng)設(shè)備,實(shí)現(xiàn)自動(dòng)告警等功能。③數(shù)據(jù)應(yīng)用。提供API接口,使第三方平臺(tái)能夠訪問系統(tǒng)和平臺(tái)數(shù)據(jù),實(shí)現(xiàn)功能拓展。

目標(biāo)檢測系統(tǒng)總體設(shè)計(jì)架構(gòu)如圖1所示。

圖1 目標(biāo)檢測系統(tǒng)總體設(shè)計(jì)架構(gòu)Fig.1 Overall design architecture of target detection system

系統(tǒng)總體架構(gòu)分為四層。第一層是目標(biāo)采集層。根據(jù)實(shí)地作業(yè)狀況,采用多樣化集群監(jiān)控?cái)z像頭進(jìn)行圖像信息采集,再根據(jù)攝像頭的有線或無線傳輸方式及協(xié)議將圖像傳輸至目標(biāo)檢測設(shè)備。第二層是目標(biāo)檢測層。目標(biāo)檢測設(shè)備為邊緣智能設(shè)備,是目標(biāo)檢測系統(tǒng)的核心之一。該設(shè)備搭載EdgeAI引擎,可實(shí)現(xiàn)作業(yè)監(jiān)控,相較于一般設(shè)備增強(qiáng)了安全監(jiān)督的權(quán)威性和可追溯性,同時(shí)支持音視頻和IOT數(shù)據(jù)接入,可滿足移動(dòng)作業(yè)現(xiàn)場對(duì)高時(shí)效性AI的識(shí)別和低延遲需求。在通信上支持有線通信協(xié)議(光纖、以太網(wǎng)等)及無線通信協(xié)議(5G、4G、wifi等),能夠?qū)崿F(xiàn)現(xiàn)場移動(dòng)作業(yè)監(jiān)控裝置的接入、數(shù)據(jù)格式轉(zhuǎn)換,統(tǒng)一上傳至數(shù)據(jù)分析中心,且支持多路視頻信號(hào)接入的實(shí)時(shí)識(shí)別分析。第三層是數(shù)據(jù)存儲(chǔ)和處理層。該層相關(guān)設(shè)備為系統(tǒng)服務(wù)器和圖像服務(wù)器構(gòu)成的本地服務(wù)器,各項(xiàng)服務(wù)在設(shè)計(jì)上采用功能性模塊化設(shè)計(jì),具有較好的靈活性,可提供標(biāo)準(zhǔn)的接口封裝服務(wù),使數(shù)據(jù)庫系統(tǒng)和前端數(shù)據(jù)采集及第三方系統(tǒng)之間能夠以服務(wù)方式安全可靠地進(jìn)行數(shù)據(jù)交換與獲取。第四層是數(shù)據(jù)應(yīng)用層。包括數(shù)據(jù)可視化、視頻實(shí)況監(jiān)控、結(jié)合物聯(lián)網(wǎng)設(shè)備進(jìn)行自動(dòng)告警等,還可采用B/S架構(gòu),實(shí)現(xiàn)管理人員和系統(tǒng)間有效的人機(jī)交互。

目標(biāo)檢測系統(tǒng)在整體上采用“云-邊”架構(gòu),將大量工業(yè)視頻數(shù)據(jù)和邊緣智能設(shè)備采集的數(shù)據(jù)傳輸至該系統(tǒng),構(gòu)建識(shí)別模型庫,圍繞識(shí)別對(duì)象進(jìn)行智能識(shí)別和數(shù)據(jù)應(yīng)用,同時(shí)借助邊緣智能設(shè)備支持音視頻和IOT數(shù)據(jù)接入,實(shí)現(xiàn)對(duì)施工現(xiàn)場的高時(shí)效、低延時(shí)智能識(shí)別,達(dá)到外委作業(yè)安全監(jiān)管的開箱即用效果。

1.2 YOLOv 5網(wǎng)絡(luò)模型結(jié)構(gòu)

目標(biāo)檢測算法主要分為一階段目標(biāo)檢測和二階段目標(biāo)檢測兩種。一階段目標(biāo)檢測是將圖像網(wǎng)格化,從而直接在圖像中進(jìn)行目標(biāo)檢測、定位和分類;二階段目標(biāo)檢測是先進(jìn)行候選框選取,再進(jìn)行分類[1]。通常一階段目標(biāo)檢測器檢測速度快,二階段目標(biāo)檢測器檢測精度高。綜合來看,二階段目標(biāo)檢測算法主要用于小物體或人體姿態(tài)識(shí)別,而本系統(tǒng)設(shè)計(jì)的安全帽佩戴識(shí)別檢測相較于識(shí)別精度,對(duì)識(shí)別速度的要求更高[2],故而目標(biāo)檢測算法使用YOLOv 5目標(biāo)檢測網(wǎng)絡(luò)。

YOLOv 5網(wǎng)絡(luò)模型的主要結(jié)構(gòu)分為4部分,即輸入端(Input)、骨干網(wǎng)絡(luò)(Bacbone)、Neck層、輸出層(Prediction)。在Input端,模型利用隨機(jī)縮放、裁剪和排布方式進(jìn)行拼接,提高對(duì)小目標(biāo)的檢測效果。網(wǎng)絡(luò)訓(xùn)練過程中,YOLOv 5在初始錨框上輸出預(yù)測框并與真實(shí)框進(jìn)行比較,再反向更新迭代網(wǎng)絡(luò)參數(shù)[3]。Bacbone由Focus、CSP結(jié)構(gòu)組成,Focus結(jié)構(gòu)的作用是進(jìn)行切片和卷積[4],將原始圖像輸入至Focus結(jié)構(gòu),經(jīng)過切片運(yùn)算和卷積運(yùn)算得到特征圖。CSP結(jié)構(gòu)的作用是進(jìn)行特征圖特征提取,從圖像中獲取豐富信息,與其他大型卷積神經(jīng)網(wǎng)絡(luò)相比,能夠有效降低梯度信息重復(fù)程度[5]。Neck層采用PAN+FPN結(jié)構(gòu),PANET基于Mask R-CNN和FPN框架,具有保留空間信息的能力,可對(duì)像素形成適當(dāng)定位[6]。Prediction層主要包括損失函數(shù)和非極大值抑制,在邊界框損失函數(shù)上采用GIoU_Loss損失值計(jì)算,其全稱為通用交并比,GIoU損失函數(shù)計(jì)算方法如式(1)所示。

(1)

2 目標(biāo)檢測模型訓(xùn)練與仿真測試

2.1 模型訓(xùn)練平臺(tái)及訓(xùn)練集

模型訓(xùn)練使用的平臺(tái)配置GPU為NVIDIA GeForce RTX 3070,8G顯存,CPU為AMD Ryzen 5 5600X,平臺(tái)內(nèi)存16G,GPU加速庫CUDA11.4和CUDNN 8.04。

本次模型訓(xùn)練使用的數(shù)據(jù)集共有圖片8 469張,按照8∶2的比例劃分為訓(xùn)練集和驗(yàn)證集,圖片尺寸縮放為640×640,訓(xùn)練輪次為200輪。數(shù)據(jù)集圖片主要分為佩戴安全帽(“hat”)、未佩戴安全帽(“person”)兩類。數(shù)據(jù)集盡量選用實(shí)地施工圖片,力求訓(xùn)練模型更適用于實(shí)際施工場景。

2.2 目標(biāo)檢測模型評(píng)價(jià)指標(biāo)分析

目標(biāo)檢測模型評(píng)價(jià)指標(biāo)中有4個(gè)基礎(chǔ)數(shù)值:正樣本被預(yù)測為正樣本的數(shù)量(True Positive,TP)、正樣本被預(yù)測為負(fù)樣本的數(shù)量(False Negative,FN)、負(fù)樣本被預(yù)測為正樣本的數(shù)量(False Positive,FP)、負(fù)樣本被預(yù)測為負(fù)樣本的數(shù)量(True Negative,TN)。目標(biāo)檢測模型基于4個(gè)基礎(chǔ)數(shù)值有兩項(xiàng)關(guān)鍵指標(biāo),即查準(zhǔn)率(Precision)和召回率(Recall),Precision是指所有預(yù)測為正樣本的結(jié)果中預(yù)測正確的比例,而Recall是指所有正樣本中被正確預(yù)測的比例。查準(zhǔn)率和召回率是一對(duì)此消彼長的量,它們的提高能有效提升模型實(shí)際應(yīng)用性,因此常用平均精度(Average Precision, AP)來描述模型性能,大小為P-R曲線與坐標(biāo)軸圍成的面積。本研究目標(biāo)檢測模型的P-R曲線圖和模型性能變化曲線圖如圖2、圖3所示。

圖2 目標(biāo)檢測模型的P-R曲線圖Fig.2 P-R curve of the target detection model

圖3 模型性能變化曲線Fig.3 Curve of model performance change

均值平均精度(mAP)可用來評(píng)估訓(xùn)練模型的性能與可靠性。模型訓(xùn)練過程中產(chǎn)生的最佳模型性能指標(biāo)中,hat類別和person類別的mAP值分別為91.9%、93.7%,全類別mAP@0.5的值為92.8%,可滿足實(shí)際需要。

2.3 目標(biāo)檢測模型測試

將best.pt作為權(quán)重文件進(jìn)行多個(gè)圖片及視頻測試。圖片測試中,該模型具有良好的識(shí)別性能;視頻測試中,模型實(shí)時(shí)檢測速率達(dá)到35.7 frame/s,滿足實(shí)際應(yīng)用要求。測試結(jié)果如圖4所示。

http://suo.nz/2M6i3r圖4 模型檢測是否佩戴安全帽測試圖Fig.4 Test chart of model test on whether wearing helmet or not

3 結(jié)論

為滿足施工場地安全帽佩戴監(jiān)測的需求,設(shè)計(jì)了一種安全帽佩戴識(shí)別檢測系統(tǒng)。在目標(biāo)檢測方面,基于YOLOv5網(wǎng)絡(luò)模型進(jìn)行了不同型號(hào)模型的對(duì)比分析,結(jié)合開源數(shù)據(jù)集進(jìn)行了模型訓(xùn)練、性能分析和測試,模型mAP@0.5的值為92.8%,系統(tǒng)整體視頻檢測速率達(dá)到35.7 frame/s,綜合來看,本設(shè)計(jì)能夠有效滿足實(shí)際應(yīng)用的需求。