基于目標(biāo)關(guān)聯(lián)性的電力智慧工地區(qū)域監(jiān)測方法

陳 暢，劉鑒棟，閆云鳳，齊冬蓮

（1.廣東電網(wǎng)有限責(zé)任公司廣州供電局，廣州 510050；2.浙江大學(xué) 電氣工程學(xué)院，杭州 310027）

0 引言

電力建筑工地的智能化管理對于保障人員和財產(chǎn)安全，規(guī)范工地管理秩序，降低工地監(jiān)管成本等具有重要意義。然而，電力建筑工地待測區(qū)域存在車輛頻繁出入、人員行走隨意、區(qū)域范圍較大、數(shù)據(jù)采集缺失等問題，亟需實現(xiàn)施工現(xiàn)場的全范圍多角度智能監(jiān)控。

為提升電力工地區(qū)域智能監(jiān)測水平，在建立完善的基于攝像集群與數(shù)據(jù)處理設(shè)備的工地監(jiān)控網(wǎng)絡(luò)基礎(chǔ)上［1-2］，國內(nèi)外學(xué)者針對工地內(nèi)的人員和車輛的檢測進行了相關(guān)研究。文獻［3］利用多尺度訓(xùn)練、增加錨點數(shù)量、在線困難樣本挖掘?qū)aster R-CNN特征區(qū)域進行改進，提高了安全帽檢測的魯棒性。文獻［4］基于Tensorflow 框架對Faster R-CNN 進行優(yōu)化，提高了安全帽檢測速度。文獻［5］則采用成熟且高效的YOLOv3實現(xiàn)了安全帽檢測的工業(yè)化應(yīng)用。針對車輛（包括小汽車和卡車）的智能識別問題，文獻［6］基于YOLOv4框架和深度殘差網(wǎng)絡(luò)對復(fù)雜環(huán)境中的車輛進行有效檢測。文獻［7］利用深度學(xué)習(xí)方法解決車輛檢測問題，其檢測效果比傳統(tǒng)的機器學(xué)習(xí)算法在精度和速度上更具優(yōu)勢；但目前仍然缺少施工現(xiàn)場車輛檢測成果，需繼續(xù)結(jié)合工地的特定場景進行車輛檢測研究。

針對工地區(qū)域的人員與車輛融合檢測問題，本文提出一種智慧工地區(qū)域監(jiān)測與定位模型。綜合考慮人員、車輛的相對位置關(guān)系，基于目標(biāo)關(guān)聯(lián)性的定位模型，同時完成人員和車輛的同步精準定位，提升了區(qū)域監(jiān)測系統(tǒng)的檢測效率。通過修正IoU（并集交點）計算方式，提高人員和車輛的檢測精度。利用施工現(xiàn)場圖片進行實驗，對本文所提方法的檢測準確率進行驗證。

1 基于目標(biāo)關(guān)聯(lián)性的人車融合定位模型

現(xiàn)有的人車定位方法大部分為單任務(wù)學(xué)習(xí)，訓(xùn)練出的模型需要進行繁瑣的后期處理以獲得人車同步定位，效率低下，且無法同時運用多目標(biāo)的關(guān)聯(lián)性提升定位準確性。為了更好地提高定位精度，提出一種基于目標(biāo)關(guān)聯(lián)性的人車融合定位模型，在提升模型預(yù)測速度的同時，更好地結(jié)合多目標(biāo)位置的關(guān)聯(lián)性，提高人車同步檢測的準確性。

1.1 定位模型網(wǎng)絡(luò)結(jié)構(gòu)

本文設(shè)計的人車融合定位網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，其主干網(wǎng)絡(luò)參考HRNet（高分辨率網(wǎng)絡(luò)）［8-10］進行人車多目標(biāo)特征的改進。與現(xiàn)有的網(wǎng)絡(luò)相比，HRNet 在每一階段均同時保留高分辨率的特征層與低分辨率的特征層，并對多種分辨率的特征層進行融合，更好地學(xué)習(xí)圖像局部特征與全局特征，大幅提升了模型的學(xué)習(xí)效果。

圖1 人車融合定位網(wǎng)絡(luò)結(jié)構(gòu)

結(jié)合人車特征與工地區(qū)域監(jiān)測需求，對傳統(tǒng)的HRNet 進行改進，在主干網(wǎng)絡(luò)中保留3 種分辨率的特征層，并增加關(guān)聯(lián)性融合模塊，實現(xiàn)多目標(biāo)的位置關(guān)聯(lián)性自主學(xué)習(xí)。同時，在定位模型中增加人員局部定位模塊、車輛定位模塊、人車融合定位模塊，保證人車獨立與同步精準定位。

分別將人車局部定位模塊置于第一、第二階段，使人車獨立與同步識別擴大至區(qū)域的整體動態(tài)監(jiān)測過程，從而增大視頻感知區(qū)域以實現(xiàn)監(jiān)測遞進。在網(wǎng)絡(luò)前兩個階段進行人車的定位，相當(dāng)于對網(wǎng)絡(luò)模型引入中間監(jiān)督模塊，在提升網(wǎng)絡(luò)多目標(biāo)預(yù)測能力的同時，也提升了人車融合定位與分類的準確率。

根據(jù)網(wǎng)絡(luò)模型的訓(xùn)練需求，基于目標(biāo)關(guān)聯(lián)性的人車融合定位模型的損失函數(shù)L定義為：

式中：L1、L2、L3分別為人員定位模塊、車輛定位模塊、人車融合定位模塊的損失函數(shù)；λ1、λ2、λ3為對應(yīng)模塊的權(quán)重。

需要說明的是，圖1所示網(wǎng)絡(luò)結(jié)構(gòu)的作用是定位并提取圖片，以便于后續(xù)對這些圖片進行識別。

1.2 人車局部定位模塊

為了加快后續(xù)人車融合的定位與識別速度，分別增加人局部定位模塊和車局部定位模塊，這兩個模塊結(jié)構(gòu)相同。相比于傳統(tǒng)的目標(biāo)檢測，人車局部定位的難點在于沒有絕對準確的目標(biāo)框位置，因此本文采用固定大小的候選框進行定位，并設(shè)計了一種針對人車局部模塊的新的IoU 計算方法：

式中：I*為新方法計算得到的IoU；Sa為候選框的面積；Si為人或車局部的第i個真值框與候選框的重合面積。

人車局部定位模塊輸出大小為h×w×2（h和w分別為輸入圖像高和寬的25%），分別預(yù)測前景和背景兩個類別。考慮到該模塊僅需要進行分類，因此采用交叉熵計算局部損失函數(shù)。該方法考慮到了人車在圖像中的大小以及計算效率兩方面因素，同時可實現(xiàn)整個監(jiān)控區(qū)域的全方位覆蓋。

1.3 人車本體定位模塊

人車局部定位模塊與人車本體定位模塊均包含分類和邊框回歸兩個子模塊，分類模塊輸出大小為h×w×（c+1）k（k為每個中心點包含的候選框個數(shù)，c為識別的類別數(shù)目），邊框回歸模塊輸出大小為h×w×4k。本文的邊框回歸計算方式如下：

式中：x和y為候選框的中心坐標(biāo)；含下標(biāo)a 的變量為候選框數(shù)值，含上標(biāo)*的變量為真值框數(shù)值；tj為網(wǎng)絡(luò)預(yù)測坐標(biāo)值；為坐標(biāo)真實值；λj為縮放參數(shù)，j∈{x，y，w，h}。

在實際使用模型預(yù)測時，為了提高邊框回歸損失的比重，模型采用：

根據(jù)上述定義，可得人車融合定位模塊的損失函數(shù)L為：

式中：Nc為分類樣本數(shù)；Nr為回歸樣本數(shù)；Lc（·）為交叉熵損失函數(shù)；Lr（·）為smooth L1 Loss函數(shù)；pi為模型預(yù)測的第i個模塊類別的得分，pi*為pi對應(yīng)的真值；ti為模型預(yù)測的對應(yīng)模塊類別的邊框回歸數(shù)值，ti*為ti對應(yīng)的真值。在進行損失計算時，邊框回歸部分僅考慮人車圖片中設(shè)定為前景的候選框與前景框的回歸數(shù)值。

1.4 關(guān)聯(lián)性融合模塊

關(guān)聯(lián)性融合模塊的結(jié)構(gòu)如圖2所示，該模塊能夠?qū)⒅鞲删W(wǎng)絡(luò)中不同階段的特征層使用3×3 的卷積層進行再學(xué)習(xí)，隨后對其進行拼接，因此可以更好地學(xué)習(xí)并融合人車各自特征以及人車融合特征，有利于增強網(wǎng)絡(luò)對人車從局部至整體的把握，從而提升網(wǎng)絡(luò)模型對人車獨立與融合的預(yù)測效果。

圖2 關(guān)聯(lián)性融合模塊

2 人車融合識別模型

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文設(shè)計的人車融合識別模型結(jié)構(gòu)如圖3 所示。當(dāng)人車圖像通過定位網(wǎng)絡(luò)進行局部定位后，將其輸入選擇的判斷模塊進行類別判斷，并根據(jù)對應(yīng)類別輸入相應(yīng)模型進行定位識別。其中，人車融合識別通過ResNet-50分類網(wǎng)絡(luò)實現(xiàn)。

圖3 人車融合識別模型

2.2 選擇判斷模塊

選擇判斷模塊如圖4所示，其作用是根據(jù)多目標(biāo)的關(guān)聯(lián)性進行人車類別判斷，并最終輸入分類網(wǎng)絡(luò)以進行人車分類識別。通過選擇判斷模塊的分類，可以降低網(wǎng)絡(luò)模型的學(xué)習(xí)復(fù)雜度，有效提高網(wǎng)絡(luò)模型的識別效果。

圖4 選擇判斷模塊

由于工地人員之間、工地各類車輛之間的本體特征極為相似，直接使用網(wǎng)絡(luò)模型進行分類效果較差，而人車之間的差別則極為明顯，因此本文利用人車圖片進行分類識別可以有效提高分類準確率。具體而言，對于定位模型輸出的人員或車輛的本體預(yù)測框，將其與人車融合預(yù)測框的IoU數(shù)值進行綜合計算，并根據(jù)IoU 數(shù)值分類為人員本體和車輛本體。對于人車局部圖像，計算其與定位網(wǎng)絡(luò)模型預(yù)測的人車本體的IoU 數(shù)值，若數(shù)值大于0則保留。

3 實驗分析

為了驗證本文所提方法在電力工地人車融合檢測中的有效性，進行了相關(guān)實驗。本文共使用6 000張電力工地圖片進行實驗，其中只含人員的圖片2 500 張，只含車輛的圖片2 500 張，同時含有人員和車輛的圖片1 000 張。考慮到圖片的數(shù)量，訓(xùn)練樣本與檢驗樣本的比例為4∶1。本文模型訓(xùn)練與預(yù)測的實驗環(huán)境為NVIDIA Titan X GPU，系統(tǒng)為Ubuntu 16.04。

在進行人車融合識別模型的訓(xùn)練前，先在COCO 數(shù)據(jù)集上進行預(yù)訓(xùn)練，并將其作為模型初始參數(shù)。在使用工地人車圖像數(shù)據(jù)集進行訓(xùn)練時，模型訓(xùn)練優(yōu)化器采用隨機梯度下降，初始學(xué)習(xí)率為0.001。在前15 000 迭代次數(shù)使用初始學(xué)習(xí)率，并在第15 000 次與第40 000 次迭代時將學(xué)習(xí)率分別降低為當(dāng)前學(xué)習(xí)率的0.1倍。模型訓(xùn)練迭代總次數(shù)為60 000。

圖5為工地人員單獨識別結(jié)果。由實驗結(jié)果可知，無論是人員稀少還是人員較多，本文算法都可以實現(xiàn)人員的準確定位與識別，每個人員圖片的識別置信度也在實驗結(jié)果中進行了展示，置信度越高，代表識別算法判定圖像中的物體為人員的準確概率越高。

圖6為工地車輛單獨識別結(jié)果。由實驗結(jié)果可知，與人員單獨識別類似，無論是車輛稀少還是較多，本文算法都可以實現(xiàn)車輛的識別與分類，進而實現(xiàn)車輛信息的完整記錄與車輛動態(tài)的準確跟蹤，為電力智慧安全工地的建設(shè)提供技術(shù)支撐。

圖7為工地人車同步識別結(jié)果。由實驗結(jié)果可知，當(dāng)人員和車輛同時出現(xiàn)在監(jiān)控區(qū)域內(nèi)時，本文算法可以同時精準、快速地完成人員與車輛的分類識別，從而為人員和車輛的有序管理提供參考。

為了量化本文所提算法的識別效果，采用召回率R與準確率Q進行評估，計算公式如下：

式中：TP為預(yù)測正確的預(yù)測框數(shù)目；FN為漏報的真值框數(shù)目；FP為誤報的預(yù)測框數(shù)目。

人車融合檢測模型的兩個指標(biāo)見表1。由表1可知，本文算法可以實現(xiàn)人員單獨檢測、車輛單獨檢測和人車同步檢測，檢測精度高，完全可以滿足電力施工現(xiàn)場的智能監(jiān)控和管理要求。

4 結(jié)語

針對工地人員和車輛分類與識別問題，提出一種基于目標(biāo)關(guān)聯(lián)性的人車融合檢測方法，并利用電力施工現(xiàn)場拍攝的圖像對本文所提的方法進行測試與驗證。實驗結(jié)果表明，本文方法檢測精度高、誤檢率低，可實現(xiàn)人車單獨與同步識別。將本文所提方法并入電力建筑工地的后臺監(jiān)控系統(tǒng)，可以明顯提升電力工地的智能化管理水平，實現(xiàn)智慧工地的區(qū)域監(jiān)測，對于提高人員和財產(chǎn)安全、維護工地整場管理秩序具有重要作用，工程應(yīng)用價值較高。