基于視頻的施工作業(yè)監(jiān)護(hù)人離崗識(shí)別模型

蘇洪全，譚蕾，姜浩，鄭亞強(qiáng)，馬慶，董強(qiáng)，王新星

(昆侖數(shù)智科技有限責(zé)任公司，北京 100000)

1 研究背景

施工作業(yè)安全和石油化工生產(chǎn)安全關(guān)系到施工和生產(chǎn)人員的生命健康，是重要的安全管理內(nèi)容之一。基于視頻識(shí)別施工過(guò)程和化工生產(chǎn)過(guò)程中的安全隱患并報(bào)警，可即時(shí)提醒施工現(xiàn)場(chǎng)工作人員，有效避免施工安全事故發(fā)生[1-2]。

目前主流的施工和化工生產(chǎn)隱患識(shí)別方式是智能識(shí)別和監(jiān)護(hù)人監(jiān)督[3-4]。智能識(shí)別技術(shù)在施工領(lǐng)域的應(yīng)用研究已經(jīng)開(kāi)始，其中煙霧火焰檢測(cè)、安全帶檢測(cè)等技術(shù)是近年來(lái)的熱點(diǎn)。目前，煙霧火焰檢測(cè)已經(jīng)得到廣泛研究和應(yīng)用[5-7]，安全帶檢測(cè)也日趨成熟。例如馮志珍等[8]使用Mask R-CNN模型實(shí)現(xiàn)了對(duì)高空作業(yè)安全帶的智能檢測(cè)，基于YOLO的模型因其檢測(cè)效率高而備受歡迎[9-11]。智能識(shí)別技術(shù)已經(jīng)在施工安全領(lǐng)域得到初步驗(yàn)證，例如施工人員是否佩戴安全帶自動(dòng)識(shí)別[8，10-11]、施工現(xiàn)場(chǎng)清潔度智能識(shí)別[9]等。雖然智能識(shí)別施工隱患的技術(shù)正在快速發(fā)展，但是受限于光照、遮擋、惡劣天氣、拍攝角度、拍攝距離等多因素的影響，智能識(shí)別可能出現(xiàn)錯(cuò)誤[12-14]，因此現(xiàn)階段施工作業(yè)監(jiān)護(hù)人依然必不可少[15-17]。

施工作業(yè)和化工生產(chǎn)監(jiān)護(hù)人對(duì)施工和生產(chǎn)人員起到重要的監(jiān)督保護(hù)作用，按照規(guī)定監(jiān)護(hù)人不得在施工期間私自離開(kāi)現(xiàn)場(chǎng)[18]。施工作業(yè)監(jiān)護(hù)人離崗后，作業(yè)現(xiàn)場(chǎng)的施工行為缺少監(jiān)督，易發(fā)生事故。《安全生產(chǎn)法》第四十條規(guī)定：“生產(chǎn)經(jīng)營(yíng)單位進(jìn)行爆破、吊裝以及國(guó)務(wù)院安全生產(chǎn)監(jiān)督管理部門(mén)會(huì)同國(guó)務(wù)院有關(guān)部門(mén)規(guī)定的其他危險(xiǎn)作業(yè)，應(yīng)當(dāng)安排專(zhuān)門(mén)人員進(jìn)行現(xiàn)場(chǎng)安全管理，確保操作規(guī)程的遵守和安全措施的落實(shí)。”施工作業(yè)監(jiān)護(hù)人應(yīng)保持在崗狀態(tài)，始終保持與作業(yè)人員和相關(guān)負(fù)責(zé)人的聯(lián)系，對(duì)作業(yè)過(guò)程進(jìn)行監(jiān)護(hù)和指導(dǎo)。因確有需要暫時(shí)離開(kāi)現(xiàn)場(chǎng)時(shí)，應(yīng)找到能夠勝任的人員臨時(shí)接替，在沒(méi)有指定監(jiān)護(hù)人的情況下，施工作業(yè)人員應(yīng)停止作業(yè)。監(jiān)護(hù)人的管理工作是安全管理的重要組成部分[19]，然而目前自動(dòng)檢測(cè)監(jiān)護(hù)人是否離崗的模型在公開(kāi)發(fā)表的文獻(xiàn)中難以找到，為此亟需發(fā)展一種自動(dòng)檢測(cè)監(jiān)護(hù)人是否離崗的模型。施工作業(yè)監(jiān)護(hù)人離崗自動(dòng)檢測(cè)至少需要做到：(1)自動(dòng)識(shí)別施工作業(yè)現(xiàn)場(chǎng)的人員、設(shè)備等，并區(qū)分出監(jiān)護(hù)人員和施工人員；(2)自動(dòng)檢測(cè)監(jiān)護(hù)人應(yīng)在區(qū)域；(3)自動(dòng)判斷監(jiān)護(hù)人是否在應(yīng)在區(qū)域，若監(jiān)護(hù)人擅自離崗事件應(yīng)即時(shí)報(bào)警，提醒現(xiàn)場(chǎng)人員和管理人員即時(shí)糾正錯(cuò)誤，防止危險(xiǎn)發(fā)生。

王文正等[20]研究了鉆井過(guò)程人員異常離崗、起下鉆和甩鉆具時(shí)人員距離過(guò)近等場(chǎng)景的人員異常行為識(shí)別，使用SIFT方法和基于強(qiáng)化學(xué)習(xí)的困難樣本篩選策略，提高了算法識(shí)別的準(zhǔn)確率，可準(zhǔn)確識(shí)別出坐崗人員擅自離崗、起下鉆及甩鉆具過(guò)程人員危險(xiǎn)站位等異常行為。其中擅自離崗識(shí)別即在指定區(qū)域內(nèi)未檢測(cè)到人員即時(shí)報(bào)警，該場(chǎng)景為固定區(qū)域內(nèi)的人員識(shí)別，不涉及自動(dòng)確定識(shí)別區(qū)域及人員身份識(shí)別等內(nèi)容。

李林等[21]通過(guò)識(shí)別公告牌上的文字確定人員是否應(yīng)該在崗，通過(guò)人臉識(shí)別確定人員是否在崗以及人員身份。文字識(shí)別沒(méi)有采用光學(xué)字符識(shí)別(optical character recognition，OCR)技術(shù)，而是基于Mask R-CNN模型訓(xùn)練的一個(gè)識(shí)別公告牌上“歡迎”和“暫停”兩詞的二分類(lèi)的模型，并使用MTCNN和InsightFace對(duì)人臉進(jìn)行識(shí)別。綜合文字識(shí)別和人臉識(shí)別結(jié)果，判斷出正常在崗、正常離崗、異常離崗等狀態(tài)。在實(shí)際場(chǎng)景中模型測(cè)試結(jié)果準(zhǔn)確率可以達(dá)到98%以上，符合實(shí)際檢測(cè)場(chǎng)景需求。相比施工作業(yè)場(chǎng)景，測(cè)試場(chǎng)景在室內(nèi)照明良好、目標(biāo)位置固定、拍攝角度固定、異常情況較少時(shí)，模型具有較高的準(zhǔn)確率。

武熠明等[22]使用YOLOv4實(shí)現(xiàn)了卸油人員離崗自動(dòng)檢測(cè)。通過(guò)實(shí)時(shí)檢測(cè)卸油口是否在車(chē)上和現(xiàn)場(chǎng)作業(yè)人員數(shù)量，綜合評(píng)判操作人員是否離崗。這項(xiàng)工作創(chuàng)建了卸油人員離崗檢測(cè)流程，對(duì)本文施工作業(yè)場(chǎng)景中全新的施工作業(yè)監(jiān)護(hù)人離崗識(shí)別流程具有一定啟發(fā)。這項(xiàng)工作遇到的人體重合、物體遮掩、目標(biāo)物較小等情況，是離崗檢測(cè)過(guò)程中常見(jiàn)的問(wèn)題，可根據(jù)一段時(shí)間間隔中的檢測(cè)結(jié)果綜合判斷評(píng)估目標(biāo)出現(xiàn)的情況和狀態(tài)，從而提高檢測(cè)結(jié)果的可靠性。模型測(cè)試結(jié)果為檢測(cè)卸油口狀態(tài)的平均精確度達(dá)到94.8%，檢測(cè)作業(yè)人員的平均精確度達(dá)到81.6%，平均精確度均值為88.2%。

2 算法介紹

使用了YOLOv8、可變區(qū)域識(shí)別、EasyOCR三個(gè)算法共同完成監(jiān)護(hù)人離崗識(shí)別，各算法具體介紹如下。

2.1 YOLOv8算法

使用YOLOv8算法進(jìn)行人員識(shí)別與跟蹤[23]，以及馬甲、施工標(biāo)志物、施工區(qū)域標(biāo)志物等的識(shí)別。YOLOv8是YOLO(you only look once)系列中最新的一款模型，可用于物體檢測(cè)、圖像分類(lèi)、關(guān)鍵點(diǎn)檢測(cè)和實(shí)例分割任務(wù)(鏈接地址：https://github.com/ultralytics/ultralytics)，具有快速、準(zhǔn)確且易于使用的特點(diǎn)。YOLOv8由Ultralytics開(kāi)發(fā)，該公司還創(chuàng)建了廣泛使用的YOLOv5模型。2023年1月10日，該公司開(kāi)源了YOLOv8，是一種先進(jìn)的SOTA模型，建立在已成功的YOLO 版本基礎(chǔ)上，并引入了新的功能和改進(jìn)，進(jìn)一步提高了性能和靈活性。具體創(chuàng)新包括一個(gè)新的骨干網(wǎng)絡(luò)、一個(gè)新的無(wú)錨點(diǎn)(Ancher-Free)檢測(cè)頭和一個(gè)新的損失函數(shù)，可以在從CPU到GPU的各種硬件平臺(tái)上運(yùn)行。與YOLOv5相同，YOLOv8基于縮放系數(shù)提供了N/S/M/L/X尺度的不同大小模型，用于滿(mǎn)足不同場(chǎng)景需求。

YOLOv8與其他流行的物體檢測(cè)模型(如R-CNN和Faster R-CNN)相比，具備更快、更實(shí)時(shí)的性能，并保持了高水平的準(zhǔn)確性。R-CNN和Faster R-CNN是兩階段物體檢測(cè)模型，而YOLOv8是一階段物體檢測(cè)模型，檢測(cè)速度更快。

YOLOv8可以在各種硬件平臺(tái)上運(yùn)行，并且可以在大型數(shù)據(jù)集上進(jìn)行訓(xùn)練，還支持多種視覺(jué)AI任務(wù)，包括檢測(cè)、分割、姿態(tài)估計(jì)、跟蹤和分類(lèi)。其多功能性使用戶(hù)能夠在不同的應(yīng)用和領(lǐng)域中利用YOLOv8的功能。

YOLOv8的骨干網(wǎng)絡(luò)和Neck部分參考了YOLOv7 ELAN設(shè)計(jì)思想，將YOLOv5的C3結(jié)構(gòu)換成了梯度流更豐富的C2f結(jié)構(gòu)，并對(duì)不同尺度模型調(diào)整了不同的通道數(shù)，屬于對(duì)模型結(jié)構(gòu)進(jìn)行精心微調(diào)，不再是一套參數(shù)應(yīng)用所有模型，大幅度提升了模型性能。Head部分相比YOLOv5改動(dòng)較大，換成了目前主流的解耦頭結(jié)構(gòu)，將分類(lèi)和檢測(cè)頭分離，同時(shí)也從基于錨點(diǎn)(Anchor-Based)換成了無(wú)錨點(diǎn)(Ancher-Free)。損失計(jì)算方面采用了任務(wù)對(duì)齊分配(Task Aligned Assigner)正樣本分配策略，并引入了分布焦距損失(Distribution Focal Loss)。

Ultralytics YOLOv8開(kāi)源庫(kù)的主要優(yōu)點(diǎn)為融合眾多當(dāng)前SOTA技術(shù)于一體、未來(lái)將支持其他YOLO系列以及YOLO之外的更多算法，使得YOLOv8成為一個(gè)優(yōu)秀且值得關(guān)注的模型。

2.2 可變區(qū)域識(shí)別算法

可變區(qū)域識(shí)別算法是由Kinsey發(fā)布在github上的開(kāi)源算法，用于過(guò)濾區(qū)域，使得其他算法只識(shí)別指定區(qū)域內(nèi)的目標(biāo)。該算法使用hl1、 wl1、hl2、wl2、hl3、wl3、hl4、wl4共8個(gè)參數(shù)限定區(qū)域，1、2、3、4分別對(duì)應(yīng)區(qū)域的左上、右上、右下、左下4個(gè)點(diǎn)：hl1表示監(jiān)測(cè)區(qū)域高度距離圖片頂部比例；wl1表示監(jiān)測(cè)區(qū)域高度距離圖片左部比例；hl2表示監(jiān)測(cè)區(qū)域高度距離圖片頂部比例；wl2表示監(jiān)測(cè)區(qū)域高度距離圖片左部比例；hl3表示監(jiān)測(cè)區(qū)域高度距離圖片頂部比例；wl3表示監(jiān)測(cè)區(qū)域高度距離圖片左部比例；hl4表示監(jiān)測(cè)區(qū)域高度距離圖片頂部比例；wl4表示監(jiān)測(cè)區(qū)域高度距離圖片左部比例。通過(guò)這些參數(shù)，可以限定可變識(shí)別區(qū)域，通過(guò)將限定可變區(qū)域外的圖像像素修改為空值，實(shí)現(xiàn)只識(shí)別可變區(qū)域的目的。可變區(qū)域的形狀是任意四邊形，常用的是正方形和長(zhǎng)方形。該算法的鏈接地址為https://github.com/Kinseys/changeable_region_detection。該算法基于YOLOv5，本文將其遷移到Y(jié)OLOv8。

2.3 EasyOCR算法

OCR是一種電子識(shí)別技術(shù)，可以檢查實(shí)際書(shū)寫(xiě)或打印的字符，通過(guò)檢測(cè)暗、亮的模式確定其形狀，然后用字符識(shí)別方法將形狀翻譯成計(jì)算機(jī)文字。OCR技術(shù)可以將文字轉(zhuǎn)換成為黑白點(diǎn)陣的圖像文件，并通過(guò)識(shí)別軟件將圖像中的文字轉(zhuǎn)換成文本格式，供文字處理軟件進(jìn)一步編輯加工。OCR技術(shù)在證件識(shí)別、車(chē)牌識(shí)別、無(wú)人駕駛、無(wú)紙化辦公、物流分揀、輿情監(jiān)控、文獻(xiàn)資料檢索等領(lǐng)域有著廣泛的應(yīng)用。

EasyOCR是一個(gè)易于使用的光學(xué)字符識(shí)別軟件包，支持超過(guò)80種語(yǔ)言和所有流行的書(shū)寫(xiě)腳本，包括漢語(yǔ)、拉丁語(yǔ)、阿拉伯語(yǔ)、梵文、西里爾文等，其建立在PyTorch之上，可以使用pip安裝。EasyOCR能夠從圖像中提取文本，能夠讀取自然場(chǎng)景文本和文檔中的密集文本，可以在其官網(wǎng)上試用EasyOCR的演示版(鏈接地址：https://github.com/JaidedAI/EasyOCR)。

3 模型訓(xùn)練

YOLOv8可以用于訓(xùn)練自定義數(shù)據(jù)集，以下是使用YOLOv8訓(xùn)練目標(biāo)識(shí)別模型的步驟：

(1)數(shù)據(jù)采集：首先采集施工現(xiàn)場(chǎng)包含監(jiān)護(hù)人的視頻，從中截取1 000張施工現(xiàn)場(chǎng)圖像，每張圖像中包含施工作業(yè)監(jiān)護(hù)人、焊接作業(yè)人員、焊接設(shè)備等。模型訓(xùn)練集樣例如圖1所示。

圖1 模型訓(xùn)練集樣例

(2)數(shù)據(jù)標(biāo)注：使用LabelImg標(biāo)注施工作業(yè)圖像數(shù)據(jù)集。LabelImg是一個(gè)開(kāi)源的圖像標(biāo)注工具，用于為模型提供訓(xùn)練數(shù)據(jù)集，該工具的鏈接地址為：https://github.com/HumanSignal/labelImg。其具有直觀易用的界面，能夠迅速準(zhǔn)確地對(duì)圖像中的對(duì)象進(jìn)行標(biāo)注。該工具還提供了一些實(shí)用功能，例如縮放、旋轉(zhuǎn)和平移圖像，以便更好地適應(yīng)不同大小和角度的對(duì)象。另外，還允許用戶(hù)導(dǎo)入和導(dǎo)出不同格式的標(biāo)注數(shù)據(jù)，如PASCAL VOC、YOLO等，以滿(mǎn)足各種計(jì)算機(jī)視覺(jué)庫(kù)和框架的需求。本文使用LabelImg標(biāo)注所有人員、人員身上的馬甲、施工標(biāo)志物(如電焊火光)、施工區(qū)域標(biāo)志物(如警戒線(xiàn)、路錐)。

(3)訓(xùn)練模型：數(shù)據(jù)標(biāo)注完成后將數(shù)據(jù)集按照4∶1的比例隨機(jī)分成訓(xùn)練集和測(cè)試集。將YOLOv8x作為目標(biāo)識(shí)別的預(yù)訓(xùn)練模型，使用YOLOv8在訓(xùn)練集上訓(xùn)練模型。該預(yù)訓(xùn)練模型的參數(shù)量為6 820萬(wàn)個(gè)，模型大小為137 MB，是5個(gè)預(yù)訓(xùn)練模型中最大的，其他預(yù)訓(xùn)練模型為YOLOv8n、YOLOv8s、YOLOv8m、YOLOv8l，所選YOLOv8x的準(zhǔn)確率更高。訓(xùn)練模型時(shí)使用帶動(dòng)量的隨機(jī)梯度下降(SGD)的優(yōu)化算法，因?yàn)樵谀繕?biāo)識(shí)別方面，自適應(yīng)學(xué)習(xí)率方法(包括AdaGrad、AdaDelta、RMSProp、Adam等)通常比帶動(dòng)量的SGD算法效果差。初始學(xué)習(xí)速率設(shè)置為0.01，最終學(xué)習(xí)速率為0.001，批量大小設(shè)置為32，進(jìn)行150個(gè)epoch的訓(xùn)練。

(4)測(cè)試模型：在測(cè)試數(shù)據(jù)集上評(píng)估模型性能。測(cè)試集為200張圖像，模型測(cè)試結(jié)果為：識(shí)別準(zhǔn)確率92.0%，精確率94.8%，召回率91.7%。

4 識(shí)別流程

施工作業(yè)和石油化工生產(chǎn)作業(yè)監(jiān)護(hù)人離崗的識(shí)別流程如圖2所示：首先接入施工或煉化生產(chǎn)等視頻，其次使用YOLOv8識(shí)別出人員、監(jiān)護(hù)人馬甲、馬甲上的文字、施工標(biāo)志物、施工區(qū)域標(biāo)志物等，然后判斷施工作業(yè)是否正在進(jìn)行，若作業(yè)正在進(jìn)行，則進(jìn)一步確定出施工區(qū)域和監(jiān)護(hù)人應(yīng)在區(qū)域，最后檢測(cè)出監(jiān)護(hù)人并判斷監(jiān)護(hù)人是否在施工區(qū)域內(nèi)，一旦監(jiān)護(hù)人離開(kāi)施工區(qū)域，即時(shí)發(fā)出報(bào)警信息，實(shí)現(xiàn)自動(dòng)判定施工區(qū)域內(nèi)是否有監(jiān)護(hù)人。其具體流程如下。

圖2 施工作業(yè)監(jiān)護(hù)人離崗識(shí)別流程

(1)接入視頻：將視頻接入施工作業(yè)監(jiān)護(hù)人離崗識(shí)別模型，接入的視頻可以是通過(guò)攝像頭獲取的實(shí)時(shí)視頻，也可以是預(yù)先錄制的視頻。視頻接入對(duì)網(wǎng)絡(luò)帶寬要求較高，一般需要將視頻分析服務(wù)器部署在視頻專(zhuān)網(wǎng)中，或者將攝像頭直接和視頻分析設(shè)備連接，以避免網(wǎng)絡(luò)延遲。視頻流可直接輸入YOLOv8模型進(jìn)行預(yù)測(cè)。

(2)目標(biāo)識(shí)別：使用重新訓(xùn)練的YOLOv8識(shí)別視頻中的目標(biāo)，待識(shí)別的目標(biāo)包括視頻中的所有人員、人員身上的馬甲、施工標(biāo)志物(如電焊火光)、施工區(qū)域標(biāo)志物(如警戒線(xiàn)、路錐等標(biāo)記施工警戒范圍的物體)。為了避免某些特殊幀由于目標(biāo)運(yùn)動(dòng)導(dǎo)致的模糊等因素干擾模型識(shí)別，在確認(rèn)某個(gè)目標(biāo)存在或不存在時(shí)，設(shè)定連續(xù)5幀目標(biāo)都存在才確認(rèn)目標(biāo)存在，連續(xù)5幀目標(biāo)都不存在才確認(rèn)目標(biāo)不存在，幀數(shù)可根據(jù)實(shí)際情況調(diào)整。

(3)施工識(shí)別：檢測(cè)施工作業(yè)是否正在進(jìn)行。若施工作業(yè)已經(jīng)停止，則監(jiān)護(hù)人離開(kāi)并不報(bào)警，識(shí)別流程返回上一步；若施工作業(yè)正在進(jìn)行，則進(jìn)行后續(xù)判斷。施工與否的檢測(cè)方法中最可靠的是查看YOLOv8識(shí)別結(jié)果中是否有施工標(biāo)志物和施工人員，如焊接作業(yè)的火光、切割作業(yè)的火星等，檢測(cè)到施工標(biāo)志物，則判定后續(xù)5 min均為施工作業(yè)時(shí)間。其他判定方式為查看識(shí)別結(jié)果中是否存在施工設(shè)備和施工人員，若二者都在且持續(xù)時(shí)間超過(guò)1分鐘，則認(rèn)為施工作業(yè)正在進(jìn)行。

(4)確定施工區(qū)域：施工區(qū)域有兩種方式確定：一是用戶(hù)預(yù)先指定，識(shí)別開(kāi)始前，用戶(hù)通過(guò)視頻監(jiān)控畫(huà)面，借助鼠標(biāo)，指定施工區(qū)域的圖像坐標(biāo)，模型接收到用戶(hù)指定的坐標(biāo)后圈定施工區(qū)域，只識(shí)別指定區(qū)域內(nèi)的目標(biāo)，該方法的優(yōu)點(diǎn)是可以準(zhǔn)確地確定施工區(qū)域，缺點(diǎn)是需要人工設(shè)置施工區(qū)域且在施工區(qū)域變化時(shí)需要再次人工調(diào)整，增加了管理人員的操作負(fù)擔(dān)；二是算法自動(dòng)確定，根據(jù)YOLOv8識(shí)別到的施工區(qū)域標(biāo)志物，將警戒線(xiàn)或路錐所圍成的區(qū)域確定為施工區(qū)域，自動(dòng)確定施工區(qū)域的算法未考慮攝像頭導(dǎo)致的視頻畸變、障礙物遮擋等因素，因此圈定的施工區(qū)域存在誤差，可將施工區(qū)域外擴(kuò)1.2倍作為施工監(jiān)護(hù)人應(yīng)在區(qū)域，監(jiān)護(hù)人超出該區(qū)域視為監(jiān)護(hù)人離崗，外擴(kuò)倍數(shù)可根據(jù)施工作業(yè)規(guī)定調(diào)整。確定監(jiān)護(hù)人應(yīng)在區(qū)域后，后續(xù)將結(jié)合YOLOv8和可變區(qū)域識(shí)別方法，實(shí)現(xiàn)只識(shí)別該區(qū)域內(nèi)的目標(biāo)，避免區(qū)域外目標(biāo)干擾造成誤判。

(5)檢測(cè)監(jiān)護(hù)人：使用EasyOCR識(shí)別馬甲上的文字，馬甲上的文字通常為“作業(yè)監(jiān)護(hù)”“監(jiān)護(hù)人”，因此只要有“監(jiān)護(hù)”二字即認(rèn)為穿馬甲者是監(jiān)護(hù)人。使用檢測(cè)到的人員、馬甲和馬甲上的文字進(jìn)行監(jiān)護(hù)人是否在崗的判斷時(shí)，主要有兩種情況：若某人穿著馬甲，并且馬甲上的文字包含“監(jiān)護(hù)”兩個(gè)字，則判定該人為監(jiān)護(hù)人；若某人穿著馬甲，但是馬甲上沒(méi)有“監(jiān)護(hù)”二字，則判定該人為疑似監(jiān)護(hù)人，并對(duì)其持續(xù)跟蹤，一旦檢測(cè)到其馬甲上出現(xiàn)“監(jiān)護(hù)”二字，則判定其為監(jiān)護(hù)人。模型對(duì)已經(jīng)被判定為監(jiān)護(hù)人的對(duì)象進(jìn)行持續(xù)跟蹤，即使后期由于拍攝角度、遮擋等原因檢測(cè)不到“監(jiān)護(hù)”字樣，模型也不更改其監(jiān)護(hù)人身份。判斷人員是否穿著馬甲的方法是比較人員目標(biāo)框和馬甲目標(biāo)框，若馬甲目標(biāo)框在人員目標(biāo)框內(nèi)，則判定人員穿著馬甲。若模型持續(xù)1分鐘檢測(cè)不到監(jiān)護(hù)人，則發(fā)出“監(jiān)護(hù)人離崗”報(bào)警，持續(xù)時(shí)間可根據(jù)用戶(hù)需求調(diào)整。

(6)判斷監(jiān)護(hù)人是否在施工區(qū)域內(nèi)：該判斷的難點(diǎn)在于人員和其應(yīng)在區(qū)域存在視覺(jué)上的部分交叉時(shí)，人員在區(qū)域內(nèi)外難以判斷。為了避免視覺(jué)上的重疊造成的誤判，使用人員腳部的像素坐標(biāo)和監(jiān)護(hù)人的應(yīng)在區(qū)域進(jìn)行比較，來(lái)確定監(jiān)護(hù)人是否在施工區(qū)域內(nèi)。若人員腳部的像素坐標(biāo)在該區(qū)域內(nèi)，則認(rèn)為監(jiān)護(hù)人在施工區(qū)域內(nèi)，反之不在，模型發(fā)出“監(jiān)護(hù)人離崗”報(bào)警，之后模型返回第2步，開(kāi)始循環(huán)。實(shí)際操作中，將人員目標(biāo)框底邊中點(diǎn)的像素坐標(biāo)作為人員腳部所在位置。報(bào)警通過(guò)HTTP協(xié)議傳輸?shù)綀?bào)警展示系統(tǒng)，報(bào)警信息包含監(jiān)控區(qū)域名稱(chēng)、攝像頭IP、施工類(lèi)型、監(jiān)護(hù)人離開(kāi)時(shí)間、一張監(jiān)護(hù)人離開(kāi)后現(xiàn)場(chǎng)施工圖像和5 s短視頻。管理人員可對(duì)報(bào)警信息進(jìn)行確認(rèn)操作，若確認(rèn)為誤報(bào)，可將該條報(bào)警移到誤報(bào)信息箱。搜集的誤報(bào)信息可用于模型優(yōu)化，通過(guò)分析誤報(bào)原因可確定下一步的優(yōu)化方向，使離崗識(shí)別模型更加準(zhǔn)確。

5 實(shí)驗(yàn)驗(yàn)證

實(shí)驗(yàn)數(shù)據(jù)是通過(guò)攝像頭獲取到的焊接作業(yè)現(xiàn)場(chǎng)真實(shí)視頻，視頻通過(guò)RTSP協(xié)議傳輸，每秒25幀，分辨率為5 120 × 1 440。RTSP全稱(chēng)實(shí)時(shí)流協(xié)議，是一個(gè)流媒體網(wǎng)絡(luò)傳輸控制協(xié)議。實(shí)驗(yàn)共進(jìn)行了50次，每一次開(kāi)始實(shí)驗(yàn)時(shí)，監(jiān)護(hù)人在崗，隨后隨機(jī)選定一個(gè)時(shí)間、隨機(jī)選定一個(gè)方向離崗，若監(jiān)護(hù)人離開(kāi)施工區(qū)域持續(xù)一段時(shí)間后模型發(fā)出“監(jiān)護(hù)人離崗”報(bào)警，則認(rèn)為模型識(shí)別成功，其他情況均認(rèn)為模型識(shí)別失敗。實(shí)驗(yàn)中監(jiān)護(hù)人離開(kāi)的持續(xù)時(shí)間設(shè)置為3分鐘，具體數(shù)值可根據(jù)施工規(guī)范要求調(diào)整。實(shí)驗(yàn)結(jié)果為成功識(shí)別到監(jiān)護(hù)人離崗45次，失敗5次，成功率為90%。失敗原因主要有以下兩點(diǎn)：

(1)焊接產(chǎn)生的強(qiáng)光干擾，使得監(jiān)護(hù)人及其馬甲沒(méi)有被識(shí)別到，造成模型識(shí)別失敗；

(2)監(jiān)護(hù)人持續(xù)側(cè)面對(duì)著攝像頭，使得馬甲難以被識(shí)別到，造成模型識(shí)別失敗。

實(shí)驗(yàn)所需主要軟硬件如表1所示。

表1 實(shí)驗(yàn)軟硬件

6 結(jié)語(yǔ)

本文首次創(chuàng)建了一套施工作業(yè)和石油化工生產(chǎn)作業(yè)監(jiān)護(hù)人離崗全自動(dòng)識(shí)別流程，創(chuàng)新性地將可變區(qū)域識(shí)別方法引入YOLOv8，可有效避免施工區(qū)域外人和物對(duì)識(shí)別的干擾。綜合使用YOLOv8、可變區(qū)域識(shí)別、EasyOCR三個(gè)算法，構(gòu)建了施工作業(yè)監(jiān)護(hù)人離崗識(shí)別模型，使用施工現(xiàn)場(chǎng)的真實(shí)圖像作為訓(xùn)練集，基于YOLOv8的預(yù)訓(xùn)練模型經(jīng)過(guò)再次訓(xùn)練后，可以對(duì)施工視頻中的監(jiān)護(hù)人離崗進(jìn)行準(zhǔn)確識(shí)別，實(shí)驗(yàn)成功率為90%，失敗原因主要是焊接產(chǎn)生的強(qiáng)光干擾、監(jiān)護(hù)人持續(xù)側(cè)面對(duì)著攝像頭。實(shí)驗(yàn)以焊接作業(yè)為例進(jìn)行驗(yàn)證，但研發(fā)的模型也適用于其他類(lèi)型的施工作業(yè)監(jiān)護(hù)人離崗識(shí)別，如挖掘、噴漆、射線(xiàn)、切割作業(yè)、煉化廠年度大檢修等，還可以遷移應(yīng)用到其他施工隱患的自動(dòng)識(shí)別任務(wù)。該模型的后續(xù)改進(jìn)可以使用兩路攝像頭同時(shí)監(jiān)測(cè)施工作業(yè)現(xiàn)場(chǎng)，融合兩路視頻的識(shí)別結(jié)果，綜合判斷是否存在施工作業(yè)監(jiān)護(hù)人離崗行為，該改進(jìn)措施可以有效解決實(shí)驗(yàn)過(guò)程中遇到的單一視線(xiàn)方向的強(qiáng)光干擾、遮擋、側(cè)視等問(wèn)題。為了適應(yīng)靈活部署的需求，未來(lái)可以考慮將監(jiān)護(hù)人離崗模型遷移部署到板卡等邊緣設(shè)備，配合獨(dú)立攝像頭和報(bào)警設(shè)備，實(shí)現(xiàn)無(wú)網(wǎng)環(huán)境下的監(jiān)護(hù)人離崗自動(dòng)識(shí)別與報(bào)警；視頻庫(kù)中已有的視頻可以接入模型，自動(dòng)找出其中的監(jiān)護(hù)人離崗行為。

本文構(gòu)建的監(jiān)護(hù)人離崗模型可廣泛應(yīng)用在石油化工管理中。石油化工生產(chǎn)和煉化設(shè)備檢修過(guò)程中存在的安全問(wèn)題備受關(guān)注，安排監(jiān)護(hù)人監(jiān)督是保障安全的重要手段，也是施工和石油化工企業(yè)的管理要求。將監(jiān)護(hù)人離崗識(shí)別模型應(yīng)用在石油化工管理中，可即時(shí)發(fā)現(xiàn)監(jiān)護(hù)人離崗行為，并即時(shí)提醒現(xiàn)場(chǎng)及管理人員發(fā)現(xiàn)該行為，避免安全事故發(fā)生。