基于深度學習的冶煉工人安全著裝監測系統

范亞龍, 李琦, 于令君

(內蒙古科技大學信息工程學院, 包頭 014010)

銅冶煉作為銅產業鏈中的重要環節,存在危險性高的作業環境,如吹煉渣排出過程中,含有SiO2等黏度較大的物質,需人工協助排渣防止出口堵塞,為減少該過程中工人因心存僥幸、穿戴安全著裝不規范引發的安全生產事故,傳統方法主要有進行安全教育、加強巡邏監管[1-3],但此類事故依舊高發。

隨著計算機視覺的發展,越來越多的視頻監控技術應用在工業生產安全領域。吳宏毅等[4]基于Transformer設計了一套檢測安全帽及工作服的神經網絡,但存在小目標檢測準確率低的問題;韓豫等[5-6]使用OpenCV通過檢測工人安全帽、安全帶實現工人作業前安全裝備檢測。秦子豪等[7]及曹燕等[8]分別使用改進的YOLOv3算法和引入Conv-LSTM(long short-term memory)的SSD(single shot multibox detector)算法來提高工人安全帽檢測的準確率;劉文強等[9]通過改進Faster RCNN提高了對工人檢測的準確性;張萌等[10]使用改進的YOLOv4對工人作業時安全防護裝備進行檢測,但對遮掩目標存在漏檢;崔鐵軍等[11]使用Keras框架下YOLOv4算法實現對工人防護面罩高精度且快速的檢測與識別;劉穎等[12]改進YOLOx增強復雜環境下對口罩佩戴的識別。以上方法驗證了深度學習應用工業生產安全領域的有效性。

針對銅冶煉作業中因工人著裝導致的安全生產問題,設計基于深度學習的銅冶煉工人安全著裝監測系統。首先,使用自制工人安全著裝數據集(workers’ safety dressing data, WSD-Data)訓練對比YOLOv5五種網絡結構,選擇性能優異的YOLOv5l網絡作為工人安全著裝檢測模型;其次,將模型部署到DeepStream[13]框架中,通過分析每幀檢測結果的時間空間關系,判斷工人著裝情況;最后,通過誤檢率和漏檢率驗證本系統對銅冶煉工人著裝情況實時監測的準確性。

1 工人安全著裝監測系統總體設計

1.1 銅冶煉作業區域現場構圖

本系統以某銅廠吹煉渣處理過程中工人著裝情況為藍本設計,如圖1所示。吹煉渣從連續吹煉爐內經管道流到出渣口,出渣口下方設渣包接收排出的吹煉渣。出渣口內的管道用于分辨現場工作狀態,其垂直時為作業狀態、水平時為檢修狀態。銅廠吹煉渣處理現場處于作業狀態時,工人在作業區域內使用作業工具協助排出吹煉渣并清理出渣口,在該流程中工人需正確穿戴防護工裝,防止吹煉渣排出時濺射引發安全事故。本系統通過在作業區域正面、側面安置攝像頭,多角度監測作業區域內工人著裝情況,并設置聲光報警裝置對違規現象及時報警。

圖1 監測系統應用現場構圖Fig.1 Site composition of monitoring system application

1.2 系統總體架構

銅冶煉工人安全著裝監測系統總體架構如圖2所示,系統由基于YOLOv5工人安全著裝目標檢測模型、基于時空關系分析工人安全著裝推理算法和基于DeepStream智能視頻流分析的監測系統設計三部分組成。系統利用兩路高清攝像頭采集現場作業的視頻數據,經過解碼、圖像預處理后,使用TensorRT[14]對YOLOv5深度學習模型推斷加速,實時檢測工人著裝穿戴情況,檢測結果經編碼后顯示實時監測畫面。通過對作業區域內的檢測結果進行時空關系分析,對工人著裝出現的違規現象,實現聲光報警、記錄報警原因、錄制違規視頻,同時設計移動端遠程查看報警詳情,方便銅冶煉安全管理人員查證。

2 工人安全著裝目標檢測模型

2.1 制作工人安全著裝數據集WSD-Data

本次采用的工人安全著裝圖像來源于內蒙古自治區某銅冶煉企業。通過固定攝像頭采集工人連續四天的作業視頻,為降低數據集圖像的重復性,根據視頻內工人動作頻率設置4 s抽取一幀,使用LabelImg工具進行標注,最終得到分辨率為1 920×1 080的10 005張工人安全著裝圖像作為本次研究的數據集WSD-Data。該數據集包含11類檢測目標,具體類別與其數量如表1所示,其中工人類別用于判別著裝類別所屬工人,水平管道和垂直管道用于判別當前作業狀態(水平管道處于檢修狀態,垂直管道處于作業狀態),其余八類檢測目標為安全著裝類別。

圖2 基于深度學習銅冶煉工人安全著裝監測系統總體架構Fig.2 Overall architecture of monitoring system for safety dress of copper smelting workers based on deep learning

2.2 目標檢測模型實驗結果及分析

YOLOv5作為深度學習神經網絡中檢測速度較快、準確率較高的算法,它根據網絡的深度和寬度可分為YOLOv5n、YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x五種網絡結構。YOLOv5算法的檢測流程為先對工人安全著裝圖像進行Mosaic數據增強和自適應錨定框計算,并將工人安全著裝圖像尺寸(Resize)為640×640,再將圖片放入主干網絡進行主要信息提取,然后通過卷積加強特征融合,最后對圖像特征進行預測,生成邊界框和預測類別。

YOLOv5算法程序基于主流的深度學習開源框架PyTorch,使用Python語言開發。實驗的軟件環境為Ubuntu 18.04 操作系統;硬件環境GPU為 Intel(R) NVIDIA GeForce GTX 3 090×2,運行內存為 64 GB。

本實驗使用自制工人安全著裝數據集WSD-Data按9∶1比例分為訓練集、測試集,設置epoch為400, batchsize為16,學習率為0.01,最后使用mAP@0.5(mean average precision)、精確率(precision)、召回率(recall)、F1值(F1-Score)和平均單幀檢測時間作為模型評價指標。為使工人安全著裝監測模型性能更好,對比YOLOv5系列的五類網絡結構,測試結果如表2所示。

由表2可知YOLOv5l網絡結構訓練的mAP@0.5、精確率、召回率、F1效果最好,分別為84.3%、90.8%、94%、85%,從平均單幀檢測時間來看,YOLOv5n和YOLOv5s兩種網絡結構的性能最好。考慮到雙攝像頭視頻流幀率和為50 f/s,YOLOv5l模型推斷單張工人防護圖像時間為13ms,即每秒推斷76張(大于50張),滿足系統對實時性的要求,因此選取準確性更高的YOLOv5l網絡作為工人安全著裝檢測的模型。YOLOv5l對應的精確率、召回率、AP(average precision)如表3所示。

表1 檢測種類中英文名Table 1 Information of test type

由表3可知,工人、安全帽、防護服等特征明顯的工人著裝類型檢測效果好,各類評價指標均在90%以上。但防護鞋、防護手套和安全面罩這三類特征不明顯的工人著裝類型檢測效果差,AP分別為65.5%、61.6%和71.2%,三者現場情況如圖3所示。由圖3可知安全面罩透明,檢測時受強光影響,而防護手套與防護鞋檢測目標小,防護鞋顏色還與地板顏色相近,除此之外三者都易被遮擋,這些原因導致檢測效果一般。

表2 YOLOv5網絡結構測試結果Table 2 YOLOv5 network structure test results

表3 YOLOv5l的檢測結果Table 3 Test results of YOLOv5l

圖3 安全面罩、防護手套與防護鞋現場圖Fig.3 Map of mask, gloves and shoes

3 工人安全著裝推理算法

為彌補檢測部分對于安全面罩、防護手套、防護鞋等目標檢測效果不佳的狀況,通過增加正面和側面雙攝像頭,以多角度的方式收集更多工人作業時的著裝信息,再設計基于時空關系的推理算法提高工人安全著裝監測效果,算法具體流程如圖4所示。

圖4 工人安全著裝推理算法Fig.4 Analysis algorithm of worker protective equipment

首先,通過正面攝像頭拍攝的底吹渣排出口內的管道狀態來判別現場工作狀態,檢修狀態判斷下一幀,作業狀態則結合側面攝像頭分析監測信息,若正面攝像頭未檢測到管道導致作業狀態無法進行判斷,則沿用上一幀判定的管道工作狀態。

其次,統計監測信息中各監測目標數量并分析目標位置,先歸屬不同工作人員穿戴的安全著裝,再分析每個工人的著裝是否出現違規。基于八類安全著裝類別,根據不同的違規情況設置不同的違規類別,包含未檢測到安全面罩或未正確佩戴安全面罩(安全面罩置于安全帽上方)、未檢測到防護工鞋或防護鞋和未檢到其余五類安全著裝違規情況,共七種違規類別。

最后,算法設定每一類違規類別的報警初始值,檢測到違規現象,相應違規類別報警初始值減一,反之加一,報警閾值設為零,最大為設定初始值。初始值到達報警閾值且5 min內未監測到同類型報警時,恢復初始值并發送報警指令。每類違規類別初始值如表4所示。

表4 設定的報警初始值Table 4 Set alarm initial value

4 智能視頻流分析監測設計

4.1 基于DeepStream框架視頻監測流程

DeepStream框架是NVIDIA設計的支撐端到端的實時視頻流分析框架,是目前主流的實現深度學習的框架之一。通過對比YOLOv5五種網絡結構,選取效果優異的YOLOv5l轉換為相應的引擎文件,部署到DeepStream框架中構建工人安全著裝監測系統。系統先對兩個攝像頭流入的視頻流進行解碼,再對數據批量處理,然后使用TensorRT加速的YOLOv5l工人安全著裝檢測模型對視頻流實時檢測,使用DeepStream框架內Nvdsanalytic插件配置感興趣區域(region of interest,ROI)[15],過濾攝像頭拍攝的非作業區域內的檢測結果,最后將過濾后的結果通過Kafka[16]發送給工人安全著裝推理算法來判斷是否存在違規現象,若推理算法判定出現違規,則將錄制命令信息通過Kafka反向傳輸給DeepStream。DeepStream依據信息中開始、結束的時間對兩路視頻同時執行錄像命令,并將錄像的路徑和文件名保存到日志文件。除此之外,系統將現場監測的結果實時顯示在移動端,方便監管人員查看,如圖5所示。

4.2 現場聲光報警與移動端App設計

為了及時提醒著裝存在違規的工人,現場安裝工業級聲光報警裝置,根據七種違規類別提前設計不同編號的語音報警提示。聲光報警裝置通過RS485通信協議接收對應的報警編號,重復播報三次提示音并閃爍紅燈。需要注意的是,報警期間不接受其他報警信號。

為方便現場監管人員實時查看現場作業的具體情況,監測系統設計手機移動端,如圖6所示。其中圖6(a)為移動端報警頁面,在報警頁面上顯示報警時間、報警地點、報警類型和兩個攝像頭對同一報警事件錄像的視頻;圖6(b)為移動端查看頁面,顯示銅冶煉作業現場的實時畫面,且配備一鍵截圖和錄像功能。

圖5 實時監控畫面在服務器端的顯示Fig.5 Display of real-time monitoring screen on the service end

圖6 移動端頁面Fig.6 Mobile page

4.3 誤檢率與漏檢率測試

系統部署以后,連續7 d監測工人作業,發現存在187次著裝違規,人工復檢(實際違規)核查出183次著裝違規。通過對比查證,系統監測結果有9次誤報、5次漏報,如表5所示。誤檢率和漏檢率的計算方法為

誤報次數/監測次數=誤檢率

漏檢次數/復檢次數=漏檢率

代入表5數據得誤檢率為4.8%、漏檢率為2.7%。誤檢原因均為兩攝像頭未檢測到安全面罩報警,如圖7所示,圖7(a)報警原因為安全面罩被其他工人遮擋;圖7(b)報警原因為工人將頭部探入底吹渣排出口內導致安全面罩被遮擋。如圖8所示,漏報原因均為工人在作業區域內將防護手套脫下但仍持在手中,導致系統能夠檢測到防護手套,對該違規現象未發送報警指令。

表5 穿戴違規監測結果Table 5 Monitoring results of wearing violations

圖7 誤報畫面Fig.7 False alarm screen

圖8 漏報畫面Fig.8 Missing report screen

5 結論

(1)針對銅冶煉作業中工人著裝不規范導致的安全生產問題,應用深度學習YOLOv5l算法對銅冶煉作業工人著裝情況進行檢測,設計工人安全著裝推理算法提高工人安全著裝檢測效果,利用DeepStream框架構建監控系統,現場通過安裝聲光報警裝置對違規現象及時報警、設計移動端遠程顯示報警詳情。最后,通過誤檢率和漏檢率驗證系統實際部署的有效性。

(2)YOLOv5l訓練得到的工人安全著裝監測模型對銅冶煉工人安全著裝數據集WSD-Data中11類檢測目標的mAP@0.5、Precision、Recall、F1-Score、平均單幀檢測時間分別為84.35%、90.8%、94%、85%、13 ms。應用工人安全著裝推理算法,構建工人安全著裝監測系統,誤檢率為4.8%、漏檢率為2.7%。

(3)深度學習應用于工人安全著裝監測領域有著廣闊的研究空間及應用場景,本文設計的銅冶煉工人安全著裝監測方法,能為此類安全監管提供良好的參考價值。