基于YOLOv5 算法的施工現場不安全狀態智能檢測

李自強 任磊 劉莉 苗作華,3

(1.上海工程技術大學化學化工學院，上海 201620；2.武漢科技大學資源與環境工程學院，武漢 430081；3.冶金礦產資源高效利用與造塊湖北省重點實驗室，武漢 430081)

引言

本文通過研究近些年來相關企業、事故發生數和事故發生率之間的數量變化關系，發現隨著科學技術的發展與進步安全管理水平并未得到提高，事故年發生率穩定在7‰左右，提高相應的安全管理技術和降低事故發生率是當前亟待解決的問題。

關于施工現場工人的管控和風險的管理，國內外許多學者做過類似的研究。姜玥麒等[1]為了控制工人的不安全行為，對建筑工人不安全行為傳播性強弱進行了研究。閆高峰[2]利用VR 技術，建立了集動態模擬、監督反饋、安全教育為一體的安全管理體系，為建筑工程安全管理提供新的研究視角。劉文平[3]提出了集成BIM 技術、定位技術和通信技術等對施工安全事故進行預防和預警，借助GPS 和UWB 定位技術對施工現場設定目標進行定位，并提出了適用于施工現場的綜合定位方法。郭紅領等[4]利用BIM 和RFID 技術構建了定位與安全預警系統模型，用于監測施工現場工人的安全狀態，實現了施工現場人員的高效管控。趙一秾、李若熙等[5]改進雙流卷積網絡行為識別算法，將雙流深度卷積神經網絡和長短時記憶神經網絡相結合，與傳統算法相比實現了較高速度的工人異常行為識別，提高了人工監測的效率。趙挺生等[6]以ALARP原則為基礎，構建了危險區域等級結構，優化了物聯網定位技術，更好地實現了安全管理中安全分級預警。Dong 等[7]將硅膠單點傳感器和壓力傳感器配設到安全帽中，根據傳感器之間的信息交互，可判斷工人是否佩戴安全帽。Khairullah 等[8]將藍牙技術與傳感器網絡相結合對建筑工人進行識別與定位，實現了施工現場的工人位置分析。Kelm 等[9]將RFID 標簽和RFID 讀寫器分別置于個人防護用品和施工現場進出口，用來獲取工人出入施工現場信息和監察工人佩戴個人防護用品等情況，提高了工人佩戴個人防護用品的安全意識。胡松勁等[10]在專利中提出將RFID 電子標簽置于安全帽設計，用于識別進入危險區域的預警。Barro-Torres 等[11]提出了一種由Zigbee 和RFID 技術開發的新型網絡物理系統，以實時監測工人們使用個人防護設備的情況。

以上研究大都是利用跟蹤和定位技術來獲取工人以及機械的相對位置信息，比較局限于成對出現的實體之間的位置關系，很難全面的對風險進行管理和控制，而且跟蹤與定位只能理論上解決或降低施工風險問題，因為工作過程中工人很難做到完全按照安全規范做事佩戴相關的傳感器。基于此，許多學者開始將計算機視覺引入土木工程領域。張明媛等[12]基于Tensorflow 框架，利用Faster RCNN 目標識別算法，提出了一種具有高精度、實時性的安全帽檢測方法。高寒等[13]利用雙模單高斯模型，對危險區域的運動目標進行識別，用來檢測危險區域的工人。Han 等[14]通過對人體骨骼的提取來識別人體攀爬過程中的不安全動作。Kolar 等[15]為了提高安全檢查效率，利用卷積神經網絡對安全護欄進行識別與訓練構建了安全護欄檢測模型。Fang 等[16]同樣使用Faster R-CNN 算法來識別安全帽，實現了不同施工環境下的安全檢查，提高了管理效率。王偉等[17]將BIM 技術和機器視覺技術進行結合，利用LEC 評價法構建了安全監管預警模型，并針對工程實例對該預警模型進行了具體應用。王毅恒等[18]利用卷積神經網絡的方法，對固定目標進行特征的提取，然后由機器自動識別，解決了人工識別速度慢，易出錯等問題。劉曉慧等[19]根據工人的面部及膚色的綜合特征信息判定人臉位置信息，再根據頭發與安全帽的顏色差異判斷工人是否佩戴安全帽。Rubaiyat 等[20]將HOG 與Circle Hough Transform(CHT)進行結合獲得了一種工人及安全帽識別的新方法。

本文利用計算機視覺結合傾斜攝影技術，實現了視覺定位，突破了傳感器定位的局限性。

1 整體框架描述

1.1 模型描述

基于計算機視覺實現危險區域監控和風險評估模型的構建，需要對施工環境中相關目標進行數據采集，利用目標識別算法對數據進行機器學習的訓練，從而實現對施工區域的實時監測。圖1 是計算機視覺實現危險區域監控的整體框架。

圖1 計算機視覺實現危險區域監控

本小節將從危險區域定義與劃分、目標檢測算法的選擇、數據收集與處理等方面詳細介紹運用計算機視覺技術實現施工現場的人員監管及數據輸出與實現。

1.2 目標檢測模型構建過程

為了獲得更加符合實際情況的數據信息，本人求助了多位已經參加工作的同學，為其尋求工程現場圖像數據，用來制作本實驗的數據集，所以和網上一些通用數據集相比較本實驗的數據集更具有實際參考價值，前期訓練集的制作也是工作量比較大的一部分內容，需要手動對每張圖片的每個目標進行逐個標記。

模型的整個訓練過程包括了前期的數據采集及預處理中期的數據存儲及訓練和最后的模型訓練結果的展示，圖2 為目標識別具體實現過程。

圖2 目標識別實現過程

1.3 危險區域定義與劃分

施工現場危險區域是事故發生的環境因素，控制工人在危險區域的停留時間能夠預防事故的發生，本文的目標識別模型能夠準確識別出施工現場存在的工人、安全帽和施工機械，結合傾斜攝影所提供的場景空間位置信息可以確定工人和危險區域的相對位置信息以及工人和施工機械的相對位置信息，對工人是否出現在危險區域做出及時的判斷。表1 是對危險區域的具體劃分[21]。

表1 危險區域劃分與類型

2 目標識別算法實驗探究

2.1 目標檢測算法的選擇

CNN、Faster R-CNN、YOLO 和SSD 是目前深度學習領域中應用最廣泛的四種目標檢測算法，前兩種屬于兩階段算法，其中，Faster R-CNN 的局限性在于速度較慢，并且它使用單個深層特征圖進行最終預測，難以檢測不同比例的物體，特別是很難檢測到小物體。這兩個特點使得該算法的速度較慢且容易遺漏。YOLO和SSD 均屬于一階段算法，相對比兩階段算法具有較快的速度。

在以上算法中均能實現動態監測，但由于算法性能的不同，造成了在圖像處理速度上存在較大差異。根據施工現場的安全管理的特點，處理和解決問題的及時性是安全問題最重要的一部分，更好地解決時間問題才能更好地做到事故的預防和隱患的及時消除。在以往的研究中可以發現，一階段檢測算法在該方面具有較好的表現能力。本文所研究的區域范圍大小不一，檢測對象不僅有工人機械還有目標較小的安全帽，YOLO 算法無論在檢測速度還是小目標的捕捉方面都具有較好的檢測效果，更容易實現本文的研究目標，這也是本文最終選擇YOLO 算法的主要原因，YOLOv5 是YOLO 系列最新的單階段目標檢測算法，所以選擇YOLOv5 進行實驗探究。

2.2 YOLO 算法網絡結構

YOLOv5是目前YOLO系列最新的目標檢測算法，和YOLOv4 具有相同的網絡骨架，從精度和性能上考慮，在YOLOv4 的基礎上加入了幾點改進思路。具體改進思路包括以下幾個方面：

（1）輸入端：通過數據增強、自適應錨框計算和圖片放縮，從算法的初始階段提升模型的穩定性；

（2）基準網絡：根據目標檢測算法的基準網絡特點融合了CSP 結構與Focus 結構；

（3）Neck 網絡：YOLOv5 在其網絡結構的初始層和輸出層之間添加了FPN+PAN 結構，用于輔助目標的檢測；

（4）Head 輸出層：改進訓練時的損失函數GIOU_Loss 和預測框篩選的DIOU_nms，使相同的輸出層錨框機制達到更好地識別效果。YOLOv5 整體網絡結構如圖3 所示。

圖3 YOLOv5 網絡結構

2.3 實驗環境配置

實驗環境配置是實現深度學習的前提，本文在Windows10 系統上配置了深度學習運行環境，實驗環境的配置參數如表2 所示。

表2 實驗環境的配置參數

2.4 YOLOv5 算法實驗探究

針對YOLO 系列最新的YOLOv5 的幾個版本進行在精度和識別效果等方面進行對比，探究目前哪一個版本最適用于施工環境下的工人識別，以便在實際應用中選擇最合適的目標檢測模型，實現現場安全監管高效有序的進行。

為了衡量模型訓練效果的好壞，通常用P（精確率）、R（召回率）、ACC（準確率）mAP（均值平均精度）作為評價指標，評價指標的計算方法如下式：

上式中TP、FP、TN、FN 分別表示分類器能否正確識別出目標的四種情況，為了更清晰地描述這四種情況，假設分類目標只有兩類，計為正例（positive）和負例（negative），表3 直觀地表達了四種識別情況。

表3 預測的四種類別

圖4是YOLOv5 的五個版本針對施工環境下同一數據集工人識別精度對比，從圖中可以看到YOLOv5的五種型號中YOLOv5n 的精度達到了96.9%，在施工環境中對于目標的識別精度遠遠超過了其他型號。

圖4 五種型號精度對比

YOLOv5n 在精度上高與其他幾個版本，從識別效果上看，是因為YOLOv5n 具有較低的漏檢率和誤檢率，也就是上面提到的FN 被錯誤劃分為負例的個數和FP被錯誤劃分為正例的個數，從公式（1）（2）（3）可知，FN和FP數值過高將嚴重影響精確率、召回率和準確率，現針對同一影像展示各個模型的識別結果如表4 所示。

表4 各個模型結果

2.5 基于YOLOv5n 的多目標識別

通過以上的對比分析，無論是從精度、訓練效果還是識別效果YOLOv5n 在施工環境中都具有較好的表現能力，所以選擇YOLOv5n 對施工場地進行多目標識別，由于施工環境中機械傷害也是比較常見的工傷事故類型，個人防護用品的佩戴是事故發生時可以減小事故后果的有效手段，所以本文通過對施工環境中工人、安全帽和施工機械的識別與管控從而從技術上提高施工現場安全管理水平。

圖5是三種識別對象的PR 曲線圖，曲線與坐標軸所圍成的面積表示該類別的精度，其中工人的識別精度達到了96.8%，安全帽的識別精度達到了90.2%，施工機器的識別精度達到了87.8%，所有類別均值平均精度達到了91.6%。由于工人的特征比較明顯所以在三個類別當中精度最高，安全帽的特征雖然也比較明顯但是目標較小所以識別精度低于工人，由于施工環境中存在較多不同種類的機械，機械之間特征變化較大所以在三個類別當中精度最低，實驗結果比較符合理論猜想，且三種目標的識別精度均達到了較高水平，識別效果如圖6 所示。

圖5 P-R 曲線

圖6 多目標識別效果圖

3 無人機傾斜攝影

傾斜攝影三維模型可以真實地反應具體場景的外觀以及各個點的位置、高度等信息，借助無人機可以快速獲取具體場景的影像數據，利用相關三維建模軟件實現傾斜攝影三維模型的構建，同時有效提升了模型的生產效率，大大降低了三維模型數據采集的經濟代價和時間代價。

3.1 實驗條件

本節主要通過無人機傾斜攝影技術實現對目標的定位，通過對施工場景進行三維建模獲得其準確的位置信息，判斷目標物體所處的空間位置，從而判定是否處于不安全狀態，以便及時發出預警信息。

為了確定這種視覺定位的準確性，必須要對傾斜攝影的準確性進行探究，以保證定位誤差在可接受范圍內。由于條件有限和考慮到無人機在人口密集處飛行具有非常大的安全隱患，并未獲取實際施工環境下的傾斜攝影數據，而是通過現場考察和無人機的實地飛行獲得了武漢市江夏區烏龍泉礦采礦環境下的傾斜攝影數據來進行傾斜攝影準確性的探究。兩者都是對實際場景的三維建模，所以在誤差方面本質上完全相同。

3.2 傾斜攝影三維建模

無人機傾斜攝影三維建模，主要包括利用無人機進行傾斜攝影數據的采集、各建模軟件優缺點對比選擇建模軟件和具體操作軟件進行三維模型的構建，筆者已在參考文獻[22]中對該內容進行了詳細介紹。三維建模生產路線如圖7[22]所示。

圖7 三維建模生產路線

本文在獲得烏龍泉礦傾斜攝影數據之后對礦山表面進行了三維建模，建模效果如圖8 所示[22]。

圖8 模型展示

3.3 傾斜攝影準確性的驗證

在目標識別的基礎上需要進一步借助傾斜攝影三維模型確定目標的相對位置關系，所以這種視覺定位的準確性由三維模型的準確性所決定，因此本實驗通過驗證傾斜攝影三維模型距離測量的準確性以保證這種視覺定位誤差在可接受范圍內。本實驗選取了多組不同大小的模型測量值和實際測量值進行對比和分析，從相對誤差和絕對誤差兩個角度去分析這種視覺定位的準確性，圖9 是12 組數據的誤差變化曲線[22]。

圖9 誤差變化曲線

從理論上講，測量都會有誤差的存在，隨著測量范圍的變大絕對誤差也會變大，而相對誤差會逐漸變小，當測量范圍足夠大時，相對誤差會趨近于零，這主要是由于測量時模型中點未能與實際中的點完全吻合所引起的，本實驗的誤差變化曲線完全符合這種趨勢，證明了本實驗數據具有較高真實性，也證明了實際誤差要小于本數據所表現出的誤差，從本次實驗結果來看誤差大小也僅有1.5%左右，滿足本研究對誤差的要求。

傾斜攝影獲得的三維場景中每個點都有具體的位置信息，從而可以確定目標識別算法所識別出物體的具體位置，當人員出現在所劃分的危險區域或工作機械所造成的危險區域時系統會向現場安全管理人員發出預警信息以便管理人員及時地做到有目標的安全巡檢，并且傾斜攝影技術所獲得的工人高度也可以向管理者提供是否存在高處作業信息使安全管理人員及時地做好現場監督。

3.4 不安全狀態整體識別流程

利用計算機視覺可對施工環境中多個目標多個危險區域進行一體化監管，管理者可以實時查看施工現狀，當有危險行為及不規范操作和需要實時監督的作業時，系統可主動向管理者提供相關位置信息，現場安全管理人員可以及時到達指定管理區域，使安全管理工作更加有序的進行，避免了現場安全管理的盲目性。在以上目標識別算法達到較好的實驗效果和無人機傾斜攝影三維建模具有較高準確性的基礎上繪制了對不安全狀態進行識別的簡易流程圖如圖10 所示。

圖10 安全監管實現流程

圖10為一個實現智能檢測與安全監管的整體流程，監控數據輸入到智能檢測模型中，實現對目標的識別和位置關系的確定，從而判斷不安全狀態類型及存在位置。

4 結論

多目標識別算法的實際實驗結果符合理論猜想，傾斜攝影模型誤差具有較高的精確度,三維視頻融合已擁有較為成熟的技術，基于此本文有如下實驗成果和結論：

（1）結合事故發生的主要因素的特點引入計算機視覺用于對施工現場風險的識別與定位，運用目標識別算法構建了多目標識別模型；

（2）通過對多種目標識別算法的實驗對比分析，確定了在施工環境中無論是在精度還是識別效果上均最優的目標識別算法，為以后該場景的實際應用提供了理論依據；

（3）通過實驗驗證了無人機傾斜攝影所構建的三維模型的測量誤差在1.5%左右，范圍長度大于35m 測量誤差將小于1%，從而說明了目標識別模型所識別出物體的距離具有較高的準確性；

（4）利用計算機視覺的目標識別和傾斜攝影的位置定位功能對施工場景的風險進行識別和定位，實時監測是否有不安全行為和不安全狀態的出現，實現了多目標多區域一體化安全監管，避免了單純人工監管的盲目性，在一定程度上提高了安全監管的效率。