基于深度學習與機器視覺的起重機吊裝安全監測方法

薛志鋼，許晨旭，巫 波，聞東東

（1.江蘇省特種設備安全監督檢驗研究院，南京 210036；2.徐州工程學院，江蘇 徐州 221000）

隨著我國基礎建設的快速發展，在核電、風電、石油化工、公路、橋梁及大跨空間等領域涌現出一大批施工難度與技術均達到世界級的重大工程。這些重大工程均朝著大型化、復雜化和模塊化發展，而起重機作為最主要的物料提升設備之一，能夠有效地提高模塊化建造的效率，減少對人力資源的需求，在各類施工現場均具有重要地位。大型工程對吊裝作業急劇增加的強烈需求促進了起重機行業的大力發展。目前，起重機已經成為全球前三大工程機械品種之一。截至2018 年，全國吊裝工程的營業總額達到400 億元，擁有起重能力在650 t 以上的超大型起重機105 臺，占全球保有量的20%。其中，全球僅有的2 臺4 000 t 級履帶型起重機、1 臺2 000 t 級輪式全地面起重機、1 臺6 400 t 級液壓復式起重機均在我國[1]。

然而，隨著起重機的提升高度和噸位不斷加大，其安全管理的難度也隨之提高，極易發生重大安全事故。例如，2001 年某船塢工地的龍門起重機發生倒塌事故，造成36 人死亡、3 人受傷，直接經濟損失8 000 多萬元；2001 年某鋼鐵氧氣廠，汽車吊在吊裝作業過程中車頭翹起，吊物迅速下落砸中旋轉半徑內的工人，致其死亡；2002 年某工程現場，履帶式起重機因操作失誤導致傾覆，造成2 人死亡、1 人重傷、3 人輕傷；2005年某火電建設公司在吊裝作業中，發生整體傾覆，造成3 人死亡，1 人受傷；2017 年某建筑工地，起重機在吊裝過程中操作不慎，導致1 人死亡、1 人受傷。這些安全事故的發生促使起重機安全監測系統的發展。

為了充分保障起重機在吊裝作業中的安全運行，減少安全事故和人員傷亡的發生。在起重機中安裝了大量的傳感器，搭建起重機運行參數監測系統[2-8]。例如，利用重量傳感器測量起重量；采用角度傳感器測量起重機的力臂幅度；通過絕對值編碼器測量提升高度或下降深度；在臂桿頂端安裝風速儀測量風速；在底盤上安裝角度和水平度傳感器測量起重機的主體狀態；安裝攝像機監控吊鉤的運行狀態。這類監測系統使起重機的吊裝過程變得數字化、可控化，大大提高了吊裝作業的安全系數。然而，這類系統中安裝的攝像機僅起到了展示作用，無法深層次地理解監控圖像中的信息。吊物狀態只能依靠操作人員自行觀察，受到光線等環境的影響，常常會發生誤判。因此，吊物碰撞傷人事故的發生率依舊位居吊裝安全事故總數的首位。

隨著深度學習在圖像處理領域不斷取得了突破性成果，逐漸受到各領域廣大科研人員的關注。例如，深度學習可以對監控圖像中螺栓松弛損傷進行準確識別和定位，并與攝像機相連接實現損傷的實時監測[9-10]。深度學習算法可以對結構表面損傷比如裂縫、剝落、銹蝕等損傷進行識別和定位[11-15]。因而，深度學習能夠深層次地理解圖像中的信息，自主提取特征完成目標的精確識別與定位。鑒于此，本文將深度學習與機器視覺相結合對傳統起重機監測系統中的監控圖像進行目標識別與定位，根據定位信息獲取工人與吊物之間的空間關系。第1 部分介紹了所提方法的整體流程；第2 部分介紹了基于工人與吊物的Faster R-CNN 模型；第3部分介紹了吊裝安全監測方法的具體細節；第4 部分介紹了起重機吊裝安全智能監測系統的各個模塊及功能；第5 部分對本文所提方法進行了總結。

1 監測方法的整體流程

本文提出了一種基于深度學習和機器視覺的起重機吊裝安全監測方法，整體流程如圖1 所示。首先，在吊裝現場采集包含工人與吊物的圖片數據集。然后，建立基于工人與吊物的Faster R-CNN 監測模型，該模型能夠準確地識別吊裝現場的工人與吊物，并且能夠自主判斷工人是否佩戴安全帽。最后，利用監測模型的識別結果得到工人與吊物之間的空間關系，進而為起重機吊裝作業提供安全預警，防止吊物碰撞傷人事故的發生。

圖1 監測方法的整體流程

2 基于工人與吊物的Faster R-CNN 監測模型

對監控圖像中的工人與吊物進行準確識別和定位是進行吊裝安全監測的第一步。因此，首先利用目標檢測算法對數據集進行訓練獲得吊裝安全監測模型。Faster R-CNN 將區域推薦網絡與卷積神經網絡結合在一起完成了目標的精確分類與定位，不僅提高了目標檢測的精度，也減少了候選區域的數量、縮短了模型的訓練時間。因而，本文選擇Faster R-CNN 作為識別和定位工人與吊物的檢測算法。

2.1 Faster R-CNN

Faster R-CNN[16]于2015 年被Ross Girshick 提出，在R-CNN[17]和Fast R-CNN[18]的基礎上發展而來。Faster R-CNN 主要包含2 個部分，一是深層卷積神經網絡，可以自主提取圖片的特征信息；二是區域推薦網絡，根據卷積神經網絡輸出的特征圖生成高質量的候選區域，大大降低了生成候選區域的時間，提高模型的訓練速度。區域推薦網絡是Faster R-CNN 的主要創新部分，與深層卷積神經網絡共享特征圖，因此可以直接學習更深層次的特征，進而能夠提高目標的監測算法。

2.1.1 深度卷積神經網絡

卷積神經網絡能夠自主提取圖像中的深層次特征，無需人工干預就可以為目標的分類和定位提供特征信息，大大提高了特征提取的效率。卷積神經網絡一般包括卷積層、池化層、全連接層和分類層等[19-21]。其中，卷積層是卷積神經網絡中最重要的組成部分之一，利用卷積核在輸入數據上滑動進行卷積計算獲得數據的特征圖。卷積核中的參數隨著訓練的進行會不斷地迭代，同時卷積層充分考慮了數據的局部相關性，實現參數共享降低了網絡參數的數量。池化層又被稱為降采樣層，利用池化核在數據上滑動減少數據的尺寸，提高模型的訓練速度。全連接層將學習到的分布式特征映射到標記空間。分類層是將學習到的特征進行類別預測，完成目標的分類。此外，卷積神經網絡中還使用了激活函數，提高網絡的非線性表達能力。本文采用VGG16-Net 作為深度卷積神經網絡提取圖像的深層次信息。

2.1.2 區域推薦網絡

區域推薦網絡是在卷積神經網絡輸出的特征圖上運用特定大小的滑動窗口預測多個不同比例的候選區域，并將候選區域輸入中間層生成512 維長度的全連接特征。該特征分別被輸入2 個全連接層中，第一個全連接層用來預測識別框的位置并進行回歸修正；第二個全連接層用來判斷候選區域屬于正樣本還是負樣本。當候選框與真實框之間的IoU 大于0.7 時，候選框被標記為正樣本，否則被標記為負樣本。

為了更好地訓練Faster R-CNN 網絡，采取四步法訓練。首先，訓練區域推薦網絡；然后利用獲得的候選區域訓練目標分類及定位；接著，再次訓練區域推薦網絡；最后，利用更新后的候選區域訓練目標分類及定位。根據訓練結果發現，這樣的訓練方式能夠提高模型的識別精度。當進一步提高訓練次數時，模型的訓練精度并沒有大幅度提高。

2.2 數據集

為了獲得實際場景下的吊裝安全數據集，選取某吊裝場地進行了實地拍攝，分別在東西和南北2 個方向分別放置一個智能手機，用于水平拍攝吊裝過程中吊物的運動狀態。視頻的拍攝頻率為30 FPS、分辨率為1 920×1 280 像素。選擇其中的600 張圖片作為數據集進行標記，主要包括3 類標簽：r 為佩戴安全帽的工人，b 為未佩戴安全帽的工人，w 為吊物。將數據集中的80%作為訓練驗證集，20%作為測試集。

2.3 訓練過程及結果

利用基于TensorFlow 框架下的Faster R-CNN 算法對吊裝安全數據集進行訓練，訓練參數見表1。經過10 000 次迭代后獲得最終的監測模型，模型的預測-召回率曲線如圖2 所示，訓練精度見表2。精度和召回率是衡量模型識別能力的重要指標。精度表示識別樣本中實際正樣本占所有正樣本數的比例。召回率表示預測樣本中實際正樣本數占所有預測樣本數的比例。由表2 可知，3 個類別的平均識別精度為0.980 5，能夠滿足工程實踐的需要。

表1 訓練參數

表2 訓練精度

圖2 預測-召回率曲線

為了更加直觀地說明模型的識別能力，圖3 中展示了這3 類目標的識別結果。從圖3 中可以看出，該模型不僅能夠高精度地完成佩戴安全帽的工人、未佩戴安全帽的工人和吊物的識別，同時可以完成這3 個類別的精確定位，為進一步監測吊裝安全提供基礎。

圖3 識別結果

3 吊裝安全監測

基于工人與吊物的Faster R-CNN 監測模型能夠高精度地完成佩戴安全帽的工人、未佩戴安全帽的工人和吊物等3 類目標的識別和定位。在實際工程中為了保障吊裝作業的安全性，不僅需要工人佩戴安全帽，而且還需確保工人與吊物之間保持一定的距離，防止出現吊裝碰撞、打擊等傷人事故。通過訓練獲得的監測模型對監控圖像中3 類目標進行識別和定位，并提取目標識別框的中心點和范圍。同時對2 個方向上拍攝的圖片進行檢測，即可獲得工人與吊物之間的空間關系。

首先，對2 個方向上拍攝的圖像進行同步處理。以南北方向拍攝圖像的左上角為原點、水平向右為X 軸正向，以東北方向拍攝圖像的右上角為原點、水平向左為Y 軸正向，并將該方向拍攝的圖像旋轉90°，構建如圖4 所示的吊裝監測坐標系。該坐標系中各點的坐標均為2 個方向拍攝圖像的水平像素坐標。以工人為例，同時檢測工人在2 個圖像中識別框的范圍，并提取2個識別框的水平像素坐標。在所建立的吊裝監測坐標系中得到的交叉區域即為工人所在的平面位置，該位置的中心即為目標（工人）的中心坐標。同理，可以得到吊物所在的平面位置和中心坐標。

圖4 吊裝監測坐標系

利用上述方法可以獲得各個檢測目標（工人與吊物）所在位置和中心坐標，通過平面坐標原理獲得工人與吊物之間的距離。隨著吊裝作業的進行，工人與吊物的中心坐標會不斷發生改變，同時產生空間上的互動。因此，根據定位信息可以為吊裝監測提供準確的安全預警信息。根據實際需要，可以設定2 種安全預警模式：一是自動預警模式，一旦工人在坐標系下的所處位置與吊物所處位置有任何接觸，就立刻觸發安全預警信號；二是當工人與吊物的中心距離達到閾值時，立刻觸發安全預警信號。

4 吊裝安全智能監測系統

為了對吊裝安全進行實時監測，開發完成了起重機吊裝安全智能監測系統，系統界面如圖5 所示。②是開始/繼續監測按鈕；③是南北和東西2 個方向上攝像機的實時監控窗口；④是監測模型對2 個監控圖像的識別結果，包括佩戴安全帽的工人數、未佩戴安全帽的工人數以及吊物個數；⑤是實時跟蹤工人與吊物的中心坐標軌跡圖；⑥是工人與吊物之間的像素距離；⑦是安全預警模塊，包括自動警報和手動設置閾值進行警報；⑧是場景描述模塊，包含工人數量、是否佩戴安全帽以及工人與吊物之間空間趨勢；⑨是暫停/結束按鈕。

圖5 監測系統界面

為了驗證所提方法及系統的實時監測效果，將計算機與2 個攝像頭相連接，實現吊裝安全的實時監控和跟蹤。由于計算機性能的限制，監控視頻的采集頻率應小于17 幀/s。在試驗過程中，吊物保持靜止，以其投影的中心為圓點，繪制半徑為1.5 m 的軌道，工人按照此軌道行走。根據視頻拍攝的基本原理，工人的行走軌跡在窗口中呈現橢圓形，監測結果如圖6 所示。根據監測結果可知，起重機吊裝安全智能監測系統能夠對2 個方向上的監控畫面進行實時識別和定位，同時對工人與吊物完成實時追蹤，繪制出兩者中心坐標在平面上的移動曲線，自動完成安全預警。此外，還可根據識別結果輸出場景描述，判斷工人是在逐漸靠近吊物還是逐漸遠離吊物，能夠更加智能地預判安全事故的發生。

圖6 吊裝安全監測結果

5 結論

本文提出了基于深度學習和機器視覺的起重機吊裝安全監測方法。首先，通過安置的2 臺攝像機同時拍攝吊物及其周圍工人。然后，利用訓練的監測模型對圖像中的吊物、佩戴安全帽的工人和未佩戴安全帽的工人進行識別和定位，模型的平均監測精度為0.980 5。接著，以2 個方向上拍攝的圖片建立吊裝監測坐標系，獲得目標在該坐標系下的所處位置及中心坐標。最后，開發了吊裝安全智能監測系統，依據監測模型的識別結果進行安全預警。同時，該系統還可以輸出場景描述，判斷工人與吊物之間距離的變化趨勢，能夠一定程度上預判安全事故的發生。因此，本文所提方法能夠深層次地理解監控數據，進一步完善了現有的起重機安全監測系統，能夠有效防止吊物碰撞傷人事故的發生。