工程場區施工人員靠近風險區實時預警方法

姜佩奇，梁斌杰，劉 輝，張社榮，王梟華，王 超

(1.天津大學水利工程智能建設與運維全國重點實驗室&建筑工程學院，天津 300072；2.水利部水利水電規劃設計總院，北京 100120；3.中水北方勘測設計研究有限責任公司，天津 300222)

0 引言

水利工程由于其施工環境惡劣、施工工期長、交叉作業情況復雜等特點，建設過程中風險因素眾多，其中危險區域(如臨邊、洞口、塔吊周圍)作為普遍存在但常易忽略的風險因素，當施工人員處于其中時易發生高處墜落、碰撞等安全事故，威脅施工安全。因此，如何有效實現施工人員靠近風險區域的危險行為預警對施工安全管理水平的提升具有重要意義[1-2]。

靠近危險區域的判別關鍵在于如何快速確定施工人員與危險區域的位置關系，若處于其中，施工人員可能會存在危險。隨著計算機視覺、建筑信息模型(Building Information Modeling，BIM)、射頻識別(Radio Frequency Identification，RFID)等技術的快速發展與應用，不少學者也利用其展開了眾多研究[3-5]。閆文杰等[6]集成BIM與RFID技術，對水利工程現場的危險區域和作業人員進行實時監控，實現了危險區域內工人安裝狀態的判定和預警。王偉等[7]利用BIM與機器視覺技術，構建了危險區域施工人員入侵預警模型，降低了危險區域入侵行為的發生。高寒等[8]利用移動目標檢測算法對危險區域工人進行檢測，實現了危險區域的入侵識別。石懷濤等[9]通過改進YOLOv3網絡對吊車危險區域內的施工人員進行識別，并利用相機坐標變換實現了施工人員與危險區域中心點距離的測算并進行行為矯正，減少吊車安全事故的發生。田楓等[10-11]通過利用改進YOLO檢測算法，實現對油田危險區域的入侵檢測。Fang等[12]通過利用Mask R-CNN模型識別現場施工人員和結構支撐，實現了在深基坑施工中施工人員穿過結構支撐的不安全行為識別。樊啟祥等[13-15]在大型水電工程施工安全管理過程中，提出綜合利用GIS技術、定位軌跡分析技術、RFID、GPS/北斗+實時差分等技術，實現了施工現場人員和機械設備的實時定位，并利用電子圍欄技術，實現了自動監控和非法進入電子圍欄范圍等的不安全行為管控。

在靠近危險區域預測方面，Zhu等[16]利用卡爾曼濾波算法來實時定位和預測施工人員和機械的位置，進而判斷未來施工人員的軌跡是否處于機械易碰撞區域，從而實現對人機碰撞風險的預測。方偉立和丁烈云[17]構建工人不安全行為智能識別與矯正框架體系，主要由不安全行為智能識別、安全個性化培訓和不安全行為預測3部分組成。

綜上，目前針對靠近風險區域的危險行為管控大多為事中和事后的過程，即在正侵入和侵入后實現對施工人員是否處于危險區域的判斷，可能會發生報警不及時而導致在危險區域內發生安全事故，造成人員傷亡。而對事前靠近風險區域不安全行為預測研究較少，對施工人員未來的軌跡預測時間和距離較短，預警效果還有待提高。并且施工人員定位通常采用的是GPS或RFID，定位雖然比計算機視覺定位準確，但需時刻佩戴相應傳感器，成本高且在實踐中不易實現。

針對上述問題，本文基于計算機視覺與深度學習技術，提出一種水利施工人員靠近風險區域的危險行為預測方法。首先利用DeepSORT算法構建施工人員多目標追蹤模型，對現場施工人員進行多目標追蹤的同時，收集其運動軌跡。然后，篩選場區施工人員行動軌跡，基于Social-STGCNN算法構建施工人員軌跡預測模型，實現施工人員軌跡預測，對未來不同時刻的運動軌跡進行預測。最后，基于AI電子圍欄，對危險區域進行標記，判斷預測后的軌跡是否處于風險區域當中，從而實現靠近危險區域的危險行為預警，在一定程度上預防不安全行為的發生。

1 靠近風險區實時預警方法關鍵技術

1.1 總體技術架構

鑒于現有人員危險行為的管理通常集中在事件發生中或之后，本文提出了一種預先管控的方法，該方法可以在施工人員實際進入危險區域之前，預測并預警其潛在的入侵行為，有效避免報警不及時而導致在危險區域內發生安全事故。基于計算機視覺和深度學習的施工人員靠近風險區實時預警模型如圖1所示，主要由3個模塊組成，包括：基于改進YOLOv5+DeepSORT的多目標追蹤模塊[18]、基于Social-STGCNN的軌跡預測模塊、以及基于PNPoly的靠近風險區預警模塊。本文所提出的實時預警模型能有效預測施工人員軌跡，結合風險區電子圍欄進行風險分析與預警，有效保障施工人員作業安全。

圖1 靠近風險區實時預警總體技術架構

1.2 改進的場區施工人員多目標追蹤方法

DeepSORT[19]是目前主流的一種多目標追蹤算法，基于detection+track多目標追蹤思路，在SORT算法的基礎上增加外觀信息度量，并結合運動信息避免目標ID切換過多。同時，目標檢測模型的精度直接影響DeepSORT算法對施工人員追蹤的準確性。為了實現準確的施工人員目標追蹤，良好的施工人員目標檢測模型必不可少。本文提出的改進YOLOv5+DeepSORT的多目標追蹤算法，通過SIOU[20]損失函數替換CIOU損失函數(如公式(1)、(2)所示)、增加小目標檢測層和引入NAM注意力機制的方式改進YOLOv5算法，并以改進的YOLOv5算法作為DeepSORT算法的檢測器。改進YOLOv5算法中重新設計了通道和空間注意力子模塊，將NAM模塊嵌入每個網絡的末端。

(1)

(2)

式中，B、BGT-預測框與真值框；Ω-形狀成本；Δ-考慮角度成本后，重新定義的距離成本。

其次，DeepSORT算法引入級聯匹配，通過計算預測目標與檢測目標之間的馬氏距離(d(1))和余弦距離(d(2))獲取代價矩陣，從而提高了目標匹配的精度。

(3)

(4)

ci，j=λd(1)(i，j)+(1-λ)d(2)(i，j)

(5)

式中，λ-調和因子，用于平衡馬氏距離與余弦距離。當代價矩陣ci，j滿足兩種距離閾值要求時匹配成功。

1.3 場區施工人員軌跡預測方法

施工人員軌跡預測問題與行人軌跡預測相似，主要針對其二維空間坐標在一定時間內的變化，并通過利用施工人員前一段時間的軌跡來預測未來一段時間的運動軌跡。施工人員的運動軌跡不僅受自身主觀影響，還受周圍其他人、機械等物體的影響。傳統的軌跡預測算法通常采用各種聚合方法，而本文采用的Social-STGCNN算法則以圖模型的方式代替聚合方法實現建模交互，引入周邊人員、機械等物體的相互作用關系，準確度和推理速度有了極大提升[21]。Social-STGCNN模型主要由時空圖卷積網絡(ST-GCNN)和時間外推卷積網絡(TXP-CNN)組成，模型結構如圖2所示，前者用于提取施工人員軌跡特征，后者用于預測施工人員未來的運動軌跡[22]，具體流程如下：

圖2 SOCIAL-STGCNN模型結構圖

(6)

其次，采用相同方法構建時間圖，時間圖矩陣內的邊信息為同一施工人員在一段連續時間內的空間厚實距離加權值，如公式(7)所示，即邊信息不再存儲不同施工人員間的關系。

(7)

(2)二維時空圖卷積處理。為獲取時間軸特征，對輸入的時間序列鄰接矩陣進行堆棧處理[25]，則時空圖卷積過程可表示為公式(8)，由此可得場區施工人員軌跡的時空特征矩陣。

(8)

(3)時間外推卷積處理。由TXP-CNN處理時序序列數據，按照時序信息進行一維卷積操作，通過因果卷積記錄并利用軌跡的時間信息，預測場區施工人員行動軌跡。

1.4 場區施工人員鄰近風險區預警

基于場區施工人員的預測軌跡，使用Mask掩膜來識別和提取危險區域，建立電子圍欄。由于增加Mask掩膜會使危險區域外的場景不進行目標檢測，降低改進YOLOv5目標檢測算法的精度，因此本文在保留危險區域標注的同時，去除遮蓋效果，使算法仍可對其他區域進行目標檢測。

同時，基于場區施工人員的預測軌跡，采用PNPoly算法，判斷預測軌跡坐標是否處于風險區電子柵欄內，一旦預測軌跡處于風險區內執行預警處置。

2 實驗和結果

本文以我國西南地區某在建大(2)型碾壓混凝土壩工程進行實證分析，該碾壓混凝土壩由擋水壩段、表孔壩段、進水口壩段和壩后電站組成，共分11個壩段。實證分析包括施工人員多目標追蹤和施工人員軌跡預測。

2.1 施工人員多目標追蹤

本文以目前公開的多目標行人追蹤數據集Market1501劃分模型的訓練集和驗證集，訓練過程持續300輪，訓練集和驗證集上的損失函數和top-1 error的變化曲線如圖3所示，結果表明訓練集和測試集的loss值最終穩定在0.13和0.61，top-1 error最終穩定在0.02和0.15。場區施工人員多目標追蹤模型的評價指標包括mIOU、mAP@0.5IOU和mAP@0.7IOU，其中AP為精度和召回曲線下的面積，可由公式(1)、(9)和(10)計算得到，其結果分別為64.9%、86.1%、59.8%。

圖3 訓練結果曲線

precision=TP/(TP+FP)

(9)

recall=TP/(TP+FN)

(10)

式中，TP-被準確追蹤的工人數量；FP-被錯誤追蹤的工人數量；FN-未能追蹤的人工數量。

其次，以施工現場實時監控圖像作為多目標追蹤模型的測試集，改進的YOLOv5+DeepSORT算法會對每一個追蹤分配一個唯一且持續不變的編號ID，在同一幅圖像中設定ID標號從1開始計數，標號最大數則為檢測目標的總人數。施工現場監控視頻施工人員多目標追蹤效果如圖4所示。

2.2 施工人員軌跡預測

2.2.1數據集準備

目前針對人員軌跡預測任務的公開數據集較少，僅有幾個俯視視角的小型數據集。其中ETH和UCY[23]組合數據作為開源的公共數據集，包含5個不同場景，2206條人體運動軌跡，數據采樣間隔為10幀，數據中包含幀索引、行人編號、位置坐標。但由于該數據集針對日常生活場景，與施工現場人員軌跡有較大差別。因此本文基于構建的施工人員多目標追蹤模型，對施工人員進行軌跡追蹤，獲取其在一段時間內的像素軌跡，為施工人員軌跡預測提供數據來源。本文采集的視頻幀率為25Hz，以10幀為采樣間隔(即每0.4s)，以前3.2s的軌跡數據來預測后4.8s運動軌跡，能有效改善數據的獨立同分布性質。

本文以目標檢測框的形心坐標來表示當前時刻施工人員所處位置，通過將一段時間內連續的形心坐標進行相連即可表示施工人員的軌跡。通過收集和篩選，共獲得1534條數據。施工人員多目標追蹤模型獲取得到的典型施工人員軌跡坐標見表1。

表1 典型施工人員多目標追蹤軌跡坐標 單位：像素

2.2.2評價指標

軌跡預測任務主要使用平均位移誤差(Average Displacement Error，ADE)和最終位移誤差(Final Displacement Error，FDE)評價模型性能。其中平均位移誤差是指所有的估計軌跡點與真實軌跡點之間歐式距離的平均值；最終位移誤差是指預測軌跡終點與實際軌跡終點之間的距離，計算公式如下所示。

(11)

(12)

(13)

(14)

2.2.3模型訓練與結果

利用自建施工人員軌跡數據集進行訓練，共持續300輪，然后利用訓練形成的模型權重文件進行預測性能評價，軌跡預測誤差見表2、如圖5-6所示，可知預測誤差隨預測時長增加而增加，預測2.0s施工人員軌跡的ADE和FDE值分為22.82像素和34.45像素，而預測4.8s施工人員軌跡的ADE和FDE值分為36.25像素和51.01像素。

表2 每10幀軌跡預測誤差

圖5 每隔0.4s間的軌跡預測平均距離誤差圖

圖6 每隔0.4s間的軌跡預測最終距離誤差圖

施工人員軌跡預測可視化效果見圖7，其中藍色線代表預測軌跡，紅色線代表真實軌跡，紅色線與藍色線完全重合部分代表前8個時間窗口輸入相同的值。根據圖7可知，本文所構建的Social-STGCNN模型可實現對施工人員軌跡的預測，雖然存有一些偏差，但大體的運動趨勢基本相同，可在一定程度上為不安全行為的預測起到參考。

圖7 施工人員軌跡預測結果可視化

值得注意的是，FDE值隨預測時間的增長出現波動上升，并非嚴格意義的正相關。原因主要由于FDE反應的是施工人員在最終時刻的位置關系，當“S”型軌跡出現時，預測軌跡和真實軌跡差距減小或再次相交，如圖7所示24號施工人員軌跡。

2.3 電子圍欄建立與預警

關于靠近風險區預警模塊，其詳細流程已在圖1總體技術架構中闡述，PNPoly算法原理可概括為：從一個目標點引出一條射線，統計該射線與電子圍欄的交點個數，若交點數為奇數，則說明目標點在電子圍欄內，進行預警處置；反之，則說明目標點在電子圍欄外，判斷為安全。根據一般人員的反應時間約為0.3s和所提方法的預警精度，建議預警時間定為0.8s，此時ADE和FDE分別為12.04、12.96像素，能夠有效保障施工人員安全，避免進入風險區域。

本文根據Mask掩膜對危險區域進行標注和提取，建立電子圍欄，如圖8所示，電子圍欄以紅色近視區域表示。結合PNPoly算法，判斷預測軌跡坐標是否處于風險區電子圍欄的多邊形內。一旦預測軌跡坐標點位于風險區多邊形內部，會立即觸發實時預警，通過紅色警示框、聲音、信息推送等方式進行警示，同時執行相應的處置措施，如引導施工人員離開風險區域等，為施工現場的施工人員安全管控提供了一種新方法。

圖8 施工人員靠近危險區域預警

3 討論

為進一步分析Social-STGCNN軌跡預測模型的性能，及其對水利工程施工場區范圍大，人員、機械、材料空間分布復雜特點的適應性，表3將Social-STGCNN與Social-LSTM兩種模型的軌跡預測性能進行對比。總體而言，兩種模型在較短的預測時間內均有較好的軌跡預測效果，軌跡位置誤差均較小。但相對而言，Social-STGCNN模型通過時空圖卷積網絡更能挖掘場區人員、機械、材料空間分布特征。當預測時長為0.8s時，就ADE和FDE指標而言，Social-STGCNN比Social-LSTM預測誤差分別減少約1.55%、4.07%。

表3 不同模型的軌跡預測對比(ADE/FDE，像素)

但由于水利工程施工場區范圍廣、軌跡預測需考慮因素眾多且本文數據集較小，預測軌跡仍存在一定偏差。同時，軌跡監測誤差和預測誤差存在累積效應，也可能會導致實時預警結果的震蕩。因而，有效提高軌跡監測精度是場區施工人員軌跡預警的前提，后續可結合BIM技術，進行監控視頻與BIM注冊、配準，提高場區施工人員定位與預測精度，同時可基于BIM場景下的場區機械、材料分布優化空間圖構建，進一步提升軌跡預測精度。

4 結論

本文通過利用實時監控、計算機視覺、深度學習等技術，提出了水利施工人員靠近風險區域的危險行為預警方法，通過工程實例驗證，有效證明了該方法的有效性。本文所提出的方法不僅增加了施工現場行為管理手段，也為水利工程施工現場安全管理提供新方法。主要取得以下成果：

(1)提出了基于軌跡預測的場區施工人員靠近風險區域預警方法。該方法由3個模塊組成，包括：基于改進YOLOv5+DeepSORT的多目標追蹤模塊、基于Social-STGCNN的軌跡預測模塊、以及基于PNPoly的靠近風險區預警模塊。本文所提出的實時預警模型能有效預測施工人員軌跡，結合風險區電子圍欄進行風險分析與預警，有效保障施工人員作業安全。

(2)針對水利工程施工場景，構建了基于改進YOLOv5+DeepSORT算法的施工人員多目標追蹤模型。以改進后的YOLOv5作為目標檢測模型，以Market公開數據集作為表觀特征提取數據集進行訓練，訓練集和測試集的loss值分別為0.13、0.61，top-1 error分別為0.02、0.15，滿足現場使用需求。

(3)利用構建的多目標追蹤和軌跡預測模型，對施工人員進行軌跡收集和預測，預測誤差隨預測時長增加而增加，預測2.0秒施工人員軌跡的ADE和FDE分為22.82、34.45像素，而預測4.8秒施工人員軌跡的ADE和FDE分為36.25、51.01像素。但由于軌跡預測需考慮因素眾多且數據集較小，預測軌跡仍存在一定偏差，后續可結合BIM技術，進一步提升軌跡預測精度。