基于姿態特征的建筑工人不安全行為刻畫方法

段品生,周建亮

(中國礦業大學力學與土木工程學院，江蘇 徐州 221116)

建筑工人的不安全行為是造成施工安全事故的最主要原因，占比達80%以上[1]。在當前的安全管理實踐中，對不安全行為管控多集中于廣泛的安全教育，未形成全面的針對個體行為的安全控制機制與方法[2]。而在信息與網絡領域，基于網絡行為的用戶刻畫方法已經在信息檢索[3]、興趣推薦[4]等方面得到了廣泛的應用，實現了從用戶角度出發的個性化內容推薦。相類似地，建筑工人也有著多樣化的安全管理需求，且個性化安全管理在復雜的施工現場具有顯著的優勢[5]。因此，研究刻畫建筑工人不安全行為的方法，發現個體的行為規律及趨勢，對預防人因錯誤、制定個性化行為矯正策略、提高安全生產邊界具有重要的意義。

建筑工程施工活動是由一系列動作組成的，每個動作包括一系列的移動，不良動作往往會產生有別于穩定狀態的姿態擾動，進而引發不安全行為，因此可以通過分析姿態特征來刻畫建筑工人的不安全行為。當前研究中的行為刻畫方法主要包括基于調查和觀察的方法、基于傳感器的方法和基于計算機視覺的方法等。基于調查和觀察的方法雖然能采集到相對合理的數據，但是過程耗時長且效率不高[6]。基于傳感器的方法可以實時采集到相對準確的建筑工人動作數據，例如：Kim等[7]基于長短期記憶網絡和運動傳感器研究了傳感器位置和數量對建筑工人運動識別的影響；張明媛等[8]設計了基于智能手機和人工神經網絡識別施工人員跌落險兆事故的方法，獲得了90.50%的準確率。由于無需在建筑工人身上固定可能干擾正常施工的傳感器設備，基于計算機視覺的方法在行為刻畫研究方面已引起了廣泛的關注，例如：張博等[9]、王雨生等[10]提出了一種基于計算機視覺和姿態估計的安全帽佩戴檢測方法，提高了安全帽佩戴檢測的準確度和環境適用性；Guo等[11]結合施工安全知識和人體工程學原理提出了一種基于姿態骨架的建筑工人不安全行為識別方法；Ding等[12]開發了一種基于CNN和LSTM的工人不安全行為分類模型，該模型能夠以較高的準確性自動提取工人的不安全行為。

然而，上述研究方法大多只是分析了與建筑工人不安全行為相關的直接信息，而缺少對建筑工人不安全行為之中隱藏姿態動態變化特征的刻畫，未形成基于此來劃分建筑工人不同行為群體的方法。因此，本文提出了一種基于姿態特征的建筑工人不安全行為刻畫方法。該方法通過普通RGB攝像頭采集建筑工人在實際施工場景下的視頻圖像，利用OpenPose卷積神經網絡提取建筑工人的姿態關鍵點，并運用潛在類別聚類分析(Latent Class Clustering Analysis，LCCA)方法刻畫不同群體建筑工人的姿態特征信息。該研究結果對揭示建筑工人個體特征差異、促進建筑工人不安全行為的個性化安全管理具有重要的現實意義。

1 基于姿態特征的建筑工人不安全行為刻畫方法及流程

由于建筑工程施工活動是一系列動作的組合，建筑工人的很多不安全行為與不良動作密切相關，因此本文提出了一種通過分析工人工作視頻中的姿態來刻畫建筑工人施工過程中不安全行為的方法。該方法通過普通的RGB攝像頭采集工人工作時的姿態關鍵點，以施工動作的動態變化特征表征建筑工人施工過程中的不安全行為，并基于統計分析和LCCA模型刻畫建筑工人的行為畫像，分別確定事實標簽及模型標簽。該方法的基本思路為：首先，基于OpenPose方法[13-14]提取現場建筑工人工作視頻中的行為姿態關鍵點，確定建筑工人不安全行為中的4種不良動作及12個事實標簽，并針對建筑工人每種施工動作制定相應的劃分規則，以獨特表征不同的施工動作；然后，通過LCCA方法對采集的事實標簽進行聚類分析，提取建筑工人行為模型標簽；最后，管理人員可基于此制定個性化的行為矯正策略。基于姿態特征的建筑工人不安全行為刻畫方法及具體流程，見圖1。

圖1 基于姿態特征的建筑工人不安全行為刻畫方法及流程

2 建筑工人不安全行為刻畫的具體實現

2.1 基于OpenPose的建筑工人姿態關鍵點獲取

以普通的RGB攝像頭作為視頻數據采集設備，通過分析視頻數據來提取建筑工人施工時的行為姿態，并采集工人不安全行為狀態的關鍵特征參數。為了高效提取建筑工人的行為狀態，本文采用美國卡耐基梅隆大學開發的OpenPose人體姿態識別開源庫，該庫基于卷積神經網絡和監督學習，可以實現單人或多人的人體動作姿態實時估計。與依賴于專用設備的姿態采集設備，如Kinect、慣性測量單元等相比，OpenPose人體姿態識別開源庫可以通過分析視頻在不干擾工人正常工作狀態的情況下準確提取人體姿態骨架。

已開發的OpenPose人體姿態識別開源庫最高可實現對工人25個姿態骨架關鍵點以及面部和手指關節的準確提取。為了提高數據處理的效率，本文根據BODY_18模型(見圖2)，可實時提取工人工作視頻中18個姿態關鍵點的坐標，見圖3。

圖2 BODY_18模型中人體姿態關鍵點的位置

圖3 基于RGB圖像的工人工作視頻中姿態關鍵點坐標確定示例

2.2 建筑工人不安全行為特征表征和事實標簽確定

基于用戶畫像理論，建筑工人不安全行為的事實標簽可以定義為利用直接采集到的定量數據描述和刻畫特定的動作。參考我國《企業職工傷亡事故分類》(GB 6441—1986)國家標準及相關資料，建筑工人的不安全行為可以分為13個類別。本文采用手動方法分析其中與建筑工人自身相關的不安全行為中的主要動作，其結果見表1。特別地，對于在高處作業的建筑工人(如屋面作業人員等)而言，這些主要動作可能會引發其身體的穩定狀態出現較大的變動，一旦工人對自身穩定性判斷失誤，其高處墜落的安全風險將會顯著增加。因此，建筑工人在高處作業時應盡量減少這些主要動作的出現，這將有利于其保持自身的穩定性，進而降低建筑施工作業的安全風險。由于這些主要動作的變化特征存在著顯著的差異[11]，故可以通過對動作變化特征的描述來刻畫建筑工人的不安全行為。

表1 與建筑工人自身相關的不安全行為中主要動作分析示例

根據表1的分析結果及相關標準[15]，本文將建筑工人復雜的行為簡化為多個主要動作，從而可以提高行為刻畫的效率。精細化描述上述動作，明確工人主要動作為：A.手肘超過肩膀；B.頸部彎曲大于30°；C.背部彎曲大于30°；D.下蹲或跪下。 基于上述分析，制定每項動作的3個特征參數，即動作持續時間、動作出現次數和重復動作次數，其中重復動作為上述相同的兩個動作時間間隔在0.2～2 s之間，且重復次數在3次及以上。通過主要動作的變化特征可衡量建筑工人不穩定狀態的強度，特征值越大，則其不穩定狀態越強，高處墜落的安全風險越高。建筑工人不安全行為特征表征和事實標簽，見表2。

表2 建筑工人不安全行為特征表征和事實標簽

2.3 建筑工人動作閾值判斷與驗證

圖4 建筑工人動作角度示意圖

(1)

(2)

上式中：Xi表示第i處的人體姿態關鍵點橫坐標；Yi表示第i處的人體姿態關鍵點縱坐標。

(3)

對比上述人體姿態關鍵節點坐標及角度在不同動作時的變化,可以看到不同動作更直觀的變化模式。本文通過RGB攝像頭采集一名建筑工人在模擬上述不安全行為時的4個動作，每個動作重復3次，記錄工人姿態關鍵節點坐標及角度變化，模擬試驗結果見圖5。

圖5 不同動作姿態關鍵節點坐標及角度變化的模擬試驗結果

由圖5可知，在建筑工人模擬上述4個動作時，相應的姿態關鍵點坐標及角度呈現出獨特的周期性變化，這與模擬試驗中建筑工人的行為規律相一致。建筑工人這些動作與正常狀態相比存在明顯的不穩定變化，因此利用前文所述方法采集事實標簽數據是可行的，且動作的判斷閾值(角度閾值在圖5中用虛線標注)可以用于區分建筑工人的不同動作狀態。

2.4 建筑工人動作劃分性能評價

由于目前針對建筑工人這種行為刻畫結果的劃分沒有統一的標準，因此本文參考分類算法的通用評價參數對運用該方法劃分建筑工人動作性能進行了評價，主要的評價參數包括準確率(Accuracy)、精確率(Precision)、召回率(Recall)和F1分數(F1score)[16]。各參數的計算公式如下：

(4)

(5)

(6)

(7)

上式中：TP表示實際發生某動作，而檢測為同樣動作的正樣本數量(個)；TN為實際未發生某動作，而檢測同樣未發生某動作的負樣本數量(個)；FP表示實際未發生某動作，而檢測到發生了某動作的正樣本數量(個)；FN為實際發生了某動作，而檢測未發生該動作的負樣本數量(個)。

上述參數值越接近1，表明建筑工人動作劃分的性能越好。

2.5 基于LCCA的模型標簽確定

事實標簽可以直接反映出一名建筑工人在一定時間范圍內不安全行為的發生情況，卻難以挖掘其潛在的偏好表現。因此，基于上述12個事實標簽可確定建筑工人行為的模型標簽，用來衡量其不安全行為的偏好。模型標簽的確定過程可以看作是一種聚類問題，因此本文采用潛在類別聚類分析方法確定建筑工人行為的模型標簽[17]。采用LCCA方法將建筑工人個體劃分為難以觀察的多個亞群體，這些亞群體可以由一組未被觀察到，必須從數據中推斷的分類潛變量表示。假設潛在類別中的多變量符合正態分布，則可將這種模式表示如下：

(8)

(9)

對聚類的準確度，可以采用基于信息準則的方法來衡量，包括赤池信息準則(AIC、CAIC)、貝葉斯信息準則(BIC、ICL_BIC)等[17]。這些數據數值越低，表示模型的擬合精度越高。本文采用Intel(R) i7-9750H處理器，基于XLSTAT軟件處理采集到的數據，將聚類個數設定為1～8，并根據信息準則確定最合適的聚類個數。

3 方法驗證與結果分析

3.1 建筑工人動作劃分結果與驗證

本文以實際施工場景為例，對所提出的基于姿態特征的建筑工人不安全行為刻畫方法進行了驗證。盡管持續觀察法(如全天觀察)可以有效且全面地刻畫建筑工人的不安全行為，但抽樣方法(如隨機抽樣)也可為工人不安全行為刻畫提供無偏見且具有統計代表性的數據。因此，本研究在施工現場隨機采集18名男性建筑工人的施工視頻數據，包括12名抹灰工人、5名混凝土工人和1名特種作業(吊籃作業)工人，他們均為從事建筑裝飾裝修類專業工種的工人，需要經常攀爬梯子、吊籃等，屬于高處作業人員。工人的平均年齡為41.67歲±6.49歲，采集的視頻幀數率為30幀/s，每個視頻共5 400幀。手動觀察視頻片段，從視頻中提取表2所述的4個主要動作并統計其動作特征參數，其統計結果見表3。

表3 某實際施工場景建筑工人不安全行為原始數據的統計分析結果

選擇建筑工人施工視頻數據中前300幀視頻畫面作為驗證視頻，每50幀視頻畫面輸出一個測試圖像，其輸出結果見圖6。

圖6 建筑工人施工驗證視頻的序列幀

由圖6可以直觀地看出，OpenPose可以準確地識別出建筑工人大多數的姿態關鍵點，且從大部分視頻幀可以準確檢測到建筑工人的姿態關鍵點并形成骨架，而部分幀(如第250幀)存在骨架連接缺失的情況，但動作劃分的姿態關鍵點均已被識別出來，因此并未對建筑工人的動作刻畫產生嚴重的影響，表明該方法在建筑工人不安全行為事實標簽的提取方面具有一定的魯棒性。

對某建筑工人施工視頻數據中前300幀視頻畫面的全部動作進行整體刻畫，其刻畫結果見圖7。當檢測到出現某動作時，標記為1，否則為0。

圖7 某建筑工人施工視頻數據中前300幀視頻畫面的動作刻畫結果

由圖7可以看出，該建筑工人在這300幀視頻畫面中，大部分時間，特別是在前150幀視頻畫面中，表現出兩種及以上的不安全行為動作，其動作刻畫結果與該名工人的實際施工表現相一致。

進一步地，采用建筑工人動作劃分性能評價參數評估劃分結果，見表4。

表4 建筑工人動作劃分性能評價參數的測試結果

由表4可知，對于動作A、B、C、D，本文方法動作劃分結果的準確率達到了97.01%、97.34%、96.01%和92.03%，精確率也達到了88.16%、100%、93.75%和66.15%。總的來說，該方法對建筑工人不安全行為不同動作劃分具有較高的敏感度，可以用于區分建筑工人的不同動作狀態。此外，由表4還可知，召回率和F1分數值相對較高，說明動作誤判的概率較低，表明該方法可以用于建筑工人不安全行為動作的劃分。為此，本文利用該方法采集了18位建筑工人不安全行為動作的事實標簽。

3.2 模型標簽確定與驗證

首先，利用采集視頻中建筑工人的動作數據，采用LCCA方法劃分聚類團體，以確定模型標簽，并通過分析AIC、CAIC、BIC和ICL_BIC的數值變化確定合理的聚類個數，其結果見表5。

由表5可知，上述信息準則參數在5個聚類時基本穩定，且參數值相對較小。因此，選擇聚類個數為5是較為合理的，確定的模型標簽個數為5。

表5 基于LCCA的模型聚類準確性度量

然后，根據聚類類別和類別內的事實標簽確定行為偏好和模型標簽。相對而言，事實標簽數據的數值越高，說明建筑工人不良動作的時間和頻率越高，因此出現不安全行為的可能性較大，建筑工人面臨的安全風險較高；相反，事實標簽數據的數值越低，說明建筑工人不良動作的時間和頻率越低，因此出現不安全行為的可能性較低，建筑工人面臨的安全風險較低。由于事實標簽數量較多，因此對模型標簽的劃分采用更加概念化的方式進行，依據聚類個數將其劃分為5類，分別為低危型、中危型、高危-重復偏好型、高危-時間偏好型和高危-次數偏好型，見表6。

表6 基于LCCA的模型標簽確定

由表6可知，在驗證視頻的18名建筑工人中，高危型偏好的建筑工人數量占比為45.26%。

基于劃分的模型標簽，可以為不同行為偏好的建筑工人制定差異化的不安全行為矯正策略，以實現安全的個性化管控。其中，對于低危型的建筑工人，可持續不定期監測其行為狀態；對于中危型的建筑工人，需要采取定期監控的措施，并根據實際的行為表現適時干預其行為狀態；對于高危型的建筑工人，其行為存在明顯的安全風險，應根據其行為偏好制定具體的安全防護、行為干預和安全教育等措施。

4 結論與建議

建筑施工活動是由一系列動作組成的，且建筑工人不安全行為與不良動作密切相關，基于此本文提出了一種基于動作姿態特征的、可用于視頻監控的建筑工人不安全行為刻畫方法。該方法融合建筑工人施工姿態特征信息，采用LCCA方法設計了行為刻畫模型標簽，并基于實際施工視頻對該方法的有效性進行了驗證，結果表明：該方法在動作劃分方面取得了95.60%的平均準確率和87.02%的平均精確率；在模型標簽方面將建筑工人劃分為5種不同的行為偏好群體是合理的。該方法可用于基于現場監控視頻的工人行為分析，實時檢測工人行為的高風險偏好,確保工人的自身安全與健康。然而，受到施工現場場景、光線、障礙物等因素的影響，在實際施工中使用該方法可能會存在部分關鍵動作特征點無法提取的情況。未來的研究可以考慮融合傳感器數據，基于多標簽融合獲取更加全面的工人行為信息；另外，基于該方法還可以開發出相應的工人不安全行為動態管控系統，以提高企業安全風險管理效率。