基于深度學習的高空墜落危險行為識別方法

摘" 要：以卷積神經網絡為代表的深度學習算法可以更加精準有效地提取人體行為特征，因此將深度學習用于人體行為識別與預測成為研究熱點。文章在經典HRnet網絡結構的基礎上通過改進L-Swish激活函數和引入Squeeze-and-Excitation模塊，提出一種新型網絡模型L-HRnet，用于判斷施工人員高空作業時的行為動作是否存在危險性。在公開數據集HMDB51上進行行為分類與識別實驗，結果表明，改進后網絡結構L-HRnet的識別準確率明顯優于HRnet，有效提升了高空作業人員的防護水平。

關鍵詞：神經網絡；深度學習；高空墜落；動作識別

中圖分類號：TP391.4" " 文獻標識碼：A" 文章編號：2096-4706（2024）10-0017-04

A Method for Identifying High-altitude Falling Hazard Behavior Based on Deep Learning

NIE Cheng， YE Xiang， FANG Baili， SUN Jiaxing， ZHANG Tao

（Guangzhou Power Supply Bureau of Guangdong Power Grid Co.， Ltd.， Guangzhou" 510180， China）

Abstract： Deep Learning algorithms represented by Convolutional Neural Networks can extract human behavior features more accurately and effectively， applying Deep Learning to human behavior recognition and prediction has become a research hotspot. On the basis of the classic HRnet network structure， this paper proposes a new network model L-HRnet by improving the L-Swish activation function and introducing the Squeeze-and-Excitation module， which is used to determine whether the behavioral actions of construction worker during high-altitude operations are dangerous. Behavioral classification and recognition experiments are conducted on the public dataset HMDB51， and the results show that the improved network structure L-HRnet had significantly better recognition accuracy than HRnet， effectively improving the protection level of high-altitude workers.

Keywords： neural network; Deep Learning; high-altitude falling; action recognition

0" 引" 言

近年來，隨著我國經濟的不斷發展，電力、建筑等基礎行業也迎來快速發展的新階段，但是高空作業安全事故發生率也是一路上揚。研究表明，高空作業時安全事故的發生主要取決于兩大因素：一是主觀因素[1-3]，表現為工作人員的危險作業行為，比如疲勞作業、施工動作不規范、不佩戴安全帶等；二是客觀因素，取決于施工環境存在安全隱患，如腳手架桿松動、安全繩脫落等。

現有高空墜落的防范措施主要有墜落事件發生后的物理防護措施，比如：佩戴安全繩，使用腳手架、安全網、擋腳板等[4]。這些措施只能在危險發生后給予作業人員一定程度的保護，在危險預防方面無法發揮作用。為此，本文提出一種基于深度學習的高空作業人員動作識別方法，用于在判斷出作業人員存在危險動作時發出預警信號，預防危險的發生。本文方法作為高空作業人員安全防護措施的一種補充手段，一定程度上提高了工作人員的安全系數。

隨著深度學習的興起，神經網絡[5]在特征提取、模式識別等方面表現出良好的性能。利用神經網絡對人員行為特征進行檢測已被證實具有較高的可行性。人體行為檢測模型在2015年之前主要通過回歸方法[6]得到骨骼關鍵點坐標，但實驗效果不夠理想。主要原因有兩點：一是人體行為具有多變靈活性，二是回歸模型的遷移性較差，難以應用于未被訓練過的人體行為數據識別。因此，目前普遍采用的過渡處理方法是將人體行為識別看作檢測問題，從而獲得人體行為檢測熱點圖。2016年，Wei等人提出一種用于人體姿勢估計的深度學習模型—CPM [7]，該模型的核心思想是通過多層次的CNN架構逐步細化姿勢估計，每一層都專注于預測一組關鍵關節點的位置。通過在多個尺度上對圖像進行處理，捕捉不同尺度下的姿勢信息，從而提高預測準確性。雖然CPM模型能有效解決遮擋問題，但卻為了降低計算復雜度而損失了圖片精度，高分辨率特征有所弱化。為了解決圖片分辨率低的問題，Sun等人[8]提出一種高分辨率網絡—HRnet，該網絡能夠在數據流通的整個網絡鏈路中保持高分辨率，極大地提高了圖像識別的準確度，但同時也帶來了參數量增大、運行速度降低的問題。

為了解決上述問題，本文在HRnet神經網絡的基礎上，通過引入Squeeze-and-Excitation模塊，使用改進后的激活函數L-Swish等策略，提出一種改進的網絡結構L-HRnet，并將其應用于高空作業人員危險行為識別之中，用以判斷作業人員是否存在危險行為，進而發出預警信號預防危險的發生。

1" 網絡架構改進

本文提出的網絡模型在HRnet網絡模型結構的基礎上做了進一步的改進。HRnet模型作為一種面向高分辨率人體姿勢估計任務的網絡架構，通過使用一種稱為“分階段融合”的策略，確保不同分支之間的信息共享和融合[9]，不僅保留了高分辨率特征，還通過多分支的設計來融合不同尺度的信息，能夠在不損失細節的情況下提高姿勢估計的準確性。本文提出的改進模型，在保持該模型精度的前提下采用深度可分離卷積[10]，引入Squeeze-and-Excitation（SE）模塊[11]，極大地減少了網絡參數量進而縮小模型體積，提高了運行速度。同時使用改進后的L-Swish激活函數來進一步提升模型精度。

1.1" Squeeze-and-Excitation模塊引入

SE模塊可根據目標損失函數loss去學習、構建特征權重，最終使特征圖的有效性與權重值呈正相關。這種訓練方式進一步提高了模型的精度。

如圖1所示，Ftr為傳統的卷積結構，X和U分別為Ftr的輸入（C′×H′×W′）和輸出（C×H×W）。與一般卷積神經網絡不同的是，SE模塊是通過Squeeze（擠壓）、Excitation（激勵）與Scale（重標定）等步驟來重新標定原先獲得的特征，具體如下所述：

1）Squeeze。對應圖1中的Fsq（·）操作。這一步驟中SE模塊執行全局池化（通常是全局平均池化），以對特征圖每個通道的信息進行壓縮。這使得特征圖的尺寸從（H、W、C）縮減為（1、1、C），其中H和W分別為特征圖的高度和寬度，C為通道數量。這一步旨在獲取每個通道的全局信息，以便為稍后的調整做好準備。

2）Excitation。對應圖1中的Fex（·，W）。在此步驟中，SE模塊通過一系列的全連接層（通常包括一個隱藏層和一個激活函數（如ReLU））來學習每個通道的權重或重要性。這些權重表示每個通道對于特定任務的貢獻程度。Excitation操作將生成的權重向量應用于原始特征圖，以調整每個通道的響應。

3）Scale。對應圖1中的Fscale。通過逐通道的縮放操作來重新加權特征圖。具體來說，它將每個通道的權重乘以原始特征圖中的對應通道。這會使具有更高權重的通道對后續網絡層的輸出產生更大的影響，從而更好地捕捉特定任務所需的信息。

SE模塊允許網絡動態學習每個通道的權重，以適應特定任務的需求，從而提高網絡的性能。這種注意力機制的有效性在各種計算機視覺任務（包括圖像分類、對象檢測和語義分割）中得以證明。SE模塊通常嵌入到深度卷積神經網絡的不同層中，以增強網絡的表示能力。

1.2" SE模塊算法

如圖1所示，首先Ftr是轉換操作，輸入輸出的定義如下：

那么，Ftr的表達式如式（1）所示：

Ftr操作得到的U就是圖1中左邊第二個三維矩陣，也叫張量Tensor，或者叫C個大小為H×W的特征圖，而uC表示U中第C個二維矩陣，下標C表示通道。

然后將結果輸入Squeeze，實質上就是執行全局平均池化操作：

通過此操作可將輸入C×H×W轉換成多個尺寸為1×1×C的輸出，也就是得到了該層的C個全局特征圖信息。

最后通過式（3）實現Excitation操作：

從上述計算式可以看出，Excitation操作其實是由兩個全連接組成的。第一個全連接就是將上一步的Squeeze輸出z乘上權重W1，其中權重W1的維度是C/（r×C）。參數r的目的是減少通道個數從而降低計算量。又因為z的維度是1×1×C，所以W1z的結果為1×1×C/r；然后再經過一個ReLU層，輸出的維度保持不變。

第二個全連接則是第一個全連接的輸出結果和權重W2相乘，W2的維度為C×C/r，所以輸出結果的維度為1×1×C；最后再經過Sigmoid函數得到s。s的維度為1×1×C，C為通道數目，用來刻畫向量U中C個特征圖的權重。而且這個權重是通過前面這些全連接層和非線性層學習得到的，因此可以進行端到端訓練。

這兩個全連接層的作用就是融合各通道的特征圖信息，因為前面的Squeeze都是在某個通道的特征圖里面操作的。最后，通過計算式（4）對初始向量U進行通道乘法操作，即圖1中的Fscale過程：

其中，uc為二維矩陣，sc為權重值。本文將SE模塊引入HRnet網絡，以進一步提升算法的精度。

1.3" 激活函數設計

雖然ReLU激活函數具有收斂速度快的優點，但是其強制的稀疏處理會減少模型的有效容量（特征屏蔽太多，導致模型無法學習到有效特征）[12]。使用ReLU作為激活函數極易出現梯度消失、梯度爆炸或輸出不是零中心化的問題，不利于網絡模型的訓練學習。實驗表明，Swish [13]激活函數是一種比ReLU更優的非線性激活函數，避免了ReLU函數x小于0時梯度為0的情況，如計算式（5）所示：

其中，β為常數或可訓練的參數，Swish具有無上界有下屆、平滑、非單調的特性。但是相比于ReLU，因為它含有Sigmoid函數，計算更為復雜。為進一步提高模型運算精度，降低它的計算開銷，使用分段函數L-Sigmoid（如計算式（6）所示）模擬Sigmoid函數，對比效果圖如圖2所示。

其中α = 0.01，改進后Swish函數如計算式（7）所示：

圖2為Sigmoid與L-Sigmoid兩種激活函數的對比圖。

圖3為Swish與L-Swish兩種激活函數的對比圖。

考慮到應用非線性激活函數的成本問題，在模型設計中，本文將L-Swish應用于并行低分辨率子網絡中。

2" 改進后的L-HRnet

本文提出的網絡結構L-HRnet是在原網絡結構HRnet的Bottleneck部分引入SE模塊，并在原網絡最后的分支融合階段使用改進后的L-Swish激活函數。圖4為改進后的L-HRnet網絡結構圖

為了充分了解所提模型的性能，本文采用HMDB51 [14]數據集訓練L-HRnet模型，將HMDB51中51類動作統一分為危險動作與安全動作兩類，輸入圖片尺寸為256×256×3，然后以高分辨率子網為第一階段，逐步增加高分辨率到低分辨率的子網，形成新的階段，并將多分辨率子網并行連接，引入跨并行子網的交換單元，使每個子網能夠重復接收來自其他并行子網的信息，最后通過Softmax分類器將圖片分為兩類輸出人體動作。

3" 實驗結果與分析

本實驗采用PyTorch，Intel（R） Xeon（R） CPU E5-2630 v4 @ 2.20 GHz架構，GPU采用Nvidia Titan X Pascal。在公開數據集上使用L-HRnet網絡模型進行人體動作關鍵點檢測，檢測結果如圖5所示。實驗結果驗證了L-HRnet模型在人體動作關鍵點檢測方面的精確性。

為了對本文所改進網絡進行有效驗證，在HMDB51數據集上分別用HRnet網絡模型和改進后的L-HRnet網絡模型進行人體動作識別分類測試實驗。分別對兩種網絡模型的識別準確率、運算速度、參數量進行測試比較，測試結果如表1所示，實驗結果表明，改進后L-HRnet網絡模型的參數量更小，運算速度更快，實現了輕量化的目標，同時識別準確率也略有提升。

4" 結" 論

本文在人體動作識別任務方面，在HRnet的基礎上提出了改進的深度卷積神經網絡模型結構L-HRnet，并利用改進后的網絡模型在HMDB51數據集上進行測試，取得了95.6%的識別準確率。目前深度卷積神經網絡算法已成功應用于圖像識別、圖片分割等領域，但若要部署在建筑行業，需要首先解決實驗所需建筑工人危險動作數據集的采集、攝像頭的部署，以及模型運行計算資源的消耗問題，執行起來有一定的困難。在建筑行業的應用場景中，對模型的精度和實時性要求較高，雖然本文所提方案在運算速度和精度上有所改善，但距離實際應用還有一段距離。故今后將在模壓縮方面做進一步的深入研究。

參考文獻：

[1] 王文翔.建筑施工安全管理中高處墜落的原因及預防措施 [J].散裝水泥，2021（3）：41-43+46.

[2] 仇昕.建筑安全事故發生原因分析及控制措施 [J].建筑與預算，2022（5）：37-39.

[3] 劉昊東.建筑工程安全事故成因分析與預測 [J].四川建材，2023，49（5）：241-243.

[4] 周元昊.高處墜落事故的原因和預防對策 [J].建筑施工，2023，45（2）：431-433.

[5] KRICHEN M. Convolutional Neural Networks： A survey [J/OL].Computers，2023，12（8）[2023-09-15].https：//doi.org/10.3390/computers12080151.

[6] 方升，梁飛豹，劉勇進.統計回歸模型及其優化算法綜述 [J].福州大學學報：自然科學版，2021，49（5）：638-654.

[7] WEI S E，RAMAKRISHNA V，KANADE T，et al. Convolutional Pose Machines [C]//.2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas：IEEE，2016：4724-4732.

[8] SUN K，XIAO B，LIU D，et al. Deep High-Resolution Representation Learning for Human Pose Estimation [J/OL].arXiv：1902.09212v1 [cs.CV].[2023-09-10].https：//arxiv.org/abs/1902.09212.

[9] 石洋宇，左景，謝承杰，等.多尺度融合與FMB改進的YOLOv8異常行為檢測方法 [J].計算機工程與應用，2024，60（9）：101-110.

[10] ZHANG T，LI S，FENG G Q，et al. Local Channel Transformation for Efficient Convolutional Neural Network [J].Signal， Image and Video Processing，2022，17（1）：129-137.

[11] ZHANG Y P，WU G C. Temporal Squeeze-and-Excitation Networks for Skeleton-Based Action Recognition [C]//2023 5th International Conference on Industrial Artificial Intelligence （IAI）. Shenyang：IEEE，2023：1-6.

[12] VARGAS V M，GUTIéRREZ P A，BARBERO-GóMEZ J，et al. Activation Functions for Convolutional Neural Networks： Proposals and Experimental Study [J].IEEE Transactions on Neural Networks and Learning Systems，34（3）：1478-1488.

[13] 米碩，田豐收，孫瑞彬，等.Swish激活函數在中小規模數據集上的性能表現 [J].科技創新與應用，2018（1）：4-5.

[14] KUEHNE H，JHUANG H，GARROTE E，et al. HMDB： A Large Video Database for Human Motion Recognition [J].2011 International Conference on Computer Vision. Barcelona：2011：2556-2563.

作者簡介：聶程（1995—），男，漢族，江西宜春人，運維工程師，工學碩士，主要研究方向：輸電線路運行與維護；葉翔（1984—），男，漢族，江西上饒人，工程師，工學碩士，主要研究方向：輸電線路運維、安全管理；方百里（1992—），男，漢族，廣東揭陽人，工程師，工學學士，主要研究方向：輸電線路安全管理；孫嘉興（1986—），男，漢族，遼寧丹東人，工程師，工學碩士，主要研究方向：輸電線路安全管理；張滔（1984—），男，漢族，江蘇南通人，運維工程師，工學學士，主要研究方向：輸電生產運維技術。