煤礦井下人體姿態檢測方法

王璇， 吳佳奇， 陽康， 潘子恒， 楊偉， 王文清

（1.中國煤礦機械裝備有限責任公司，北京 100011；2.中國礦業大學（北京） 機電與信息工程學院，北京 100083；3.煤炭科學技術研究院有限公司，北京 100013；4.北京工業職業技術學院，北京 100042）

0 引言

煤礦井下環境惡劣且具有危險性，對井下工作人員姿態的規范性要求較高。井下作業場所的特點決定了作業人員的姿態特征，包括站立、行走、蹲（坐）等，而跌倒、在運輸巷或罐籠處躺臥等為不安全姿態。人體姿態包含大量有價值的原始數據，可為煤礦井下災害預警和礦山救援提供有效信息[1]。對井下工作人員進行姿態檢測，有利于提高井下人員姿態的規范性，保障其人身安全，對提高礦井安全生產水平有實際意義。

人體姿態檢測技術可分為基于機器學習和基于慣性測量2類。在基于機器學習的人體姿態檢測技術方面，L.Bourdev等[2]采用支持向量機和隨機森林算法估計人體姿態；鄭莉莉等[3]采用徑向基核支持向量機完成對不同人體姿態的估計；黃心漢等[4]采用Faster R?CNN目標檢測架構和ZFNet卷積神經網絡對識別目標進行姿態檢測，具有環境適應性強、速度快等優勢；許志強[5]提出了一種基于深度學習的實時人體姿態估計系統，借助卷積姿態機算法完成人體關鍵點的姿態檢測，利用3D游戲引擎Unity完成虛擬人體骨架搭建，實現人體姿態實時檢測；錢志華等[6]設計了姿態檢測元模型和參數可學習的域適應優化器，通過離線學習和在線學習相結合的方式進行多場景人員姿態檢測。在基于慣性測量的人體姿態檢測技術方面，S.K.Song 等[7]采用三軸加速度計設計了可穿戴模塊，可實現對常見人體姿態的檢測；曹玉珍等[8]提出了基于 MEMS（Micro?Electro?Mechanical System，微機電系統）加速度傳感器的人體姿態檢測方法，可判斷人體跌倒狀態；J.Stamatakis等[9]利用加速度傳感器設計了一套步伐測量系統，可對帕金森患者的步態進行檢測；陳超強等[10]認為人體在行走過程中下肢步態具有一定的周期性，提出了基于慣性測量方法的下肢外骨骼步態預測方法，解決了下肢外骨骼機器人跟隨控制問題。

上述方法均在一定程度上實現了人體姿態檢測，但應用于煤礦井下效果較差，主要原因是井下人員姿態較多，且姿態數據為時間序列，對時間延遲敏感，而支持向量機、隨機森林算法等不能較好地存儲計算結果[2]，對時間序列數據計算能力較差，難以處理連續相關數據。另外，上述方法在處理人員姿態數據時依賴于硬件系統強大的計算能力，需將采集數據傳送至獨立計算機處理，導致延時問題[11-12]。

筆者所在研發團隊提出了一種基于改進LSTM（Long Short Term Memory，長短期記憶網絡）的煤礦井下人體姿態檢測方法。該方法通過壓力傳感器、角度傳感器采集井下工作人員腳底壓力、腰腿部角度數據，采用便攜式邊緣運算決策單元進行姿態判別，無需將采集數據傳送至地面計算機進行姿態判斷，保證了數據實時性。

1 人體姿態檢測方法

1.1 井下人體姿態分類

根據煤礦井下對作業人員姿態判斷的實際需要，將井下人體姿態分為站立、行走、彎腰、蹲（坐）、躺臥5種，見表1。

表1 煤礦井下人體姿態分類Table 1 Human posture classification in coal mine underground

1.2 人體姿態數據采集

設置4個角度傳感器、2個壓力傳感器及邊緣運算決策單元（內置1個角度傳感器）獲取人體姿態數據。數據采集裝置布置如圖1所示。壓力傳感器與特制硅膠鞋墊作為一體，置于井下人員的工作靴中，用于采集左右腳底壓力數據。4個角度傳感器分別安裝在人員左右小腿和大腿外側，采用伸縮帶固定在工作褲上，用于采集人員腿部角度數據。邊緣運算決策單元置于腰間，用于采集腰部角度數據。壓力傳感器和角度傳感器將采集數據發送給邊緣運算決策單元進行處理。

圖1 人體姿態數據采集裝置布置Fig.1 Distribution of human posture data collection devices

1.3 人體姿態數據邊緣運算

人體姿態數據采樣值定義見表2。壓力傳感器的1個采樣值為1個數據點，角度傳感器獲取的任一姿態軸角度為1個數據點。考慮到小腿僅在踢腿動作時存在0～90°角度變化，為減小計算復雜度，將小腿角度采樣值設為一維數據。某時刻所有采樣值組成的向量為1個時間序列數據[8-9]，設為I=[X1，X2，…，X19]。

表2 人體姿態數據采樣值定義Table 2 Definition of sampled human posture data

人體姿態數據采集裝置對原始數據進行平均值濾波等預處理后，發送至邊緣運算決策單元。邊緣運算決策單元以Intel Edison模塊為處理器，運行基于改進LSTM的人體姿態檢測算法實現姿態估計；采用 1 700 mA·h，4.2 V 鋰電池供電，正常工作時間可達 48 h。

2 基于改進LSTM的人體姿態檢測模型

LSTM適用于處理和預測時間序列中間隔和延遲非常大的信息[10]，其作為 RNN（Recursive Neural Network，循環神經網絡）[13-14]的改進型網絡，能夠解決RNN存在的長期依賴問題，但其存在算法復雜性高、計算耗時長等問題，不適合處理高維序列數據。

邊緣運算決策單元的輸入數據為19維時間序列數據，若直接輸入LSTM，將導致姿態檢測實時性較差。另外，高維序列數據會增加算法復雜度，降低計算效率。因此，本文將 SA（Sparse Autoencoder，稀疏自編碼器）引入 LSTM，設計了 LSTMSA（Long Short Term Memory Sparse Autoencoder，長短期記憶稀疏自編碼器），其網絡結構如圖2所示。

圖2 LSTMSA 網絡結構Fig.2 Network structure of long short term memory sparse autoencoder (LSTMSA)

LSTMSA 中，SA作為網絡結構的前級，對輸入數據進行編碼、降維，減輕LSTM運算負擔。SA由2層卷積層組成：第1層為輸入層，用于接收19維數據；第2層為輸出層，也是整個LSTMSA的第1層隱藏層，用于對輸入數據進行特征提取，實現數據降維。LSTM作為網絡結構后級，由1層隱藏層和1層輸出層組成，根據SA提取的特征數據進行人體姿態估計。

由于LSTM輸出為5類結果，則其輸入數據不得高于5維，所以設置SA輸出4維數據，令其為Z=[z1，z2，z3，z4]。

式中wi，j為 SA 輸入層第i（i=1，2，…，19）個神經元與輸出層第j（j=1，2，3，4）個神經元之間的計算權值。

LSTM使用門控機制對輸入的特征向量流通和損失進行引導[15]，從而輸出5維向量O=[，]，?分別表示站立、行走、彎腰、蹲（坐）、躺臥姿態，其值為1或0。輸出向量中為1的維度即得出的估計姿態，如O=[0，1，0，0，0]表示估計姿態為行走。

3 試驗與結果分析

基于煤礦井下人體姿態檢測方法，設計嵌入式可穿戴人體姿態檢測平臺，在實驗室環境下進行人體姿態檢測試驗。測試者為5位24～28歲健康成年人，身穿井下工作服在坡度為0，15，35°的地面上完成行走、站立、彎腰、蹲（坐）、躺臥5種姿態，如圖3所示。

圖3 測試用人體姿態設置Fig.3 Human posture setting in test

試驗要求：① 姿態數據采樣時間為 0.02 s。② 在同一環境下進行試驗，每位測試者均參與3組試驗的姿態數據采集。③ 測試者動作滿足表1要求（測試者姿態習慣不同，可模擬實際應用環境中煤礦井下人員的行為姿態差異）。④ 硬件設備結構、安裝角度、位置不變（實際測試中會略有差異，模擬實際應用環境下井下人員穿戴差異）。

試驗時對每種姿態均采集4 000組數據，隨機分為訓練集和測試集，各包含2 000組數據。采用訓練集分別對LSTMSA，LSTM，RNN進行200輪訓練，得到基于不同網絡的人體姿態檢測模型。網絡訓練環境為 Ubuntu16.04 系統、Nvidia GTX 3080TI顯卡。

將測試集數據分別輸入LSTMSA，LSTM，RNN進行人體姿態檢測，結果見表3?表5。可看出3種算法均能實現對人體姿態的有效檢測，雖然RNN無法處理連續時間序列數據，但得益于本文方法通過多維數據采樣來提高檢測準確率的方式，RNN對于人體姿態的檢測準確率平均達到80%以上。

表3 LSTMSA 人體姿態檢測結果Table 3 Human posture detection results of LSTMSA

表5 RNN 人體姿態檢測結果Table 5 Human posture detection results of recursive neural network(RNN)

3種算法對人體姿態檢測的準確率如圖4所示。可看出LSTMSA，LSTM的準確率幾乎相同，可見是否采用SA對LSTM檢測準確率影響較小，而RNN準確率較其他2種算法低；在5種人體姿態中，行走姿態的檢測準確率最低，站立和躺臥姿態的檢測準確率較高。

圖4 3 種算法的人體姿態檢測準確率對比Fig.4 Accuracy comparison of human posture detection by LSTMSA, LSTM and RNN

表4 LSTM 人體姿態檢測結果Table 4 Human posture detection results of long short-term memory(LSTM)

算法運算時間通過邊緣計算決策單元的定時器來計數，再根據處理器主頻計算出實際運算時間。3種算法處理2 000組數據的平均運算時間如圖5所示。可看出LSTM運算時間最長，達到32 s以上；RNN運算時間最短，不超過4 s；LSTMSA運算時間介于其他2種算法之間，較LSTM減少50%以上。

圖5 3 種算法檢測人體姿態的運算時間對比Fig.5 Computing time comparison of human posture detection by LSTMSA, LSTM and RNN

綜合上述結果可知，LSTMSA對人體姿態檢測的準確率達90%以上，且能夠兼顧運算效率，可滿足現場對人體姿態檢測實時性和準確性的要求，具有可行性。

4 結論

（1） 根據煤礦井下人員作業特點及對應姿態特征，將礦井人體姿態劃分為站立、行走、彎腰、蹲（坐）、躺臥5種，并提出采用壓力傳感器和角度傳感器獲取人體姿態數據，通過便攜式邊緣運算決策單元進行姿態判別，構建了一種煤礦井下人體姿態檢測方法。

（2） 提出了一種改進 LSTM，即 LSTMSA，采用SA對采樣的原始人體姿態數據進行降維，以解決數據維度較大導致的運算效率低等問題，再將降維后的人體姿態數據輸入LSTM進行姿態檢測。

（3） 基于煤礦井下人體姿態檢測方法設計了試驗平臺，在同一試驗環境下分別對LSTMSA，LSTM，RNN進行測試，結果表明LSTMSA能夠兼顧準確率和實時性，可用于礦井人體姿態檢測。

（4） 基于LSTMSA的煤礦井下人體姿態檢測方法在現場大規模應用前，還需進一步研究2個關鍵技術問題：① 目前只針對5種姿態進行檢測，但井下作業人員姿態很多，特別是有代表危險行為的姿態，如跌倒、翻越等，姿態復雜且數據量大，需研究如何提高復雜場景下龐大時間序列數據的姿態檢測準確率。② 若采用更復雜的硬件系統來提高姿態檢測準確率，將導致系統功耗增大，而便攜式邊緣運算決策單元采用容量有限的電池供電，為保證其正常工作時間不低于48 h，需研究如何提高姿態檢測算法的計算效率。