基于Kinect V2傳感器的井下人員動作識別

宿洋 高英迪 袁興昊 何晟林 龔爽

摘要：本文利用Kinect V2傳感器的紅外攝像機模擬井下人員的行為，對井下人員的行為進行無人實時監控，達到提前預防突發情況的目的。從而保障井下人員的生命安全，降低井下工作環境危險系數。對構建高效、安全、和諧的井下環境具有一定的貢獻作用。

關鍵詞：Kinect;煤炭安全;行為識別;畸變

對礦下人員的行為監測具有一定的價值，能夠為我國開展礦下人員實時安全保護提供參考意見。目前，最新推出的低成本傳感器是Kinect 傳感器。目前，Kinect主要應用在人機交互的電腦游戲領域。針對井下缺乏人員實時監測技術以及Kinect的大范圍地使用，本研究利用Kinect V2傳感器實時監控井下人員的行為，對井下人員進行無人實時監控，達到提前預防突發情況的效果。

Kinect V2是微軟推出的第二代Kinect，搭載在微軟游戲機XBOX ONE上。Kinect V2主要由一個彩色攝像頭、紅外攝像頭、深度攝像頭、麥克風陣列、仰角控制等部件組成。

深度圖像由Kinect V1的光編碼技術變為飛行時間測距法（ToF）方式。Kinect V2發射經方波調制的近紅外光線，經物體反射回來的產生的相位差計算出總體飛行時間，獲取物體到傳感器的距離。

Kinect 通過紅外攝像頭看到三維世界后，就要分辨出視野中可能是人體的移動物體，即從深度圖像生成骨骼圖。KinectV2會根據骨骼捕捉的25個關節點來生成一幅骨架系統，通過這種方式就可以評估人體實際所處的位置。

利用Kinect V2傳感器設備的骨架捕捉原理，在輸出之前會自動追蹤到監控范圍內人員的25個人體骨骼關鍵點坐標，此時獲取的坐標為深度圖像坐標。可以理解這樣獲取的坐標為相對坐標，而非實際的世界坐標。這樣25個骨骼關鍵點覆蓋了整個人體，形成了一幅人體骨架結構。相比于利用圖像處理處理與特征匹配的復雜計算識別方法來說，通過Kinect獲取骨骼關鍵點的方法數據獲取容易、運算量小、誤差小。

本文采用的是閾值判別法。根據中國國家計生委編寫的《中國居民營養與慢性病狀況報告（2015年）》得知，全國18歲及以上成年男性和女性的平均身高分別是和。選用男性平均身高作為本研究的身高數據，具有一定的合理性和可信性。

基于下蹲這一動作的特殊性，本文采用對腰部位置到腳的距離方法判斷是否符合下蹲動作。

設井下人員的平均身高為，可得到腰部到腳的距離為

（6）;

考慮到人員進行下蹲的動作時，假設當人員的腰部到腳的距離減小到原來的時就判定為該人員進行下蹲動作。因此，引入無單位標志系數，并令其為

（7）

因此，當腰部到腳的距離不大于時，就近似判定該人員存在下蹲的動作。再將實際世界坐標再轉化成在深度圖像坐標時的臨界距離，可列出如下方程組

（9）

其中，坐標表示人員腰部的深度圖像坐標，坐標為人員的腰部的世界坐標;為人員腳部的深度圖像坐標;為人員的腳部的世界坐標。根據上（9）方程組的解求出的，為深度圖像坐標中腰部到腳的臨界閾值。

由以上原理進行下列測試，為了保證測試具有一定的可信性，測試分為三組進行測試，每組分別測試10次。動作識別測試結果如下表1所示。

男性標準人體身長約為。其中頭長為，約占總身長的10.8%。根據這一比例關系并結合上一節使用的井下人員的平均身高為的假定條件，腰部占總身長的可以得到正常情況下頭部中點至腰部的縱向距離為

（10）

我們假設當頭部中點至腰部的縱向距離減小為原來的，且腰部至腳部的縱向距離減小至原來的時，就判定該人員存在躺下動作。

（11）

（12）

其中，表示頭部至腰部縱向方向的臨界距離;表示腰部至腳步的臨界距離。則深度圖像坐標滿足以下方程組

（13）

其中，坐標表示腰部的深度圖像坐標，坐標為腰部的世界坐標;為腳部的深度圖像坐標;為腳部的世界坐標;坐標表示頭部的深度圖像坐標，坐標為頭部的世界坐標。

由以上原理進行下列測試，為了保證測試具有一定的可信性，測試分為三組進行測試，每組分別測試10次。動作識別測試結果如下表2所示。

（1）在測試過程中由于關節被遮擋而識別不出的問題。因此在實際的復雜環境中識別會受到影響。發現本文對Kinect V2傳感器的識別人數最大支持人數為2人，本文僅考慮了識別1個人的動作識別。對于識別區域中存在多個人的情況，還不具有普適性。

（2）由于目前Kinect傳感器主要面向體感游戲領域，因此其識別距離十分有限。對于井下大空間等環境因素，其實用性還有待考慮。相信未來能夠推出性能更加優良的Kinect傳感器。

參考文獻：

[1]靳明，張剛，黃璜，李影，張紅巖，王峰.基于Kinect的立定跳遠輔助訓練系統的研究[J].電腦知識與技術，2019，15（25）：212-213.

[2]李詩銳，李琪，李海洋，侯沛宏，曹偉國，王向東，李華.基于Kinect v2的實時精確三維重建系統[J].軟件學報，2016，27（10）：2519-2529.

[3]曾小玲.Kinect深度數據在室內成圖應用中的準確度和分辨率[J].工業技術與職業教育，2018，16（01）：15-17+37.

[4]行業標準，服裝人體測量的部位與方法.中國服裝輔料年鑒，，2008-2009，211-214，統計年鑒.