基于礦工操作姿態識別的井下鉆機鉆桿計數算法

中圖分類號：TD42.25 文獻標志碼：A

Drill pipe counting for underground drilling rigs based on miner pose recognition

LIU Jiel，YANGCheng，CHENG Zeming，SUNXiaohu’，XUHao1，SHENGGuoyu （.Huaneng CoalTechnologyResearch Co.，Ltd.，Beijing10o70，China；2.ShandongKeyLaboratoryofUbiquitous Intelligent Computing（Preparatory）， University ofJinan，Jinan 25oo22，China）

Abstract： In underground coal mine work sites，moving people and objects may appear between the dril pipes and the monitoring camera，resulting in incomplete video footage andcounting omissions of drillppes.At present，studies on drill pipe counting methods based on image processingand machine vision rarely address the problemof occlusion.Most existing models requirecolecting and processing allframes of the target video and performing image preprocessing.To address the above issues，a drill pipecounting algorithm for underground drilling rigs basedonmineroperationposerecognitionnamed the BlazePose-DPCalgorithm，was proposed.This algorithmused the BlazePose network to extract key pose information of miners as the basis for automatic dril pipecounting，transforming thedrillpipe counting task into therecognitionand matching ofkeyoperational poses of miners.Key poses were extracted as skeletal joint coordinates fromkey pose frames viathe BlazePose network.

Key pose coordinate matching used normalized Euclidean distance to represent the similarity between poses. When the similarity exceeded a predefined threshold，the action in the video was considered complete，and the count was incremented by one， thereby enabling automatic drill pipe counting.Experiments on the BlazePoseDPC algorithm were conducted using two datasets.Dataset 1 was recorded by a mobile device at the Qinggangping Coal Mine in Xunyi， Shaanxi Province，where video instability was common. Dataset 2 was recorded by a fixed surveilance device at the Huaneng Qingyang Meidian Hetaoyu Coal Mine， where uneven lighting and occlusion were common. Experimental results showed that the BlazePose-DPC algorithm was able to perform accurate counting even under challenging lighting conditions or partial oclusion. It maintained accurate counting during prolonged operation， demonstrating stable performance. The BlazePose-DPC algorithm achieved an accuracy of 95.5% ， meeting the requirements for drill pipe counting.

Key words： drill pipe counting; BlazePose network; operation pose estimation; pose matching; singleproducer multi-consumer buffer pool; Euclidean distance of joint points

0 引言

瓦斯儲存在煤層中，隨著煤層開采而釋放，為了避免瓦斯爆炸事故的發生，通常采用鉆孔抽采的方式提前抽排瓦斯，以降低瓦斯積聚濃度。鉆孔深度直接影響瓦斯抽采效果。在實際鉆孔作業中，鉆機打入每根鉆桿的長度相同，通過統計鉆桿數量即可得到鉆孔深度[1]

傳統的鉆桿計數方法以人工計數和傳感器計數為主，人工計數耗時耗力，容易因疲勞導致漏檢和誤檢；在煤礦井下粉塵和潮濕的環境里，傳感器極易損壞。隨著信息化和智能化建設的深入，基于圖像處理和機器視覺的鉆桿計數方法逐漸受到關注。王向前等[基于YOLOv5網絡設計了DR-C3模塊，引入全局注意力機制（GlobalAttentionMechanism，GAM，改進了YOLOv5網絡，使鉆桿計數的平均精度達到99.4% 。杜京義等[2]基于時空圖卷積神經網絡（Spatial-Temporal Graph Convolution Neural Network，ST-GCN）模型，設計了一種動作識別精度良好的改進時空圖卷積神經網絡模型——多空間特征融合時空圖卷積神經網絡（Multi Spatial-Temporal Graph ConvolutionNeuralNetwork，MST-GCN）模型，采用Alphapose算法提取人體的關鍵點信息，采用遠空間分區策略關注骨架上距離較遠的關鍵點運動信息，通過注意力機制網絡SENet融合原空間特征與遠空間特征，從而有效識別骨架序列上的動作類別，在自建的數據集上，識別準確率達到了 91.1% 。趙偉等[3基于YOLOv5深度學習模型，提出了一種結合時空信息融合的鉆桿智能計數方法。計數過程中，結合鉆桿面積跳變、交并比（IntersectionoverUnion，IOU）跳變等前置更新條件，進一步提高了鉆桿數量更新的準確性。ChenTiyao等[4]提出了基于目標檢測的鉆桿計數方法，通過應用輕量型網絡GhostNetV2和自適應細粒度通道注意力（FasternetCoordinateAttention，FCA）改善模型的特征提取和融合能力。LiXiaojun等[5通過引人可變形卷積神經網絡模塊，使卷積核的采樣點呈不規則擴散，能夠充分提取鉆桿的形狀特征；在主干網絡中嵌入SimAM無參數注意力機制模塊，增強了模型對鉆桿特征的關注；改進后的DSD-YOLOv8模型平均精度均值提高了 2.9% 。

上述研究以鉆桿識別為主[6-8]，檢測的準確性較高。但在工作現場，遮擋現象經常出現，即在鉆機鉆桿與監控攝像裝置之間出現移動的人和物，導致拍攝的視頻圖像不完整、鉆桿計數缺失，現有方法對遮擋問題的研究較少；另外，現有大部分模型需要采集與處理目標視頻圖像的全部幀，模型體量大，占用計算資源多，所以在模型的輕量化方面仍然存在挑戰；此外，需要進行圖像預處理操作[9-13]。針對上述問題，本文提出一種基于礦工操作姿態識別的井下鉆機鉆桿計數算法。該算法基于BlazePose網絡提取礦工的關鍵姿態信息作為鉆機鉆桿自動計數的依據，把鉆桿計數問題轉化為礦工操作關鍵姿態的識別和匹配問題。采用單生產者-多消費者緩沖池策略實現視頻數據的實時采集與處理。應用BlazePose網絡提取礦工的關鍵姿態，計算關鍵幀礦工操作姿態的所有關節點歐氏距離并求和，以實現姿態識別與匹配。在陜西旬邑青崗坪煤礦、華能慶陽煤電核桃峪煤礦井下鉆機采集的視頻數據上進行驗證。

1基于礦工操作姿態識別的鉆機鉆桿計數算法

基于BlazePose網絡的鉆機鉆桿計數算法（DrillPipesCounting，DPC）（BlazePose-DPC算法）采用部分動作幀替代完整視頻流，利用人體關鍵姿態代替識別鉆桿等實體，不需要進行過多的圖像預處理操作，模型更加簡化，計算速度更快。該算法包含視頻數據采集與處理模塊、姿態檢測與識別模塊。視頻數據采集與處理模塊啟動1個或多個進程，進程數量根據系統資源自主調節。先將捕捉到的視頻流切分為圖像幀，保存在緩沖池中；再將姿態檢測與識別模塊的輸出結果融合到輸出的視頻流中，上傳至服務器。

1.1視頻數據采集與處理模塊

服務器端開啟接收煤礦井下攝像頭發送的視頻流地址及相關命令（開始進鉆/退鉆命令），接收到啟動命令后，自動啟動視頻數據采集與處理模塊。由于視頻流的分析速度與攝像頭視頻傳輸速度存在差異，且攝像頭視頻傳輸速度不穩定，因此，采用單生產者-多消費者的緩沖池策略來平衡雙方速度差異。啟動單生產者線程，持續不斷地讀入攝像頭視頻流，將每幀加上時間戳，存入緩沖池。然后，啟動多消費者線程，開啟2個或多個處理線程，并行處理緩沖池中的圖像幀數據。最后，輸出緩沖池線程，該線程根據時間戳進行排序，確保視頻幀的時間順序正確。緩沖池根據存儲幀數調節線程的休眠時間，確保緩沖池中始終有足夠的幀數存儲，以此來平衡視頻流分析速度與攝像頭視頻傳輸速度之間的差異。

1.2姿態檢測與識別模塊

姿態檢測與識別模塊的任務是檢測視頻中的礦工姿態，輸出姿態坐標和退鉆計數信息。首先，采用BlazePose網絡從視頻圖像中提取關鍵姿態信息。然后，計算所有關節點的歐氏距離，作為判斷搬動鉆桿動作開始與結束的依據。最后，對所有關節點的歐氏距離求和，以實現關鍵姿態的匹配。如果距離超過閾值，則認為不是1個動作。

BlazePose網絡采用檢測-跟蹤框架、輕量級的卷積神經架構并結合了熱圖與回歸方法，在移動設備上實現了高效、準確的人體姿態估計[14-16]。推理過程中，該網絡為單個人體生成33個身體關鍵點，以30幀/s的速度運行。

1.2.1 基于BlazePose網絡的關鍵姿態識別流程

基于BlazePose網絡的關鍵姿態識別流程如圖1所示。首先，對于采集的每張圖像，姿態檢測與識別模塊預測并輸出人體多個關節點（如肘部、膝蓋、肩膀等）的位置坐標。其次，計算每個預測關鍵點與對應的真實關鍵點之間的歐氏距離。然后，將每個距離與閾值進行比較，如果距離小于或等于閾值，則認為該關鍵點被正確預測。最后，計算正確關鍵點的百分比（Percentage of Correct Key points，PCK）[11]，即正確預測的關鍵點數量與關鍵點總數的比值 P

式中： N 為關鍵點的總數； δ 為指示函數，當條件為真時等于1，否則等于 0;d_i 為第 i 個關鍵點的預測位置與真實位置之間的歐氏距離； d 為參考長度； T 為閾值超參數。

1.2.2 姿態識別與歐氏距離坐標匹配計算

通過BlazePose網絡從關鍵姿態幀中提取骨骼關節點坐標[17]。關鍵姿態坐標匹配使用歸一化的歐氏距離表示姿態之間的相似度。當相似度大于設定的閾值時，表示視頻中的動作完成，計數加1，實現鉆桿的自動計數。

關鍵姿態匹配過程包含選取關鍵姿態幀和確定姿態匹配閾值2個方面。

1）選取關鍵姿態幀。關鍵姿態幀是指可以代表1個完整周期動作的一連串圖像中的某幾幀圖像。在模型訓練階段，關鍵姿態幀是人工選取的。關鍵姿態幀的數量可以根據實際動作的復雜程度靈活調整。例如，在鉆桿卸載過程，選取礦工站在鉆機旁準備卸載鉆桿的動作幀、從鉆機上卸載鉆桿的動作幀及手持鉆桿即將離開鉆機的動作幀作為模型學習卸載鉆桿動作的訓練數據，如圖2所示。

2）確定姿態匹配閾值。關鍵姿態匹配閾值由實驗來確定，例如將開始幀映射到數值1，結束幀映射到0，迫使模型學習到不同幀之間的區別。在模型驗證階段，BlazePose網絡對不同的輸入幀輸出礦工關節點坐標，求取關節點之間的歐氏距離并求和，以此歐氏距離的和作為確定關鍵幀（如開始幀、結束幀）的依據。

2實驗驗證及分析

2.1實驗數據集的構建

以陜西旬邑青崗坪煤礦與華能慶陽煤電核桃峪煤礦井下的監控視頻為基礎，構建了實驗數據集。從約100個井下卸載鉆桿視頻中，隨機剪輯了40個視頻片段（存在燈光昏暗、強光干擾、物體模糊、遮擋等井下鉆場常見現象），總時長約 200min ，數據量約60GBit，分辨率為 1280×720 ，幀率為25幀/s。每個片段約 4min ，包含 3～12 個卸鉆桿動作。數據集構建過程中對視頻幀進行編號，其中1000張圖像作為訓練集，手動提取并標注3個代表完整卸鉆桿動作周期的關鍵幀：開始幀、執行幀和結束幀。每個完整卸鉆桿動作可使用1個或幾個執行幀，幀數可根據動作復雜性靈活調整。

2.2參數設定

在視頻數據采集和處理模塊中，視頻流輸入和輸出的緩沖池設置為200張圖像。如果緩沖池存儲的圖像達到150張，則開啟3個進程進行處理。如果緩沖池內少于50張圖像，則降為2個進程。

完整版BlazePose-DPC（F）網絡和簡潔版BlazePose-DPC（L）網絡的學習率分別為 1.0978×10^-5 1.4728×10^-5 。開始幀的閾值為0.75，執行幀的閾值為（0.46，0.75），結束幀的閾值為0.4。BlazePose網絡使用Adam優化器進行梯度下降訓練，超參數通過實驗確定。在模型訓練階段，數據集按7：2：1的比例劃分為訓練集、驗證集和測試集。訓練過程中，數據以批量大小為10輸入，訓練結束獲取每個礦工的

33個關節點。

2.3 實驗結果

BlazePose-DPC算法在數據集1和數據集2上進行實驗，數據集1來自陜西旬邑青崗坪煤礦，由移動設備錄制，極易出現不穩定的狀況。數據集2來自華能慶陽煤電核桃峪煤礦，通過固定監控設備錄制，拍攝時間較長、過程更為完整，容易出現光照不均、遮擋等狀況。

BlazePose-DPC算法在數據集1上識別開始幀、執行幀、結束幀，運行結果如圖3所示。可看出當礦工準備卸載鉆桿時，開始幀的閾值開關被激活，在卸載鉆桿的過程中閾值保持不變。當鉆桿完全卸載時，激活結束幀的閾值。這樣就完成了鉆桿卸載的完整周期，模型計數加1。

BlazePose-DPC算法在數據集2上的運行結果如圖4所示。可看出在有光照影響或人物顯示不全的場景中，BlazePose-DPC算法依然可以準確地計數，在較長時間運行過程中，BlazePose-DPC算法依然可以正確計數，表現出穩定的性能。

2.4與其他算法的對比

為驗證BlazePose-DPC算法的性能，與MSTGCN^[2] ，Alphapose-LSTM[12]，新的時空圖卷積神經網 絡（New Spatial Temporal Graph Convolutional Networks， NST-GCN）[18]，Tan[13]， Drill-Rep（Repetition Counting for Automatic Short Hole Depth Recognition based on Combined Deep Learning-based Model）[19]，Trans RAC（EncodingMulti-Scalee Temporal Correlation with Transformers for Repetitive Action Counting）[20] 等算法 進行對比，結果見表1。可看出BlazePose-DPC算法 的準確率較 MST-GCN，Alphapose-LSTM，NST-GCN， Tan，Drill-Rep，TransRAC算法分別提高了 4.4%

為驗證BlazePose-DPC模型的輕量化性能，將BlazePose-DPC模型與YOLO系列模型部署在PC端（處理器為Intel（R）Core（TM）i7-10700 CPU @ 2.90 GHz， 2.90GHz ，內存為 16.0GiB） ，計算量和參數量見表2。可看出模型運行的計算量為 2.7×10⁶～ 6.9×10⁶ ，參數量為 1.3×10⁶～3.5×10⁶ 個，完全可以部署在煤礦井下移動終端上，實現了模型輕量化設計。

3結論

1）BlazePose-DPC算法應用礦工更換鉆桿的關鍵姿態替代識別更換鉆桿的整個過程，實現了鉆桿數量間接估計，避開了遮擋、光照干擾，簡化了模型，保證了鉆機鉆桿計數的準確率；靈活調整關鍵姿態幀的數量，算法能夠識別不同復雜度的動作。模型的體量小，可以方便地部署在煤礦井下移動終端設備上。

2）實驗結果表明，BlazePose-DPC算法在來自真實場景的數據集上的準確率達 95.5% ，滿足鉆桿計數的要求。

3）未來的工作計劃將提出的模型與YOLOv8模型進行策略融合，用于煤礦井下鉆場里礦工違章行為的檢測。

參考文獻（References）：

[1] 王向前，史策.基于DeepSORT和改進YOLOv5的 煤礦井下鉆桿計數方法[J].煤炭技術，2024，43（2）： 200-204. WANG Xiangqian，SHI Ce.Drill pipe countingmethod based on deepSORT and improved YOLOv5in coal mine underground[J].Coal Technology，2024，43（2）： 200-204.

[2] 杜京義，黨夢珂，喬磊，等.基于改進時空圖卷積神經 網絡的鉆桿計數方法[J].工礦自動化，2023，49（1）： 90-98. DUJingyi，DANG Mengke，QIAO Lei，et al.Drill pipe counting method based on improved spatial-temporal graphconvolution neural network[J].Journal ofMine Automation，2023，49（1）：90-98.

[3] 趙偉，張文康，劉德成，等.基于YOLOv5的瓦斯抽采 鉆桿智能計數研究[J].河南理工大學學報（自然科學 版），2025，44（3）：81-88. ZHAO Wei，ZHANG Wenkang，LIU Decheng，et al. Research on intelligent counting of gas extraction drill rodsbased on YOLOv5[J]. Journal of Henan Polytechnic University（Natural Science），2025，44（3）： 81-88.

[4] CHEN Tiyao， DONG Lihong， SHE Xiangyang. Research on automatic counting of drill pipes for underground gas drainage in coal mines based on YOLOv7-GFCA model[J]. Applied Sciences，2023， 13（18）. DOI： 10.3390/app131810240.

[5]LI Xiaojun，LI Miao， ZHAO Mingyang. Object detection algorithm based on improved YOLOv8 for drill pipe on coal mines[J]. Scientific Reports， 2025，15. DOI： 10.1038/S41598-025-89019-8.

[6]董立紅，王杰，厙向陽.基于改進Camshift算法的鉆桿 計數方法[J].工礦自動化，2015，41（1）：71-76.. DONG Lihong，WANG Jie， SHE Xiangyang. Drill countingmethodbasedonimprovedCamshift algorithm[J]. Industry and Mine Automation，2015， 41（1）： 71-76.

[7]史策.基于計算機視覺的煤礦井下鉆桿計數方法研究 [D].淮南：安徽理工大學，2024.. SHI Ce. Research on the counting method of coal mineunderground drillpipebased oncomputer vision[D]. Huainan： Anhui University of Science and Technology， 2024.

[8］姚超修，胡亞磊.基于視頻識別的煤礦井下鉆桿計數 算法[J].煤炭技術，2023，42（8）：203-206. YAO Chaoxiu，HU Yalei. Drilling pipe counting algorithm based on video analysis in coal mine[J].Coal Technology，2023，42（8）： 203-206.

[9]李強.鉆機視頻對講及鉆桿計數實時監控系統的研發 與應用[J].機械管理開發，2017，32（8）：123-124. LI Qiang. Research and application of video intercom and drill rig count of the real-time monitoring system[J]. Mechanical Management and Development， 2017， 32（8）： 123-124.

[10]鄭付亮.智能化打鉆視頻管理系統在白坪煤礦瓦斯治 理中的應用[J].煤礦機械，2023，44（6）：144-147. ZHENG Fuliang.Application of intelligent drilling video management system in gas control of Baiping Coal Mine[J]. Coal Mine Machinery，2023，44（6）： 144-147.

[11]張富凱，孫一冉，武旭峰，等.基于深度學習的煤礦鉆 桿實時計數方法[J/OL].煤炭科學技術：1-12[2024- 06-20].http：//kns.cnki.net/kcms/detail/11.2402.TD.2024 0617.1542.006.html. ZHAGN Fukai， SUN Yiran，WU Xufeng，et al. Real time counting method for coal mine drill pipes based on deep learning[J/OL]. Coal Science and Technology： 1- 12[2024-06-20]. http：//ns.cnki.net/kcms/detail/11.2402. TD.20240617.1542.006.html.

[12]SHENG Guoyu，YANG Cheng，YANG Bo，et al. A lightweightmodelforhuman-objectinteraction recognition in underground coal mines based on instance segmentation[C」.International Conierence on New Trends in Computational Intelligence，Qingdao，2024： 27-31.

[13]方杰，李振璧，夏亮.基于ECO-HC 的鉆桿計數方法 [J].煤炭技術，2021，40（11）：186-189. FANG Jie，LI Zhenbi， XIA Liang.Drill pipe counting method based on ECO-HC[J]. Coal Technology，2021， 40（11）： 186-189.

[14]WU Jialing，LI Wanyi， CHEN Yimin， et al. A human pose estimation method based on the BlazePose model[J]. Journal of Modern Educational Research， 2024， 3： 21. DOl： 10.53694/jmer.2024021.

[15]MAJI D， NAGORI S，MATHEW M， et al. YOLOpose： enhancing YOLO for multi person pose estimation using object keypoint similarity loss[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops，New Orleans， 2022： 2636-2645.

[16] 衛少潔，周永霞.一種結合 Alphapose 和 LSTM的人 體摔倒檢測模型[J].小型微型計算機系統，2019， 40（9）：1886-1890. WEI Shaojie， ZHOU Yongxia. Human bodyfall detection model combining alphapose and LSTM[J]. Journal of Chinese Computer Systems， 2019，40（9）： 1886-1890.

[17]TAN Tingjiang，GUO Changfang， ZHANG Guohua，et al.Research and application of downhole drilling depth based on computer vision technique[J].Process Safety and Environmental Protection， 2023，174： 531-547.

[18]楊世強，李卓，王金華，等.基于新分區策略的 ST-GCN人體動作識別[J].計算機集成制造系統， 2023，29（12）： 4040-4050. YANG Shiqiang，LI Zhuo，WANG Jinhua，et al. STGCN human action recognition based on new partition strategy[J].ComputerIntegratedManufacturing Systems，2023，29（12）：4040-4050.

[19]YU Yongcan， ZHAO Jianhu， YI Changhua， et al. DrilRep： repetition counting for automatic shot hole depth recognition based on combined deep learning-based model[J]. EngineeringApplicationsofArtificial Intelligence，2023，123.DO1： 10.1016/j.engappai.2023. 106302.

[20]HU Huazhang，DONG Sixun，ZHAO Yiqun，et al. TransRAC： encoding multi-scale temporal correlation with transformers for repetitive action counting[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition，New Orleans， 2022： 18991-19000.