液壓支架護幫板工作狀態智能識別

張鍵，豐繼林，袁靜，周涵，劉祖陽

摘? 要： 液壓支架護幫板的打開和閉合是煤礦井下的主要作業之一。為了自動識別監控視頻中每個護幫板的工作狀態，需研究液壓支架護幫板工作狀態智能識別算法。結合深度學習和計算機視覺的算法，可采用融合幅度信息的光流直方圖（Histograms of Oriented Optical Flow，HOF）提取運動特征。實驗結果表明：算法的準確率達到88.69%、精確率達到79.08%、召回率達到76.16%、F1_score值達到76.53%，fps值達到18幀/s，驗證了該算法的可行性和有效性。

關鍵詞： 液壓支架護幫板; 光流直方圖; 運動識別; 計算機視覺; 煤礦作業

中圖分類號：TP391.41? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2022）06-23-04

Detection algorithm for working state of hydraulic support guard plate

Zhang Jian， Feng Jilin， Yuan Jing， Zhou Han， Liu Zuyang

（Institute of Disaster Prevention， Langfang， Hebei 062541， China）

Abstract： The opening and closing of the hydraulic support guard plate is one of the main operations in coal mines. In order to automatically identify the working state of each plate in the monitoring video， an intelligent recognition algorithm is studied. Combining deep learning and computer vision algorithms， motion features are extracted using Histograms of Oriented Optical Flow （HOF） fused with amplitude information. The experimental results show that the accuracy rate reaches 88.69%， the precision rate reaches 79.08%， the recall rate reaches 76.16%， the F1 score value reaches 76.53%， and the fps value reaches 18 frames/s， which verifies the feasibility and effectiveness of the algorithm.

Key words： hydraulic support guard plate; Histograms of Oriented Optical Flow; motion recognition; computer vision; coal mine operations

0 引言

為實現煤礦生產無人化，以最大程度的保障人員生產安全，越來越多的礦井安裝了大量攝像頭用于遠程監管煤礦生產活動、規范生產行為，其中液壓支架護幫板是保障煤礦生產安全的重要手段之一，其主要功能是防止煤壁片幫，對其工作狀態進行實時監控是減少事故率的關鍵。圖1為液壓支架的結構簡圖，而本文識別的主要區域為圖1中的裝置1：護幫裝置的護幫板。

目前，國內外基于液壓支架護幫板運動狀態非接觸式智能識別的研究也主要集中在圖像處理和計算機視覺領域。比如，滿溢橋[1]聯合圖像增強技術和護幫板位姿解算模型設計了一套識別算法，該算法監測護幫板圖像誤差較小，但是鄰架護幫板的運動會影響其識別性能，而且需要大量的破壞性實驗進行驗證，因此，該算法距離實際應用尚且有一定差距。王淵[2]等人結合除霧算法與機器視覺技術，提出一種新的識別算法：采用圖像處理技術測量圖像中護幫板收回角度，以此來識別液壓支架護幫板的工作狀態。但上述方法均需要攝像頭的拍攝角度滿足一定要求。而煤礦井下的監控攝像頭的安裝角度卻是多種多樣，這將導致上述算法的識別性能穩定性差。

針對上述問題，本文提出一種基于計算機視覺的液壓支架護幫板工作狀態智能識別算法，創新點主要體現在以下兩個方面：

⑴ 結合深度學習和計算機視覺技術，提出適應多角度拍攝場景的一套識別算法，該算法能實時地識別不同拍攝角度下的多個護幫板的工作狀態;

⑵ 在判斷護幫板工作狀態環節，提出了融合幅度信息的光流直方圖。由于灰塵運動、手電光亮快速晃動會對識別效果產生不利影響，且灰塵運動、手電光亮晃動和防護板運動的幅度存在明顯差異，本文在傳統光流直方圖的基礎上融入了運動幅度信息減少灰塵運動、手電光亮對識別效果的影響。

1 算法整體流程

護幫板工作狀態識別算法主要分為兩個部分：護幫板定位算法和工作狀態識別算法。如圖2所示，護幫板定位算法部分主要流程為：通過暗通道除霧算法降低灰塵影響，再采用YOLO-V3[3]定位護幫板區域;工作狀態識別算法主要流程為：對護幫板區域進行低通濾波預處理，計算該區域的光流圖，并提取融合幅度信息的光流直方圖作為運動特征，最后用XGBoost來分類融合幅度信息的光流直方圖的運動特征。

2 護幫板定位算法

為了降低灰塵和霧氣對護幫板工作狀態檢測的影響，首先采用暗通道算法[4]對圖像進行增強處理，再采用YOLO-V3算法定位護幫板的圖像區域。YOLO-V3算法是目前流行的目標檢測框架，該算法可以檢測不同尺寸的目標，特征提取效果更好[5]，能夠較為準確地定位護幫板的位置，有助于進一步提取護幫板區域的運動特征。

3 護幫板工作狀態識別算法

護幫板工作狀態識別算法主要包括圖像預處理、運動特征提取和運動特征分類。

⑴ 圖像預處理：為了降低圖像中的光照變化對運動特征提取的影響，采用低通濾波算法對圖像進行降噪處理。

⑵ 運動特征提取：采用Farneback算法[6]提取圖像中護幫板位置的稠密光流圖，再利用幅度信息改進傳統的光流直方圖（Histograms of Oriented Optical Flow，HOF）[7]并將其作為運動特征。

光流直方圖是常用的運動特征，對稠密光流圖進行加權統計得到：通常將光流向量映射到12個方向，得到12個特征，但該特征更關注運動的方向信息而忽略了運動幅度信息。在實際的監控視頻場景中，灰塵的運動、手電光的快速運動等，嚴重影響護幫板工作狀態的識別，僅靠光流方向很難準確的實現運動特征分類。通過光流圖像分析發現，灰塵運動的幅度較弱，手電光的運動幅度較大，而防護板的運動幅度介于二者中間。由此可以發現不同物體的運動具有不同的幅度信息。基于此，提出融合幅度信息的光流直方圖，其改進方案如下。

若某一像素點為P，對應的光流為（x，y），則所映射的方向具體可以用以下方式計算：

[θ=tan-1yx]? ?⑴

其中[θ]是求出的角度，當角度落在范圍：

[2（b-1）πB≤θ≤2bπB]

s.t.[ 1≤b≤B]? ⑵

當光流幅值[d=（x2+y2）12]

[（h-1）（Dmax-Dmin）H≤d≤h（Dmax-Dmin）H]

s.t.[ 0≤h≤H]? ⑶

其中：H為量化后的幅度信息的數量，d作用到光流直方圖第h個的bin中，最后兩者歸一化直方圖[7]。b為HOF特征第b個維度，B為光流場方向個數;式⑶中[Dmax，Dmin]分別為幅值最大值最小值。根據式⑴、式⑵可計算該區域光流方向的直方圖，根據式⑹可計算該區域光流幅度的直方圖，再按照圖3中的融合幅度信息的HOF計算過程可計算出融合幅度信息的光流直方圖。融合幅度信息的光流直方圖如圖3所示。

⑶ 運動特征分類：XGBoost屬于集成學習算法，由多個互相關聯的基學習器共同決策[8]，在分類問題上表現優秀，可用于處理大規模數據[9，10]。XGBoost包含一個迭代殘差樹的集合，利用梯度提升算法不斷減少已生成的決策樹的損失，每棵樹都在學習其前面所有樹的殘差，最后將每棵樹預測的結果相加作為樣本的最終結果[11，12]。

4 實驗環境和分析

4.1 實驗環境

為驗證本文算法的實用性和有效性，本文采用的數據來源于Marco公司提供的礦下監控視頻，本文實驗環境為：海康DS-2cd3t56wd，Intel Xeon CPU E5-2680 V4 2.40GHz，64內存NVIDIA TITAN V。

4.2 實驗數據

本文采用的數據來源于Marco公司提供的礦下監控視頻，礦井中的攝像頭一般安裝在護幫板對面的正上方，每隔3-5個護幫板安裝一個攝像頭，攝像頭旋轉時可以拍攝到7-8個護幫板。圖4為視頻原始圖像，其中圖4（a）、圖4（b）分別為同一視頻場景下攝像頭發生旋轉拍攝的不同角度的圖像。用于YOLO-V3模型訓練的數據集累計248774張圖片，訓練集與測試集比例為8：2，用于XGBoost型訓練的數據集累計4659張圖片，訓練集與測試集比例為8：2。

4.3 實驗方案

本實驗分為護幫板定位算法和護幫板工作狀態識別算法兩部分。YOLO-V3檢測三類：大護幫板，小護幫板，非護幫板，表1為YOLO-V3模型和XGBoost模型訓練參數。本實驗以準確率（Accuracy）、精確率（Precision）、召回率（Recall）、F1_score、識別速度（fps）作為評價指標。對照實驗：低通濾波和改進光流直方圖的特征提取方法識別護幫板工作狀態的效果。

4.4 實驗結果

根據4.3里的評價指標，實驗結果如表2所示，本文對檢測方案中的均值濾波和改進的光流直方圖進行了對比試驗。從實驗一和實驗二的對比可以看出，對圖像進行均值濾波預處理后，傳統光流直方圖提取特征的效果都有所提升。由實驗三、實驗四對比可以看出，采用均值濾波處視頻圖像加上改進光流直方圖特征提取方法的算法，無論是在準確率、精確率、召回率還是F1_score，都有極大的提高，只在檢測速度（fps）上有所下降。

4.5 實驗結論

依據上述對比實驗可以得出，將視頻圖像進行低通濾波預處理，再采用改進的光流直方圖提取護幫板運動特征，可以在一定程度上克服礦井下灰塵運動和光線變化的影響，區分更多的運動信息，算法在攝像頭發生旋轉的情況下也可以達到較好的檢測效果。

5 結束語

針對煤礦場景下液壓支架護幫板傳統接觸式檢測難題，本文基于計算機視覺技術，提出液壓支架護幫板工作狀態智能識別算法。該算法分別通過除霧算法和低通濾波得到較高質量的圖像，結合YOLO-V3算法得到的護幫板位置信息進行光流計算，并針對傳統的光流直方圖加入了運動幅度信息提取特征，豐富了護幫板運動特征信息。實驗表明融合幅度信息的光流直方圖算法方案在各項實驗指標上都有較好表現，可作為液壓支架護幫板狀態智能檢測的手段。

參考文獻（References）：

[1] 滿溢橋.液壓支架護幫板與采煤機滾筒截割干涉監測技術研究[D].徐州：中國礦業大學，2019

[2] 王淵，李紅衛，郭衛，等.基于圖像識別的液壓支架護幫板收回狀態監測方法[J].工礦自動化，2019，45（? ? 2）：47-53

[3] Redmon J，Farhadi A.YOLOv3：an increamental improve-ment[J]. IEEE Conference on Computer Vision and Pattern Recognition，2018：89-95

[4] HE K M，SUNJ，TANGXO.Guided Image Filtering[J].IEEE Transactions on Software Engineering，2013，35（6）：1397-1409

[5] 施輝，陳先橋，楊英.改進YOLO v3的安全帽佩戴檢測方法[J].計算機工程與應用，2019，55（11）：213-220

[6] 周偉.基于光流法的目標提取與跟蹤算法研究[D].贛州：江西理工大學，2017

[7] 劉闖.基于計算機視覺的人體行為識別方法[D].南京：南京郵電大學，2019

[8] PAN B Y. Application of XGBoost algorithm in hourly PM2.5 concentration prediction[J].IOP Conference Series：Earth and Environmental Science，2018，113（1）：1-7

[9] 武康康，周鵬，陸葉，等.基于小批量梯度下降法的 FIR 濾波器[J].廣西師范大學學報（自然科學版）1-14[2021-05-17]

[10] SUKHPREET D，ABDULLAH N，ROBERT A. Effective intrusion detection system using XGBoost[J].Information，2018，9（7）：149-173

[11] LI W，YIN Y B，QUAN X W，et al. Gene expression value prediction based on XGBoost algorithm[J]. Frontiers in Genetics，2019，10：1-7

[12] 凌毓，張金區，李鄉儒，李慧.基于XGBoost的單脈沖信號識別研究[J].天文研究與技術：1-15[2021-06-25]