基于改進YOLOv5s的護幫板異常檢測方法研究

張旭輝，閆建星，麻 兵，鞠佳杉，沈奇峰，吳雨佳

（1.西安科技大學機械工程學院，陜西西安 710054；2.陜西省礦山機電裝備智能監測重點實驗室，陜西西安 710054）

采煤機和液壓支架護幫板的運行狀態關系著煤礦生產的安全。在煤礦綜采過程中，須準確識別護幫板是否支護到位，以防止煤壁片幫；準確識別護幫板與采煤機的運動是否產生干涉，以防止設備損壞。傳統的護幫板檢測方法是采用傳感器進行檢測。如：魏文艷等[1]提出了一種護幫板自動控制系統和自動控制方法，采用接近開關、壓力傳感器和行程傳感器監測護幫板狀態；黃金福等[2]設計了一種護幫板控制裝置，采用傾角傳感器和壓力傳感器監測護幫板的支護狀態；梁海權等[3]提出了一種護幫板狀態監測方法，將電壓運算電路與磁感應器相連來監測護幫板狀態；徐勇智[4]設計了一種護幫板收放監測系統，結合接近開關、壓力傳感器、PLC（programmable logic controller，可編程邏輯控制器）和LabVIEW軟件來識別和控制護幫板的支護狀態。上述方法都采用了大量傳感器，存在設備成本高和維修困難等問題。隨著機器視覺技術的發展，學者們提出了圖像檢測方法。如：王淵等[5]提出了一種采用圖像邊緣檢測技術識別護幫板狀態的方法。同時，隨著深度學習技術的發展，目標檢測在工業領域得到成功應用[6]。如：南柄飛等[7]提出了一種應用于煤礦井下復雜環境場景的關鍵設備目標對象實時感知方法，提高了目標檢測的精度與實時性；Xie等[8]通過Faster RCNN （region based convolutional neural network，區域卷積神經網絡）目標檢測，實現了魚肉中魚骨的自動化檢測；周得永等[9]通過YOLOv3算法實現了太陽能電池板缺陷檢測；張博堯等[10]提出了一種基于YOLOv4網絡模型的金屬表面劃痕檢測方法；韓佳彤等[11]通過YOLOv5網絡模型實現了市政道路破損的檢測；張全等[12]提出了一種融合YOLOv5-ResNet級聯網絡的煙火檢測方法；李一鳴等[13]基于YOLOv5s模型實現了軋鋼表面缺陷檢測；葉歐等[14]提出一種融合輕量級網絡和雙重注意力機制的大塊煤檢測方法，減少了模型參數；魏強[15]針對機器視覺測量的實時性問題，提出了一種基于神經網絡的液壓支架護幫板狀態自動檢測方法，采用Tiny-YOLOv3目標檢測方法實現了護幫板支護狀態的實時檢測。基于深度學習的目標檢測方法雖然具有較高的準確度，但參數量和計算量較大，計算資源和內存消耗大，難以在嵌入式設備上部署。

本文提出一種基于改進YOLOv5s算法的護幫板異常檢測方法。在YOLOv5s算法的基礎上，將MobileNetV3網絡結構和NAM（normalization-based attention module，標準化注意力模塊）替換主干特征提取網絡，在減小參數量的同時提高特征提取能力；優化邊框回歸損失函數，以提高訓練速度和精度，便于輕量化模型的部署；通過知識蒸餾，實現在擁有較小參數量的基礎上提高檢測精度；結合護幫板異常狀態分析與改進的YOLOv5s實現護幫板異常檢測。綜上，可以在減小參數量的同時保證有較高的精度和較低的硬件成本，以實現在嵌入式終端設備實時檢測護幫板狀態，滿足煤礦工業應用需求。

1 護幫板狀態檢測系統總體設計

1.1 護幫板狀態采集方式

礦用防爆高清本安型攝像頭安裝在煤礦巡檢機器人云臺上，如圖1所示。攝像頭分辨率為（1 920×1 080）像素。通過云臺調整攝像頭，進行護幫板和采煤機視頻的采集。

圖1 護幫板狀態采集攝像頭安裝示意Fig.1 Installation schematic of state acquisition camera of side guard

1.2 護幫板狀態

根據煤礦綜采工作面液壓支架護幫板的支護要求，護幫板須與采煤機協同運行。護幫板的狀態如圖2所示。采煤機截割頭標注為caimei；根據護幫板展開角度，護幫板的狀態分為8種，分別標注為hb00、hb00_30、hb30_60、hb60_90、hb90、hb90yc、hb90_120和hbyc。其中：hb00為護幫板完全收回狀態，采煤機截割頭運行時與護幫板不干涉；hb00_30、hb30_60、hb60_90為護幫板展開狀態，采煤機運行時會與護幫板發生干涉；hb90為護幫板展開90°的狀態，護幫板緊貼煤壁，對煤壁支護到位，可有效防止煤壁片幫；hb90yc表示護幫板結構出現問題，須更換；hb90yc表示護幫板展開90°，且護幫板與煤壁留有很小的間隙，支護強度不夠；hb90_120表示護幫板展開角度過大，護幫板與煤壁留有很大的間隙，支護強度不夠。

圖2 護幫板狀態Fig.2 Status of side guard

1.3 護幫板數據集制作

實驗所用的護幫板數據集hb_data2021來源于陜西榆林某煤礦，從該煤礦調取了時長為10 d的煤礦監控視頻。采用FFmpeg程序調取護幫板和采煤機的工作視頻，視頻流每播放1 s保存為1張圖片，共得到10 000張煤礦井下真實圖像。采用LabelImg軟件在圖像上對護幫板狀態進行標注，如圖3所示，制作成護幫板數據集，然后以8∶1∶1的比例形成為訓練集、驗證集和測試集。

圖3 護幫板狀態標注示例Fig.3 Example of state marking of side guard

1.4 護幫板異常狀態的檢測

護幫板異常狀態檢測系統如圖4所示。首先，在服務器上訓練基于改進YOLOv5s的目標檢測模型，將異常狀態檢測模型移植到嵌入式設備；其次，通過搭載在巡檢機器人上的攝像頭采集護幫板、采煤機視頻，采用FFmpeg插件解碼視頻并將它傳送到嵌入式設備中進行實時異常檢測；最后，若嵌入式設備檢測結果為異常，聲光報警燈進行異常報警，提醒液壓支架工進行相應的處理直至系統正常運作，同時將檢測結果上傳至集控中心。若出現錯檢、漏檢，須將錯檢、漏檢的數據進行更新，再次訓練，以保證系統的準確率。

圖4 護幫板異常狀態檢測系統Fig.4 Detection system for abnormal state of side guard

2 YOLOv5s算法

YOLOv5模型是目前YOLO系列較新的版本，分為 YOLOv5s、 YOLOv5m、 YOLOv5l和 YOLOv5x，其網絡結構復雜度和參數量依次遞增。YOLOv5s的模型參數最小，為7.2 MB，模型網絡深度和寬度最小，檢測速度最快；YOLOv5x的模型參數最大，為86.7 MB，模型網絡深度和寬度最大。本文選擇檢測速度最快、識別精度較高的YOLOv5s，便于將其部署到嵌入式設備中。

YOLOv5s網絡結構包括Input、Bacbone、Neck和Output四部分，如圖5所示。

圖5 YOLOv5s網絡結構Fig.5 YOLOv5s network structure

Input表示輸入（608×608）像素的圖片。圖片進行了數據增強、縮放和自適應錨框等處理。

Bacbone為特征提取網絡，包括Focus、Conv、C3和SPP（spatial pyranid pooling，空間金字塔模塊）等模塊。其中：Focus模塊通過切片操作減少計算量和網絡層數，提高推理速度；Conv是卷積模塊，用來提取特征；C3模塊是CSPNet將底層的特征圖按通道拆分為兩部分，一部分經過密集塊和過渡層，另一部分與傳輸的特征圖結合；SPP模塊通過4個不同的池化層向下傳遞和融合。

Neck為特征融合網絡，將特征進行融合，然后傳遞到輸出端。其包含FPN（feature pyramid networks，特征金字塔）+PAN（path aggregation network，路徑聚合結構）結構，其中：FPN自頂向下傳遞特征的結構，利用Upsampl傳遞和融合特征信息得到特征圖；PAN采用自下向上的傳遞融合方式，增強特征提取能力。

Output為非極大值抑制和損失函數。采用GIoU[16]作為損失函數。

3 YOLOv5s網絡模型的改進

3.1 主干網絡改進

相比YOLOv3模型，YOLOv5s的速度和精度得到了提升，但模型仍然較大，不適合部署到顯存和內存較小的嵌入式設備上。YOLOv5s模型使用傳統卷積參數量Din×k×k×Dout，其中：Din為輸入特征圖，k為卷積核大小，Dout為輸出特征圖。

YOLOv5s主干網絡模型復雜度過高。為了減小參數量，提高推理速度，須采用更優的算法部署到嵌入式設備上。本文采用MobileNetv3[17]來改進YOLOv5s主干網絡。MobileNetv3主干網絡中Bneck的網絡結構如圖6所示。

圖6 Bneck網絡結構Fig.6 Bneck network structure

Bneck采用深度可分離卷積。在不影響模型性能的前提下，與傳統卷積相比，其模型參數量顯著減小。參數量下降比為：

為了在保持精度的前提下提高推理速度，在MobileNetv3中引入h-swish函數。在設計特征提取網絡時，考慮到模型檢測實時性的要求，在網絡前端采用ReLU函數，只在后端采用h-swish函數，以減小h-swish造成的網絡延遲，達到檢測速度和精度的平衡。

由于煤礦井下環境復雜，井下目標尺度多樣，為了提高特征提取能力，在MobileNetv3中引入注意力機制SENet[18]。對每個通道進行全局平均池化，采用2個全連接層對通道進行膨脹和壓縮。然而，2個全連接層的使用會增大參數量，同時SENet在抑制不重要的像素時也會帶來效率低下的問題，因此引入輕量級注意力機制NAM[19]，可以避免SENet、CBAM（convolutional block attention module，卷積注意力機制模塊）[20]使用的全連接層和卷積層，降低模型復雜度，提高準確率與檢測速度。NAM采用CBAM模塊整合方式。CBAM的網絡結構如圖7所示。利用權重的貢獻因子來改善注意力機制，重新設計了空間和通道注意力模塊。對于通道注意力模塊，采用批歸一化中的比例因子，如式(2)所示。

圖7 CBAM網絡結構Fig.7 CBAM network structure

式中：P表示批歸一化；Bin為輸入特征；Bout為輸出特征；μB為均值；σB為標準差；?為誤差；a和o均為可訓練的仿射變換參數。

通道注意力子模塊的結構如圖8所示。圖中：F1為輸入特征；Mc為輸出特征，如式(3)所示。權值γi是每個通道的比例因子。這里將P的比例因子應用于空間維度，稱之為像素歸一化。

圖8 通道注意力模塊的結構Fig.8 Structure of channel attention module

空間注意力子模塊的結構如圖9所示。圖中：F2為輸入特征；Ms為輸出特征，如式(4)所示。權值λj為每個通道的比例因子。將P的比例因子應用于空間維度，稱之為像素歸一化。

圖9 空間注意力模塊的結構Fig.9 Structure of spatial attention module

3.2 損失函數的改進

GIoU損失函數引入了預測框和真實框的最小外接矩形，改善了在真實框和預測框不相交的情況下無法預測兩者距離的問題[21]。CIoU預測框和真實框如圖10所示。當預測框與真實框完全重疊時，損失值不會改變，在訓練過程中也不會發生發散。CIoU損失函數優化了重疊面積、中心點距離和縱橫比，使得目標框回歸更加穩定，有助于提高收斂速度和最終的檢測性能[22]。CIoU的定義如下：

圖10 CIoU預測框和真實框Fig.10 CIoU prediction frame and real frame

式中：I為交并比；G∩D表示預測框D與真實框G的相交區域；D∪G表示預測框D與真實框G的并集區域。

式中：LCloU為CIoU損失；ρ為預測框與真實框中心點之間的距離；b、bgt分別為預測框和真實框的中心點；c為預測框與真實框并集區域的對角線距離；β為權重系數；u為長寬比的相似系數；ω、h分別為預測框的高度和寬度；ωgt、hgt分別為真實框的高度和寬度。

該損失函數在訓練過程中損失及梯度不能自適應，從而影響訓練效果。為了解決這一問題，對CIoU進一步優化，引入α-IoU[23]。通過Box-Cox變換，將IoU損失歸納為α-IOU，即：

式中：Lα-IoU為α-IOU損失；α為變換參數。

根據式(8)，采用相同的參數α歸納出基于CIoU的損失函數α-CIOU，即：

CIOU和α-CIoU的損失及梯度如圖11所示。當0＜α＜1和α＞1時，α-CIoU將根據所有目標的CIoU降低High CIoU目標的權重，影響邊界框的回歸精度；當α＞1時，α-CIoU提高了High CIoU目標損失和梯度自適應加權的邊界框的回歸精度，可以幫助模型更加關注于High CIoU目標，提高定位和檢測性能。本文取α=3，使模型更加關注于High CIoU目標。因此，優化的α-CIoU比CIoU更有利于提高High CIoU目標邊界框的回歸精度和輕量化模型網絡結構。

圖11 CIOU和α-CIoU的損失及梯度Fig.11 Loss and gradient of CIoU and α-CIoU

3.3 知識蒸餾

MobileNetv3為輕量級網絡。針對模型輕量化改進后精度下降的問題，引入知識蒸餾[24]，即：采用遷移學習的思路將教師模型轉移到學生模型，指導學生模型的訓練，使學生網絡在擁有較小參數量的條件下達到與教師網絡相同甚至高于教師網絡的精度。故以YOLOv5s為教師模型，將改進后的YOLOv5s模型作為學生模型，進行知識蒸餾，得到最終輕量化模型，如圖12所示。

圖12 知識蒸餾Fig.12 Knowledge distillation

4 基于改進YOLOv5s的護幫板支護狀態檢測方法

液壓支架長期在綜采工作面工作，會出現故障甚至損壞，或者出現運動干涉，因此需巡檢機器人及時發現并進行相應的處理。

根據采煤機采煤工藝的需求，護幫板支護狀態分為2類：正常狀態和異常狀態。正常狀態分為3種：1）只檢測到hb90，即沒有采煤機時護幫板處于正常的支護狀態；2）只檢測到采煤機截割頭；3）只檢測到采煤機截割頭、護幫板hb00狀態，即采煤機工作時護幫板處于完全收回狀態。異常狀態是指除正常狀態以外的檢測結果的組合：1）采煤機未工作時護幫板支護狀態不到位；2）采煤機工作時護幫板收回不到位，出現設備干涉。

通過改進的YOLOv5s對護幫板視頻進行檢測，對檢測后的標簽進行分類，判定其是否異常。用條件判斷語句檢測標簽結果并進行分類處理：如果監控視頻中一幀的檢測結果只有標簽caimei和hb00，在監控視頻左下角顯示綠色的“normal”，表示為正常工作狀態；如果監控視頻中一幀的檢測結果只有標簽hb90，在監控視頻左上角顯示綠色的“normal”，表示為正常工作狀態；如果監控視頻中一幀的檢測結果只有標簽caimei，在監控視頻左下角顯示綠色的“normal”，表示為正常工作狀態；如檢測到其他標簽組合，則在監控視頻左下角顯示紅色的“abnormal”，表示為異常工作狀態。當出現異常狀態時，聲光報警燈報警，提醒液壓支架工進行處理。

5 護幫板狀態檢測實驗

5.1 實驗環境

實驗模型訓練平臺為Intel(R)Core(TM)i7-11800H（內存為16 GB）和NVIDIA GeForce RTX 3060 Laptop GPU（顯存為6 GB），模型測試硬件環境為Intel(R)Core(TM)i7-8750H（內存為16 GB）和NVIDIA RTX 2080 Ti（顯存為6 GB），最后在NVIDIAJetson Xavier NX上開展模型推理實驗。

5.2 訓練參數及評價指標

模型訓練參數如表1所示。

表1 模型訓練參數Table 1 Model training parameters

將平均精度T、參數量C和推理速度ν作為評價指標。

準確率R表示正確預測的比例，可表示為：

式中：V為被正確檢測的護幫板和采煤機個數；Q為被誤檢的護幫板和采煤機個數。

T是對全部類別的平均精度Ta求均值，而Ta可以表示為：

式中：r為召回率。

5.3 實驗結果與分析

1）主干網絡輕量化改進對比。

為了驗證主干網絡輕量化結合注意力機制改進的有效性，設置了主干網絡輕量化改進對比實驗，利用標準數據集VOC2007進行實驗訓練。實驗結果如表2所示。

表2 主干網絡輕量化改進實驗結果Table 2 Experimental results of backbone network lightweight improvement

由表2可知：MobileNetv3_YOLOv5s模型與基礎網絡YOLOv5s相比，平均精度降低了3.5%，但參數量減小了49.8%，推理速度提升了27.1%；將MobileNetv3增加2種注意力機制模型，MNtCBAM_YOLOv5s與MobileNetv3_YOLOv5s相比，須增大參數量才能提升網絡的平均精度和推理速度，而MNtNAM_YOLOv5s可以在不增大參數量的前提下提升網絡的平均精度和推理速度。本文提出的MNtNAM_YOLOv5s相比YOLOv5s，平均精度略下降2.5%，但參數量減小了49.8%，推理速度提升了36.6%。因此，改進后的輕量化主干網絡仍具有良好的檢測性能，更適合部署到嵌入式設備。

2）損失函數改進對比。

為了驗證α-CIoU的有效性，設置了損失函數改進對比實驗。YOLOv5s默認損失函數為CIoU，α-CIoU中取α=3，對標準數據集VOC2007進行實驗訓練。實驗結果如表3所示。

表3 損失函數改進實驗結果Table 3 Experimental results of loss function improvement

由表3可知：YOLOv5s(α-CIoU)與YOLOv5s相比，T50提高了0.24%，T50～95提高了10.85%，T提高了 1.6%；MNtNAM_YOLOv5s_(α-CIoU)與 YOLOv5s相比，T50提高了0.23%，T50～95提高了10.26%，T提高了1.5%。實驗結果表明：取α=3，采用α-CIoU時，平均精度提高；對于Low CIoU目標，精度提高得較少，對于High CIoU目標，精度提高得較多；模型會使High CIoU目標更加敏感及得到更多關注，參數量也沒有增大，因此更適合輕量化模型。

3）知識蒸餾對比。

為了驗證知識蒸餾的有效性，設置了知識蒸餾對比實驗，對標準數據集VOC2007進行實驗訓練。實驗結果如表4所示。

表4 知識蒸餾實驗結果Table 4 Experimental results of knowledge distillation

由表4可知：MNtNAM_YOLOv5s_(α-CIoU)_Dist的平均精度比學生模型MNtNAM_YOLOv5s_(α-CIoU)提高了1.5%，參數量增大了0.36 M；MNtNAM_YOLOv5s_(α-CIoU)_Dist的平均精度比YOLOv5s提高了1.0%，參數量減小了33.4%，推理加速了34.2%。學生網絡MNtNAM_YOLOv5s_(α-CIoU)參數量較小，精度較高。

4）改進YOLOv5s對hb_data2021訓練有效性驗證。

采用Faster R-CNN、 SSD、 YOLOv3、 YOLOv5s、 MNtNAM_YOLOv5s_(α-CIoU)_Dist(模 型表示為A-YOLOv5s)對護幫板數據集hb_data2021進行訓練實驗。實驗結果如表5所示。

表5 不同模型對hb_data2021的訓練結果Table 5 Training results of different models on hb_data2021

由表5可知：YOLOv5s與Faster R-CNN、SSD、YOLOv3相比，平均精度和準確率更高，參數量更小，推理時間更短，算法較適合移植到嵌入式設備中；A-YOLOv5s與YOLOv5s相比，平均精度提高了1.3%，參數量減小了33.4%，推理加速了33.3%，在測試集上的準確率提高了1.1%，因此改進后的算法更適合部署到嵌入式設備中。

在光照不均勻、有粉塵、環境良好等不同檢測環境下采用YOLOv5s和A-YOLOv5s進行護幫板狀態檢測。檢測結果如圖13所示。檢測結果表明，AYOLOv5s在不同檢測環境下對多尺度護幫板的檢測精度都較高，具有較好的護幫板狀態檢測能力。

圖13 不同檢測環境下基于YOLOv5s和A-YOLOv5s的互幫板狀態檢測結果Fig.13 Test results of side guard status based on YOLOv5s and A-YOLOv5s in different test environments

5）基于A-YOLOv5s的護幫板狀態檢測。

采用A-YOLOv5s對護幫板狀態進行檢測，根據檢測后的輸出標簽組合判斷護幫板的狀態是否正常。檢測結果如圖14所示。圖中：(a)為正常狀態，即護幫板正常支護狀態(hb90)，沒有采煤機出現，左下角顯示綠色“normal”；(b)為正常狀態，即有采煤機時護幫板為收回狀態(hb_00)，左下角顯示綠色“normal”；(c)和(d)為異常狀態，即為運動干涉狀態，左下角顯示紅色的“abnormal”。實驗表明護幫板異常檢測方法的檢測效果良好。

圖14 護幫板狀態檢測結果Fig.14 Test results of side guard status

6）模型在NVIDIA Jetson Xavier平臺的測試對比。

為了驗證A-YOLOv5s模型的實時性、可移植性，在嵌入式平臺NVIDIA Jetson Xavier對SSD、YOLOv3、YOLOv5s、A-YOLOv5s進行測試，如圖15所示。實驗結果如表6所示。

圖15 模型在NVIDIA Nvidia Jetson Xavier的測試Fig.15 Model testing on Nvidia Jetson Xavier platform

表6 模型在NVIDIA Jetson Xavier平臺的測試結果Table 6 Test results of the model on Nvidia Jetson Xavier platform

由表6可知，SSD、 YOLOv3、 YOLOv5s、A-YOLOv5s移植到Jetson Xavier后，平均精度變化較小；SSD、YOLOv3、YOLOv5s推理速度變慢，達不到30幀/s的要求，A-YOLOv5s可以滿足視頻實時性的要求，實現煤礦巡檢機器人自動巡檢。

6 結 論

針對接觸式護幫板檢測設備成本高、維護困難、效率低、易損壞，以及接觸式目標檢測推理速度慢、對硬件要求高，無法在顯存和內存較小的嵌入式設備上部署等問題，利用煤礦巡檢機器人和嵌入式設備，提出了一種基于改進YOLOv5s的液壓支架護幫板異常檢測方法。通過安裝在巡檢機器人上的本安型防爆攝像頭采集護幫板、采煤機圖像，在NVIDIA Jetson Xavier平臺上采用基于改進YOLOv5s的異常檢測方法對護幫板狀態進行識別。

針對原始網絡YOLOv5s參數量大、可移植性差等缺陷，采用MobileNetV3和NAM注意力機制替換主干網絡，在減小模型參數量的同時提高特征提取能力；采用改進的α-CIoU損失函數，進一步提高了護幫板檢測精度；對改進后的網絡進行知識蒸餾，在減小參數量的同時提高了護幫板檢測精度；實現了A-YOLOv5s模型在NVIDIA Jetson Xavier平臺的實時檢測。實驗結果表明，采用知識蒸餾后的網絡，平均精度提高了1.0%，參數量減小了33.4%，推理加速了34.2%。改進后的模型保持了較高的精度，同時參數量大幅減小，實時檢測性能得以提升。對基于改進YOLOv5s的護幫板狀態檢測結果的標簽組合進行分類，實現了護幫板異常檢測，實驗結果表明檢測效果良好。將基于改進的YOLOv5s的護幫板異常檢測方法部署在NVIDIA Jetson Xavier平臺上，可以滿足實時檢測要求，實現對護幫板狀態的自動巡檢，滿足煤礦工業實際需求。