基于YOLO V3的露天礦電鏟鏟斗工作狀態檢測研究

李雪健，繆衛峰，杜勇志，盧進南

（1.神華寶日希勒能源有限公司，內蒙古呼倫貝爾 021025；2.遼寧工程技術大學機械工程學院，遼寧阜新 123000）

大型電鏟（礦用挖掘機）對工作環境適應性強、對物料的爆破要求低、生產效率高、運營成本低，是露天礦采掘的主要工程機械。保證施工過程中鏟斗狀態良好，實現電鏟斗齒的實時檢測具有重要的工程意義和實用價值。目前斗齒檢測依賴于駕駛室側面屏幕進行人工判別，駕駛員工作負荷極高，并且極易因為光線變化、人為疏忽導致未及時發現斗齒脫落，嚴重影響工作效率和生產安全。

斗齒狀態自動監測近年來吸引了很多學者關注。Xiujuan Luo 等[1]利用激光測距儀進行斗齒檢測，使用激光測距儀測量工作狀態下的斗齒間離，再建立三維模型，通過健康狀態下的模型進行對比進行斗齒脫落判斷；He Li[2]通過圖像的形貌、結構和形狀特征，使用傳統目標檢測算法，通過斗齒間相互位置關系添加結構特征約束和訓練支持向量機來進行目標檢測；Ser Nam Lim 等[3]提取電鏟在運動過程中鏟斗的圖像樣本，先對斗齒進行大體定位，再用幀差法和光流法來對結果進行修正，最后通過模板匹配和齒線擬合確定位斗齒目標，結合斗齒圖像的相關灰度特征判斷斗齒是否斷裂或者脫落；湯恒[4]使用梯度方向直方圖特征結合支持向量機的目標檢測框架對紅外圖像中的斗齒進行目標檢測；岳海峰[5]通過圖像識別特定位置進行鏟斗抓拍以及隔幀取流的關鍵算法分析，將基于圖像識別的斗齒監控系統應用在挖掘機上，實現了對斗齒磨損或者丟失的自動識別和自動報警。

1 電鏟斗齒監測系統與算法

1.1 電鏟斗齒監測系統架構

電鏟駕駛室空間有限，為了保障安全生產，不宜在駕駛室使用大體積、大功率用電設備，因此采用高性能嵌入式計算平臺和輕量化的目標檢測算法進行斗齒檢測。根據市場調研，基于項目的需求、工業應用的穩定性等綜合性考慮采用英偉達（NVIDIA）公司生產的嵌入式AI 處理平臺Jetson AGX Xavier。電鏟斗齒監測系統架構如圖1。

圖1 電鏟斗齒監測系統架構

系統充分考慮了電鏟機械結構與生產現場的能耗、空間、人機工效等因素，采用被動式、非接觸的圖像傳感器進行目標識別與脫落判定，將斗齒監測系統分為圖像采集系統、深度學習監測系統、監控預警系統3 部分，具有成本低、易維護、改裝方便等優點。

1.2 斗齒檢測模型

YOLO（You Only Look Once）V3 是到目前為止速度和精度最均衡的目標檢測網絡之一，引入多尺度機制，用效率更高的基礎分類網絡與分離器，將YOLO 系列的短板（不擅長檢測小物體等）全部補齊，達到了令人驚艷的效果和較高的速度[6]。利用YOLO V3 tiny 確定斗齒位置，再利用特征匹配進行斗齒脫落判定，從而對斗齒狀態進行監測。

1）基于YOLO V3 tiny 的斗齒檢測模型。YOLO的核心思想是將整個圖片輸入網絡，直接在輸出層回歸邊界框的位置及其所屬類別。YOLO V3 包含Darknet-53 網絡結構、anchor 錨框、FPN（Feature Pyramid Networks）等優秀結構，YOLO V3 網絡結構如圖2。

圖2 YOLO V3 網絡結構

2）錨框選取與模型壓縮。通過K-means 聚類算法將訓練數據已標注好的斗齒標注框進行聚類，從中挑選出幾類最適合的斗齒類型作為錨框，提檢測精度。對卷積層參數與模型計算量與精度息息相關，通過調整卷積層參數以平衡模型大小（檢測精度）與檢測速度，以達到速度與精度的最優組合。

3）基于特征匹配的斗齒脫落判定。在確定2 幅圖像中斗齒的位置后，需要測量斗齒脫落的概率。斗齒脫落時，當前圖像和參考幀在同一位置將會存在較大差異，利用尺度不變特征變換（SIFT，Scale Invariant Feature Transformation）[7]對2 幅圖像進行匹配。基于SIFT 的圖像配準流程如圖3（RANSAC 為隨機抽樣一致性（Random Sample Sonsensus）算法）。

圖3 基于SIFT 的圖像配準流程

斗齒脫落的可能性miss_score（c）函數為：

式中：c 為以r 為圓心的中心點，像素；Θc為圓中像素點數目，像素；p 為其中1 個點；D 為2 幅圖中的差異矩陣；p（x）、p（y）為x 和y 是p 點的橫縱坐標，像素。

miss_score（c）值越大，該斗齒脫落的概率越大，當該值超過一定閾值時，判定為該斗齒已脫落。

2 數據采集與深度學習數據增強

2.1 數據采集與原始數據獲取

圖像采集裝置安裝位置如圖4，系統在鏟斗上下兩側各安裝1 處攝像機，對斗齒2 種角度圖像進行獲取。

圖4 圖像采集裝置安裝位置

通過一段時間的錄制，對電鏟在各種天氣、光照和工況下的圖像進行采集，再對圖像進行篩選作為訓練樣本。但是，由于安全生產緣故，電鏟作業時圖像只能由事先裝好的2 處固定機位的相機采集，產生的數據具有極高的重復性，難以滿足深度學習算法訓練需要的樣本多樣性要求，這樣訓練出的網絡對環境的魯棒性低，因此，需要通過數據增強產生更多的圖像進行訓練。

2.2 數據增強

數據增強也叫數據擴增[8]，是在不實質性的增加數據的情況下，讓有限的數據產生等價于更多數據的價值。通過采用預設的數據變換規則，在已有數據的基礎上進行數據的擴增，對最后的識別性能和泛化能力都有著非常重要的作用。

1）顏色變換[6]。顏色的數據增強：圖像亮度、飽和度、對比度變化，主成分變換按照RGB 3 個顏色通道計算均值和標準差，再在整個訓練集上計算協方差矩陣，進行特征分解，得到特征向量和特征值。

2）亮度變換。亮度變換通過以下規則實現：

式中：L 為原始圖像的亮度，標量；L′為目標圖像的亮度，標量；k 為0.8～1.2 的隨機數。

3）幾何變換。包括尺度變換、隨機裁剪、水平/垂直翻轉、平移變換、旋轉/仿射變換等。

4）添加噪聲。高斯噪聲、模糊處理。

3 驗證結果

為了驗證該方法，數據采集裝置為2 部紅外補光的可見光相機，采用的硬件平臺為NVIDIA 嵌入式開發平臺Jetson Xavier，并在其上同時運行2 個YOLO V3-tiny 進程，同時從2 個角度對斗齒進行監測，提高監測的魯棒性。在內蒙古自治區呼倫貝爾市某大型露頭煤礦中的WK-10 大型電鏟進行了5 d 數據采集和15 d 算法測試。

為提高駕駛員作業時態勢感知的能力，充分調研駕駛員意見后，對下方前視相機圖像檢測鏟斗與斗齒，對上方下視圖像檢測斗齒與入侵車輛。結果顯示，圖像分辨率為640×480 條件下，同時對2 路視頻進行目標檢測，均可達到20 幀/s 以上的檢測速度，且具有85%以上的檢測精度。在不同氣象條件和光照條件下，都可以穩定地識別出斗齒和入侵車輛，具有速度快、魯棒性強的優點。

此外，數據增強對深度神經網絡檢測精度等有重要影響，由于安全生產緣故，攝像機安裝位置固定，采集的圖像相似度很大，有效圖像較少，因此，通過數據增強對訓練集進行擴充，數據增強后的訓練結果見表1。

表1 數據增強后的訓練結果

由表1可以看出，在加入擴充數據集后，能有效消除神經網絡訓練中過擬合現象，避免由于數據集過小導致的訓練誤差較大的情況，提高了系統檢測的魯棒性和檢測精度。

4 結語

圍繞大型電鏟斗齒檢測問題，提出了一種低成本的基于深度神經網絡的電鏟斗齒實時監測方法，本方法通過數據增強，克服了有效訓練數據較少帶來的檢測精度低等問題，同時對通過特征匹配，對斗齒脫落概率進行了判定。試驗表明，基于深度學習的電鏟斗齒檢測方法平均速度可以達到20 幀/s（2 路視頻同時檢測），準確率可達85%，有效提升了挖掘作業的效率，對煤礦企業安全生產具有重要的作用。