基于圖像識別的電鏟鏟齒缺失智能監(jiān)控系統(tǒng)研究

靳海軍 黃國坤 趙利輝

（1.神華北電勝利能源有限公司露天礦機(jī)電管理部，內(nèi)蒙古錫林浩特026015；2.北京中礦華沃科技股份有限公司，北京100083）

0 引言

目前，露天礦現(xiàn)場的主要開采工藝還是以穿、爆、采、運為主要的工作形態(tài)。就大型土方、礦石載運工藝來說，電鏟裝載為應(yīng)用最多的裝載方式，而磨損和丟失的電鏟鏟齒也成為電鏟使用過程中的“易損件”。電鏟鏟齒一旦進(jìn)入后續(xù)生產(chǎn)流程，將給破碎機(jī)和皮帶運輸設(shè)備帶來災(zāi)難性損壞，給企業(yè)造成巨大的經(jīng)濟(jì)損失。然而在實際的礦業(yè)生產(chǎn)中，電鏟鏟齒脫落丟失的現(xiàn)象時有發(fā)生，且不易被及時發(fā)現(xiàn)，這樣脫落的鏟齒就極有可能混入礦石中，并與之一起進(jìn)入破碎機(jī)，進(jìn)而對破碎機(jī)以及皮帶運輸設(shè)備造成極大的損害。

本文介紹的電鏟鏟齒缺失智能監(jiān)控系統(tǒng)采用AI視覺圖像標(biāo)定和智能分析技術(shù)，當(dāng)鏟齒或銷子脫落時能及時報警，避免上述情況的發(fā)生。

1 電鏟鏟齒缺失智能監(jiān)控系統(tǒng)的設(shè)計思路

（1）本系統(tǒng)通過高清紅外攝像機(jī)配合近激光紅外補(bǔ)光裝置，實時采集電鏟鏟齒的圖像信息，圖像信息傳輸?shù)诫婄P駕駛室內(nèi)的嵌入式工控機(jī)上，通過AI視覺圖像標(biāo)定和智能分析技術(shù)，識別視頻流圖像中鏟齒以及銷子的特征，判斷銷子或鏟齒是否丟失，一旦發(fā)現(xiàn)鏟齒或銷子丟失立即自動報警提示，輔助提醒司機(jī)監(jiān)控鏟齒狀態(tài)。

（2）本系統(tǒng)利用露天礦車現(xiàn)有的卡車防撞預(yù)警系統(tǒng)無線RF433M網(wǎng)絡(luò)實現(xiàn)電鏟與卡車之間的信息傳輸，當(dāng)系統(tǒng)檢測到鏟齒丟失或銷子丟失時，立刻通過無線RF433M網(wǎng)絡(luò)向?qū)?yīng)的卡車進(jìn)行報警，防止卡車司機(jī)將帶有銷子或者鏟齒的礦料運走，對鏟齒或銷子的尋找造成困難，同時避免銷子或鏟齒進(jìn)入破碎工藝中對破碎機(jī)造成損害。

2 電鏟鏟齒缺失智能監(jiān)控系統(tǒng)的構(gòu)成

2.1 硬件部分

（1）車載高速嵌入式Linux工控機(jī)：安裝在電鏟駕駛室里，為顯示終端。

（2）高清攝像機(jī)：安裝在鏟臂轉(zhuǎn)輪下方，可以以俯拍的角度拍攝鏟斗以及鏟齒全貌。

（3）語音報警器：設(shè)置在電鏟和卡車中，當(dāng)系統(tǒng)檢測到鏟齒或銷子丟失后，所有的語音報警器均報警。

2.2 軟件部分

2.2.1 鏟齒丟失監(jiān)測及報警的整體思路

圖1所示為攝像機(jī)拍攝到的鏟齒圖像，圖中鏟齒顯示為較為明亮的白色，背景、鏟齒上的凹槽和孔等反光能力較差的呈現(xiàn)為較暗的黑色，如圖1中鏟齒上端的黑色矩形部分是鏟齒齒牙前端表面上的凹槽，鏟齒下端的面積較小的黑色矩形部分為容納銷子的孔，銷子位于該黑色矩形部分下端，呈較為明亮的白色，且所有銷子大致處在同一水平線上，所有鏟齒的端部也大致處于同一水平線。假設(shè)有銷子丟失，則該銷子孔的面積會明顯大于其他銷子孔的面積。基于此，本系統(tǒng)主要針對以下3種較為典型的情況進(jìn)行監(jiān)測：

（1）銷子丟失；

（2）鏟齒整個掉落；

（3）鏟齒部分?jǐn)嗔鸦蚰p導(dǎo)致長度不達(dá)標(biāo)。

圖1 攝像機(jī)拍攝到的鏟齒圖像

2.2.2 通過圖像識別監(jiān)測銷子丟失的具體方法

（1）基于接收到的鏟齒圖像建立平面直角坐標(biāo)系。圖1是攝像機(jī)采集到的未處理的初始圖像，根據(jù)該圖像建立直角坐標(biāo)系。

（2）灰度增強(qiáng)處理。灰度增強(qiáng)處理可以提高圖像的對比度，提高圖像質(zhì)量，使圖像的顯示效果更加清晰。

（3）均值二值化圖像處理。圖像二值化是將圖像上的像素點的灰度值設(shè)置為0或255，將整個圖像呈現(xiàn)出明顯的黑白效果的過程。這可以使圖像中的數(shù)據(jù)大量減少，從而凸顯出目標(biāo)的輪廓[1-3]。

（4）開運算和閉運算。開運算是一個基于幾何運算的濾波器，是指先進(jìn)行腐蝕運算再進(jìn)行膨脹運算，其效果是能夠去除孤立的小點、毛刺和小橋；閉運算通過填充圖像的凹角來濾波圖像，是指先進(jìn)行膨脹運算，再進(jìn)行腐蝕運算，其效果是能夠填平小孔，彌合小裂隙，總的圖像位置和形狀不變。

（5）Sobel邊緣檢測。Sobel算子用了一個3×3的濾波器對圖像進(jìn)行濾波，從而得到梯度圖像，然后將梯度圖像中較亮的那一部分提取出來，即為簡單的邊緣部分。Sobel邊緣檢測通常帶有方向性，可以只檢測豎直邊緣或垂直邊緣或都檢測[4-6]。

經(jīng)過Sobel邊緣檢測后的圖像簡圖如圖2所示。

圖2 經(jīng)過Sobel邊緣檢測后的圖像簡圖

（6）分析所標(biāo)志的閉合區(qū)域并計算。經(jīng)過上述步驟后，可以在坐標(biāo)系中得到一些閉合的區(qū)域，根據(jù)其橫縱坐標(biāo)計算每一個閉合區(qū)域的面積，在得到的閉合區(qū)域面積數(shù)據(jù)中，選擇兩個或兩個以上面積相同、y軸坐標(biāo)相同且y軸坐標(biāo)最小的數(shù)據(jù)，將該組數(shù)據(jù)所對應(yīng)的閉合區(qū)域判定為銷子孔區(qū)域。在不發(fā)生銷子丟失的情況下，每個鏟齒上銷子孔區(qū)域的面積應(yīng)該是相同的，故逐個對比每個銷子孔區(qū)域的面積與其他所有銷子孔區(qū)域的面積，即可判斷是否有銷子丟失，具體過程如下：

在圖2中，經(jīng)過以上6個步驟可得出閉合的區(qū)域a、b、c、d、e，以其中a區(qū)域為例，其端點坐標(biāo)分別為：（ax1,ay1）（ax1,ay2）（ax2,ay1）（ax2,ay2），那么區(qū)域a的面積為：

同理，可得出區(qū)域b面積：

區(qū)域c面積：

區(qū)域d面積：

區(qū)域e面積：

將區(qū)域a的面積依次與其他區(qū)域的面積相除計算比值，最終得出5個比值數(shù)據(jù)，根據(jù)比值數(shù)值的大小判斷是否發(fā)送銷子丟失信號，判斷基準(zhǔn)取決于銷子孔和銷子橫截面的面積比。本系統(tǒng)中銷子橫截面的面積大約占整個銷子孔的1/2，因此當(dāng)所得出的5個比值數(shù)據(jù)均接近于1時，證明沒有發(fā)生銷子丟失的現(xiàn)象；當(dāng)4個比值數(shù)據(jù)中出現(xiàn)接近1/2或者2的數(shù)字時，則可以判斷有銷子丟失，此時先發(fā)出預(yù)警信息，等攝像機(jī)采集新的圖像再進(jìn)行一次圖像識別分析，若仍然判定銷子丟失，則發(fā)出報警信息。

2.2.3 通過圖像識別監(jiān)測鏟齒丟失的方法

（1）基于接收到的鏟齒圖像建立坐標(biāo)系；

（2）灰度增強(qiáng)處理；

（3）均值二值化圖像處理；

（4）開運算和閉運算；

（5）Sobel邊緣檢測和鏟齒標(biāo)定。

按照2.2.2小節(jié)中的步驟，識別出圖中的所有銷子孔區(qū)域，每個銷子孔區(qū)域的中心線均對應(yīng)一個x軸坐標(biāo)，電鏟鏟齒的數(shù)量是已知的，故根據(jù)電鏟的具體規(guī)格，將電鏟正常的鏟齒基準(zhǔn)數(shù)量輸入系統(tǒng)，將檢測出的銷子孔區(qū)域數(shù)量與輸入的鏟齒基準(zhǔn)數(shù)量進(jìn)行對比，可判斷是否有銷子丟失。

2.2.4 通過圖像識別判斷鏟齒斷裂/過度磨損的步驟

（1）基于接收到的鏟齒圖像建立坐標(biāo)系；

（2）灰度增強(qiáng)處理；

（3）均值二值化圖像處理；

（4）開運算和閉運算；

（5）邊緣檢測和齒尖高度標(biāo)定。

經(jīng)過Sobel邊緣檢測后的圖像如圖3所示，通過邊緣檢測可得到鏟齒邊緣輪廓圖。

圖3 經(jīng)過Sobel邊緣檢測后的圖像

此步驟中可以采用2.2.3小節(jié)中的方法來得到a～e五個銷子孔區(qū)域以及每個銷子孔區(qū)域所對應(yīng)的x軸坐標(biāo)，銷子孔區(qū)域所對應(yīng)的x軸坐標(biāo)可以反映鏟齒的x軸坐標(biāo)，過每個鏟齒的頂端向y軸作垂線得到y(tǒng)1～y5五個y軸坐標(biāo)，同時獲取每個銷子孔區(qū)域頂部的y軸坐標(biāo)，可得到y(tǒng)a～ye五個y軸坐標(biāo)，根據(jù)這兩組y軸坐標(biāo)值可計算出每個鏟齒的相對長度（即銷子孔區(qū)域到齒尖之間的距離），從而判斷鏟齒是否發(fā)生斷裂或過度磨損。

以圖3中最左側(cè)的鏟齒為例，其相對長度da=y1-ya，在系統(tǒng)中預(yù)設(shè)鏟齒的最短長度閾值，通過圖像識別得出每個鏟齒的相對長度后，分別計算每個鏟齒的相對長度與最短長度閾值的比值，所得比值大于1的判定為正常，若所得到的比值數(shù)據(jù)中存在小于1的，則判定為鏟齒異常（可能是鏟齒斷裂或者鏟齒過度磨損導(dǎo)致其長度短于最短長度閾值），此時發(fā)出預(yù)警信息，由攝像機(jī)采集新的圖像信息進(jìn)行第二次圖像識別，若仍然存在比值小于1的數(shù)據(jù)，則作出鏟齒異常的最終判定，并發(fā)出報警信息。

3 結(jié)語

對于露天礦開采工藝而言，電鏟裝載作業(yè)中容易出現(xiàn)鏟齒脫落、鏟齒斷裂、銷子脫落，從而將脫落的部件帶入破碎工藝中造成設(shè)備嚴(yán)重?fù)p壞的問題，為了及時發(fā)現(xiàn)上述故障并提醒工作人員，本系統(tǒng)可對銷子脫落、鏟齒斷裂、鏟齒脫落3種典型情況進(jìn)行智能監(jiān)控，同時考慮到圖像中物體對鏟齒遮擋造成誤判的影響，設(shè)置了誤差次數(shù)閾值，即在檢測到異常的情況下，在誤差次數(shù)閾值的范圍內(nèi)進(jìn)行連續(xù)多次檢測再作出最終判斷，最大程度地排除了鏟齒上附著雜物造成的干擾，使監(jiān)測效果更加準(zhǔn)確、迅速、高效。