煤礦帶式輸送機分揀機器人異物識別與定位系統設計

薛旭升，楊星云，齊廣浩，馬宏偉，毛清華，尚新芒

（1.西安科技大學 機械工程學院，陜西 西安 710054；2.陜西省礦山機電裝備智能檢測與控制重點實驗室，陜西 西安 710054；3.北京聯合大學 北京市信息服務工程重點實驗室，北京 100101；4.西安重裝韓城煤礦機械有限公司，陜西 韓城 715400）

0 引言

煤礦帶式輸送機作為煤礦生產的重要設備，其安全運行是保證煤礦正常生產的重要基礎。自2019年以來，國家發展改革委、科技部等部委連續印發的《煤礦機器人重點研發目錄》《關于推進煤礦智能化發展的指導意見》中，均對煤礦開采裝備智能化明確提出減人提效、煤矸快速分揀、異物分揀與安全防護等關鍵技術突破的要求，尤其是對運輸過程中矸石及其他非煤雜物智能分揀機器人提出了自動識別、精確定位等需求[1-2]。然而，煤炭生產運輸過程中，煤礦輸送帶會受到綜采或綜掘等開采出的異物影響而導致撕帶、斷帶等嚴重事故，例如采煤作業時會截割煤壁中的錨桿，設備自身的金屬部件等鋒利的異物也會掉落在輸送帶上，甚至會扎破輸送帶，具有極大的安全隱患，因此，需對輸送帶上錨桿、設備自身的金屬部件等鋒利異物進行識別與定位。

人工檢測、雷達檢測、金屬探測器等傳統的異物檢測方法檢測效率低、成本高、部署與維護困難，且存在安全隱患[3-4]。隨著機器視覺技術的不斷發展，國內外機構與學者分別探究了機器視覺技術在煤礦帶式輸送機狀態監測、目標檢測等方面的應用[5-6]。王志星等[7]采用雙目視覺對帶式輸送機輸送帶縱向撕裂進行了在線檢測。王燕等[8]設計了基于機器視覺的大塊異物視覺檢測系統。苗長云等[9]研究了基于機器視覺和支持向量機的帶式輸送機矸石檢測方法。杜京義等[10]提出了基于改進YOLOv3模型的煤礦帶式輸送機異物檢測方法。胡璟皓等[11]提出了一種基于深度學習的帶式輸送機非煤異物識別方法。吳守鵬等[12]針對大塊矸石或鐵器等識別問題，提出了一種快速區域卷積神經網絡（Faster?RCNN）+雙向特征金字塔網絡的運煤輸送帶異物識別模型。上述研究針對輸送帶上煤矸石、異物等提供了有效的檢測與識別方法，但這些方法更偏向于針對煤矸石識別，且都未解決目標定位問題。長期以來，馬宏偉等[13]、曹現剛等[14]、王鵬等[15]針對煤礦帶式輸送機分揀機器人異物智能檢測與控制開展了研究，分別提出了一種基于機器視覺的煤矸石分揀機器人動態目標穩定抓取軌跡規劃方法、設計了一種基于卷積神經網絡的煤矸識別定位系統、研究了一種基于機器視覺的多機械臂煤矸石分揀機器人系統，為煤礦輸送帶分揀機器人異物識別與定位提供了可參考的理論模型與方法，但其分揀目標仍為煤矸石，這與煤礦輸送帶上異物的特征有本質區別，仍需優化及改進。國外的研究機構及學者大多將三維光學檢測（激光與視覺融合檢測方法）、近紅外測量等技術應用于煤礦帶式輸送機異物檢測與煤巖識別等[16-17]。這些方法對于檢測異物具有一定基礎，但其異物精確識別與定位問題并未解決。

綜上，機器視覺已在煤礦帶式輸送機目標檢測與識別方面具有一定的理論基礎，但目前煤礦帶式輸送機分揀機器人目標識別主要針對煤矸石識別，對造成輸送帶穿透、撕裂等的異物目標識別的研究較少，且在目標異物精確定位方面的研究也較少。為此，本文設計了煤礦帶式輸送機分揀機器人異物識別與定位系統，可對輸送帶上存在的不同類型和不同形狀的異物進行識別與定位。首先利用雙目視覺實時獲取輸送帶上異物圖像信息，并對異物圖像進行降噪與增強預處理；然后建立目標異物邊緣特征提取與識別模型，通過圖像特征匹配的方式解算出異物存在區域，實現異物類型的檢測、分類與識別；最后構建目標異物位置區域及坐標，利用多目標質心快速計算方法求取目標異物質心坐標，實現目標異物的定位。該系統為煤礦帶式輸送機分揀機器人異物分揀提供了有效數據與新方法。

1 系統需求分析

設計煤礦帶式輸送機分揀機器人異物識別與定位系統的目的是為了實時檢測和識別輸送帶上的異物，為實現快速分揀提供數據支持，確保煤礦輸送帶安全穩定運行。因為井下環境復雜，且輸送帶除異物存在外，煤和矸石堆疊也是造成異物識別和分揀困難的重要因素，本文僅研究造成輸送帶穿透、撕裂等的異物目標，假設煤和矸石處于平鋪的狀態。因此，在設計煤礦帶式輸送機分揀機器人異物識別與定位系統時主要要考慮以下幾個方面的需求：

（1）輸送帶在運動過程中要能夠實時采集清晰的圖像。

（2）過濾輸送帶背景圖像信息，突出目標異物特征。

（3）識別目標異物類型，確定目標異物所在輸送帶區域信息，標記目標異物并顯示坐標信息。

（4）有穩定的數據傳輸能力，傳輸速率高且安全可靠。

（5）可以實現遠程監控。

2 系統設計

2.1 系統組成

煤礦帶式輸送機分揀機器人異物識別與定位系統采用雙目視覺實時獲取煤礦輸送帶上異物圖像信息，提取異物邊緣特征，識別目標異物并解算目標異物坐標，實時顯示圖像識別結果和坐標信息，為煤礦帶式輸送機分揀機器人提供目標異物坐標信息。煤礦帶式輸送機分揀機器人系統樣機如圖1所示。

圖1 煤礦帶式輸送機分揀機器人系統樣機Fig.1 Prototype of sorting robot system of coal mine belt conveyor

煤礦帶式輸送機分揀機器人異物識別與定位系統主要由輸送帶傳送單元、視覺感知單元、信息處理及顯示單元組成。

（1）輸送帶傳送單元：主要物料運輸的主體。實際煤礦井下開采環境復雜，存在粉塵、水霧、照度低等問題，輸送帶上除煤、矸石等物料外，可能還存在金屬與非金屬等物料，見表1。

表1 輸送帶上的異物類別Table 1 Types of foreign objects on conveyor belt

（2）視覺感知單元：雙目視覺固定于輸送帶上方，用于實時采集輸送帶上的物料圖像。利用局部補光裝置使雙目視覺具有井下低照度環境的適應能力。

（3）信息處理及顯示單元：通過目標異物圖像信息建立特征分離、提取與識別模型，有效提升目標異物識別準確率與識別效率；設計輸送帶實時監控系統，實現異物實時捕捉與顯示、位置坐標顯示等，如圖2所示。

圖2 煤礦帶式輸送機分揀機器人異物識別與定位系統界面Fig.2 Interface of foreign object recognition and positioning system for sorting robot of coal mine belt conveyor

2.2 系統識別與定位方法

為了解決煤礦輸送帶上存在的異物危害，本文提出了基于雙目視覺的煤礦帶式輸送機分揀機器人異物識別與定位方法，其重點研究基于雙目視覺的輸送帶目標異物圖像采集與特征提取、建立輸送帶異物特征樣本庫、輸送帶異物坐標位置解算。方法架構如圖3所示。

圖3 煤礦帶式輸送機分揀機器人異物識別和定位方法架構Fig.3 Architecture of foreign object recognition and positioning method for sorting robotsof coal mine belt conveyor

（1）針對輸送帶異物圖像采集問題，提出在圖像采集過程中對輸送帶實時圖像進行預處理的方法，并基于Canny算子進行圖像信息增強，通過灰度拉伸方法改進圖像邊緣信息，突出異物邊緣特征。

（2）針對異物特征提取與識別問題，利用形態學方法提取異物形狀特征，建立異物圖像特征樣本庫，通過圖像特征匹配方式解算出異物存在區域，實現異物類型的檢測、分類與識別。

（3）針對異物空間位置定位問題，在異物類型成功識別的基礎上，建立相機、輸送帶與目標異物坐標轉換關系，利用多目標質心快速計算算法求取異物質心坐標。

3 異物識別方法

3.1 異物識別方法原理

本文通過實時采集輸送帶上圖像數據，對圖像特征進行邊緣提取，結合目標異物樣本圖像特征進行匹配，同時，通過實時采集目標異物圖像邊緣特征刷新樣本庫信息，從而實現異物識別，異物識別方法原理如圖4所示。

圖4 異物識別方法原理Fig.4 Principleof foreign object recognition methods

3.2 基于雙目視覺的輸送帶異物檢測與識別

針對利用雙目視覺采集圖像存在畸變嚴重、輸送帶上異物定位不準確的問題，利用基于平面模板法實現圖像畸變矯正，為解決像素坐標到世界坐標的標定提供方法依據；針對輸送帶上異物識別困難的問題，設計輸送帶異物圖像增強方法，利用形態學處理方式提取異物形狀特征作為樣本，結合樣本匹配算法實現異物識別。

3.2.1 基于平面模板法的圖像畸變矯正

本文采用平面模板法實現圖像矯正，通過引入適當的畸變參數，得到離心畸變模型[18]：

式中：(δrd,δtd)為圖像點畸變坐標；ks，ps為畸變系數，s為畸變系數的個數，s=1，2，…；o為圖像像素點到原點的距離；φ為圖像點的傾斜角；φ0為圖像正方向與最大切向軸的最大夾角。

畸變矯正后圖像點坐標為

式中：(為畸變引起的實際成像點坐標；(u,v)為圖像點的理想坐標；(δur，δvr)為圖像點徑向畸變坐標；(δut，δvt)為圖像點偏心畸變坐標。

用近似多項式求取視覺系統內外參數[19]：

式中：n為圖像幀數；m為每幀圖像上特征點的個數；gij為第i幀圖像上第j個特征點的圖像坐標；(M，R i，T i，k1，k2，k3，p1，p2，Gj)為 由空間坐標Gj投影到世界坐標反求的圖像坐標；M為內部參數矩陣；R i為第i幀圖像的旋轉矩陣；T i為第i幀圖像的平移向量；Gj為 第j個特征點的空間坐標；k1，k2，k3，p1，p2為畸變系數。

利用平面模板法實現圖像矯正，并使其圖像坐標原點和世界坐標原點重合，保證異物坐標解算時坐標位置的有效性。

3.2.2 異物圖像預處理

本文需對原始圖像數據進行灰度變換，經過灰度變換處理后，含有顏色信息的彩色圖像變成了僅含亮度信息的灰度圖像，提高了圖像處理速度。為解決灰度化處理后依然無法去除圖像數據的噪聲干擾問題，采用中值濾波對目標異物圖像進行去噪處理，對目標異物的邊緣特征信息進行保護，并降低煤塊圖像信息對目標異物圖像的影響。

3.2.3 異物圖像邊緣檢測與特征提取

基于Canny算子對圖像邊緣特征進行增強，并通過灰度拉伸方法對邊緣檢測圖像進行優化，從而得到準確的圖像邊緣特征，將圖像邊緣特征點用笛卡爾坐標(x,y)表示，由于形狀邊緣一般為封閉曲線，所以也可以用極坐標(θ,ρ)表示，利用該曲線判定形狀。設形狀的質心(x0,y0)為坐標原點，并建立極坐標系，則形狀邊緣可以表示為極坐標下的曲線：

本文主要針對桿狀目標進行識別，通過邊緣特征提取后，準確計算出形狀邊緣曲線，并區分煤塊與桿狀異物，從而識別出目標異物。

4 目標異物定位

在異物成功識別的基礎上，通過劃定異物識別感興趣區域（Region of Interest，ROI）的方法提高異物識別檢測效率，并以輸送帶為參照，建立視覺與輸送帶的坐標系轉換，利用質心計算方程解算異物空間位置；將ROI作為機械臂末端工作區域，通過解算的異物質心坐標為機械臂末端抓取坐標，將其輸送給機械臂控制系統，實現目標異物的抓取，完成分揀任務。

4.1 圖像ROI確定

以目標異物邊緣特征值為基礎，建立目標異物的ROI，降低目標異物圖像信息計算量，并為建立目標異物定位坐標系提供區域依據。桿狀異物ROI劃定方法如圖5所示。以輸送帶為參照，在目標異物邊緣特征值的基礎上，劃定ROI，該區域也為圖1中的機械臂I工作區域。

圖5 ROI視覺內劃定Fig.5 Intra-visual delineation of region of interest

4.2 相機、輸送帶與目標異物坐標系轉換

對圖像進行描述一般會涉及2個常用坐標系：圖像坐標系(O1xy)和像素坐標系(O0ab)，圖像坐標系用于描述圖像各點間的位置關系，像素坐標系用于描述圖像像素特征。2個坐標系均處于成像平面中，它們的位置關系如圖6所示。

圖6 圖像坐標系和像素坐標系Fig.6 Image and pixel coordinate systems

通過圖6可得到坐標(x,y)和坐標(a,b)之間的變換關系，且其滿足以下轉換模型：

式中：(a0,b0)為圖像坐標系的原點O1在像素坐標系下對應的坐標；dx和dy為每個像素點在x軸和y軸的物理尺寸。

將式（6）進行矩陣變換可得

根據ROI設置視覺內部坐標系，并以感興趣區域OG為坐標系原點，以輸送帶前進方向為坐標x軸，表示輸送帶上距離，在輸送帶平面上與x軸垂直的方向為y軸，與xOGy平面垂直的為z軸，表示視覺高度，轉換后坐標系如圖7所示。

圖7 轉換坐標系Fig.7 Converting the coordinatesystem

4.3 目標異物定位算法

異物樣本匹配識別成功后，為獲得異物準確的位置信息，采用異物的質心坐標來識別異物在輸送帶上的位置。實際識別時會存在多個異物被識別的情況，通常采用群目標幾何中心的群起始算法計算多目標質心，但該算法過于復雜，實時性較差。本文采用一種多目標質心快速計算方法，獲取標志異物的外接矩形頂點坐標(x1，y1)、(x2，y1)、(x1，y2)及(x2，y2)，針對目標異物采用如下公式[20]得到異物質心坐標(x0，y0)：

式中：B（q，w）為二值圖像像素值，當像素B（q，w）屬于該劃定ROI時，B（q，w）=1，否則B（q，w）=0。

5 實驗驗證與分析

5.1 實驗平臺參數及環境模擬

以煤礦帶式輸送機分揀機器人系統樣機（圖1）為研究對象，構建煤礦帶式輸送機分揀機器人異物識別與定位實驗平臺，將雙目視覺傳感器安裝于帶式輸送機上方，主要性能參數見表2。

表2 實驗平臺主要性能參數Table 2 Main performance parameters of the experimental platform

本文利用LabVIEW軟件平臺設計識別與定位系統軟件，目標異物坐標信息、目標異物類別信息、輸送帶實時圖像和目標識別提取圖像等系統程序設計如圖8所示。

圖8 目標異物坐標信息、目標異物類別信息、輸送帶實時圖像和目標識別提取圖像等系統程序Fig.8 System programs such as target foreign object coordinate information, target foreign object category information, real-time image of conveyor belt and target recognition and extraction image

5.2 實驗方案

本文以桿狀異物為實驗對象，通過實驗樣機驗證煤礦帶式輸送機分揀機器人異物識別與定位系統及其算法的可靠性，實驗主要包括對異物圖像采集、處理實驗；在圖像處理的基礎上，實現對輸送帶異物的匹配識別和坐標提取。實驗過程及目標異物圖像識別流程如圖9所示。

圖9 煤礦帶式輸送機分揀機器人異物識別與定位實驗Fig.9 Foreign object recognition and positioning experiment of sorting robot of coal mine belt conveyor

通過桿狀異物實驗樣本進行30組實驗，圖像識別結果見表3。識別率為93.33%。

表3 異物圖像識別結果Table3 Foreign object imagerecognition results

5.3 目標異物識別與定位系統實驗驗證與分析

為了驗證煤礦帶式輸送機分揀機器人異物識別與定位系統對不同長度與不同直徑下的桿狀目標異物的識別與定位情況，采集了如圖10（a）所示的3，5，7 cm不同長度的桿狀目標異物和圖10（b）所示的5，10，15 mm不同直徑下的桿狀目標異物，識別率見表4和表5。

圖10 不同形狀的桿狀目標異物Fig.10 Rod-shaped target foreign object with different shape

表4 不同長度的桿狀目標異物圖像識別結果Table 4 Rod-shaped target foreign object image recognition resultsfor different lengths

表5 不同直徑的桿狀目標異物圖像識別結果Table 5 Rod-shaped target foreign object image recognition resultsfor different diameters

從表4、表5可看出，不同長度下、不同直徑下的識別率差距較小，在固定場景下，該系統均能較準確地識別出目標異物。

通過對3種不同長度桿狀目標異物和3種不同直徑桿狀目標異物識別結果表明，本文所設計的煤礦帶式輸送機分揀機器人異物識別率不受尺寸、材質和顏色等因素影響，對目標異物具有高精度檢測與識別效果。

以圖10（a）的桿狀異物為例，對輸送帶運行過程中的20個目標異物進行實時定位實驗，采用目標異物質心坐標(x0,y0)和經雙目視覺實時檢測后解算出的目標異物質心坐標(x′0,y′0)進行對比，結果見表6。

表6 目標異物質心位置坐標解算實驗結果Table 6 Experimental results for solving the coordinates of the target foreign object's centreof mass position

通過表6實驗結果的分析可得出目標異物的坐標誤差關系，如圖11所示。可看出X軸最大誤差為7.32%，平均誤差為2.75%；Y軸最大誤差為6.5%，平均誤差為3.01%，考慮到輸送帶運動、視覺和系統運行環境等因素，誤差在可控范圍。

圖11 目標異物X，Y軸坐標誤差Fig.11 Target foreign object coordinates X and Y axis error

綜上可知，采集桿狀異物坐標數據滿足實際桿狀異物定位精度要求。本文研究的目標異物檢測、識別與定位系統不受形狀、材質和顏色等因素影響，根據樣本庫的建立與刷新，還可實現盤狀、多邊形等不同形狀異物的識別與定位。

6 結論

針對煤礦帶式輸送機異物隱患導致的安全危害問題，設計了一種煤礦帶式輸送機分揀機器人異物識別與定位系統，為實現煤礦輸送帶異物檢測與精確識別提供方法與數據支持，為分揀機器人準確定位并抓取異物提供依據。

（1）設計了輸送帶異物圖像增強方法，利用形態學提取了異物形狀特征，為異物在空間位置的解算提供依據。

（2）以輸送帶為參照，劃定異物識別感興趣區域，提高了異物識別檢測效率。

（3）構建了視覺、異物與輸送帶的坐標系轉換方程，利用質心快速計算方法實現對目標異物位置信息的解算。

（4）通過樣機實驗與驗證結果分析表明，煤礦帶式輸送機分揀機器人異物識別與定位系統能夠實現輸送帶目標異物圖像的采集、處理、特征提取、識別和位置定位，識別率為92.5%以上，目標異物位置定位平均誤差為3%左右。