基于曲面重建的帶式輸送機(jī)堆煤識(shí)別方法

游磊，朱興林，秦偉，羅明華

(中煤科工集團(tuán)重慶研究院有限公司， 重慶 400039)

0 引言

帶式輸送機(jī)是煤礦生產(chǎn)過程中的主要運(yùn)輸設(shè)備。堆煤故障是帶式輸送機(jī)的常見故障之一。煤炭因輸送不及時(shí)而堆積在輸送帶或者煤倉處，使得煤炭高度大于正常煤位時(shí)即為堆煤故障。此時(shí)必須停止運(yùn)輸并及時(shí)處理，否則煤炭將淹沒輸送機(jī)機(jī)頭，造成巷道阻塞，引起瓦斯超限；還會(huì)造成輸送帶打滑，引起火災(zāi)等嚴(yán)重安全生產(chǎn)事故。目前，針對(duì)帶式輸送機(jī)堆煤故障的自動(dòng)化檢測技術(shù)主要包括接觸式傳感器檢測[1]和非接觸式計(jì)算機(jī)視覺檢測[2]。

接觸式堆煤傳感器檢測方法主要利用行程開關(guān)[3]、電極開關(guān)[4]等原理實(shí)現(xiàn)堆煤檢測。基于行程開關(guān)的堆煤傳感器由行程觸桿和對(duì)應(yīng)的傳感器組成，正常條件下傳感器的接線端子斷路，當(dāng)堆煤發(fā)生后，煤推動(dòng)行程觸桿，使得傳感器接線端子接通，從而觸發(fā)堆煤事故報(bào)警。基于電極開關(guān)的堆煤傳感器利用電極探頭與煤接觸產(chǎn)生導(dǎo)電信號(hào)，完成堆煤檢測。這類檢測方法存在以下缺點(diǎn)：① 傳感器安裝位置靠近輸送帶，容易與煤塊產(chǎn)生機(jī)械摩擦，使設(shè)備變形、損壞，引起電火花等。② 煤礦井下濕度大，傳感器容易短路，導(dǎo)致誤觸發(fā)堆煤報(bào)警。③ 煤塵多且堆積在觸桿、電極探頭處，容易誤觸發(fā)報(bào)警，需要經(jīng)常清理和維護(hù)。

以計(jì)算機(jī)視覺技術(shù)為主的非接觸式堆煤檢測方法發(fā)展較快，其克服了傳統(tǒng)接觸式傳感器的缺點(diǎn)，有無接觸、反應(yīng)快、精度高、安裝維護(hù)簡單等優(yōu)點(diǎn)[5-6]。吳喆峰等[7]提出一種基于圖像識(shí)別的堆煤檢測技術(shù)，設(shè)計(jì)了一種特制、易識(shí)別的警戒標(biāo)志，利用深度神經(jīng)網(wǎng)絡(luò)識(shí)別警戒標(biāo)志，當(dāng)堆煤事故發(fā)生時(shí)，必然遮擋警戒標(biāo)志，觸發(fā)堆煤報(bào)警，但由于煤塵多、散煤遮擋等因素，易發(fā)生誤觸發(fā)。宣鵬程等[8]提出在帶式輸送機(jī)軌道機(jī)器人中，利用激光雷達(dá)反射成像，根據(jù)三角測距原理重建三維曲面，實(shí)現(xiàn)堆煤故障檢測。該方法的優(yōu)點(diǎn)是精度高、速度快、不受環(huán)境影響，但由于激光雷達(dá)模塊[9]價(jià)格昂貴，成本太高，應(yīng)用范圍小。

紅外結(jié)構(gòu)光技術(shù)是一種快速、高精度的深度感知技術(shù)[10-11]，也能用于物體的三維曲面重建，其原理類似于三角測距，精度高且成本遠(yuǎn)低于激光雷達(dá)[12-13]。因此，本文采用紅外結(jié)構(gòu)光技術(shù)快速重建帶式輸送機(jī)煤流曲面，提出一種基于曲面重建的帶式輸送機(jī)堆煤識(shí)別方法。利用紅外結(jié)構(gòu)光技術(shù)獲取堆煤的深度圖；將深度圖映射為點(diǎn)云圖，利用近似德勞內(nèi)剖分法重建堆煤曲面[14]；根據(jù)曲面狀態(tài)判定是否出現(xiàn)堆煤事故。實(shí)驗(yàn)結(jié)果驗(yàn)證了該方法的可行性和準(zhǔn)確性。

1 紅外結(jié)構(gòu)光雙目成像原理

利用攝像儀和投影儀構(gòu)建雙目立體視覺成像模型，如圖1所示，其中c1為投影儀中心，c2為攝像儀中心。投影儀射出結(jié)構(gòu)化編碼的圖像，圖像中任意像素P1的特征具有唯一性，經(jīng)過目標(biāo)P反射之后，由攝像儀獲取；通過解碼找到與P1特征匹配的像素P2，完成單像素點(diǎn)立體匹配[15]；當(dāng)遍歷完整個(gè)圖像之后，完成稠密的雙目立體匹配[16]；再反算出每個(gè)像素點(diǎn)在空間中的位置，得到深度圖[17-18]。

圖1 雙目立體視覺成像模型Fig.1 Binocular stereo vision imaging model

設(shè)P1在投影儀圖像中的像素坐標(biāo)為[j1,i1]，P2在攝像儀圖像中的像素坐標(biāo)為[j,i]，目標(biāo)P的世界坐標(biāo)為[x,y,z]，可得雙目成像約束方程[19]：

(1)

式中：s1，s2為非零常數(shù)，分別代表P點(diǎn)在投影儀、攝像儀坐標(biāo)系中的z軸坐標(biāo)；K1，K2分別為投影儀、攝像儀的內(nèi)參數(shù)；R，T分別為攝像儀坐標(biāo)到投影儀坐標(biāo)的旋轉(zhuǎn)矩陣和平移矩陣；I為單位矩陣。

通過攝像機(jī)標(biāo)定技術(shù)[20]獲取相關(guān)參數(shù)的值，已知參數(shù)為K1，K2，R，T，[j1,i1]與[j,i]稠密匹配[16]，未知參數(shù)為s1，s2，x，y，z，求解式(1)，可得P點(diǎn)的世界坐標(biāo)[x,y,z]，即P點(diǎn)相對(duì)于c2的三維坐標(biāo)。當(dāng)遍歷攝像儀圖像的所有像素后，得到5元數(shù)組[j,i,x,y,z]。像素坐標(biāo)[j,i]與世界坐標(biāo)[x,y,z]一一對(duì)應(yīng)，因此，用[xji,yji,zji]表示三維點(diǎn)云坐標(biāo)，其中zji為深度。

2 基于近似德勞內(nèi)剖分的堆煤曲面重建方法

將深度圖映射到點(diǎn)云圖，用點(diǎn)云數(shù)據(jù)構(gòu)建凸四邊形網(wǎng)；用近似德勞內(nèi)剖分法對(duì)凸四邊形網(wǎng)進(jìn)行三角剖分，完成堆煤曲面重建。

2.1 凸四邊形網(wǎng)構(gòu)建

深度圖中任意像素存在上、左、下、右4個(gè)最近鄰域像素，簡稱4鄰域關(guān)系。由于深度圖與點(diǎn)云圖是一一對(duì)應(yīng)關(guān)系，那么深度圖的4鄰域也可以一一映射到點(diǎn)云圖，4鄰域關(guān)系依然近似成立。對(duì)4鄰域進(jìn)行連接，在深度圖中形成正方形(凸四邊形)網(wǎng)絡(luò)，映射到點(diǎn)云圖中構(gòu)成凸四邊形網(wǎng)。

深度圖到點(diǎn)云圖的映射如圖2所示。設(shè)深度圖中同一行左右相鄰2個(gè)像素的坐標(biāo)為[j,i]與[j+1,i]，對(duì)應(yīng)的點(diǎn)云坐標(biāo)為[xji,yji,zji]與[x(j+1)i,y(j+1)i,z(j+1)i]。僅討論左右相鄰的情況，省略符號(hào)i，y，z，則j對(duì)應(yīng)xj，j+1對(duì)應(yīng)xj+1，上下相鄰的步驟類似。

(a) 深度圖4鄰域

(b) 點(diǎn)云圖4鄰域

根據(jù)式(1)可得左右鄰域坐標(biāo)[20]：

(2)

式中：αx為圖像每像素的物理尺寸；v0為攝像機(jī)中心在圖像中的像素橫坐標(biāo)。

要使點(diǎn)云圖的左右鄰域關(guān)系保持不變，必須滿足如下條件：

xj≤xj+1?zj(j-v0)≤zj+1(j+1-v0)?

(3)

由式(3)可得：只有在深度圖劇烈變化區(qū)域，且在圖像邊界處，4鄰域才有極小概率不成立，從而凸四邊形也不成立。帶式輸送機(jī)上的正常煤流或堆煤深度圖分布均勻，幾乎不會(huì)出現(xiàn)深度劇烈變化的情況。因此，4鄰域關(guān)系和凸四邊形極大概率成立。

2.2 近似德勞內(nèi)剖分法

經(jīng)典德勞內(nèi)三角剖分法利用空?qǐng)A特性、最大化最小角特性2個(gè)性質(zhì)進(jìn)行三角網(wǎng)剖分。空?qǐng)A特性：任意三角形的外接圓中不存在其他點(diǎn)；最大化最小角特性：任意2個(gè)相鄰的三角形構(gòu)成凸四邊形，將對(duì)角線互換后，6個(gè)內(nèi)角的最小角不會(huì)增大。

經(jīng)典德勞內(nèi)三角剖分法的基本思路：① 將所有點(diǎn)依次插入三角形鏈表，在鏈表中找出外接圓包含插入點(diǎn)的三角形。② 根據(jù)2個(gè)性質(zhì)對(duì)插入點(diǎn)和三角形進(jìn)行優(yōu)化，形成新的三角形鏈表。③ 重復(fù)以上步驟，直到所有點(diǎn)插入完畢。可以看出這是一個(gè)插入排序過程。

由于堆煤形狀奇特、不平滑，不是簡單的平面或曲面，導(dǎo)致點(diǎn)云數(shù)據(jù)不規(guī)則、間隔不均勻。面對(duì)海量的三維點(diǎn)云數(shù)據(jù)，經(jīng)典德勞內(nèi)三角剖分法無法滿足實(shí)時(shí)性要求。因此，提出近似德勞內(nèi)剖分法，用遍歷過程代替插入排序過程。

近似德勞內(nèi)剖分法如圖3所示。在凸四邊形網(wǎng)絡(luò)基礎(chǔ)上，對(duì)每個(gè)凸四邊形進(jìn)行一次對(duì)角線長短判定，連接短對(duì)角線，構(gòu)成三角形網(wǎng)絡(luò)。這樣生成的三角網(wǎng)絡(luò)近似滿足德勞內(nèi)性質(zhì)，有小概率不成立，但算法復(fù)雜度低。

(a) 短對(duì)角線剖分

(b) 長對(duì)角線剖分

近似德勞內(nèi)剖分法沒有任何插入、排序、迭代步驟，僅執(zhí)行了像素點(diǎn)遍歷運(yùn)算，算法復(fù)雜度是O(n)；而經(jīng)典德勞內(nèi)三角剖分法是一個(gè)插入排序過程，算法復(fù)雜度是O(n2)。近似德勞內(nèi)剖分法存在小概率不滿足德勞內(nèi)性質(zhì)的情況，但可大幅提升三角剖分速度。

3 基于曲面重建的堆煤識(shí)別方法

完成三角剖分后，堆煤曲面由三角網(wǎng)絡(luò)構(gòu)成。設(shè)三角形總數(shù)為N，三角形集為(xpq,ypq,zpq)(p=1,2,3;q=1,2,…,N)，p表示同一個(gè)三角形的3個(gè)頂點(diǎn)編號(hào)，q表示不同三角形的編號(hào)，zpq表示三角形頂點(diǎn)到相機(jī)的距離。距離越小，表示堆煤發(fā)生的可能性越大，也可能因噪聲影響使少量三角形出現(xiàn)異常數(shù)據(jù)，產(chǎn)生誤報(bào)。因此，最終的堆煤識(shí)別報(bào)警規(guī)則：設(shè)定距離閾值hd和面積閾值ts，找出所有距離小于hd的三角形，計(jì)算其面積之和，若面積和占三角網(wǎng)總面積的比例大于ts，則輸出堆煤報(bào)警。

閾值hd與2個(gè)參數(shù)有關(guān)：結(jié)構(gòu)光相機(jī)到輸送機(jī)帶面距離hca和正常煤流高度hco。取hd=hca-αhco，α∈[1,3]，物理意義是當(dāng)前煤流高度超過hco的α倍，即可認(rèn)為出現(xiàn)小面積的異常煤流。閾值ts是一個(gè)百分比，物理意義是距離小于閾值hd的三角形面積占總面積的比例，推薦ts值的范圍為[0.3,0.6]。

堆煤識(shí)別步驟：

4 實(shí)驗(yàn)分析

實(shí)驗(yàn)在中煤科工集團(tuán)重慶研究院實(shí)驗(yàn)室完成，采用Orbbec Astra Mini結(jié)構(gòu)光相機(jī)模組，輸出深度圖分辨率為640×480，幀率為30 幀/s，開發(fā)工具箱為Openni。計(jì)算機(jī)硬件配置：i5-9400，內(nèi)存為16 GB，操作系統(tǒng)為Windows 10。

4.1 紅外結(jié)構(gòu)光的光照魯棒性

可見光波長為390～780 nm，結(jié)構(gòu)光相機(jī)發(fā)出的紅外光波長為900 nm左右，不會(huì)相互干擾。在光照不足的黑暗環(huán)境中，成像效果好，與可見光無關(guān)，如圖4所示。

(a) 可見光成像

(b) 深度圖

用礦燈(KL5LM(C)2號(hào))在約1.3 m處直射結(jié)構(gòu)光相機(jī)，深度圖成像效果好，礦燈光源不會(huì)對(duì)紅外光產(chǎn)生干擾，僅在光源處有少部分面積無法計(jì)算深度圖，如圖5所示。圖5(c)是礦燈開與礦燈關(guān)2種條件下深度圖的相對(duì)誤差二值分割圖。將礦燈開、關(guān)2種條件下深度圖的有效像素相減，除以圖5(a)的深度圖，得到相對(duì)誤差圖；對(duì)相對(duì)誤差圖進(jìn)行二值分割，相對(duì)誤差大于3%時(shí)設(shè)灰度值為255，否則設(shè)為0。從圖5(c)可看出，白色像素?cái)?shù)量很少，出現(xiàn)在深度圖邊界處，不是礦燈開關(guān)造成的。

(a) 礦燈關(guān)

(b) 礦燈直射

(c) 相對(duì)誤差二值分割

黑暗條件和強(qiáng)光源直射在煤礦井下具有典型的代表意義，嚴(yán)重制約了基于可見光的視覺算法，而紅外結(jié)構(gòu)光技術(shù)有效地提高了算法對(duì)光照的魯棒性。

4.2 近似德勞內(nèi)剖分法的準(zhǔn)確性和運(yùn)行效率

為了驗(yàn)證近似德勞內(nèi)剖分法的準(zhǔn)確性和運(yùn)行效率，在2臺(tái)帶式輸送機(jī)上仿真堆煤故障，每臺(tái)采集30幀堆煤故障深度圖和30幀正常煤流深度圖。

首先，驗(yàn)證點(diǎn)云圖的4鄰域關(guān)系和凸四邊形網(wǎng)有極大的概率成立。統(tǒng)計(jì)120幀深度圖中4鄰域關(guān)系和凸四邊形的總數(shù)，再將兩者映射到點(diǎn)云圖，進(jìn)行最近4鄰域關(guān)系和凸四邊形判定(判定時(shí)只提取點(diǎn)云的x，y坐標(biāo)值)，統(tǒng)計(jì)判定成功的總數(shù)，結(jié)果見表1。可見，點(diǎn)云圖4鄰域關(guān)系和凸四邊形判定成功率超過99.9%。

表1 點(diǎn)云圖結(jié)構(gòu)關(guān)系判定結(jié)果Table 1 Judgement result of structure relation of point cloud map

其次，驗(yàn)證用近似德勞內(nèi)剖分法得到的三角形有極大概率滿足空?qǐng)A特性和最大化最小角特性。從點(diǎn)云圖中提取所有凸四邊形，采用近似德勞內(nèi)剖分法進(jìn)行三角剖分，統(tǒng)計(jì)得出三角形總數(shù)為43 160 476，滿足2個(gè)性質(zhì)的三角形總數(shù)為42 930 028，近似德勞內(nèi)剖分法的成功率為99.466 1%。

最后，驗(yàn)證近似德勞內(nèi)剖分法的運(yùn)行效率。用120幀(640×480)點(diǎn)云數(shù)據(jù)對(duì)近似德勞內(nèi)剖分法和經(jīng)典德勞內(nèi)剖分法進(jìn)行對(duì)比測試，得出兩者的曲面重建時(shí)間分別為1.28，134.93 ms。

近似德勞內(nèi)剖分法的精度能夠滿足應(yīng)用要求，同時(shí)，與經(jīng)典德勞內(nèi)剖分法相比，可極大地提高運(yùn)算速度。

4.3 堆煤故障識(shí)別

近似德勞內(nèi)剖分結(jié)果如圖6所示。首先，構(gòu)建凸四邊形網(wǎng)，用較粗實(shí)線表示；其次，進(jìn)行近似三角剖分，形成三角形網(wǎng)絡(luò)，用較細(xì)虛線表示；最后，進(jìn)行距離判定。紅色三角形為有效三角形，當(dāng)紅色三角形面積比例大于ts即認(rèn)為出現(xiàn)堆煤故障。

圖6 近似德勞內(nèi)剖分結(jié)果Fig.6 Approximate Delaunay subdivision results

為了確定合適的閾值hd和ts，利用現(xiàn)有120幀圖像進(jìn)行訓(xùn)練，結(jié)果如圖7所示。用60幀圖像模擬堆煤，60幀圖像模擬正常煤流，為了方便描述，各取6幀數(shù)據(jù)，其他隱藏。紅色曲線表示堆煤，藍(lán)色曲線表示正常煤流。找到堆煤曲線與正常煤流曲線差距最大的點(diǎn)，將該點(diǎn)的坐標(biāo)作為最佳閾值，即hd=1 115.8 mm，ts=0.33。實(shí)驗(yàn)中，相機(jī)到帶面的距離hca=1 400 mm，正常煤流高度hco=200 mm，計(jì)算可得α=1.421。

圖7 閾值訓(xùn)練結(jié)果Fig.7 Threshold training results

基于曲面重建的堆煤識(shí)別效果如圖8所示，通過距離閾值hd將曲面分割成暖色和冷色。暖色區(qū)域表示發(fā)生了堆煤,冷色區(qū)域表示未發(fā)生堆煤。

(a) 未堆煤圖像

(b) 未堆煤點(diǎn)云重建圖

(c) 堆煤圖像

(d) 堆煤點(diǎn)云重建圖

通過實(shí)驗(yàn)室模擬堆煤和正常運(yùn)輸圖像數(shù)據(jù)各120幀，設(shè)定恰當(dāng)?shù)拈撝担M(jìn)行實(shí)驗(yàn)，結(jié)果表明漏檢數(shù)和誤檢數(shù)均為0。因此，通過基于曲面重建的帶式輸送機(jī)堆煤識(shí)別方法可以準(zhǔn)確判斷是否發(fā)生堆煤故障，檢測結(jié)果與實(shí)際情況相符；對(duì)大量圖像處理時(shí)間進(jìn)行統(tǒng)計(jì)，得出每幀處理時(shí)間小于20 ms，滿足實(shí)時(shí)性要求。

5 結(jié)論

(1) 采用紅外結(jié)構(gòu)光技術(shù)獲取深度圖，在井下黑暗條件下成像效果好，且不易被井下光源干擾。

(2) 提出基于近似德勞內(nèi)剖分的堆煤曲面重建方法，將經(jīng)典德勞內(nèi)三角剖分過程簡化成遍歷過程，算法復(fù)雜度由O(n2)簡化為O(n)，運(yùn)行效率提升100倍，而剖分精度幾乎沒有降低，超過99%的三角形依然滿足德勞內(nèi)性質(zhì)。

(3) 在曲面重建的基礎(chǔ)上實(shí)現(xiàn)了帶式輸送機(jī)堆煤識(shí)別，設(shè)定恰當(dāng)?shù)拈撝担贸雎z數(shù)和誤檢數(shù)均為0；對(duì)大量圖像處理時(shí)間進(jìn)行統(tǒng)計(jì)，得出每幀處理時(shí)間小于20 ms，滿足實(shí)時(shí)性要求。

(4) 近年來三維測量算法發(fā)展較快，煤礦井下對(duì)三維測量算法的需求也越來越多。基于近似德勞內(nèi)剖分法的曲面重建技術(shù)不僅可以應(yīng)用于堆煤，還可應(yīng)用于煤流量統(tǒng)計(jì)、掘進(jìn)超循環(huán)等需要三維測量的場景，這也是下一步的研究工作方向。