李彥明
(1.中煤科工集團重慶研究院有限公司,重慶400039;2.瓦斯災害監控與應急技術國家重點實驗室,重慶400039)
我國能源消費結構長期以來都是以煤炭為主,雖然近幾年國家在清潔能源開發和利用方面取得了巨大進步,但受煤炭消耗體量大影響,以煤炭為主的消費格局還將持續很長一段時間。與此同時,為支撐煤炭行業的高質量發展,在自動化、大數據、物聯網、人工智能等新技術的應用背景下[1-2],建設智能化煤礦不僅是自身發展的需要,也是未來煤炭工業的戰略方向[3-4]。
未來智能化煤礦的應用場景將包括采煤、掘進、運輸、通風、瓦斯治理、監測監控等多個方面,其中鉆孔施工作為瓦斯治理的主要手段,將形成基于鉆孔機器人的智能化作業系統。在該系統中,為保證瓦斯抽采效果、減少抽采盲區,在鉆孔施工時對煤巖界面進行實時識別是其中的關鍵技術之一。不過目前國內外針對煤礦開采的煤巖界面識別研究主要集中在智能開采方面[5-7],對鉆孔施工的煤巖識別研究較少。因此,為滿足下一步鉆孔機器人對智能化施工的要求,現在急需針對鉆孔施工場景開展煤巖界面識別技術研究。
煤礦領域的煤巖界面識別研究多數集中在采煤作業場景,目的是通過識別煤層和頂底板巖層來及時調整采煤機滾筒截割高度,提高資源采出率、降低設備磨損。由于智能化鉆孔也是要實時判別煤層和頂底板巖層的界面,與采煤作業的識別對象基本相同,所以原理上基于采煤作業場景的煤巖識別技術都可用于鉆孔施工。
目前就煤巖界面的識別方法而言,大致可歸納為2 大類[8-11]:一類是利用傳感器直接確定煤巖界面的直接檢測法,主要包括自然γ 射線、人工γ 射線、雷達、圖像等方式;另一類是根據施工裝備作業參數和信息反饋進行判斷的間接檢測法,主要包括紅外、振動、有功功率、聲波頻譜、激光粉塵等方式。
由于煤礦井下鉆孔施工與采煤截割的應用場景存在很多差異,而不同的煤巖識別技術在實際應用時又存在局限性,所以導致大部分常規的識別技術無法直接用于鉆孔施工場景。因鉆孔作業為隱蔽施工,如采用γ 射線、雷達、紅外、振動、有功功率、聲波等煤巖識別技術,則需要將探測裝置集成到鉆頭位置,而現有的鉆具系統還無法實現該功能。針對激光粉塵檢測法,當鉆孔采用清水排渣時無法使用,而采用空氣排渣時,由于持續鉆進造成鉆場附近的粉塵不容易沉降,導致返出的新粉塵與已有粉塵摻混,影響識別準確性。因此,綜合分析現有煤巖識別技術的特點和井下鉆孔作業場景,利用儀器采集孔內返出的巖屑和煤渣圖像,并進行圖像實時識別成為最可行的技術手段。
圖像特征主要包括顏色、紋理、形狀和空間關系,其中顏色和紋理特征是全局特征,描述了圖像或圖像區域所對應景物的表面性質;形狀特征分為輪廓特征,針對的是物體外邊界;空間關系特征是指多個目標之間的相互的空間位置或相對方向關系[12]。
對于煤礦井下鉆孔施工來說,鉆進對象主要是煤層和頂底板巖層(以泥、砂巖為主),所以鉆孔返出的鉆屑只有煤渣、巖屑或二者的混合,由二者的圖像特征對比可知,煤渣和巖屑在顏色特征方面差異最大,紋理、形狀和空間關系特征存在交叉的模糊區域,因此針對鉆孔返渣圖像的煤巖識別方法主要基于煤巖的顏色(灰度)特征,最后再根據煤巖占比分析來實現煤巖識別。
采用顏色(灰度)特征識別煤巖時,受作業現場的光線、粉塵、振動、水霧等影響,容易造成圖像失真,圖像存在較大噪聲,使得采集到的煤巖顏色特征不清晰。因此,為滿足圖像特征識別要求,需要對圖像進行預處理,然后再進行圖像分割和特征提取,最后實現分類識別。煤巖圖像識別流程如圖1。
圖1 煤巖圖像識別流程Fig.1 Coal and rock image recognition process
由圖1 可以看出,在圖像識別過程中,圖像預處理和閾值分割是其中的關鍵,因此需要根據井下鉆孔作業場景開展相關技術研究。
研究的鉆孔返渣煤巖圖像識別是基于空氣排渣方式,現場作業會存在大量粉塵,一方面使得采集儀器鏡頭沾滿灰塵,在光源照射下發生漫反射,造成采集的圖片目標區域模糊不清,另一方面基于可見光的采集方式對粉塵穿透性差,存在一定的致盲性。另外,鉆孔施工時,現場的機電設備將對圖像采集設備產生電磁干擾。因此,為了提高原始圖像的對比度,改善圖像質量,在進行圖像分割和特征提取之前,需要對采集的原始圖像進行預處理,主要包括提取明度分量、圖像去噪和圖像增強3 個步驟。
相比于RGB,HSV 可更直觀的表達顏色的色調、鮮艷程度和明暗程度,方便進行顏色對比,同時HSV 中的明度通道V 具備與光強度之間沒有直接聯系的特性。因此,針對鉆孔場景中光照條件受粉塵、光源穩定性等因素影響造成圖像光強度不穩定問題,通過提取V 分量圖像在最大程度上減小環境光對圖像處理的影響。
HSV 模型通過色調H、飽和度S 及明度V 3 個參數進行描述。結合實驗采集的圖像,將RGB 到HSV 色彩空間的轉換公式設計如下:
式中:r、g、b 分別為像素坐標下的紅、綠、藍三通道分量值,max、min 分別為r、g、b 的最大值以及最小值。
經過上述色彩空間轉換后,采集圖像的處理結果如圖2。
圖2 煤巖圖像色彩轉換結果Fig.2 The result of color conversion of coal and rock image
在鉆孔施工時,現場進行煤巖圖像采集、傳輸時還存在電子設備工頻干擾問題,因此獲取的原始圖像存在較大噪聲,在提取到V 通道圖像后需要進行濾波去噪處理,以減少噪聲對識別造成的干擾。
圖像去噪主要包括時域、頻域和空間域等去噪方法[13],因識別的煤巖圖像為采集的靜態圖片,而時域和頻域內各種低通濾波器、自適應小波濾波器等去噪方法均建立在像素點時序關聯性的基礎上,因此采用空間域去噪方法,空間域濾波使用濾波器對圖像進行逐像素點操作。
根據采集的煤巖圖像,選擇均值、領域平均和高斯3 種濾波器進行對比實驗,對應的線性濾波器模板如圖3,其中領域平均濾波器選取半徑為。對應的不同模板濾波效果如圖4。
圖3 線性濾波器模板Fig.3 Linear filter template
圖4 不同模板濾波效果Fig.4 Filtering effect of different templates
通過與原始圖像對比,由圖4 中不同模板的濾波效果可以看出,以上3 種濾波器均能不同程度去除了噪聲,但高斯濾波由于其濾波器模板權值中心匯聚的特性,使其圖像輸出邊緣更為清晰,且去除噪聲的效果也較為明顯,因此采用了高斯濾波進行圖像去噪處理。
因現場鉆孔施工時存在許多干擾因素導致目標區域圖像信息模糊不清,所以為了改善圖像質量,在特征提取之前,需要對煤渣和巖屑圖像進行圖像增強。結合目前常用的圖像增強方法以及鉆孔返渣煤巖圖像的特點,采用拉普拉斯變換作為圖像增強方法。經過拉普拉斯方法對圖像的增強結果如圖5,由圖中可以看出,原始的模糊圖像經過圖像增強處理后,對比度明顯提升,同時維持了原圖的灰度特性。
圖5 圖像增強效果圖Fig.5 Image enhancement effect picture
圖像分割是機器視覺技術的基礎,同時也是圖像處理中最關鍵的環節。對于灰度圖像,區域內部的像素一般具有灰度相似性,而在區域的邊界上一般具有灰度不連續性。結合井下鉆孔返渣的圖像特點,分割算法需考慮2 個問題:①現場采集的圖像存在全煤渣或全巖屑的情況,分割后的圖像并非完全是2 種類別;②考慮系統的實時性需求,對于圖像分割算法的計算量要足夠小。因此,綜合分析后本實驗采用了固定單閾值分割方案,采取的途徑如下:
1 副圖像包括目標、背景和噪聲,設定某一閾值T 將圖像f(x,y)分成2 部分:大于T 的像素群和小于T 的像素群。
為了確定固定閾值T,采用最大類間方差法。最大類間方差法是根據圖像的灰度特性,將圖像分為前景和背景2 個部分。確定T 為前景與背景的分割閾值,前景點數占圖像比例為ω0,平均灰度為u0;背景點數占圖像比例為ω1,平均灰度為u1;圖像的總平均灰度為u;前景和背景圖象的方差為σ。則:
聯立式(8)、式(9),得到
當方差σ 最大時,可以認為此時前景和背景差異最大,此時的灰度T 是最佳閾值。通過該方法,計算出采集樣品圖像的固定閾值為115,中圖像分割結果如圖6。
圖6 圖像分割結果Fig.6 Image segmentation results
根據前節經過圖像分割流程后獲取的二值圖像,以巖屑為前景圖像,每個像素點灰度值均為1,對其求和即可得到巖所占的像素總數,設定通過以下公式得到巖屑、煤渣各自所占比例。
式中:A 為整個煤巖圖像像素點總數;sum(F)為煤巖圖像中巖屑所占的像素總數;Ry為巖屑所占比例;Rm為煤渣所占比例。
單幀圖像煤巖比例識別結果如圖7,其中數據標識為煤渣的含量,紅色標記為巖屑所在的像素分布。
圖7 單幀圖像煤巖比例識別結果Fig.7 Single frame image coal-rock ratio recognition results
由于圖像識別只針對煤巖圖像表面特征進行分析,單幀煤巖圖像辨識結果難以保證結果穩定性,需連續多次采樣,結合多次采樣結果分析得出最終結論,假定M 次采樣,N 次結果煤所占比例大于設定閾值,通過判斷N/M 即可得出該批次煤巖辨識結果。
針對煤礦井下鉆孔的作業場景特點,因鉆孔返渣中只有巖屑和煤渣,二者顏色特征差異較大,所以基于圖像檢測的煤巖界面識別方法是鉆孔作業場景中最可行的技術手段。受現場作業環境影響,利用機器采集的圖像存在噪聲,為保證識別準確性,首先對圖像進行預處理,包括采用HSV 顏色空間進行轉換以提取明度分量、采用空間域濾波中的高斯濾波進行圖像去噪、采用拉普拉斯方法實現圖像增強。結合井下鉆孔作業時返渣圖像特點,圖像分割采用固定單閾值分割方案。并利用最大類間方差法確定了采集樣品圖像的固定閾值為115。對于圖像分割后的二值圖像,通過計算煤渣和巖屑在圖像像素點總數中各自所占比例,進行了煤巖標識,所以通過分析大量的樣本數,并設置煤巖界限的閾值,最終實現鉆孔作業場景下的圖像識別。