復(fù)合式圖像監(jiān)測技術(shù)在井下測量中的應(yīng)用

張桁維，郝敬賓，朱文杰，盧震，楊乾龍

（中國礦業(yè)大學(xué)機電工程學(xué)院，江蘇 徐州 221116）

復(fù)合式圖像監(jiān)測技術(shù)在井下測量中的應(yīng)用

張桁維，郝敬賓，朱文杰，盧震，楊乾龍

（中國礦業(yè)大學(xué)機電工程學(xué)院，江蘇 徐州 221116）

煤礦井下的空間變形是煤礦開采過程普遍存在的一種現(xiàn)象，即時對巷道變形預(yù)警可以保證煤礦井下安全生產(chǎn)，考慮到井下巷道中光源色溫、光線照度等條件限制，以及井下作業(yè)環(huán)境粉塵較大，會造成獲取的井下巷道圖像失真甚至無法獲取有效信息。本系統(tǒng)采用雙目視覺和激光測距相結(jié)合的方法來提高井下空間可視化環(huán)境的測量效果，通過數(shù)據(jù)比較實現(xiàn)處理和分析圖像，可以長時間、精確地、非接觸地進行井下巷道變形和圍巖形貌的測量。

復(fù)合式圖像監(jiān)測；井下可視化；巷道變形；圍巖形貌

0 引言

中國煤炭產(chǎn)量在整個全球產(chǎn)量中的份額達到了37%，但我國礦井事故死亡人數(shù)卻占全世界煤礦死亡總?cè)藬?shù)的70%左右，致使我國的煤礦事故頻發(fā)的因素主要有礦井下特殊的作業(yè)環(huán)境，作業(yè)人員素質(zhì)參差不齊，井下環(huán)境的突發(fā)性，多樣性以及企業(yè)管理人員安全意識不足。隨著煤礦井下的安全生產(chǎn)面臨越來越嚴(yán)峻的形勢，礦井安全監(jiān)控以及檢測系統(tǒng)得到了快速發(fā)展，由最初的瓦斯遙測系統(tǒng)開始實現(xiàn)單一的瓦斯監(jiān)測到目前單方面、多參數(shù)監(jiān)控系統(tǒng)實現(xiàn)對井下軌道運輸、環(huán)境安全、皮帶運輸、通風(fēng)、排水等各大系統(tǒng)的監(jiān)控，并隨著計算機技術(shù)和網(wǎng)絡(luò)技術(shù)的發(fā)展，已研制出KJ90、KJ4等監(jiān)控系統(tǒng)以及MSNM、WEBGIS等綜合化和數(shù)字化的煤礦安全網(wǎng)絡(luò)監(jiān)測管理系統(tǒng)，提高了煤礦生產(chǎn)的安全保障性［1-3］。

大部分發(fā)達國家利用人工智能，圖像處理等領(lǐng)域的前沿技術(shù)，結(jié)合網(wǎng)絡(luò)傳輸技術(shù)，已經(jīng)研發(fā)出把視頻、數(shù)據(jù)集合于一體同時兼容各種專用視頻監(jiān)控系統(tǒng)功能的綜合系統(tǒng)，將信號控制、圖像識別、通信功能合成一體，多樣化發(fā)展、靈活性強、兼容性好、便于無線接入技術(shù)的引入［4，5］。

但由于煤炭的采掘主要以井下采掘為主，生產(chǎn)條件極為惡劣；有甲烷等爆炸性氣體、以及井下低光源、多粉塵的工作環(huán)境特別是瓦斯爆炸、冒頂、垮塌等事故時有發(fā)生，這就要求井下監(jiān)控測量系統(tǒng)能夠提供工作面的測量數(shù)據(jù)［6］。然而，目前的監(jiān)控系統(tǒng)存在很多的不足，由于它監(jiān)控的基本信號為模擬信號，從監(jiān)控現(xiàn)場得到的相關(guān)圖像只用于在視頻顯示器上顯示，依賴于工作人員的觀察和判斷，無法實現(xiàn)精確的數(shù)據(jù)測量和收集任務(wù)，井上監(jiān)控人員就無法做出準(zhǔn)確快速地判斷，就會對井下作業(yè)人員的生命安全產(chǎn)生一定的威脅。

為克服已有井下可視化監(jiān)控系統(tǒng)的不足之處，本文采用將雙目視覺和激光測量相結(jié)合的復(fù)合式圖像監(jiān)測技術(shù)，以實現(xiàn)在低光源、高粉塵等極端環(huán)境下井下可視化監(jiān)測，為井下作業(yè)安全預(yù)警提供及時準(zhǔn)確的數(shù)據(jù)支持。

1 復(fù)合式圖像監(jiān)測的工作原理

本系統(tǒng)利用搭載在高精度旋轉(zhuǎn)云臺上的激光測量儀和雙目攝像頭組成，兩個攝像頭對同一目標(biāo)物拍攝兩幅圖像，并采用雙目視覺和激光測距相結(jié)合的方法來對井下巷道進行測量。雙目攝像頭對井下的巖壁進行圖像提取，通過選擇像素點，記錄每一個像素點相對于整個圖像的坐標(biāo)（X，Y），激光測量儀對圖像上選擇點進行掃描，得到選擇點相對于激光測距儀的距離S，通過每一個選擇點的坐標(biāo)（X，Y，S）以便于構(gòu)建井下巷道三維模型，并采用圖像增強技術(shù)來處理圖像，圖像的線性拉伸、對數(shù)指數(shù)拉伸、直方圖均衡化、圖像正規(guī)化、直方圖高斯化、高通濾波、低通濾波、帶通濾波、全方向的各種濾波，紋理增強等是圖像增強的主要方法［7］。

雙目攝像頭的工作原理是利用三角測距原理即已知兩攝像頭的位置，且同時知道同一物體在2個攝像頭中的成像位置，利用三角原理計算物體在空間的位置。

如圖2所示，考慮最簡單的情形，L和R分別為2個參數(shù)相同的攝像頭，f為2個攝像頭的焦距，L和R光軸平行，與X軸重合，Y軸垂直于紙面。以R的原點或投影中心的偏移量為b，b成為立體視覺系統(tǒng)的基線，L的攝像頭坐標(biāo)系為世界坐標(biāo)系目標(biāo)點為P，P在左右攝像頭中投影的x坐標(biāo)分別為x1，x2。根據(jù)空間幾何的原理，有如下公式［3］：

圖2　三角測距原理示意圖Fig．2 Triangle Ranging Principle Diagram

式中：b—L、R兩點間的距離；x1—A、B兩點間的距離；x2—C、D兩點間的距離；f—攝像頭焦距；y1，y2—P在左右攝像頭中投影的y坐標(biāo)；Z—P在Z軸的坐標(biāo)。

已知（x1，y1），（x2，y2），焦距f和基線長度b即可以得到P點的三維坐標(biāo)（X，Y，Z）：

式中：f—焦距；X，Y，Z—P點的三維坐標(biāo)；x1，y1—P在左攝像頭中投影的x坐標(biāo)和y坐標(biāo)；x2，y2—P在右攝像頭中投影的x坐標(biāo)和y坐標(biāo)。

系統(tǒng)采用光學(xué)測量技術(shù)，擁有測距遠、非接觸式、快速性好、系統(tǒng)柔性好，精度優(yōu)良等優(yōu)點，利用經(jīng)發(fā)射裝置發(fā)射一束激光到達被測物體表面再按原路徑返回，由時間計數(shù)器計算得光束由發(fā)射到被接收所用時間，然后算出儀器到被測點的距離。

激光測距技術(shù)是光波測距中的一種測距方式，根據(jù)測量時間方法的不同，激光測距儀通常可分為相位式和脈沖式兩種測量形式。激光測量技術(shù)的工作原理示意圖如圖3所示。

圖3　激光測量原理示意圖Fig.3 Laser ranging principle diagram

在此基礎(chǔ)上，應(yīng)用如濕敏傳感、溫度傳感、氣敏傳感、測距傳感等多傳感器的傳感信息，利用信息冗余分析與融合濾波進行信息消噪，同時對色溫、照度等因素進行估計與補償，實現(xiàn)異構(gòu)傳感信息之間的最優(yōu)互補。進一步，分析衍射效應(yīng)和聚焦誤差對分辨率的影響，基于異構(gòu)信息融合，采用基于尺度不變特征和變換設(shè)計特征匹配算法進行匹配，修正全景模型偏差并重構(gòu)細節(jié)信息。

對于一臺雙目攝像頭，由于安裝誤差會使攝像頭和激光發(fā)射器之間的位置產(chǎn)生誤差，所以在第一次測量前，應(yīng)對攝像頭和激光發(fā)射器進行標(biāo)定以提高測量的精度。

同時，為了更好地對前期圖像的采集可能出現(xiàn)質(zhì)量不足進行處理，將在后期在線監(jiān)控的過程中，運用實時攝像所獲取的信息，通過雙目攝像頭獲取的圖片拼接與成像特征提取，結(jié)合超分辨率重建方法，進行多次離線或在線漸進補償，以提高信息重構(gòu)的質(zhì)量與精度。該檢測系統(tǒng)直觀地監(jiān)測煤礦井下巷道空間的變化情況，處理和分析巷道圖像，使測量的可靠性和重復(fù)率均滿足要求，并根據(jù)測量結(jié)果，對煤礦井下作業(yè)環(huán)境中的圍巖空間變形進行早期預(yù)警。

2 復(fù)合式圖像監(jiān)測裝置的設(shè)計與實現(xiàn)

復(fù)合式圖像監(jiān)測裝置由雙目攝像頭和激光測量儀組成，激光測量儀安裝在雙目攝像頭的上方，使兩者位于同一測量原點。雙目攝像頭對井下的巖壁進行圖像提取，激光測量儀對巖壁進行掃描，操作人員觀看照片，標(biāo)定需要進行測量的地方，利用激光測量儀獲得標(biāo)定位置的巖壁區(qū)域距離數(shù)據(jù)，并通過換算得到所需數(shù)據(jù)。

該檢測系統(tǒng)的基礎(chǔ)是硬件系統(tǒng)，系統(tǒng)的組成決定了井下圖像采集的質(zhì)量，對最終的測量結(jié)果會產(chǎn)生很大的影響。本系統(tǒng)主要部件包括：激光測量儀、高精度旋轉(zhuǎn)云臺、雙目攝像頭和無線收發(fā)模塊，它們是整個系統(tǒng)的關(guān)鍵，該檢測系統(tǒng)由煤礦井下圖像采集系統(tǒng)和煤礦井上圖像分析系統(tǒng)兩部分組成。煤礦井下數(shù)據(jù)收集系統(tǒng)實現(xiàn)生產(chǎn)現(xiàn)場巷道空間采集和圖像傳輸，井上圖像分析系統(tǒng)分析獲得的數(shù)字化圖像，得出巷道空間變形的數(shù)據(jù)。

該檢測系統(tǒng)的遠程控制與協(xié)調(diào)由以下兩步組成：控制指令由控制鍵盤傳送給現(xiàn)場主機，主機直接控制高精度旋轉(zhuǎn)云臺，使雙目攝像頭對準(zhǔn)被測量巷道圍巖表面，照明系統(tǒng)將井下照亮并以固定的時間間隔，對井下巷道內(nèi)巖壁的情況進行連續(xù)的自動測量和采集圖像。計算機對圖像進行分析處理，圖像處理過程包括對圖像中巷道的巖壁特征識別、寬度和高度測量，得到巷道信息，為建立井下巷道三維模型提供理論依據(jù)。

整個系統(tǒng)的工作流程如圖4所示，雙目攝像頭用來采集圖像，旋轉(zhuǎn)部件帶動激光發(fā)射器在一定的角度內(nèi)旋轉(zhuǎn)以便激光發(fā)射器的照射范圍可以覆蓋整個圖像，旋轉(zhuǎn)云臺使雙目攝像頭可以拍攝到一周360°的圖像，得到的數(shù)據(jù)由無線收發(fā)模塊傳送到主機內(nèi)，從而進行實時圖像顯示和巷道虛擬重現(xiàn)。

圖4　監(jiān)測裝置硬件系統(tǒng)示意圖Fig.4 Monitoring device hardware system schematic diagram

3 結(jié)論

該系統(tǒng)能提供連續(xù)的井下圖像同時可以實時顯示出礦井下巷道圍巖表面狀況，使信息直觀化、可視化，并比對數(shù)據(jù)庫的信息及時做出預(yù)警，以便于井下問題被測量者提早覺察并做出及時的應(yīng)對，提高了測量效率，節(jié)省了成本。

本文綜合考慮了煤礦井下實際的工作環(huán)境，對基于圖像處理技術(shù)的巷道圍巖空間變形檢測系統(tǒng)的總體設(shè)計進行了闡述。該檢測系統(tǒng)具備對煤礦井下巷道圍巖空間變形進行預(yù)警的功能，直觀的顯示了巷道圍巖空間變形的程度，給我國礦井的安全管理和生產(chǎn)提供了科學(xué)依據(jù)，具有一定的推廣價值。

［1］趙修霞.礦井安全監(jiān)控系統(tǒng)可靠性研究［D］.山東：山東輕工業(yè)學(xué)院，2011.

［2］朱文杰，郝敬賓，楊乾龍，盧震，張珩維.巷道圍巖表面變形的激光測量方法研究［J］.煤礦安全，2015.

［3］楊武，姚錫凡，范路橋，基于雙目視覺定位的排爆機器人控制系統(tǒng)［J］.微計算機信息，2008，2.

［4］劉尹霞，馬恒.機器視覺技術(shù)遠程煤塵顆粒在線檢測［J］.遼寧工程技術(shù)大學(xué)學(xué)報（自然科學(xué)版），2012，6.

［5］邢喆.礦井深部開采巷道維修及其支護理論與應(yīng)用［J］.黑龍江科技信息，2007，17.

［6］張琦，張柯.激光的特點及其在測距上的應(yīng)用［J］.辦公自動化雜志，2011，211.

［7］魏連云，王懷強，鄧恒淹，等.圖像增強技術(shù)在煤礦巖層監(jiān)視系統(tǒng)中的應(yīng)用研究［J］.科技資訊，2009，35.

Application of Compound Image Monitoring Technology in Mine Measurement

ZHANG Heng-Wei，HAO Jing-Bin，ZHU Wen-Jie，LU Zhen，YANG Qian-Long
（College of Mechanical and Electrical Engineering，China University of Mining and Technology，Xuzhou Jiangsu 221006，China）

Deformation of the coal mine space is a common phenomenon in the process of coal mining，and deformation forecast in advance can ensure the safety production in mine.Considering the restriction of the temperature of the light source，light intensity and a lot of dust in the mine which will cause image distortion and even cannot obtain the effective information，the system adopts the combination of binocular vision and laser ranging in order to improve the measuring results of coal mine.Through the data comparison，the system can realize the image processing and analysis，meanwhile the measurement can be accurate，non-contact and last a long time when measuring the deformation of the surrounding rock in tunnel.

composite image monitoring；mine visualization；deformation of the coal mine；morphology of the surrounding rock

TD76

A

10.3969/j.issn.1002-6673.2015.02.034

1002-6673（2015）02-089-03

2015-03-07

國家自然科學(xué)基金項目（51305443）；863計劃項目（2012AA062100）“本科教學(xué)工程”國家級大學(xué)生創(chuàng)新訓(xùn)練項目（201310290015）

張桁維（1993-），男，陜西西安人，本科生在讀。參與發(fā)表論文兩篇，申請發(fā)明專利一項；郝敬賓（1982-），男，江蘇徐州人，工學(xué)博士，講師，研究方向：快速成形與快速模具制造及激光微納米加工技術(shù)，發(fā)表學(xué)術(shù)論文十二篇，申請國家發(fā)明專利兩項。