綜采工作面虛擬現實監控系統設計

李昊，　陳凱，　張晞，　錢建生

(1.中國礦業大學(北京) 機電與信息工程學院， 北京　100083；

2.北京天地瑪珂電液控制系統有限公司， 北京　100013；

3.中國礦業大學 信息與電氣工程學院， 江蘇 徐州　221008)

?

綜采工作面虛擬現實監控系統設計

李昊1,2，陳凱1，張晞2，錢建生3

(1.中國礦業大學(北京) 機電與信息工程學院， 北京100083；

2.北京天地瑪珂電液控制系統有限公司， 北京100013；

3.中國礦業大學 信息與電氣工程學院， 江蘇 徐州221008)

摘要：針對目前綜采工作面自動化生產過程中視頻監控圖像效果差的問題，設計了綜采工作面虛擬現實監控系統，詳細介紹了系統功能設計、結構組成及系統實現的關鍵技術。該系統采用虛擬現實技術構建出了高仿真度的虛擬礦井作業場景，實現了綜采工作面生產設備實時狀態信息的采集、傳輸、顯示、預警以及反向控制等功能，滿足了綜采工作面自動化生產監控的需求。

關鍵詞：綜采工作面； 三維虛擬現實； 生產監控； 自動化

網絡出版地址：http://www.cnki.net/kcms/detail/32.1627.TP.20160405.0857.004.html

0引言

在礦井生產系統中，綜采工作面是現代化礦井最基本的生產單元，也是事故高發地和能見度低的地方。隨著無人化工作面概念的提出，綜采工作面各生產設備的自動化、智能化以及遠程監控等課題，已成為綜采自動化領域的研發重點[1]。

當前主流的綜采工作面自動化生產遠程監控系統都是采用設備自動生產、操作人員遠程干預的模式,即采煤機工作在記憶截割模式，液壓支架自動跟機，生產操作人員在工作面巷道監控中心通過計算機畫面進行遠程輔助調節[2]。由于井下環境復雜，設備的自動生產還不夠智能，也不夠穩定，所以操作人員遠程干預是非常重要的。研究如何讓遠離生產作業面的操作人員更好地觀察工作面的實時情況，對于綜采工作面生產監控系統來說是很重要的課題。目前國內外普遍采用的方式是通過在工作面部署各類攝像儀(液壓支架視頻系統、采煤機機載視頻系統)獲取實時視頻信息，同時，結合在生產作業設備上部署各類傳感器采集諸如溫度、電流、電壓等狀態信息，并通過通信單元傳輸到工作面巷道以及地面的數據監控中心計算機，以供遠程生產操作人員進行分析決策。雖然數據信息與視頻信息二者相輔相成取得了不錯的應用效果，但還是存在一定的問題。在實際應用中，數據信息多是利用組態軟件等以二維圖形結合文字、數字的方式呈現出來；視頻數據則是將攝像儀采集的圖像直接顯示在屏幕上。然而，視頻信息受井下工作面環境惡劣、光線條件差、煤塵多、視覺死角、傳輸延遲大等不利因素影響，攝像儀不能很好地發揮其作用[3]，且二維的數據信息雖然受環境影響小，但呈現方式不夠直觀。

針對上述問題，筆者設計了綜采工作面虛擬現實監控系統，利用虛擬現實技術，將綜采工作面實時生產數據與各傳感器采集的實時數據、GIS數據等結合起來，構建出綜采工作面實時生產作業場景[3]。

1系統設計

1.1系統功能設計

綜采工作面虛擬現實監控系統采用虛擬現實技術構建出高仿真度的虛擬礦井作業場景，利用CAD結構圖將采煤機、液壓支架和刮板輸送機等煤礦生產設備進行仿真建模，并根據三機配套圖、巷道布置圖等資料，按照實際位置擺放至虛擬場景中，然后通過軟件系統的數據接口，將相關聯的監測系統提供的設備實時數據讀取出來，同步驅動虛擬設備執行同樣的動作及位移，實現數據的三維可視化。

為滿足操作人員的監控需求，綜采工作面虛擬現實監控系統的主要功能設計如下。

(1) 綜采工作面全設備實時監控功能。為使操作人員可以全方位監視綜采工作面全設備的實時狀態，系統應提供多種視角，比如自主控制視角，即操作人員可以通過鼠標和鍵盤，自主地移動鏡頭并瀏覽場景中的任一設備、任意位置；系統應具有自動控制的智能視角，即解放操作人員的雙手，當設備狀態發生變化時，鏡頭智能地自動定位至該設備前，使操作人員可以將更多的精力放在對現場情況的處理上，而不是操作軟件。當然，該功能應針對不同角色的操作者(采煤機操作工或支架操作工)有不同的設定。此外，在關注某一設備時，應通過“實時信息框”的方式顯示該設備的當前狀態信息。

(2) 設備反向控制功能。即通過操作虛擬設備來控制實際設備，比如對虛擬采煤機進行降搖臂高度操作，實際采煤機的搖臂高度可以同步變化。當然，該功能的使用需要一些安全機制的保護和限制，避免誤操作造成安全隱患。

(3) 預警及故障報警功能。提供碰撞預警及設備故障報警功能，如液壓支架和采煤機的預碰撞檢測功能，采煤機在采煤過程中，程序根據其前進方向和速度，實時計算出其下一刻的位置，同時判斷其前進方向的支架護幫板有沒有收回，并在虛擬場景中對可能發生的碰撞支架進行變色警示。另外，當采煤機或乳化液泵等設備發生故障時，系統會將該設備或該設備的某部件在虛擬場景中變色警示。

(4) 數據回放功能。數據保存在數據庫中，系統應支持歷史數據的讀取和回放功能，為生產情況分析、事故追蹤提供幫助。

1.2系統結構設計

綜采工作面虛擬現實監控系統主要由數據采集模塊、數據傳輸及存儲模塊、數據顯示模塊組成，系統網絡結構如圖1所示。其中，三維虛擬現實主機和三維主機是用來顯示虛擬工作面場景的，分別部署在井下工作面巷道和地面調度中心。

圖1　綜采工作面虛擬現實監控系統網絡結構

(1) 數據采集模塊。綜采工作面的設備眾多，如采煤機、液壓支架、轉載機、破碎機、刮板輸送機等。通過在設備上部署各類傳感器，可以獲得設備的實時狀態信息。以液壓支架為例，通過立柱上的壓力傳感器可以獲取立柱的實時壓力，通過底部油缸里的行程傳感器可以獲取支架的推溜行程等。

(2) 數據傳輸及存儲模塊。采集到的各設備信息通過CAN總線以及工業以太網傳輸至數據處理計算機(圖1中的井下服務器)。該計算機通過部署在其中的數據處理軟件完成數據的解析、分發以及存儲等功能。

(3) 數據顯示模塊。在三維主機中部署虛擬現實軟件用以實現數據可視化。三維主機本身不負責數據的存儲，甚至不會主動請求數據，它只是通過以太網與數據處理計算機建立并維持連接(TCP/IP協議)，同時訂閱數據(當數據發生變化時，數據處理計算機會通知三維主機)，并且處理數據以及整個場景中各模型、鏡頭等內容的邏輯關系。

2系統實現的關鍵技術

2.1生產過程實時數據處理技術

出于對計算機性能以及數據安全的考慮，不能夠只用1臺計算機完成整個數據的處理工作,而需要根據系統功能要求，由幾臺計算機組成協同系統來完成數據處理工作，即1臺數據計算機負責數據的收集、分發；1臺服務器計算機負責數據的存儲及上傳；1臺三維計算機用于運行三維虛擬現實監控軟件；同時，另有3臺計算機以二維畫面方式顯示數據以及工作面視頻畫面。整個軟件系統采用C/S架構，即服務端/客戶端模式，將服務端軟件部署在數據處理計算機上，其他計算機上部署客戶端軟件。這樣做不但可以降低對計算機性能的要求，同時還能在某臺計算機出現故障時保證數據安全。

此外，服務端與客戶端計算機通過以太網連接，客戶端軟件只負責保持與服務端的連接(TCP/IP協議)，同時在服務端“訂閱”數據，即不主動請求數據，而是等待服務器推送變化的數據信息。當然，在啟動時或者重啟后，客戶端會主動向服務器請求全部數據，而在此后，客戶端僅處理自身的邏輯即可。

2.2可視元素開發

可視元素集中在上位機軟件中，是在微軟.NET平臺下使用C#語言進行開發的。三維虛擬現實場景使用引擎Unity3D開發，在運行時作為ActiveX控件集成在軟件系統的客戶端軟件里?？梢曉亻_發關鍵點在于仿真模型的制作以及邏輯程序的開發。

2.2.1虛擬設備仿真模型制作

仿真模型的開發流程如圖2所示。

(1) 仿真模型的構建：仿真模型必須按照實際設備的CAD尺寸圖進行制作，虛擬模型的尺寸比例與實際一致，以保證設備模型之間交互時，達到與實際一致的虛擬現實效果。

圖2　仿真模型開發流程

(2) 仿真模型的模塊化制作：設備建模不能像普通的三維動畫一樣直接整體建模，而要根據設備的機械原理，將設備模型分解成部件子模型。以采煤機為例，由于采煤機的滾筒旋轉、搖臂升降以及連接搖臂的油缸伸縮等動作要求，所以，采煤機的模型將分為機身、左右滾筒、左右搖臂、各部分油缸等子部件模型，以滿足程序的計算和控制。在實際開發中，單是采煤機模型就需分別制作30個子模型，以保證部件動作的靈活、逼真。

2.2.2程序組態化架構

對于仿真軟件而言，虛擬場景是對真實環境的還原。所以，相比于底層的數據開發，界面開發最大的難度在于其復用性，即要模塊化甚至組態化地開發以適應不同的工作面。不同的煤礦(工作面)由于地質條件、煤層結構不盡相同，工作面使用的設備也不同?；谶@一點考慮，為了減少二次開發的工作量，提高程序的復用性，在軟件的設計階段，對軟件架構進行了模塊化設計，如圖3所示，以設備為模塊進行劃分，每個設備都擁有獨立于項目以外的專屬腳本，以保證其獨立性以及通用性；同時，在總控邏輯模塊內處理各個設備之間的關系。這樣，每個模塊相對獨立，針對不同的項目，根據需要對相應模塊進行修改即可使用。

2.3LOD圖形優化技術

為了使綜采工作面三維虛擬現實軟件能夠流暢地在井下隔爆主機上運行，除了采用優化模型面數以及動態加載模型等常規方式外，還利用LOD(Levels of Detail)技術進行場景整體渲染優化，取得了不錯的效果。

LOD是對模型建立一個模型金字塔，根據攝像機距離對象的遠近，選擇使用不同精度的模型。它的好處是可以在適當的時候大量減少需要繪制的頂點數目。計算機圖形圖像學領域里，LOD算法眾多，如經典的多面體簡化算法[4]以及頂點刪除法[5]。本文所設計的LOD算法的核心部分是一種基于三角形折疊及頂點刪除的模型簡化算法，設計了自動調整LOD級別算法。根據視角遠近將模型分為5個級別，分別為LOD1—LOD5，其中，LOD5幾乎是一張貼圖而已，面數已經非常少。而具體確定級別選擇的變量是幀數，即幀數達到設定值時，調整對應的LOD級別。LOD算法流程如圖4所示。

圖4　LOD算法流程

支架模型LOD優化示意如圖5所示。當在屏幕內只能看到1個或幾個支架時，使用LOD1模型渲染，即圖5(a)所示的支架模型，面數為132 561；當視角拉遠至能夠同時看到不多于50個架時，用LOD2—LOD4模型渲染，LOD4支架模型如圖5(b)所示,有7 986個面；當視角再拉遠至能夠同時看到50個支架時(此時支架已經很小了)，使用LOD5，只是一張貼圖而已。

3結語

綜采工作面虛擬現實監控系統通過模塊化的軟硬件設計以及LOD等圖像優化技術，將虛擬現實技術成功應用在綜采工作面設備控制中，實現了綜采工作面生產場景中采煤機、液壓支架、刮板輸送機等設備的實時狀態信息的采集、傳輸、顯示、預警以及反向控制等功能。目前，綜采工作面虛擬現實監控系統已在神南紅柳林礦、巴彥高勒礦、寧煤梅花井礦等多個礦井應用，實際應用效果表明，系統達到了預期的要求，特別是與傳統的視頻監視系統形成了互補的效果：視頻清晰時使用傳統視頻系統；視頻效果較差時，使用虛擬現實監控系統觀察工作面情況。此外，支架護幫板防碰撞預警等功能是現有視頻監視系統不具備的，使虛擬現實監控系統更加實用有效。

(a) LOD1支架模型

(b) LOD4支架模型

參考文獻：

[1]王金華，黃曾華.中國煤礦智能開采科技創新與發展[J].煤炭科學技術,2014,42(9):1-6.

[2]王國法.綜采自動化智能化無人化成套技術與裝備發展方向[J].煤炭科學與技術,2014,42(9):30-34.

[3]牛劍鋒.無人化工作面智能本安型攝像儀研究[J].煤炭科學技術,2015,43(1):77-80.

[4]王金華，黃樂亭，李首濱，等.綜采工作面智能化技術與裝備的發展[J].煤炭學報,2014,39(8):1418-1423.

[5]SCHROEDER W,ZARGE J.Decimation of triangle meshes[C]// Proceedings of the ACM SIGGRAPH'92,Chicago,1992:65-70.

Design of monitoring and control system based on virtual reality technology on

fully-mechanized coal mining face

LI Hao1,2，CHEN Kai1，ZHANG Xi2，QIAN Jiansheng3

(1.School of Mechanical Electronic and Information Engineering, China University of Mining and

Technology (Beijing)， Beijing 100083，China; 2.Beijing Tiandi-Marco Electro-Hydraulic

Control System Company Ltd., Beijing 100013, China; 3.School of Information and

Electrical Engineering, China University of Mining and Technology，Xuzhou 221008，China)

Abstract:In view of problems of bad image effect of video monitoring and control in process of automation production on fully-mechanized coal mining face, a monitoring and control system based on virtual reality technology was designed, and function design, structure composition and key technologies of the system were introduced. The system uses virtual reality technology to build up a high-fidelity virtual mine operation scene, and realizes functions of collection, transmission, display, warning and reverse control of real-time state information of production equipment on fully-mechanized coal mining face. The system meets needs of automatic production and monitoring on fully-mechanized coal mining face.

Key words:fully-mechanized coal mining face; 3D virtual reality; production monitoring; automation

作者簡介：李昊(1983-)，男，北京人，助理研究員，碩士，主要從事煤礦無人化開采及智能控制方面的研究工作，E-mail：lihao@tdmarco.com。

基金項目：國家高技術研究發展計劃(863計劃)資助項目(2013AA06A410)。

收稿日期：2015-12-24；修回日期：2016-02-05；責任編輯：張強。

中圖分類號：TD672

文獻標志碼：A網絡出版時間：2016-04-05 08:57

文章編號：1671-251X(2016)04-0015-04

DOI:10.13272/j.issn.1671-251x.2016.04.004

李昊，陳凱，張晞，等.綜采工作面虛擬現實監控系統設計[J].工礦自動化，2016,42(4)：15-18.