基于萬兆網絡的 煤礦鉆場視頻智能管理系統的研究與應用

鄭東波 王海君 許浩

摘要：本文介紹了一種基于萬兆工業以太環網的的煤礦鉆場視頻管理系統，該系統采用圖像處理和機器視覺相結合的技術，將打鉆過程中的各種參數進行機器識別和自動記錄，做到了自動化的監管。通過視頻監控煤礦各采煤、掘進工作面、鉆場工作面的現場情況能夠有效預防煤礦突出事故，保障煤礦井下作業人員的人身安全。該系統融合了最新的萬兆工業以太環網傳輸技術，鉆場視頻的數據經過萬兆網絡傳輸到地面，保證了系統的穩定性。

關鍵詞：萬兆網絡;鉆場管理;智能視頻;機器學習

一、引言

煤礦打鉆工程是瓦斯、沖擊地壓治理，探放水的關鍵環節之一，如何監管實際打鉆進尺使其與設計一致同時考慮數據傳輸在地面遠端進行監管，一直是困擾鉆場管理的主要問題。本文提出了通過智能視頻監控煤礦各采煤、掘進工作面、鉆場工作面的現場情況能夠有效預防煤礦突出事故，保障煤礦井下作業人員的人身安全。

傳統的鉆桿計數方法主要有兩種：由鉆機操作人員人工記錄打鉆鉆桿數和打鉆深度;采用接近開關，當鉆桿機器移動到某一位置，接近開關發出一次信號，再通過其他裝置累加計數。第一種方法主要靠人工進行記錄，可能出現漏記、多記、錯記等情況;第二種方法使用接近開關，接近開關容易損壞，使得鉆桿計數失效出現誤差，且其原理過于簡單，誤差比較大;接近開關雖然可以手動控制，但是記錄數據不可靠。

本文介紹的系統集機器學習、視頻監控、語音廣播、環境監控、AI智能計數、通信傳輸、計算機信息管理等技術于一體[1]，實現了輔助驗鉆、視頻可視對講、萬兆網絡的遠距離傳輸、打鉆過程中參數記錄、視頻智能分段存儲與查詢、數據報表等功能，為煤礦安全生產提供有力保障。

二、項目建設遵循原則

系統設計遵循技術先進、功能齊全、性能穩定、節約成本的原則，并綜合考慮維護及操作因素，并將為今后的發展、擴建、改造等因素留有擴充的余地。主要參考以下原則：

（一）安全第一：必須符合煤礦礦井安全要求，所有井下產品均通過煤安認證。在達到國家規定的安全指標的基礎上，全面提升系統的性能。

（二）先進性：系統的技術性能和質量指標應達到國際領先水平;同時，系統的安裝調試、軟件編程和操作使用應簡便易行，容易掌握。該系統集國際上眾多先進技術于一身，體現了當前計算機控制技術與計算機網絡技術的最新發展水平，適應時代發展的要求。

（三）經濟性與實用性：充分考慮鉆場管理的實際需要和信息技術發展趨勢，根據鉆場的現場環境、設計選用功能適合現場情況、符合鉆場智能管理系統要求的系統配置方案，通過嚴密、有機的組合，實現最佳的性能價格比，以便節約工程投資，同時保證系統功能實施的需求，經濟實用。

（四）可靠性：本系統基于可靠的網絡通信技術，能確保系統級別的高穩定性和可靠性，滿足7×24小時、全年365天的全天候長期穩定運行。穩定性：系統的設計具有較高的穩定性，系統具有一整套完整的系統管理策略，可以保證系統的運行安全。

（五）升級方便：模塊化設計，界面必須清晰，無論硬件還是軟件，各個分層間結構清楚，完全標準化，便于升級和擴容。

（六）擴展性：采用標準TCP/IP接口，完全滿足信息化要求，可與各種應用軟件接口傳遞數據。

（七）迭代性：識別算法可以進化升級迭代和擴展。

（八）兼容性：配套使用的攝像儀與現有礦井視頻系統具備大平臺兼容、同步顯示效果。

三、系統設計

項目所采用的關鍵技術主要是機器視覺圖像處理技術，眾所周知，隨著新的智能視頻圖像分析技術的發展，機器視覺技術是解決煤礦行業內視頻監控領域疑難技術問題的重要手段。目前在煤礦打鉆視頻智能分析技術可以分為兩大類：一類是通過前景提取等方法對打鉆視頻監控畫面中的鉆桿的移動進行檢測，通過規劃的規則來識別不同的行為，如闖入、物品遺留、邊界等;另一類是利用算法識別技術對監控區域中的畫面中所需要監控的物體進行針對性的建模，從而達到對監控中的特定物體進行檢測及相關識別，如人臉識別、區域限員、人數統計等應用。系統主要由地面客戶端軟件、服務器、萬兆網絡、線纜、智能攝像儀、操作盒等設備組成。

本項目的圖像識別技術主要是采用神經網絡的卷積算法，如下圖1打鉆算法所示，將輸入的打鉆視頻的RGB圖像經過卷積、激活函數和批標準化等系列操作多次后，得到一個特征矢量，然后利用該特征向量進行分類或者是標定檢測，并進行分類，經過神經網絡的運算后可以識別出該圖像是否出現鉆桿的種類。在輸入到神經網絡前還需要對鉆桿視頻圖像進行數據加強，比如隨機遮擋、翻轉以及改變色調和對比度等操作。

檢測打鉆視頻的積分卷積算法用兩張圖片即可進行簡單解釋，第一是將輸入的打鉆圖片經過高速卷積神經元網絡提取出特征，當提取了打鉆視頻特征以后在特定的特征打鉆圖上會將原始圖片分成若干的網格，每一個網格都會去預測多個檢測框（Bounding Box，Bbox），每一個檢測框都會對物體進行邊界框的回歸和類別的預測，最后預測的結果就是按照公式的S×S×（B×5+C）的一個矢量。在推理過程部分，將得到的估算量對先驗框進行調整，并給出類別和可信度，在打鉆視頻場景檢測中一般分類是鉆桿和鉆機以及背景，可根據需要自行定義類別。

在推理過程中還需要針對不同視頻情況網格點產生不同的檢測框進行非極大抑制，防止出現一個視頻場景中的鉆桿目標被檢測多次的問題。最后將圖片數據處理好，將所需要的參數針對自己的數據集進行修改利用開源框TensorFlow、Pytorch就可以對積分網絡進行訓練，訓練完成后就會得到當前訓練的模型權重文件。

一個深度學習的機器算法的開發到落地是需要經過數據的獲取與處理、軟硬件部署及現場測試。算法層面還需要對數據的標注有一定理解，通常在開發過程中也是利用一些標注工具例如對獲取的數據進行人工標注，作為機器視覺訓練的標簽。在本項目中，將帶有機器視覺技術的芯片移植到相關產品中，如礦用本安型攝像儀和圖像處理分站，都是采用此種技術進行開發設計。

礦用本安型攝像儀具備普通礦用本安型高清網絡全方位球形攝像機所有功能，可以選擇雙絞線或者WIFI連接到礦用萬兆環網交換機中，攝像機通過自身自帶的網口或RS485可聯結礦用本安型顯示控制箱;攝像儀本身植入深度學習算法并可以從鉆機終端獲取圖像并可識別出鉆桿、鉆機、放水管，放水管數量，攝像儀可以與客戶端軟件進行實時語音對講，并可以通過客戶端可調節攝像機云臺。

礦用本安型顯示控制箱用于井下操作人員對系統進行接收并查看作業任務、打鉆開始結束指令、參數設定、查看系統狀態、鉆探施工情況匯報、預覽當前安裝相機圖像、同地面進行雙向對講等功能。具體功能包括：LCD顯示屏，金屬鍵盤;通過RS485或以太網絡與攝像機連接;操作簡便的GUI人機交互界面;打鉆參數錄入、存儲或通過打鉆平臺同步;顯示本安型智能分析球機實時圖像;顯示監控終端相機圖像，傳感器狀態，識別狀態;數據存儲記錄，保持7天打鉆視頻及相關記錄;語音呼叫、對講;實時顯示自動計數的鉆桿數量;鉆桿計數按鈕可以手動進行計數并進行視頻聯動;通過藍牙與鉆孔測斜儀通信獲取打鉆的軌跡;通過藍牙與壓力傳感器通信獲取當前鉆進壓力。

礦用隔爆兼本安型圖像處理分站主要用于給設備供電，就地算法支持等。

鉆場智能管理服務器是用于在地面進行算法程序的開發及部署，是系統的核心設備;可以在客戶端上配置鉆場信息、智能攝像機信息、操作盒信息、鉆機終端信息、以及用戶權限信息等內容;系統可以保存預先設計好的打鉆參數，用于與實際打鉆參數進行比對;保存所有用戶信息并進行權限管理;對打鉆智能攝像機和鉆桿計數器提交的鉆桿數量進行實時保存并生成臺賬;對打鉆過程的中視頻和圖片進行實時保存，并提供查詢接口;對打鉆軌跡進行保存，并與鉆場相對應。

將鉆機周圍環境參數進行保存，并提供查詢接口;通過網絡通信將鉆場信息、鉆桿數量、錄像信息、環境參數、攝像機信息等發送給打鉆客戶端;安裝數據庫，方便日后的管理和維護;視頻存儲期限設計不低于36個月，保證施鉆工作有據可查;對打鉆過程進行錄像。

鉆場管理客戶端主要是輸入打鉆任務，并下發打鉆任務，下發打鉆任務時可以選擇調度員，只有通過調度員登錄的賬號才能接收到井下的呼叫和下發任務。

下發打鉆任務時可以選擇手動計數或者自動計數;系統在打鉆過程中全程顯示。

實時顯示打鉆視頻，并可以實時截圖;顯示需要監視的鉆場參數，如鉆桿數量、環境參數等;可以對所有鉆場發出語音廣播，并可以單獨對選中的鉆場進行語音對講，將打鉆數據生成報告并打印出報表進行簽字確認，可以對打鉆視頻錄像進行回放;查詢打鉆臺賬并生成報表進行打印;可以定位查看每個鉆桿的打入時間和退出時間，并關聯到錄像，可以任意選中打鉆錄像并進行下載?？梢圆榭慈請蟊?、周報表、月報表、統計報表等。

本項目的智能視頻算法主要有自動化計數算法和計數流程設計兩個方面。通過機器深度學習方法識別出鉆桿和鉆機，在退鉆過程中如果出現鉆桿與鉆機之間從有鉆桿連接到沒有鉆桿連接，判定為退出一根鉆桿，將自動識別出的鉆桿數量顯示在操作盒LCD顯示屏上，并同時顯示在客戶端上。鉆場智能管理系統主要包含調度中心、鉆孔設計、鉆孔驗收、鉆孔報表、鉆孔查詢以及系統設置模塊。在主界面包含整個礦場的地測圖，通過一張圖可以清晰地看到當前各個鉆場的打鉆情況，也可以一鍵進入查看選中鉆場中鉆機的視頻以及打鉆參數情況。

在地面調度中心主要用于查看礦場所有鉆機的視頻，并可以進行語音對講、圖像抓拍、錄像、監聽等功能，可以根據當前打鉆的實際情況設置9分屏、6分屏、4分屏或者自定義分屏。

在調度中心可以分類查看鉆機的視頻畫面，可以選擇全部、打鉆中、我的管理、在線設備、離線設備進行篩選。

系統建成后最終可以實現如下功能：

（一）系統建成后形成數據庫，方便日后的管理和維護，視頻存儲期限設計不低于36個月，保證施鉆工作有據可查;

（二）以采掘工作面或巷道為單位進行瓦斯鉆孔設計，將設計的數據信息錄入到系統用于審批和查詢;

（三）系統依據鉆孔施工管理要求，實現對瓦斯鉆孔施工地點、施工時間、施工單位、鉆孔設計參數等數據信息填報和審批，同時系統還可以關聯攝像機視頻，下達人工智能識別指令;

（四）采用云臺球型攝像機作為智能識別分析攝像機，井上調度人員可以通過客戶端軟件調整攝像機角度;

（五）采用深度學習技術自動計數驗鉆，降低勞動管理強度，計數更準確;

（六）智能識別自動計數后可以將鉆桿的數量實時顯示在操作盒上便于打鉆人員實時查看;

（七）打鉆前判斷鉆孔角度是否滿足設計要求，由事后驗證變成事前判斷，有效規范工人作業，提高鉆孔質量;

（八）通過將打鉆視頻與鉆孔臺賬關聯，有效杜絕謊報進尺、違章操作、打假孔等危及安全的事件發生;

（九）系統以視頻監控為基礎進行實時監控，實現打鉆施工的全過程監控。系統自動按打鉆過程，將視頻存儲和排序，便于后期資料查找;

（十）系統能夠將鉆場的設計參數、施工過程參數、施工人員等按照打鉆過程需要記錄在案，形成電子文件存檔，作為打鉆管理的一部分;

（十一）系統可自動統計出日報表、周報表、月報表、統計報表、異常報表、鉆桿計數報表、瓦斯濃度報表等。輕松掌握井下各個鉆場工作情況;

（十二）實時監測井下設備的通訊網絡狀態，當出現網絡中斷等異常情況時，將發出提示信號，保障鉆場管理工作順利有效進行;

（十三）系統支持井下鉆場與地面管理中心對講功能，方便雙向對講聯絡，可實時指揮，并使用數字語音處理技術降低語音底噪、去除對講回音，實現井上和井下的清晰通話;

（十四）當有多個鉆場同時呼叫時調度中心按照先后順序依次接聽，調度員也可以通過客戶端進行優先選擇接聽;

（十五）打鉆參數實時疊加到視頻上，便于實時查看和后期錄像查看;

（十六）在打鉆過程中通過根據人工判斷當前打的是煤層還是巖層，然后打鉆工在操作盒上選擇煤還是巖，并將結果記錄到數據庫中，便于后期對應查看;

（十七）通過讀取鉆孔測斜儀的數據，實現精準的鉆孔方位驗證，并通過圖形方式展現成孔軌跡，方便與設計要求進行偏差分析;

（十八）通過壓力傳感器檢測出當前鉆桿的鉆進壓力，并且通過藍牙方式實時發送給操作盒，并在操作盒及地面客戶端實時顯示，提醒打鉆工。

四、結語

該項目的成功建設并且投入運行后，實現了打鉆過程中的全生命周期檢測、分析、存檔及管理，大幅提升了煤礦打鉆過程中的安全，節約了日常檢修時間，降低了煤礦職工勞動強度和查繩的危險程度，保障了職工生命和煤礦財產安全，為進一步推進煤礦行業的智能化建設，提升煤礦行業的生產效率和管理水平，推進煤礦智能化生產起到了表率作用[2]。

作者單位：鄭東波? ? 內蒙古上海廟礦業有限責任公司新上海一號煤礦

王海君? ? 許浩? ? 華洋通信科技股份有限公司

鄭東波（1987.10- ），男，蒙古族，寧夏銀川，本科，內蒙古上海廟礦業有限責任公司新上海一號通防副總工程師，采煤工程師，研究方向：煤礦信息化自動化。

參? 考? 文? 獻

[1] 丁宇輝，趙金升，等.基于AI視頻識別的斜巷絞車智能控制系統[J].中國高新科技， 2021（11）.

[2] 王海君，謝寶東.基于圖像識別技術的煤礦井下膠帶機智能巡檢的研究與應用[J].科技創新導報， 2020（12）.