基于機器視覺的提升機高速首尾繩智能檢測系統研究與應用

王琨 趙燃 王海君 張永福

（1.中天合創能源有限責任公司，內蒙古鄂爾多斯 017399；2.華洋通信科技股份有限公司，江蘇徐州 221116）

0.引言

目前現代化的智能高效礦井為了及時發現設備存在的隱患，避免發生事故，在煤礦井上、井下的重點區域都建設了普通安防監控系統，在井上的調度指揮中心采取24h值班制，值班人員實時盯著各重點位置，監控作業過程，一旦發生隱患，通過程控電話或廣播喊話的方式通知井下相關區域人員現場消除隱患。

但是煤礦井下設備面臨點多面廣的環節，由于人的視覺疲勞，難以長時間保持警覺，值班調度人員不可能“面面俱到”，也不可能24h目不轉睛地看著多個或一個監控點，無法對違章作業、環境異常和設備異常狀態進行及時獲取。所以，需要有一雙智能的“監控眼睛”替代人眼，及時發現隱患，立即進行報警處理，做到抓拍照片和延時錄像，提醒現場人員和監管人員，并能發出聯動控制指令，命令現場設備停車，避免重大事故的發生。

本項目介紹了一種基于機器視覺圖像識別技術的煤礦首尾繩監測系統，該系統通過數字圖像處理和分析來理解視頻畫面中的內容，具備自動分析和抽取視頻畫面中的關鍵信息的功能[1]。視頻圖像識別技術借助計算機強大的數據處理功能對視頻圖像中的海量數據進行高速分析，過濾掉用戶不關心的信息，為監控者提供有用的關鍵信息。視頻圖像識別以數字化、網絡化視頻監控為基礎，它是一種更高端的視頻監控系統的應用。視頻圖像識別監控系統能夠識別不同的物體，發現監控畫面中的異常情況，并能夠以最快和最佳的方式發出警報和提供有用信息，從而能夠有效地協助值班人員處理危機[2]，并最大限度地減少人為因素的干擾。

1.項目建設內容

煤礦主井提升機鋼絲繩在礦井生產過程中起著重要作用，其主要用在煤炭提升中使用，在礦井主要生產系統運行中起到非常關鍵的作用，為避免出現事故需要有多種監測手段[3]。大多數煤礦的主井提升運輸系統具備全自動運行功能，但仍需安排崗位工值崗，觀察提升系統的運行，防止出現異常情況。煤礦提升系統的鋼絲繩首繩和尾繩是煤礦提升系統生產流程中重要的組成部分，也是提升機關鍵承載構件，其運行環境復雜，日常維護困難，一旦發生故障會引起停產或人員傷亡的嚴重事故。

長期以來，傳統地提升系統首、尾繩系統的巡檢、檢修工作主要依靠人工進行定時排查，日常維護主要依賴的是“目視、手摸、卡尺量”，人工目測方法不僅可靠性差、效率低下，而且花費大量人力，無法做到高效的檢測。而且國家層面發布的《煤礦安全規程》對于鋼絲繩檢測也有相關的規定，比如對在用鋼絲繩的檢測周期、拉力、彎曲程度都有要求，所有煤礦生產企業都是定期利用檢修時間，每次花費幾個小時的時間，依靠人力去人工觀測鋼絲繩的狀況，這種傳統的檢測方式嚴重制約了煤礦的發展，而且存在安全隱患。而且表面顯性損傷要依靠檢測技術人員良好的經驗和判斷才能發現，隱性損傷則很難查到。依靠傳統的檢測方法也無法定量定性地描述首尾繩的損傷情況，更為嚴重的情況是盡管鋼絲繩的使用性能始終處于不可逆的衰變當中，但日常維護中卻無法準確衡量這種衰變的嚴重程度，直到剩余承載能力接近極限從而引發安全事故才被發現，所以急需一種新的技術來解決此問題。

本項目借助機器學習和計算機視覺技術，通過機器自動完成提升機首繩、尾繩各種外部狀態分析、檢測及預警，可完全替代人工查繩的勞動。

門克慶煤礦主井提升系統目前由圓型首繩和扁型尾繩組成。針對門克慶煤礦的現場情況我們利用機器學習和計算機視覺識別技術，在現場放置智能機器人來實現提升機首繩、尾繩的各種外部狀態分析、檢測及預警，從而替代人工查繩。其中首繩損傷檢測包括：繩徑變化、捻距變化，鋼絲繩外部損傷（斷絲等）；尾繩狀態監控包括：尾繩擺動異常、尾繩散股、尾繩纏繞。

在該項目中技術研發包括3個步驟：（1）視覺系統選型和評估，數據采集和預處理；（2）檢測模型算法設計和驗證；（3）平臺搭建，系統聯調及檢測系統在現場的部署和檢測模型的遷移。具體包括：設計首尾繩攝像系統，根據主井提升機現場情況，設計首尾繩攝像系統，系統設計模式如圖1所示。整個系統由巡檢機器人、軌道、運動控制器及驅動器，圖像處理工作站，交換機、工程師操作站、高速AI相機、補光燈等組成。系統采用運行于軌道上的巡檢裝置，巡檢裝置上安裝有檢測裝置，由高精2D/3D線激光測量、高速線掃相機、線掃光源以及高清攝像機組成。高清廣角相機用于拍攝周圍實時視頻，便于遠端操作者感知現場狀態。通過預設位置自動/手動運行到待檢測位置。通過自帶高精度圖像傳感器進行圖像抓拍等處理。可實現鋼纜多角度拍攝，保證檢測無死角，見圖1。

圖1 系統示意圖

2.算法流程

設計檢測模型和驗證，當鋼絲繩尾繩姿態異常檢測算法訓練完成后，可以將該算法部署在終端IPC，實時對視頻監控系統采集的圖像進行判斷，以確認是否發生尾繩纏繞等異常，并實時給出報警信息。系統滿足首繩損傷多樣性檢測，同時滿足礦井提升機鋼絲繩檢測，系統軟件具備深度學習功能。本項目的算法主要采用機器識別的算法，我們開發的目標檢測（鋼纜檢測）算法主要是分為單階段（one-stage）和兩階段（two-stage）2個算法，下面主要以單階段算法的代表算法Yolo算法的原理簡單介紹下算法的開發流程。

首先需要了解圖像識別技術如何編制圖像數據，如圖2算法流程圖所示，將輸入的鋼絲繩的三基色圖像經過卷積、激活函數和批標準化等系列操作多次得到一個特征矢量，然后利用該特征量進行分類或者檢測，經過神經網絡的運算后可以識別出該圖像是出現鋼纜故障的類別。在輸入神經分析網絡前還可以對圖像進行數據方面的增強，例如隨機翻轉隨機遮擋和改變色調對比度等操作。

圖2 算法流程圖

檢測鋼絲繩的智能算法用2張圖即可簡單解釋，首先是將輸入的圖片經過深度卷積神經網絡提取特征，提取了特征以后在鋼絲繩特征圖上會將最初的圖片劃分成若干的網格，每一個框都會去預測若干個檢測框（Bounding Box，Bbox），每一個塊都會對鋼絲繩進行邊界框的回歸和類別的預測，最后預測的結果就是一個張量。在推理部分利用得到的張量對先驗框進行調整，并給出類別和可信度，在鋼絲繩檢測中一般分類是正常的鋼絲繩和有誤差的鋼絲繩以及背景和圖中的異常進行比對，可根據需要自行定義類別。

推理時還需要針對不同網格點產生不同的檢測框進行非極大抑制防止出現一個目標檢測多次的問題。將圖片數據處理好，將所需要的超參數針對自己的數據集進行修改利用開源框架TensorFlow、Pytorch就可以對機器神經網絡進行訓練，訓練完成后就會得到當前訓練的模型權重文件[4]。一個深度機器視覺學習算法的開發到最終落地是需要經過數據的獲取與處理、模型訓練、模型剪枝、模型部署、軟硬件部署、現場測試等一系列的。算法層面還需要對數據的標注有一定理解，通常在開發過程中也是利用一些標注工具對獲取的數據進行人工標注，作為神經網絡訓練的標簽。

3.搭建平臺

完成系統硬件現場部署、檢測模型遷移及系統聯調，并且在監控室布置用于系統數據傳輸及圖形圖像分析的上位機。

（1）提升機高速（全速14m/s）運行期間，能夠實現檢測鋼絲繩無盲區的效果，實時監測單根鋼絲繩捻距、斷絲、變形、磨損等狀態，定時自動或手動遙控切換至其他鋼絲繩檢測，可自動判斷形成鋼絲繩捻距、斷絲、變形等狀態變化趨勢曲線，具備預報預警功能，可按周、月、季度、年查詢鋼絲繩全生命周期狀態趨勢。

（2）系統可自動完成同等位置一根鋼絲繩及鋼絲繩間捻距變化情況，可實現智能比對并形成檢測報告。

（3）自動標定鋼絲繩斷絲圖像信息、提升機位置，位置誤差控制在100mm以內；可自動檢測出標定捻距內斷絲數量，準確率100%。

（4）檢測準確率：鋼絲繩金屬截面積（LMA）誤差 ＜±1%，鋼絲繩繩徑精度為0.01mm。

（5）可自動檢測判斷鋼絲繩變形情況，即鋼絲繩繩徑局部變大、鋼絲繩繩徑局部變小、鋼絲繩局部被壓扁或損傷。

（6）可監控尾繩運行軌跡，能實時監控尾繩運行狀態，尾繩運行軌跡或擺動超出預警值時，可給予警示并觸發視頻、位置緊急鎖存功能。

（7）可檢測出尾繩散股，10m及以上尾散股檢出率100%，1m～10m尾繩散股檢出率＞85%。

（8）具備大數據分析、處理功能，出具捻距斷絲數量識別統計報告、直徑測量數值報告、鋼絲繩磨損銹蝕等級報告、其他各種損傷視圖檢測報告等，可自動生成檢測報告和趨勢圖，檢測報告和趨勢圖可以Word、PDF、Excel等文件形式導出打印。通過以上的算法軟件我們可以精確定位到鋼絲繩斷絲發生的位置及捕捉到到此時斷絲發生圖，如發生斷絲的位置為447.87m，并且看到了此時的圖片，極大地方便了我們的檢修。

4.結語

該項目的成功建設且投入運行后，實現了煤礦提升機首尾繩的全生命周期檢測、分析、存檔及管理，大幅提升了煤礦提升機系統的查繩效率和質量監測，節約了日常檢修時間，降低了煤礦職工勞動強度和查繩的危險程度，保障了職工生命和煤礦財產安全，為進一步推進煤礦行業的智能化建設，提升煤礦行業的生產效率和管理水平，推進煤礦智能化生產發揮了表率作用。