云邊協同在礦井視頻監控系統設計中的應用

馬志剛,高 照

(1.國能神東煤炭集團,陜西 神木 719315;2.陜西億杰鑫信息技術有限公司,陜西 西安 710065)

0 引言

目前,煤礦中的設施設備主要包括:(1)礦壓監測裝置;(2)通風設備;(3)供配電設備;(4)給排水設備;(5)人員定位裝置;(6)監測監控設施;(7)皮帶機;(8)綜采設備。自2018年全面實施“互聯網+”、物聯網改革至今,通過安裝傳感器、執行器、工業攝像頭、環境監測儀器,配置5G通信技術、Wi-Fi技術、API技術等,搭建了以設備層、數據采集層、網絡層、數據管理層、應用層為主的架構,初步實現了“物聯網平臺+業務系統”的智能化管理。但由于可視化程度較低,加上數據類型增加、數據海量增長等情況的出現,煤礦企業在當前亟須結合云邊協同技術加強礦井視頻監控系統設計。

1 礦井視頻監控系統應用現狀概述

在現代煤礦安全生產中,視頻監控十分關鍵。從當前煤礦智慧園區建設中應用的礦井視頻監控系統看,主要由前端配置、中端通信、終端移動設備共同組成,具體包括監控器、上傳視頻數據、工業攝像頭等。但由于此類系統中的數據分析能力較差:一方面,不能有效反饋井下應用場景中的實際狀況,降低安全效率[1];另一方面,由于無差別數據采集與存儲,視頻冗余數據量相對較大,會給傳輸網絡、服務器等帶來壓力。在這種現狀下,井下視頻監控信息與地面工業物聯網綜合管控平臺的遠距離傳輸過程中容易發生傳輸時延問題,不利于智能預警的及時實現。部分煤礦集團為了有效解決此類問題應用了私有云,有較好的實踐效果。本研究在吸收此類經驗的基礎上,從云邊協同技術聯合應用角度出發,提出了一種適用于礦井高危場所視頻監控系統的設計方案。

2 礦井視頻監控系統設計中的云邊協同應用

2.1 系統架構

在設計思路方面,工作人員在礦井視頻監控系統設計中,圍繞數據傳輸時延問題選擇中心云與邊緣云技術,并于邊緣節點配置適配性較高的運動目標算法,既可滿足監控器快速采集數據的需求,也能增強對視頻的預處理及分析效率,完成視頻預處理后可以通過“視頻流”的形式,將相關數據同步上傳到云服務器。在系統架構設計方面,工作人員選擇目標正在應用的“大平臺+小系統”框架,以數據為對象,構建以“邊緣感知層?網絡傳輸層?云服務層?應用層”為主的分層架構,如圖1所示。

圖1 礦井視頻監控系統架構

以邊緣感知層為例,主要以煤礦現用的物聯設備為準配置相應硬件與軟件。具體包括:(1)微處理器;(2)監控探頭;(3)工業攝像頭;(4)設備控制模塊;(5)通信模塊等。系統旨在完成對終端物聯設備中的視頻圖像采集、視頻分析、越界報警、本土資源管理等任務。工作人員可以把運動目標檢測算法配置到微處理器之中,分析視頻圖像[2]。同時,借助電機電源控制系統、通信模塊、聲光語音提醒功能等,完成對闖入與報警信息的采集與推送,并針對視頻幀過濾技術將相關入侵視頻段落截取并存儲到圖像存儲模塊,及時上傳到云服務器。

以網絡傳輸層為例,目前的煤礦中已配置工業以太環網,可充分利用該核心網絡保障數據傳輸的可靠性。具體而言,如果存在入侵或發現異常數據后,邊緣感知層可以通過即時傳輸與緩存傳輸兩種方式,分別對報警與預處理后的視頻加以處理,減少帶寬方面的壓力。

以云服務層為例,由于部署了性能較高的服務器集群,并且配置安裝了數據分析與處理能力更強的數據庫服務器,云服務器與邊緣節點之間的復雜任務可以獲得快速處理,并把相應的云服務層處理結果發送到應用層,為其決策及使用提供科學依據。

以應用層為例,除大屏顯示模塊外,工作人員可以選擇軟件工程中比較經典的B/S架構。該架構通過C#語言編程方式,搭建符合云邊協同技術應用要求的視頻監控應用平臺,進而通過“開始→視頻采集→內容分析→是否進入檢測區域→若否則返回內容分析,若是則運行目標檢測算法→是否為入侵圖像→若否則返回內容分析或者是否進入檢測區域,若是則直接發出有入侵警報→結果等圖像處理”的標準流程,實現邊緣感知層設置的任務或功能。

2.2 系統實現

在該視頻監控系統中功能應用重點集中在算法上,為了論述的清晰性,下面分別從運動目標檢測、視頻幀過濾、人員入侵檢測3方面做出具體分析。

2.2.1 運動目標檢測

(1)

(2)

因而,把式(2)代入式(1)后,可以獲得背景模型公式:

(3)

根據式(3),如果有一幀圖像增加到訓練集合中,就可以根據上式對其模型做出相應的更新。在這種前提下,工作人員僅需采用背景差分法對圖像背景與當前幀進行計算并通過閾值比較方式完成二值化處理即可完成對預期的運動目標和背景的區分。

2.2.2 視頻幀過濾

以視頻幀過濾為例,工作人員為完成礦井視頻監控系統在應用場景中的視頻數據記錄、存儲,會因每日數據少量增長占據更多的存儲空間。此時,需要過濾到一些數據價值較低的視頻數據:一方面,減少網絡帶寬壓力;另一方面,提高向云服務器的上傳效率。在該方面可以選擇三幀差分法進行運行[4]。從原理上看,當S為視頻流時,它在當前時間點是否檢測到目標,可以通過對預設的目標數據“0”或“1”進行檢測確定。具體運行流程如下:首先,工作人員確定視頻幀序列;其次,工作人員根據第k-1幀圖像、第k幀圖像、第k+1幀圖像進行差分;再次,工作人員通過對上述各幀圖像的灰度處理獲得各幀灰度圖像;最后,工作人員根據設置將所有的差圖像轉變為兩類相同的差分圖像與一類不同的差分圖像,對其進行閾值化處理并差定是否為檢測目標的圖像。該算法比較常用,其中任務優先級描述被表示為單位時間內的平均計算價值量,因而當任務優先級描述越高時,任務計算價值量越大,說明越容易過濾到其中價值含量較低的視頻數據。

2.2.3 人員入侵檢測

以人員入侵檢測為例,工作人員在礦井視頻監控系統中設置了的判斷條件為“是否達要報警”,具體以要害區域周邊設置的虛擬警戒線為準,檢測對象仍為視頻ROI圖像。例如,當目標人員進入要害區域前觸碰了設置的虛擬警戒線:一方面,微處理器可以根據獲取的信息向系統發送報警信號;另一方面,聲光控制系統能通過聲光方式向管理員發送入侵信息,并在截取視頻監控段落的基礎上,將其發送到前端應用平臺之中。此時,應用層的管理員可以通過窗口中的彈屏與語音提示信息查看報警情況。為了預防侵入人員給現場工作人員造成損害,工作人員可利用該系統中的微處理器和設備控制模塊之間的關聯,完成對閉鎖控制信號的發送,有效控制電機電源并通過關閉電源的方式預防工作人員可能受到的傷害。

2.3 系統測試

2.3.1 上位機界面顯示

在上位機界面顯示方面,設置3個板塊構成的平臺界面。具體而言,基于云邊協同的礦井監控視頻系統設計與算法配置完成后,應通過實驗測試方式對其應用的有效性做進一步檢查。具體操作時,工作人員可以先在B/S架構下通過C#語言、Winform控件建設平臺[5];再據日常監控、管理維護要求,對視頻監控數據、報警信息等進行查詢。當發生入侵事件后,監控視頻能夠把監測、區分、預處理后的信息上傳到云服務器并顯示到平臺界面。

本次研究中選擇網絡機制為RTP/RTCP協議,可以完成音頻、視頻圖像的傳輸。考慮到音頻、視頻同步傳輸要求,工作人員配套設置了緩沖區,能夠在同一線程中完成對2種碼的交替傳輸。具體實施時,按照3個板塊劃分平臺界面:中間板塊為音視頻,左側為“視頻界面”下的設備列表,備選項為人員入侵、對講開啟、錄制視頻。同時,工作人員可以根據“菜單欄”中的用戶管理、幫助、退出模塊完成相關操作。右側為視頻參數調整,包括參數設置、本地回放、云臺控制、視頻窗口數、窗口信息列表顯示區等。

2.3.2 高危場所人員檢測實驗

在高危場所人員檢測實驗方面,工作人員可以通過對礦井高危險場所配置要素的模擬方式獲取應用效果,并將其與單一的云計算效果進行對比。具體操作如下:

(1)工作人員在同一局域網中部署云服務器,通過搭載工業攝像頭、Inter Core i7四核處理器的電腦進行計算。(2)工作人員按照云邊協同應用方式,配置含有微處理器的工業攝像頭與i5四核處理器。(3)工作人員確認上述2種計算模式后,可以選擇X段視頻流進行預處理、上傳方面的延時平均值比較。

例如,可以按每組5段選擇3組視頻流,將其分辨率設置為480 p、720 p、1 080 p。以此為準進行不同視頻流分辨率下的處理時延比較發現,在直傳云計算層處理方面的結果顯示,隨著視頻流分辨率增加,處理時延相對加,邊緣計算層預處理結果與其呈現為同樣的趨勢,但明顯低于前一種計算模式下的處理時延。具體數據顯示對礦井視頻監控系統目標的識別率大于97.6%,響應時間低于2.0 s,符合高危場所人員檢測要求。需要說明的是,礦井視頻監控系統應用場景相對較多,其中的多運動目標的增加會延長視頻數據處理時延,在這種情況下應對多運動目標檢測做進一步優化。

3 結語

礦井屬于高危場所,應用視頻監控技術后可提高礦井監控效果與質量。由于此類系統應用期間存在數據時延方面的問題,不僅沒有全面發揮視頻監控技術的優勢,還降低了整個煤礦工業物聯網綜合管控平臺的應用效果。建議工作人員在煤礦企業高質量建設與高水準運營期間,一方面引入云邊協同技術搭建適配性較高的分層架構,另一方面增強運動目標檢測、視頻幀過濾、人員入侵檢測等技術要素配置。全面提高視頻監控系統的應用效果,為煤礦企業智能化建設賦能,為我國經濟向著內涵式、集約化、高質量增長做出應有貢獻。