煤礦井下巷道變形巡檢視頻異常檢測方法

楊春雨， 袁曉光

(1.中國礦業大學 地下空間智能控制教育部工程研究中心， 江蘇 徐州 221116；2.中國礦業大學 信息與控制工程學院， 江蘇 徐州 221116)

0 引言

基于機器人與無人機等移動平臺的智能視頻巡檢技術[1]突破了固定相機監控的局限，在變電站巡檢[2-3]、輸電線路航拍[4-5]、交通監控[6-7]等領域得到廣泛應用。在煤礦井下，智能視頻巡檢技術多用于帶式輸送機等設備運行狀態的遠程監控[8-9]、綜采工作面巡檢[10]、行人檢測[11-12]等，用于巷道變形檢測的智能視頻技術多采用固定相機采集視頻圖像[13-14]，尚未有視頻巡檢技術應用的報道。本文提出將智能視頻技術用于巷道變形巡檢機器人，對巷道變形情況進行監測，以及時發現巷道變形與支護隱患，保障煤礦安全生產。

背景差分算法是一種常用的巡檢視頻異常檢測方法，能精準地檢測出視頻圖像中的異常，且環境適應性強[15-16]。傳統的背景差分算法僅能實現固定相機拍攝圖像的異常目標檢測，不適用于巡檢視頻。本文根據煤礦井下巷道變形巡檢機器人勻速、定向運動及周期性采集視頻數據的特點，對巡檢視頻分段提取關鍵幀，采用均值哈希算法建立背景模型，再對背景模型和關鍵幀進行差分運算，并對運算結果進行優化，從而準確地檢測出異常目標。

1 背景差分算法

1.1 算法基本原理

背景差分算法對圖像進行色彩空間和大小調整等預處理后，根據圖像歷史信息建立背景模型，然后對輸入圖像與背景模型進行差分操作，實現背景與異常像素分類，在消除噪聲與錯誤的檢測結果后得到異常信息，并根據差分檢測結果更新背景模型。背景模型的建立與更新是背景差分算法的核心。經典的背景建模算法包括高斯建模算法、ViBe算法等。高斯建模算法利用高斯函數生成視頻圖像各像素的灰度分布模型[17-18]，據此判斷待測像素是否為異常像素，并按照一定權重更新背景模型。ViBe算法基于時空連續思想，通過單幀圖像像素及其鄰域建立單個像素點的背景模型[19-20]，并在匹配成功時隨機更新。經典背景差分算法中，背景模型是基于固定相機持續輸入圖像訓練而建立的，輸入數據需具有良好的時空連續性，以滿足模型訓練更新需求。對于井下巷道變形巡檢視頻，相機運動引起的背景改變及視頻數據周期性采集的特性無法適用上述背景建模算法。本文提出分段視頻背景建模方法，以滿足井下巷道變形巡檢視頻分析需要。

1.2 背景建模

本文研究的巡檢視頻由融合了射頻定位技術的軌道巡檢機器人獲取。在機器人運行軌道上均勻安裝帶有位置編號的射頻卡來提供定位信息，根據射頻卡編號分段標記采集的巡檢視頻。因此，可對巡檢視頻分段提取背景模型關鍵幀，進而建立背景模型。對一段巡檢機器人采集的初始巡檢視頻，按需采樣生成背景模型關鍵幀mi集合M={mi|i=1,2,…,N}，其中N為關鍵幀數量，根據視頻長度、巡檢距離及場景視野等確定。

以第1段視頻P1為例說明關鍵幀提取過程。統計P1幀數q，將視頻序列記作{p1，p2,…，pq}。令n=[q/N]，則有m1=pα，m2=pα+n，…，mN=pα+(N-1)α，其中α為不大于n的隨機正整數。生成的關鍵幀序列號1—N對應巡檢視頻段編號1，據此可迅速匹配關鍵幀與采集的巡檢視頻段。

從初始巡檢視頻中提取關鍵幀后，采用哈希算法建立背景模型。哈希算法是一類相似圖像檢索算法的總稱[21]，根據圖像生成64位哈希值序列，并用2張圖像哈希值之間的漢明距離衡量圖像相似程度，實現簡單、高效。考慮到巡檢視頻抖動與漸進特性，針對當前巡檢視頻，采用均值哈希算法建立背景模型。對于本文中的巡檢視頻，任意關鍵幀mi可直接定位其對應的當前巡檢視頻段Pj(j=1,2,…,J,J為視頻分段數)，則構造mi與Pj中圖像的哈希值，然后比較mi與Pj中各幀圖像的漢明距離。在一定范圍內，漢明距離越小，說明mi與該幀圖像的拍攝位置越接近。

受巡檢視頻漸變特性和均值哈希算法精度影響，mi可能與Pj中1幀或多幀圖像之間的漢明距離取得最小值。因此從當前巡檢視頻段Pj中篩選出1幀或多幀圖像生成關鍵幀mi的背景模型Qi。Qi中圖像滿足與mi間漢明距離不大于某閾值(可選為當前巡檢視頻段Pj中圖像與mi間漢明距離的最小值)，且在Pj中為連續幀。

1.3 背景模型檢測與更新

巡檢視頻背景模型檢測與更新主要包括差分異常檢測、形態學操作、結果輸出與關鍵幀更新，如圖1所示。

(1) 差分異常檢測。考慮到相機抖動與軌道顫動干擾，采用特征跟蹤將背景模型中的圖像以關鍵幀為基準進行校正。將校正后的圖像與關鍵幀分別轉換為灰度圖I1(x,y)，I2(x,y)((x,y)為任意像素點坐標)，并獲取其差分圖像：

S(x,y)=|I1(x,y)-I2(x,y)|

(1)

根據某一閾值Tr將S(x,y)轉換為二值掩膜:

(2)

圖1 背景模型檢測與更新流程Fig.1 Detecting and update process of background model

根據式(2)，二值掩膜為1的像素為異常像素。

(2) 形態學操作。對于二值掩膜進行形態學濾波，以消除噪聲。主要操作包括開運算去噪與閉運算連通，保留置信度更高的檢測結果。

(3) 檢測并輸出結果。根據差分異常檢測結果，統計檢測到的異常數，保留異常數最小的檢測結果并保存，在背景模型中最小異常數對應的圖像記作mi的匹配幀，在匹配幀上標記異常并輸出。

(4) 關鍵幀更新。在異常排除后，重新采集該段巡檢視頻，并采樣替換該段視頻的關鍵幀集合。

背景模型異常檢測效果如圖2所示。

圖2 背景模型異常檢測效果Fig.2 Anomaly detection result of background model

2 基于背景差分的巡檢視頻異常檢測

基于背景差分的巡檢視頻異常檢測流程如圖3所示。軌道巡檢機器人搭載相機，定向獲取初始巡檢視頻，對巡檢視頻分段采樣提取背景模型關鍵幀。將相同位置的關鍵幀集合與當前巡檢視頻段進行匹配，根據關鍵幀生成背景模型。之后對背景模型與關鍵幀進行差分異常檢測，生成二值掩膜并進行去噪及連通處理后，輸出最終異常檢測結果，并更新關鍵幀集合。

圖3 基于背景差分的巡檢視頻異常檢測流程Fig.3 Anomaly detection process of inspection video based on background difference

3 實驗及結果分析

為了驗證基于背景差分的煤礦井下巷道變形巡檢視頻異常檢測方法的有效性，以某煤礦運輸巷道巡檢視頻為研究對象進行實驗。硬件環境：2.8 GHz CPU，8 GB RAM；軟件環境：Win10企業版，Visual Studio 2017 Community，計算機視覺開源庫OpenCV3.4.4。

實驗所用分段視頻為300幀圖像。以30幀為間隔，選取第70，100，…，280幀圖像作為1—8號關鍵幀，再從8張關鍵幀中隨機抽取4張人工添加12處異常信息，作為9—12號關鍵幀。關鍵幀檢測結果如圖4所示，自上而下依次為關鍵幀、校正后的背景幀、二值掩膜和檢測結果。

對圖4中的圖像進行多次檢測，結果見表1。可看出本文方法可較準確地找到關鍵幀在當前巡檢視頻中的對應位置。對于9—12號關鍵幀中人工標記的12處異常，檢出率與準確率均達到100%。對于無異常的8號關鍵幀，盡管在匹配過程中出現微小誤差，但基于特征跟蹤及檢測結果優化策略，仍能夠輸出正確的檢測結果，表現出良好的魯棒性。對巡檢視頻的檢測速度約為50幀/s，檢測效率高。

4 結語

基于背景差分的煤礦井下巷道變形巡檢視頻異常檢測方法對分段巡檢視頻提取關鍵幀后，采用均值哈希算法建立分段視頻的背景模型，并對差分檢測結果進行優化，保證了檢測效率與準確度。采用井下巡檢視頻對該方法進行驗證，結果表明在一定條件下其可較準確地定位關鍵幀并檢測出異常目標，檢測速度約為50幀/s。

圖4 井下巷道變形巡檢視頻異常檢測結果Fig.4 Anomaly detection results of inspection video for underground roadway deformation

表1 異常檢測統計Table 1 Statistics of anomaly detection