基于紅外遙感信息的煤礦車輛異常行為檢測研究

李玉吉，曹旭輝

(陜西國防工業職業技術學院，陜西 西安 710300)

在煤礦開采中，運輸成本和能耗占工程的大部分，其中對煤礦車輛的監控和調度是保障煤礦正常開采的重要條件[1]。若煤礦車輛出現交通事故，會影響煤礦開采的正常進行。已有相關報道顯示，在車輛發生交通事故前，大部分車輛出現異常駕駛行為[2]。并且，由于天氣、道路、調度等不確定因素，也會導致煤礦車輛出現異常行為[3]。因此，檢測煤礦車輛的異常行為，及時采取有效措施，可以大幅度降低煤礦車輛的事故發生[4]，降低煤礦開采的成本，維護煤礦的交通安全。

通常對于煤礦車輛異常行為的檢測主要是通過人工查看監控視頻和現場巡邏等方式完成[5]。這不僅浪費了大量的人力，而且人工易出現疏漏，導致監測的效果并不理想[6]。目前有相關研究提出，利用視頻圖像處理技術，識別煤礦車輛的異常行為，對煤礦車輛的逆行、超速等違規駕駛發出警告，提前排查易造成事故的潛在因素[7]。還有學者提出利用雙向長短記憶網絡[8]和GPS信息[9]對煤礦車輛的駕駛行為進行檢測。但在應用中發現，其易受外界環境干擾，對檢測結果的輸出不穩定，難以滿足現實應用需求。

紅外遙感影像中包含眾多地物細節，具有較高的分辨率。利用車輛在紅外遙感影像中的信息提取車輛行為特征，實現煤礦車輛異常行為的精準檢測。紅外遙感影像中，受光照影響導致相同類別的地物可能存在差異的光譜特征，利用光譜特征所存在的差異，可獲取煤礦車輛異常行為檢測所需信息。紅外遙感影像受陰影干擾影響較大，提取紅外遙感影像中有用信息時，需及時處理紅外遙感影像中陰影，可利用圖像增強方法處理圖像，使圖像可滿足煤礦車輛異常行為檢測需求。為此，提出基于紅外遙感信息的煤礦車輛異常行為檢測方法，并對其應用效果進行了分析。

1 煤礦車輛異常行為檢測方法

1.1 基于像元的圖像增強

選取基于像元的圖像增強方法增強紅外遙感圖像中存在目標車輛區域的對比度。將紅外遙感圖像中陰影區域的鄰近像元灰度值差異拉伸[10]，提升紅外遙感圖像的對比度，令陰影區域細節信息更加全面展示，提升煤礦車輛異常行為檢測性能。p與q分別表示灰度值為Ip與Iq的一對像元，kqp表示以上2個像元間的拉伸系數，可得拉伸系數為：

(1)

紅外遙感圖像中一對像元的灰度值是否需拉伸利用拉伸系數體現。分析以上公式可知，一對像元所處區域陰影越強，像元與像元間的灰度值接近程度越高[11]，具有較小的空間距離，此時拉伸系數較大，即該對像元所需拉伸灰度差值的程度越高，利用灰度差值拉伸提升陰影區域的局部對比度。將像元的清晰度權重引入紅外遙感圖像增強中，避免拉伸系數受到圖像噪聲影響。πp為紅外遙感圖像中像元p的清晰度權重：

(2)

與像元p存在同個灰度值的像元集合{r:|Ir=Ip}，即式(2)的計算范圍。

利用清晰度權重衡量像元p中是否包含噪聲。像元p的鄰近點與其灰度值相同時，其灰度值波動極小[12]，即清晰度權重πp數值越高時，像元p越不可能為噪聲點。將所獲取的清晰度權重引入式(1)中，獲取考慮清晰度權重情況下拉伸系數為:

(3)

輸入紅外遙感圖像的灰度級Ip，利用變換函數T轉化為T(Ip)，|T(Ip)-T(Iq)|為紅外遙感圖像像元的灰度值差，灰度值差與輸入圖像中的相應拉伸系數利用變換函數轉換成固定比例[13]，變換函數T屬于超定方程組，需獲取其近似解。設存在累計灰度拉伸系數Gp(x)為:

(4)

像元集合{q:|Iq=Ip+x}內全部像元與像元的相關系數Gpq包含于Gp(x)中。Gp(x)的大小可體現像元與該像元p存在大小為x的灰度差值需要拉伸的程度。式(4)引入了對數函數，有效避免紅外遙感圖像增強處理過程中所存在的放大飽和噪聲等過度增強情況[14]。設存在x>0，令變換函數T處于單調狀態，需滿足：

(5)

式中，α為歸一化常數。

紅外遙感圖像中鄰近像素點灰度級間的差異為B(Ip)，其表達式為：

B(Ip)=T(Ip)-T(Ip-1)

(6)

聯立式(5)與式(6)可得:

B(Ip+x)=αGp(x)

(7)

分析式(7)可知，針對紅外遙感圖像中的隨機像元，均需滿足以下方程：

B=αGp

(8)

設存在包含權重的代價函數J(B)為:

(9)

式中，Wp為對角矩陣，對角元為2/[1+exp(|i-Ip|)]。

將矩陣B的極值點利用J(B)求偏導獲取，獲取最優解B*為：

(10)

變換函數最優解:

(11)

式(11)所獲取結果即為紅外遙感圖像增強的近似解。以上獲取該近似解過程中，充分考慮了紅外遙感圖像中差異區域像元所存在的灰度差異[15]，具有較高的自適應性。將該方法應用于煤礦車輛異常行為檢測中，利用T可實現目標車輛部位的局部增強。

1.2 煤礦車輛跟蹤

完成紅外遙感圖像目標煤礦車輛部位的局部增強后，需進行煤礦車輛跟蹤操作。煤礦車輛跟蹤即目前幀與上一幀紅外遙感圖像中的運動煤礦車輛匹配[16]，選取非參數的概率密度估計方法均值漂移算法實現紅外遙感信息中煤礦車輛的跟蹤。均值漂移方法利用所獲取概率分布極值實現紅外遙感圖像中目標煤礦車輛的定位，完成煤礦車輛的跟蹤。采用均值漂移方法跟蹤紅外遙感圖像中煤礦車輛過程如下。

(1)初始化紅外遙感圖像中窗口位置以及窗口大小。

(2)計算紅外遙感圖像中搜索窗口中的零階矩公式：

(12)

計算紅外遙感圖像中搜索窗口中的一階矩為：

(13)

計算紅外遙感圖像中搜索窗口中的質心為：

(14)

式中，I(x，y)為像素值。

(3)調整搜索窗口大小。

(4)移動搜索窗口中心至依據式(14)所獲取的質心位置。移動前設定移動閾值以及迭代次數，當移動的距離高于閾值時，返回至步驟(3)，直至滿足所設定迭代次數或小于所設置閾值為止。

利用以上過程計算紅外遙感圖像中的全部幀，迭代過程中始終將前幀計算所獲取的窗口中心以及大小設置為初始值，完成紅外遙感圖像中煤礦車輛目標跟蹤。采用均值漂移法跟蹤煤礦車輛目標的跟蹤結果為外接矩形。

1.3 煤礦車輛異常行為檢測

利用煤礦車輛跟蹤結果明確煤礦車輛運動信息，利用煤礦車輛運動信息獲取煤礦車輛運動方向、運動速度等異常行為檢測參數。將利用均值漂移法所跟蹤煤礦車輛目標的矩形中心點作為煤礦車輛位置信息。煤礦車輛位置存在明顯改變時，表示煤礦車輛存在大幅度移動，是煤礦車輛運行過程中的明顯異常行為。利用像素體現煤礦車輛位置改變情況，可得紅外遙感圖像中煤礦車輛位置移動改變量公式：

(15)

式中，(xn，yn)與(xn-1，yn-1)分別為當前幀以及前幀圖像的目標煤礦車輛坐標。

煤礦車輛的加速度信息可體現目標煤礦車輛速度變化情況，紅外遙感圖像中目標煤礦車輛加速度計算公式：

(16)

式中，vf與vi分別為時間為tf與ti時目標煤礦車輛的速度值。

煤礦車輛位置與運動方向存在較大關聯，目標煤礦車輛運動過程中方向變化表達式：

(17)

確定以上變量后，獲取煤礦車輛位置移動改變量的狀態函數g(p)為：

(18)

煤礦車輛運動速度改變量狀態函數h(a)為：

(19)

煤礦車輛運動方向改變量狀態函數為j(θ)：

(20)

檢測煤礦車輛異常行為時，需提前設定好閾值Rp、Ra與Rθ，所獲取的車輛不同參數改變量高于已設定閾值后，將車輛的不同狀態函數設置為1，否則設置為0。

通過以上過程可知，煤礦車輛異常行為檢測首先需獲取車輛位置、車輛移動速度以及車輛運動方向的改變量，采用加權融合方法處理煤礦車輛異常行為的狀態函數，設置三者權重值之和為1。對比加權融合結果以及所設定判別閾值，當融合結果高于所設定閾值R時，表示車輛存在異常行為，否則表示車輛為正常行駛狀態。煤礦車輛異常行為檢測流程如圖1所示。

圖1 煤礦車輛異常行為檢測流程Fig.1 Flow chart of abnormal behavior detection of vehicles in coal mine

2 實例分析

為驗證所研究煤礦車輛異常行為檢測方法檢測煤礦車輛異常行為有效性，選取某煤礦車輛作為檢測對象，在煤礦道路上設置紅外遙感攝像頭，采集該車輛在道路中2020年9月5日9:16—9:25時的紅外遙感影像共2 854幀，根據所采集紅外遙感影像，利用本文方法分析研究該煤礦車輛行駛是否存在異常行為。本文方法采用像元方法實現了紅外遙感圖像增強，為了客觀評價本文方法的紅外遙感圖像增強性能，選取信息熵以及對比度增強值作為評價紅外遙感圖像增強性能的重要指標。

統計采用本文方法增強紅外遙感圖像隨機幀數的信息熵結果以及對比度增強值結果，為了直觀驗證本文方法的運行性能，對本文方法進行測試，結果見表1。由表1可以看出，采用本文方法增強紅外遙感圖像，所獲取的對比度增強值較大，說明本文方法可有效提升紅外遙感圖像的局部對比度。本文方法可重點增強紅外遙感圖像中目標車輛位置的局部對比度，展現更多有用信息，有效提升圖像的局部對比度，展示更多的有用信息。

表1 信息熵和對比度增強值測試結果Tab.1 Test results of information entropy and contrast enhancement values

圖像中包含細節信息越豐富，圖像信息熵越大。由表1可知，本文方法在不同幀圖像中均具有較大的信息熵，說明本文方法處理紅外遙感圖像具有較高的圖像增強性能。采用本文方法對紅外遙感圖像實施增強處理，其信息熵結果均高于7，增強效果優越，具有較高的保留圖像信息的優勢，可為提升煤礦車輛異常行為檢測性能提供依據。

完成圖像處理后，采用本文方法檢測車輛是否存在異常行為。設置煤礦車輛位置變化閾值為12、煤礦車輛速度變化閾值為23、煤礦車輛運動方向閾值為0.5。統計采用本文方法檢測第120—134幀紅外遙感圖像煤礦車輛位置變化、煤礦車輛速度變化以及運動方向變化結果，統計結果如圖2—圖4所示。由圖2—圖4實驗結果可以看出，研究煤礦車輛在133幀時，煤礦車輛位置變化、速度變化以及運動方向變化均高于已設置閾值，說明此時煤礦車輛可能存在異常行為。

圖2 煤礦車輛位置變化Fig.2 Location change diagram of vehicles in coal mine

圖3 煤礦車輛速度變化Fig.3 Speed change diagram of coal mine vehicles

圖4 煤礦車輛運動方向變化Fig.4 Variation diagram of vehicle movement direction in coal mine

設置煤礦車輛位置變化、煤礦車輛速度變化以及煤礦車輛運動方向變化的權值分別為0.3、0.3、0.4，煤礦車輛異常行為檢測閾值為0.5。采用本文方法獲取該煤礦車輛異常行為檢測結果如圖5所示。由圖5實驗結果可以看出，紅外遙感圖像為133幀時，煤礦車輛的判別參數加權融合值高于所設定閾值，確定此時煤礦車輛存在異常行為，紅外遙感圖像為133幀時所對應時間為9:21:25，檢測結果為煤礦車輛此時存在異常行為。

圖5 煤礦車輛異常行為檢測結果Fig.5 Detection results of abnormal behavior of vehicles in coal mines

采用本文方法檢測到的實驗道路場景視頻中煤礦車輛異常行為結果，如圖6所示。分析圖6可以看到，該檢測道路場景視頻在第95幀檢測出煤礦車輛出現超速異常，并且視頻圖像中用紅色框圈出車輛。說明本文方法準確檢測出了道路場景視頻中的煤礦車輛異常行為。

圖6 煤礦車輛異常行為檢測Fig.6 Detection of abnormal behavior of coal mine vehicles

3 結語

紅外遙感圖像對比度較低，導致陰影部分無法分辨細節，圖像增強過程中容易增強噪聲。利用像元方法增強紅外遙感圖像中的細節信息，可提升紅外遙感圖像中煤礦車輛部位的局部對比度，抑制紅外遙感圖像噪聲，展示更多的目標煤礦車輛區域細節，提升煤礦車輛異常行為檢測精度。利用完成增強的紅外圖像可實現煤礦車輛異常行為檢測。所研究煤礦車輛異常行為檢測方法可依據跟蹤結果檢測煤礦車輛異常行為，可作為交通管理的理論依據。