基于智能定位的工業現場全天候監控視頻異常檢測研究

張聞中，華守彤，陳 逸，林義杰

（華能國際電力股份有限公司 上海石洞口第二電廠，上海 201100）

0 引言

工業生產為我國經濟發展創造了具體的價值。近年來隨著自動化設備的使用，機械逐漸代替手工，還節省了人工成本和降低了人工生產風險[1]。現代工業生產主要在生產車間中開展。車間中布置了大量的機械，其中部分機械價值非常高，部分機械操作非常危險。基于上述背景，進行工業現場全天候監控視頻異常檢測具有重要的現實意義。不僅能夠監測出非工作期間出現在生產現場的異常人員，還能監測現場突發性火災等，保證工業資產安全，甚至還能及時發現工作期間工業生產過程中存在的風險因素，幫助工作人員及時規避[2]。目前工業全天候視頻監控中存在的異常主要通過三種方法進行檢測。其中，基于遺傳算法的異常檢測方法在應用時容易受到遺傳算法本身早熟問題的影響，異常檢測準確性不高。基于神經網絡的異常檢測方法在應用時易受到神經網絡權值和閾值的影響，抗干擾能力差。基于支持向量機的異常檢測方法一旦檢測的樣本中包括多個類型，檢測過程就難以實現，準確率不高，另外只適合小樣本圖像的異常檢測。針對上述問題，提出一種基于智能定位的工業現場全天候監控視頻異常檢測方法。通過該研究以期提高工業現場監控可靠性，保證監控現場安全。

1 工業現場全天候監控視頻異常檢測方法

為保證工作期間工業現場人員以及非工作期間車間設備的安全，進行工業現場全天候監控是十分必要的。通過攝像頭實時拍攝現場視頻圖像，然后針對一系列視頻圖像進行處理和分析，定位圖像中存在的異常，分類識別異常類型，完成工業現場全天候監控視頻異常檢測[3]。基于上述分析，下面進行具體分析。

1.1 全天候監控視頻圖像采集與預處理

全天候監控，即24小時監控，無論是白天還是晚上都需要拍攝工業現場的視頻圖像。相較于白天來說，晚上拍攝的視頻圖像存在明顯清晰度不足的問題，這也是造成后續異常檢測存在誤差的原因之一。針對這種問題，工業現場的監控設備需要選擇帶有夜視功能的高清攝像頭。

攝像頭在完成工業現場視頻圖像拍攝之后，將其發送到異常檢測中心，進行進一步的處理和分析。其中，第一步的處理就是預處理圖像，提高圖像質量。

1）視頻圖像灰度化

視頻圖像灰度化目的是去除圖像色彩的干擾，讓其像素值范圍為0～255。灰度化公式如下：

式(1)中，S代表圖像灰度化模型；R、G、B代表紅色、綠色、藍色三個基色分量。

2）視頻圖像濾波

視頻圖像濾波旨在消除圖像中的噪聲點，提高圖像中細節的清晰度。視頻圖像濾波公式如下：

式(2)中，Fx,y、F`x,y代表中值和均值濾波，用于去除圖像中的不同類型的噪聲；W、M代表中值、均值濾波窗口；fx,y代表視頻圖像中(x，y)處的像素值；N代表窗口鄰域內像素點數量。

3）直方圖均衡化

白天拍攝的工業現場圖像可能存在曝光度過大問題，導致整圖非常明亮；晚上拍攝的工業現場圖像則可能光線不夠，導致整圖非常昏暗。這兩種環境都會造成視頻圖像信息不清晰，因此需要進行均衡化調節，增強對比度。處理過程如下：首先計算工業現場視頻圖像的直方圖，其次確定直方圖分割閾值，劃分為不同的映射區間，然后對每個映射區間進行峰值剪切，最后分別進行均衡化操作，得到每個區間像素的映射灰度值，并與一個偏移系數相乘，完成歸一化處理[4]。歸一化處理后輸出的視頻圖像就是均衡化后的圖像。

1.2 全天候監控視頻圖像目標智能定位

工業現場全天候監控視頻圖像中有的目標是靜態的，如機械設備、生產的產品；有的目標是動態的，如工作人員，運動中的搬運小車等。對前者靜態目標，很容易實現定位，但是對于后者動態目標，定位就比較困難。為此，針對視頻圖像中的動態目標，本章節提出一種智能定位方法。該方法具體過程如下：

步驟1：輸入前K幀工業現場全天候監控視頻序列圖像；步驟2：視頻圖像預處理，見1.1節；

步驟3：利用粒子濾波算法設計目標跟蹤器；

步驟4：獲取初始幀視頻圖像中目標的位置和尺度；

步驟5：利用跟蹤器獲得工業現場視頻圖像中候選目標所在的區域；

步驟6：將跟蹤結果構成訓練集，記為G=(g1,g2,...,gN)T；

步驟7：利用SIFT算子提取圖像特征，具體過程如下：

1）通過對視頻圖像連續進行降采樣處理，采樣間隔設置為2σ；

2）構建圖像金字塔。圖像塔最下邊為原視頻圖像，圖像分辨率最大，順次往上圖像分辨率越來越小；

3）加入高斯核，利用尺度空間因子σ進行卷積；

4）構建差分高斯尺度空間；

5）檢測差分高斯空間的極值點；

6）利用子像素插值的方法精確極值點位置及其像素值；

7）消除邊緣響應，完成視頻圖像特征點定位；

8）確定各個特征點的主要方向；

9）確定SIFT算子的維度；

10）生成網格；

11）移動網格至關鍵點方向；

12）計算相應維度SIFT算子；

13）生成高維特征描述子。

步驟8：通過K-means聚類算法將特征劃分為M個簇；

步驟9：將每個簇的中心作為特征單詞，以此構建視覺字典；

步驟10：計算訓練集中每幅圖像的特征與視覺字典之間的投影距離；

步驟11：進行投影距離排序，選擇距離最小的特征單詞表示圖像特征；

步驟12：計算每個特征單詞的頻率，并歸一化處理；

步驟13：將歸一化特征繪制在一個坐標系當中，生成訓練圖像的特征直方圖；

步驟14：輸入新的測試視頻圖像樣本；

步驟15：利用跟蹤器初步獲取測試視頻圖像目標候選區域；

步驟16：計算測試樣本中動態目標與訓練圖像樣本之間的特征直方圖相似性。

式(3)中，Simi代表測試圖像候選目標區域與訓練集中第i個目標的相似性；fj(x)代表測試圖像候選目標區域第j個特征直方圖；fj(xi)代表訓練圖像第i個候選目標區域第j個特征直方圖；m代表直方圖柱的個數；n代表候選目標區域的個數。

步驟17：判斷視頻圖像中動態目標是否丟失；當Simi大于設定閾值，認為目標未丟失；否則，認為目標丟失，需要回到步驟14，重新定位目標。

經過上述流程，實現了對工業現場監控視頻圖像中動態目標的智能定位，為后續異常檢測奠定了基礎。

1.3 工業現場監控視頻異常檢測

針對目標定位結果，本章節進一步確定定位目標的是否存在異常以及存在異常的類型。在這里，基于深度學習設計分類器，實現工業現場監控視頻異常檢測，過程包括兩個，即提取目標的細節特征和異常檢測實現[5]。下面進行具體分析。

1）提取目標的細節特征

上一章節利用SIFT算子提取的圖像特征只是用于將目標與圖像中其他背景干擾因素區分開，而本章節提取的特征是為了識別目標本身的正常、異常情況，簡單地說，前邊是異類對比，本章節是同類對比。提取的特征包括5種，提取方法如表1所示。

表1 目標細節特征及其提取方法

表1中這5點特征能幫助后面構建的分類器快速檢測異常。

2）異常檢測實現

異常檢測主要通過基于深度學習中的深度置信網絡模型構建的分類器來實現。深度學習表現形式有多種，在本研究中選擇其中的深度置信網絡來構建分類器。深度置信網絡由多個受限玻爾茲曼機（RBM）和一個BP神經網絡堆疊而成，如圖1所示。

圖1 深度置信網絡模型

深度置信網絡模型并不能直接作為分類器，用于監控視頻異常檢測當中，它需要像人工神經網絡一樣，需要進行訓練。訓練過程從下到上進行，以下一層的結果為輸入，首尾相連，直至所有RBM訓練完畢。最后進入最上層的BP神經網絡當中，執行BP神經網絡訓練流程，完成BP神經網絡的訓練。這樣深度置信網絡模型各層的權值和閾值都調整完畢，完成深度置信網絡模型整體訓練，即完成分類器構建。

將測試樣本輸入到訓練好的深度置信網絡分類器當中，完成工業現場監控視頻異常檢測。

2 實例測試與分析

借助MATLAB平臺，進行異常檢測方法有效性測試，并與基于遺傳算法、神經網絡、以及支持向量機的異常檢測方法檢測結果進行對比。

2.1 工業現場全天候監控視頻圖像樣本采集

為適應全天候地監控工業現場的需要，選擇DHIPC-POE200W帶有夜視功能的高清攝像頭作為現場視頻圖像樣本的采集設備。該設備帶有紅外夜視功能，晚上畫面清晰度高；帶有動態監測功能，可識別畫面中靜動態物體，如有人員闖入或突發火災，第一時間進行預警，報警信息至監控中心，即刻采取防護措施；攝像頭帶有兩顆大功率白光燈，可選擇紅外、白光兩種模式，紅外補光距離最遠可達40米，白光可達30米，根據需要自由切換，彌補了光線不足的問題；支持多個攝像機同步回放功能，可以隨時回放查看。

將攝像頭布設在待監控的工業現場，現場工作人員模擬異常情況，通過攝像頭拍攝圖像。部分監控視頻圖像樣本如圖2所示。

圖2 部分監控視頻圖像樣本

利用布設在6種工業現場的攝像頭采集現場視頻圖像，組成樣本集合，用于后續測試與分析。監控視頻圖像樣本集分布情況如表2所示。

表2 總監控視頻圖像樣本分布表

2.2 基本參數設置

測試中相關算法參數設置如表3所示。

表3 基本參數設置表

2.3 目標定位實現

基于1.2節研究對監控視頻圖像中出現的目標進行智能定位。以表2中的一個樣本為例，目標定位結果如圖3所示。

圖3 定位結果

從圖3中可以看出，所研究方法應用下，準確定位出了工業現場視頻圖像中的目標物體，為后續異常檢測與識別奠定了重要的基礎。

2.4 異常檢測方法評價指標

視頻異常檢測方法的評價指標有三個，即靈敏度、特異度和正確率。這三個指標計算公式如下：

式(4)～式(6)中，各個參數含義如表4所示。

2.5 檢測結果與分析

利用所研究方法、基于遺傳算法、神經網絡、支持向量機的檢測方法對測試樣本進行異常檢測。檢測結果如圖4所示。

圖4 檢測結果

從圖4中可以看出，以基于遺傳算法、神經網絡、支持向量機的檢測方法方法相比，所研究檢測方法應用下，得出的靈敏度、特異度和正確率均要更高，說明所研究檢測方法表現更好。

3 結語

綜上所述，工業生產現場很容易發生各種各樣的事故，另外工業現場有很多有價值的機械設備。為了保證工業現場工作人員安全，同時也為了保證非工作期間設備的安全，進行全天候的監控是十分必要的。在此背景下，提出一種基于智能定位的工業現場全天候監控視頻異常檢測方法。該方法通過檢測視頻圖像中的目標狀態來識別異常。通過測試與分析，證明了所研究檢測方法有效性，靈敏度、特異度和正確率三個指標的表現均要更好，但是本研究受到時間和研究能力的限制，檢測方法仍存在不足，其中檢測效率方面就是一個較為嚴重的問題，因此在下一步的研究中有待進一步優化檢測方法，提高算法運行效率，縮短異常檢測時間。