基于金字塔LK光流法的電梯內異常行為檢測

于俊俊，朱立軍

（沈陽化工大學 計算機科學與技術學院，遼寧 沈陽 110142）

0 引 言

電梯轎廂的運行環境封閉，是搶劫、施暴等異常行為的事故高發地。目前小區、寫字樓等高層建筑的電梯大多采用人工方式進行視頻監控。這種傳統方式存在眾多弊端，如發生異常時不能及時通知、錯報漏報多、事后錄像取證困難等，并且實時性相對較差。

目前，針對人體異常行為檢測的研究方法主要分為2種，分別是采用傳統方法提取特征和利用深度學習神經網絡提取特征。傳統方法通過光流法、運動歷史圖（MHI）、方向梯度直方圖（HOG）等提取人體行為特征，如文獻[1]通過運動歷史圖提取特征，根據運動歷史圖的圖片熵來建立能量函數并設置相應閾值進行異常檢測。文獻[2]建立了角點動能模型，利用金字塔LK光流法對運動前景的角點進行光流計算，通過統計圖像中的平均動能，實現對打斗情形的檢測。使用深度學習進行異常行為檢測方法：齊琦等對多通道3DCNN的結構進行了改進，從而對人體行為進行識別。張怡佳等人提出一種改進的雙流卷積神經網絡模型，訓練得到一個多模型融合的人體行為識別器。CNN的訓練必須以充足豐富的訓練樣本數據為基礎，計算量較大且訓練樣本不足會導致檢測準確率下降，難以實現實時準確的異常檢測。

本文針對電梯轎廂環境的特殊性，經過綜合考慮電梯內乘客異常檢測的準確率和實時性，提出了一種基于金字塔LK光流法的實時檢測異常行為的方法。針對檢測到前景人體角點的噪聲問題，利用速度大小篩除背景光流噪聲點，通過計算光流點的平均速度和方向熵的乘積表示運動的混亂度，最后設置閾值來檢測異常行為。

1 基于金字塔LK光流法的運動檢測

1.1 LK光流法及光流計算

光流的概念最早由Gibson提出，它攜帶了運動目標的方向和幅值等信息。光流法不需要提前對圖像背景進行建模，計算結果不易受外部環境的影響，只取決于連續幀的相對運動，因此很適合運用于異常行為的檢測。光流通常有稠密和稀疏之分，可以很好地反映運動目標的時空信息特征。稠密光流需要對圖像中所有像素點進行逐點匹配，通過計算圖像上特征點的偏移量，形成一個稠密的光流場。其典型代表是Horn-Schunck光流法，這種方法計算量比較大，實時性不高，用在視頻監控系統中很難取得理想效果。

Lucas-Kanade（LK）光流法是計算稀疏光流的一種經典方法，它計算的前提條件是假定×鄰域范圍內的所有像素點都具有一致的運動，利用最小二乘法對該鄰域的光流值進行計算。角點包含豐富的信息，是圖像中梯度縱向和橫向變化最明顯的點。與密集光流法相比，LK光流法的計算量較小，僅需計算角點鄰域范圍內的光流。因此采用稀疏光流法進行運動目標的檢測。

LK算法前提條件如下：

（1）亮度一致；

（2）前后幀像素點移動的偏差不能過大；

（3）某一像素點與其周圍像素點移動的模式相同。

像素點的運動如圖1所示。假設像素點的亮度值在連續兩幀圖像中保持不變，即像素點從時刻的（，）位置，運動到+Δ時刻的（+Δ，+Δ）位置，亮度保持不變。則有：

圖1 像素點的運動

將式（1）進行一階泰勒級數展開，忽略高階項，得到光流約束公式：

單個像素點通過上式無法解出2個未知數，可以利用×個像素點建立多個方程：

通過求解上述方程可得：

1.2 改進的金字塔LK光流法

實際應用中，像素點的運動不一定滿足假定小且連貫的特點，比如電梯內發生的打架、搶劫等動作幅度大、運動速度較快的異常行為。使用金字塔LK光流法能夠有效彌補LK光流法在這方面的不足。本文構建的圖像金字塔結構如圖2所示。金字塔的最底層即原始圖像的層數為0，將原始圖像不斷縮小，降低圖像分辨率，待最頂層圖像的分辨率降低到一定程度后，像素點移動變得足夠小，以滿足LK光流法動作較小的前提條件。從金字塔的最頂層開始估計光流，然后沿著金字塔結構逐層迭代計算，不斷修正起初假設的位移，從而得到原始圖像的光流運動估計。本文使用的金字塔為3層，既能實時有效的計算光流矢量，又不會增加計算量。

圖2 圖像金字塔

利用改進的金字塔LK光流法進行光流檢測的總體流程如圖3所示。

圖3 改進的金字塔LK光流檢測過程

2 電梯內異常行為檢測

2.1 異常行為定義

電梯轎廂空間有限，通過分析乘客乘坐電梯的心理，可以發現正常情況下，乘客走進電梯轎廂后先按下自己想去的樓層鍵，然后幾乎一動不動地站著等待電梯到達目的樓層。如果乘客相互之間不熟悉不會進行太多肢體接觸，只會進行一些動作幅度較小的動作，比如低頭玩手機、談話交流等。然而，電梯內突然發生異常行為的情況總是不可避免，且這些行為的動作幅度大、速度較快、方向混亂，不具有規律。本文將電梯內發生的打斗和搶劫等運動速度快、運動方向混亂的行為定義為異常行為。

2.2 異常行為檢測

光流矢量蘊含豐富的特征，其方向可以反映人體或物體運動的方向，其長短可以反映人體或物體運動速度的快慢，其強度可以反映圖像中運動目標的分布情況。將這些特征結合可以有效判斷運動目標運動時的形態變化特征和運動變化規律。

通過金字塔LK光流法求得每個光流點的速度矢量（，），據此可以求得每個光流點（，）的運動速度：

光流點的運動方向：

運用光流法進行運動目標檢測前，首先要去除噪聲、背景等多余信息的干擾，以達到盡可能保留對視頻分析有意義的特征信息。實驗過程中會有背景光流點的噪聲干擾，對實驗的準確率產生影響。因此，運用光流法提取運動特征，去除背景噪聲角點非常必要。通過實驗分析發現，運動背景中的角點光流速度小于運動前景人體角點的速度，為了去除背景噪聲光流點，設置速度約束條件，保留滿足＞條件的光流點。為篩選光流點的閾值，經多次實驗后取值為30。

均值是統計學術語，在數學上的含義與平均數類似。每幀圖像的光流速度均值為：

式中，為當前幀所有成功匹配到的角點總數。為排除正常行為檢測到角點數少的影響，通過大量實驗，本文取值為100。表示視頻的幀數，采用平均速度來體現每一幀視頻圖像的速度信息。

直方圖是一種以圖形形式準確表示一組數值的數據分布條形圖，通過圖表形式非常直觀地展示了統計的數據分布。方向直方圖顧名思義就是對光流方向進行直方圖統計，將特征點運動的方向范圍劃分為大小相等的個角度區間，然后將運動矢量分別歸類到對應區間。本文采用光流方向直方圖（HOF）的形式對特征點的運動方向信息進行描述，通過計算方向直方圖的熵來衡量光流點運動方向的混亂程度。

熵的概念被用來描述一個系統的混亂度。它可以用來表示任何一種能量在空間中的分布均勻程度，能量分布得越均勻，相應的熵值就會越大。計算得到的方向熵的值越大，表明當前幀中光流點運動的方向越混亂，越有可能發生異常行為。如圖4所示，將平面中360°方向空間從0°開始逆時針劃分區間，分為均等的8個區間，當光流點的運動方向屬于該區間時加入此方向區間的統計中。

圖4 光流方向劃分

在計算方向熵之前，首先計算每個區間方向的概率：

式中：區間的光流方向次數總和為d；S為方向直方圖的方向次數總和，此處將S定義為100。

方向熵的計算公式如下：

運動的方向熵和平均速度是判斷是否存在異常行為的重要因素，電梯轎廂內的乘客進行正常的小幅度動作時，平均速度和方向熵都很小。相反，當出現打斗和搶劫等異常行為時，方向熵和平均速度變大，乘法可以理解為量變發展到質變的結果。本文經過大量的實驗研究，提出衡量運動混亂度的公式：

3 實驗結果

3.1 數據集

實驗采用在真實電梯轎廂環境拍攝的行為數據集。將攝像頭固定在電梯上方，正對電梯門位置。視頻大小為566×424，幀率為15 FPS，正常行為包括在電梯內走動，按下目標樓層、喝水、看手機等，異常行為有電梯內有人打架、撕扯等。

3.2 實驗結果分析

為驗證實驗所提出方法的準確性，本文在Windows7系統，8G內存的計算機上使用實驗工具VS2015 和OpenCV4.1.0，通過C++編程語言進行編程，在自制數據集中進行測試。

通過圖5可以看出，發生打斗等異常行為時，光流點運動的方向比較混亂，而正常行為發生時，光流點運動方向比較一致。

圖5 電梯內光流圖

圖6統計了正常行為和異常行為的光流方向直方圖，可以看出正常行為的運動方向主要集中在0～(1/4)π，(3/4)π～π和(7/4)π～2π范圍，運動方向較集中。異常行為的運動方向區間比較均勻，其熵值較大。

圖6 正常行為和異常行為方向直方圖

由圖7可以看出，正常行為的方向熵值范圍為1.5～2.5；異常行為由于光流點運動方向比較混亂，其熵值較大，數值集中在3.0以上。

圖7 正常行為和異常行為方向熵曲線

通過對比圖8的實驗數據可以看出，正常行為的值較小，且數值大多在700以內；而異常行為由于光流點運動的速度大，方向比較雜亂，其值較大，數值集中在700以上。此處閾值設置為700，若連續2幀視頻序列的值超過閾值，提示出現異常行為。

圖8 電梯內正常行為和異常行為的W值曲線

將本文方法在自制數據集中進行驗證，實驗測試數據包含正常行為1 575幀，異常行為1 125幀。與平均速度法進行對比，其中，異常漏檢率為異常行為檢測為正常行為的概率，實驗對比結果見表1所列。

表1 與其他方法的檢測結果對比

由表1得出，與平均速度（閾值250）方法相比，本文方法準確率較高，同時誤檢率相對較低，能獲得比較準確的實驗結果，在實際運用中能滿足實時準確的檢測要求。

4 結 語

針對電梯內乘客打架、搶劫等運動幅度大、方向混亂的異常行為，提出基于金字塔LK光流法的異常行為檢測方法。本文方法的優點是計算簡單，行之有效，且方法的執行速度較好，可以實現實時檢測。通過實驗驗證，本方法在效果上能夠達到預期。