一種基于光流法的逆行異常事件檢測方法

黃 佐 ，徐 奕，楊小康

（1.上海交通大學 電子工程系 圖像通信與信息處理研究所,上海 200240；2.上海市數字媒體處理與傳輸重點實驗室,上海 200240）

0 引言

視頻行為分析是當今計算機視覺和人工智能領域的一個新興研究方向。異常事件檢測是其中的一個重要應用。近年來，攝像頭的成像質量顯著提高，而且安裝容易且其價格相對低，這使得智能視頻行為分析具備了可行條件。如今，在大街小巷都能看到監控攝像頭的身影，尤其是在重要的干道和十字路口。這些監控的視頻可以傳輸到處理中心，進行交通流量估計、車輛和行人的檢測與跟蹤，以及異常事件的檢測。

近幾十年來，各種異常事件檢測的算法相繼被提出，并產生了許多商業應用，如ObjectVideo公司研發的車站監控系統，intuVision公司的VideoAnalyst。但是，異常事件檢測仍然面臨諸多挑戰問題：當目標發生相互遮擋，背景的混亂與干擾，圖像存在部分模糊，以及語義噪聲的存在，檢測的準確率會明顯下降。異常事件檢測任務對視頻處理系統的穩定性、實時性、穩健性都提出了很高的要求。目前異常事件檢測依然是視頻圖像處理領域中的一個開放問題。

機場大廳、公路等公共場合，經常要求行人或車輛單向運動，以避免環境的擁堵、保障開放環境的安全及秩序。因此對逆行事件進行檢測在許多開放場合顯得非常必要。事實上，由美國國家標準技術局（National Insti?tute of Standards and Technology，NIST）組織實施，作為視頻檢測領域權威國際評測的TRECVID，自2008年開始也將其列入必選事件檢測。

筆者提出一種逆行異常事件的檢測算法，它利用光流法（optical flow）快速計算圖像中特征點的運動矢量，并結合特征點的空間位置分布進行特征點的聚類，有效抵抗了噪聲點的干擾，提高了在多人復雜環境下逆行異常事件的檢測準確率。

1 本文算法流程

逆行異常事件通常是由某個行人或車輛的反向運動導致的，此時表征行人或車輛的特征點的運動方向與正常的運動方向相反或成較大角度，因此可以利用Lu?cas－Kanade光流法（簡稱LK光流算法）計算角點特征點的運動矢量，來判斷逆行異常事件是否發生。實際上，當一定區域內一定數量特征點的運動方向與正常運動方向相反或成較大角度時，一般可判定發生了逆行異常事件。

逆行異常事件具有一定的區域性，通常只需在環境的某個位置進行檢測，如在機場的大廳入口即可完成檢測，而與大廳內部無關。本算法通過選定感興趣區域避免提取無關的特征點，可減少后續光流計算的運算量。

視頻本身具有的噪聲，以及場景中某些背景物體的偶然輕微運動都會對逆行的判斷造成干擾。然而這些干擾運動比較分散且密度低。因此，筆者提出一種基于特征點空間分布的聚類算法來濾除這部分干擾。

本文設計逆行檢測算法流程如圖1所示。

1）讀入待檢測視頻的當前幀。視頻的拍攝角度以及質量對檢測準確率有一定的影響。

2）通過手動框選或者通過智能分析自動形成掩膜圖像，獲取圖像的待檢測感興趣區域。這個環節可提高檢測的效率，避免在無關區域浪費計算資源。

3）提取出感興趣區域內的角點作為特征點，特征點可以精確到子角點（subpixel corner）。

4）基于LK光流算法計算出感興趣區域內各特征點的運動矢量。

5）提取出候選的逆行特征點，根據特征點的位置關系進行聚類，判斷本幀是否存在滿足逆行判定條件的特征點聚類。

6）如果連續M幀（本實驗中M取值為6）都存在逆行聚類，則判定發生了逆行事件，進行報警。

2 Lucas－Kanade光流法

最初，Horn－Schunck提出了光流場的計算[1]。假設在t時刻，圖像上點(x,y)處灰度值為I(x,y,t)，在t+Δt時刻，該點運動到(x+Δx,y+Δy,t+Δt)，對應的灰度值為I(x+Δx,y+Δy,t+Δt)。假設該點的灰度值未發生變化，則應滿足

將式（1）左邊項在點(x,y,t)處用泰勒公式展開，令Δt→0，得到光流基本方程

從式（3）可以看出，灰度空間梯度與光流速度的點積等于灰度對時間的變化率。這個方程中包含了兩個未知數，是典型的病態問題。常用的解法是增加約束條件來求解。Lucas和Kanade假設在一個小的空間鄰域Ω上的運動矢量保持恒定，通過加權最小二乘法估計光流[2]。在一個小的空間鄰域Ω上，光流估計誤差定義為

式中：T(x)表示窗口權重函數，它強調鄰域中心區域對誤差的貢獻比外圍區域大，式（4）的解可表示為

其中，在t時刻的n個點Xt∈Ω，A=[▽I(X1),▽I(X2),…,▽I(Xn)]T，W=diag[W(X1),W(X2),…,W(Xn)]，B=-[It(X1),It(X2),…,It(Xn)]T。

盡管LK光流算法非常高效，但對整個圖像的所有像素進行光流場計算耗時較高，也不一定有意義，例如在機場大廳檢測逆行事件，只需關注大廳的入口處即可，而大廳內部則可以忽略。因此，在實際的檢測過程中，先選定感興趣區域，提取出該區域中的角點特征點，然后計算出各個角點特征點的運動矢量，從而減少計算復雜度，提高系統實時性。

如圖2所示，在機場大廳的逆行事件檢測實驗中，筆者選取原始圖像中大門所在的區域（見圖3）作為檢測區域，提取出待檢測區域中的角點特征點（圖4），獲得的光流場圖像如圖5所示。通過觀察圖5中的運動矢量圖，可以明顯發現，其中一個正要通過大門的行人的運動矢量的方向與正常運動方向相反，而且數值較大。

3 聚類算法

聚類算法有很多種，常用的方法復雜度較高，如K－MEANS算法[3]、Clara算法[4]，它們比較適合大規模的數據集，而且K－MEANS算法需要預先指定聚類的個數。逆行異常事件中特征點具有一定的特殊性，它們個數相對較少，而且聚類個數不確定，因此筆者提出一種小規模快速的聚類方法。

通過LK光流算法，可以獲得各個特征點的運動矢量。為分析逆行異常事件，先假定正常的運動矢量為C。特征點Pn當前的運動矢量為D，如果D與C的夾角α滿足150°≤α≤180°，則將Pn視為候選逆行特征點。當一個特定大小的矩形區域內候選逆行特征點超過一點數量時，即判定發生了逆行異常事件。

算法步驟如下：

1）采用LK光流算法獲得當前幀特征點的運動矢量。

2）提取出候選逆行特征點，保存在一個鏈表PointList中。

3）如果PointList中的元素大于0，執行步驟4），否則聚類結束。

4）創建一個鏈表結構的新的聚類Clusterj，將PointList的第一個元素P0存入Clusterj，作為Clusterj的頭結點，并將P0從PointList中刪除。

5）從Clusterj的頭結點依次向后遍歷，每個結點執行以下過程：設當前結點為CPk（1≤k≤當前的Clusterj元素總量），以CPk為圓心，作半徑為R（本實驗中R取值為40個像素）的圓Ok，遍歷PointList中剩余的所有元素Pi，如果Pi落入圓Ok中，則將Pi添加到Clusterj鏈表的末端，成為新的末節點，并從PointList移除Pi。該過程循環至Clusterj的末節點不再更改而結束。

6）重復步驟3）。

7）遍歷所有Cluster，如果存在一個Clusterj的元素總量大于門限值N（本實驗中N取值為20），則認為當前幀存在逆行方向的特征點聚類。

上述算法基于距離對候選逆行特征點進行聚類，由于每幀感興趣區域的候選逆行特征點一般不多，約5～80個，因此聚類算法收斂速度快，而且能動態地獲取不同的聚類數量。

圖6給出兩個不同時刻圖像幀中候選逆行特征點的聚類結果。圖6a，c，e為一組聚類過程；圖6b，d，f為另一組聚類過程。前一組未出現噪聲點，聚類效果理想。后一組中，自動大門的開閉運動產生了候選逆行特征點，如圖6f的橢圓內空心小圓圈所示。然而，由于它們的位置離行人逆行產生的候選逆行特征點較遠，而且數量較少，算法最終判定其為干擾噪聲點。

4 實驗結果

實驗選取了TRECVID2009的數據集作為測試視頻。這些視頻所攝場景為機場的一個出口，所拍攝的正常行為表現為旅客由大廳往外走。因此，當發現旅客由外面穿過大門走向大廳，并且身體完全通過大門時（包括旅客的行旅物品等），即可判定為發生了逆行異常事件。在該事件分析中筆者選取了大廳大門的中上部分作為待分析的感興趣區域。圖7是本算法一組實驗結果的截圖，圖7a～e是連續5幀原始圖像的待檢測區域圖像，圖7f～j為對應的角點特征點圖像，圖7k～o為逆行特征點的聚類結果。

實驗平臺配置為，操作系統：Windows XP Profession?al，CPU：Intel Core2 Duo E4600（2.40 GHz），內存：2 Gbyte。系統開發環境為：Windows Visual Studio 2005。

測試視頻分辨率為720×576，幀速為24 f/s（幀/秒），視頻集共約100 h發生逆行事件14次。TRECVID2009數據集中，攝像頭安裝在出口大門的側邊，取景角度傾斜。另外，由于飛機航班陸續到達，旅客在某些時刻非常密集，流向不穩定，導致遮擋情形嚴重。本文的檢測算法可有效處理這種實際監控場景的復雜情形，14次逆行事件被檢測出13次，誤警次數4次，平均檢測速度為17 ms/f。

5 結論與展望

一些高敏感性、高安全性、高秩序性的場合要求行人或車輛單向運行。對這類環境的監控視頻進行逆行異常事件的檢測一直是近年來的研究的熱點。筆者提出了一種逆行異常事件檢測算法，它能滿足監控系統的實時性要求，并具有較高的檢測率，該方法在TRECVID2009事件競賽中取得了最好的逆行事件檢測效果。另外，如何有效地將特征點的運動矢量或者運動軌跡，運用到行為分析，尤其是其他類型的異常事件檢測中，是本文下一步研究工作的重點。

[1] HORN B K P，SCHUNCK B G.Determining optical flow[J].Artificial Intelligence，1981，17:185－203.

[2] LUCAS B D，KANADE T.An iterative image registration technique with an application to stereo vision[C]//International Joint Conference on Artificial Intelligence（IJCAI－81）.Vancouver：[s.n.]，1981：674－679.

[3]ZHANG Yuang，MAO Jiali，XIONG Zhongyang.An improved k－means algorithm[J].Computer Applications，2003，23（8）：31－33.

[4] NG R T，HAN Jiawei.Efficient and effective clustering methods for spatial data mining[C]//Proceeding of the 20th VLDB Conference.Santiago，Chile：Institute of Electrical＆ Electronics Engineers，1994:144－155.

黃 佐（1986-），碩士，主研基于視頻的異常事件檢測；

徐 奕，講師，主研圖像處理、小波變換和計算機視覺；

楊小康，教授，博士生導師，主研圖像通信、數字電視、圖像處理和模式識別。