基于光流法的視頻分析技術在地鐵客流監測中的應用

陳 亮

（北京全路通信信號研究設計院有限公司,北京 100073）

1概述

目前，各城市地鐵均設有視頻監控系統（CCTV），能夠監視站廳公共區、站臺候車區、站內扶梯、閘機等重要區域。但隨著車站建筑規模的不斷擴大，監視區域需求增加，CCTV建設規模也越來越大，站內圖像達到幾十路甚至上百路，給車站值班員帶來繁重的監控工作量，很難及時發現前端異常狀況，大大降低了視頻監控系統的時效性和可用性。

為了能實時分析、跟蹤、判別監控對象，使系統在關鍵事件發生時能智能提示并有效上報，為軌道交通運營管理部門及時決策、正確行動提供支持，在地鐵客流監測領域采用視頻分析技術十分迫切和重要，從而提高運營人員效率，提升運營服務水平，最大程度發揮CCTV的實時性和智能性。

2 視頻分析技術應用現狀

結合各城市軌道交通運營現狀、車站客流及物理環境等實際情況，目前比較迫切需要實現的視頻分析技術應用包含5種：客流監測與統計、人員逆向檢測、遺留物品/非法滯留檢測、扶梯運行監測、翻越扶梯監測。

2.1 客流監測與統計

客流監測是指通過計算背景畫面中客流密度，結合相應的交通參數（如速度、時間等），自動判斷指定區域內擁擠狀況，并及時觸發報警。

運用客流監測技術，運營人員可實時掌握客流集散區人流密度。當密度超限時，能夠及時觸發相應區域監控畫面，運營部門可根據實際情況立即采取應急措施，疏散客流，保障城市軌道交通站點客流高效安全集散，降低事故的發生率和嚴重性，提高站點營運效率。

客流統計是指統計穿越指定區域目標（人）的數量，為各職能部門提供直觀的實時客流狀態，為換乘車站（站區）及時采取與客流狀態對應的客流疏導措施提供判定標準。

2.2 人員逆向檢測

人員逆向檢測是指當系統檢測到目標在單向通行區域，反方向行走時自動產生報警。由于在單向通行區域人員流動相對有序，突然有目標逆向行走容易引起摩擦或碰撞，特別是在客流高峰情況下有多個目標逆向通行時，影響其他乘客正常出行，因此需要車站值班員重點監控，有報警發生時，通知相關運營人員及時出面制止，保證正常的出行秩序。

2.3 滯留檢測

滯留檢測是指當一個物體在敏感區域停留時間過長或超過預定時間長度，系統就會產生報警。在人流頻繁的地區，經常會出現乘客遺忘包裹行李，或惡意丟棄包裹、擺攤、乞討等行為。對遺忘的行李和包裹及時發現，能夠給乘客帶來盡可能小的損失，也能及時發現非法滯留或惡意丟棄行為并給予阻止。

2.4 扶梯運行監測

扶梯運行監測是指當自動扶梯出現運行故障（如急停、逆行）時系統能夠自動告警。扶梯是軌道交通車站客流相對集中的區域之一，在換乘車站或交通樞紐站點，這一現象更為突出（如西直門站、北京站），上下車客流較多，自動扶梯經常處于滿載狀態，一旦扶梯故障，就會引發擁擠、踩踏事故，影響乘客出行安全。因此，及時發現設備運行異常狀況，能夠協助工作人員采取有效疏散措施，盡可能避免惡性事件發生。

2.5 翻越扶梯監測

翻越扶梯監測指當系統監測到有目標非法跨越扶梯正常運行區域時，自動觸發告警信息。提醒工作人員及時出面制止，以免發生危險。

3 視頻分析技術研究現狀

目前，視頻分析技術在國內外相關的研究較多，主要的技術方法包括：根據圖像灰度變化進行監測的幀間差分法和背景差分法、根據圖像紋理變化的局部特征法、根據人膚色進行監測方法及基于運動物體監測的光流法等。

3.1 幀間差分法

幀間差分法是在對圖像序列間隔較短的圖像進行差分運算。由于間隔時間短，可認為光照變化的影響較小，因此，幀間差分法對光照變化有著較強的魯棒性，并且具有簡單、運算量小的特點，易于工程實現。

3.2 背景差分法

背景差分法是指用當前的圖像幀減去背景圖像，獲取的差分圖像直接就是前景圖像。與幀間差分法相比，背景差分法可以精確地提取前景物的輪廓，對于背景不變的環境尤為適用。

3.3 局部特征法

局部特征法通過紋理特征和幾何形狀監測人體的各個部位，從而監測出行人的方法。有以下幾種特征分類：1）SIFT特征；2）HOG特征；3）LBP特征；4）HARR特征。

3.4 膚色監測方法

膚色監測方法是在圖像中選取對應于人體皮膚像素的過程，現已應用于人臉識別與監測、表情識別、手勢識別及人體監測等方面。膚色監測方法分成兩種基本類型：基于統計的方法和基于物理的方法。

3.5 光流法

生物學家Gibson在1950年提出圖像的變化是由帶有灰度的像素點運動引起的，以此提出光流的概念。光流可以看成是物體對應的像素在圖像平面運動時的瞬時速度場。

基于光流法的視頻分析，根據一定的約束條件估算出圖像中像素點速度，由于圖像上的點與物體表面的點一一對應，因此可以較為準確地表征運動物體的實際運動。

3.6 方法比較

通過對視頻分析方法進行分析和對比，現有方法都各有優缺點。

1）幀間差分法的優點是光照魯棒性較好，能夠適應各種動態環境，缺點是提取的圖像通常有空洞和邊緣缺省，無法提取出目標的完整區域。另外，當運動目標速度緩慢時，則可能監測不到，而運動目標速度過快時，將把部分背景也監測為運動目標。

2）背景差分法對于動態場景的變化（如光照和外來干擾等）特別敏感，且分割精度易受噪聲影響。

3）局部特征法從樣本中學習到行人很多固有特性，能解決人體形狀和外貌各式各樣的難點及人體的不同運動方式。但實際視頻分析監測過程中，對于解決客流分析不具優勢。

4）由于膚色過濾迅速，且不受拍攝、人體姿勢的影響，膚色監測法已成為客流監測的基本監測方法之一。但由于自然界中有大量物質與人體膚色相近，且人類膚色本身存在很大差異，該方法會產生一些誤檢。

5）光流法是機器視覺中運動圖像分析的重要方法，可以比較精確地反應對象的平移運動。在地鐵客流監測應用中，通過對圖像幀的光流進行計算，可獲知乘客客流的運動信息，繼而根據運動信息實現對客流情況進行運動分割和跟蹤、異常監測告警等。但光流法計算量較大，應用于實時監測系統中有一定的軟硬件配置要求；由于對于特定應用場景（如地鐵客流）監測效果較好，因此應用比較廣泛。

4 光流法在地鐵客流監測中的應用研究

4.1 光流法簡介

光流的計算是利用圖像序列中像素強度數據的時域變化和相關性確定各自像素位置的“運動”，即研究圖像灰度在時間上的變化與景象中物體結構及其運動的關系。將二維圖像平面特定坐標點上的灰度瞬時變化率定義為光流矢量。

計算出的光流場與實際運動場有著密切的映射關系，但光流場并不總是完全對應。

1）遮擋問題。當物體運動且在攝像頭平面的投影存在遮擋時，由于圖像沒有物體信息，無法在計算的光流信息中反映實際物體運行的狀態。

2）均勻球體的圓周運動。在光源固定的情況下，具有均勻反射特性的圓球在相機前旋轉，雖然球面各處有亮度變化，但這個變化不會隨著球的轉動而轉動，圖像的灰度不會發生變化。因此，其運動場不為0，但其光流為0。

3）光照的變化。當外部光照條件發生變化時，即使物體不動，也能根據前兩幀的圖像觀察到光流的存在。

盡管有上述問題的存在，光流法依然是最精確反應物體運動狀態的方法之一，并廣泛應用于各種運動客流估算的場合。

4.2 光流計算方法

光流的計算要求解光流，需要在光流方程的基礎上引入新的假設，常見方法有Horn-Schunck方法、Lucas-Kanade（L-K）方法等。

Horn-Schunck方法的基本假設是光流的變化是平滑連續的，但實際上在運動物體的邊界處這一假設并不成立。因此，Horn-Schunck方法求解的光流場的精度往往不夠理想。

Lucas和Kanade提出了L-K光流計算算法，其假設如下：在一個小的空間鄰域Ω上運動矢量保持恒定，即在該區域內所有的像素具有相同的光流速度；光照恒定，在相鄰幀比較期間，物體表面像素的灰度值在監測期間保持恒定不變。

根據上述假設，在空間鄰域Ω中可建立如下方程：

可獲得一個超定方程組：

或表示為：

L-K方法也是一種密集光流計算，一般認為L-K方法在計算光流的正確性及運算方面均高于Horn-Schunck方法。

4.3 實驗結果

利用開放源代碼的計算機視覺類庫（OpenCV），開發工具OpenCV由英特爾公司位于俄羅斯的研究實驗室所開發，是一套由一些C函數和C++類開發所組成的庫，用來實現一些常用的圖像處理及計算機視覺算法），在OpenCV中，提供L-K光流計算函數，可以簡單地調用庫函數即可實現對光流的計算。

圖1為光流法計算和顯示的效果圖。（a）、（b）是視頻流中的連續兩幀圖像，（c）是L-K方法求出光流場后作出的光流場圖。

4.4 光流法在客流監測的應用

城市軌道交通由于其運量大、速度快、準時準點，已逐漸發展成為城市的主導公共交通方式。但正是由于城市軌道交通對客流的巨大吸引力，往往導致站點在高峰期客流壓力過大，對地鐵的運營安全、運營效率和服務水平造成重要影響。因此，需要對客流狀態進行監測，其中站廳走廊通行服務水平的監測是其中的一項重要內容。

4.4.1 客流狀態監測

城市軌道交通領域的客流監測研究人員（邵巍躍）提出了行人通道通行服務水平分級方法，如表1所示。

表1 地鐵站廳行人通道通行服務水平分級說明

通過計算前后幀圖像間的光流，可十分方便地獲取當前運動個體的密度和速度，進而對通行的服務水平進行評級。

4.4.2 異常運動監測

選取南京地鐵某站的樓梯作為監測場景，圖2（a）為該樓梯的場景圖，為了防止陰影引起的光流對監測造成干擾，通過掩碼對原圖的無關部分進行掩碼屏蔽。

圖3為視頻流經掩碼后計算的光流圖，其中（a）、（c）、（e）是不同客流條件下的場景圖 ；（b）、（d）、（f）為在該時刻計算的光流場。

從圖3可以看出，客流密度與光流場占有效背景的面積比值一致，因此基本可以根據光流場的密度推斷客流密度。當大于0的光流場密度占整個扶梯或樓梯有效面積80％以上時，認為有大客流發生。

需要注意的是，當客流特別大發生擁堵時，行人行進困難，此時樓梯上光流場的面積有時也較小，和客流較小時一樣。為有效區分這兩種情況，將異常客流和較小客流的光流場做對比分析，發現有如下特征：客流異常時光流面積忽大忽小，光流位置的變換與光流的方向不一致；客流較小時的光流面積隨著位置的變換逐漸變換，光流位置的變換與光流的方向一致。根據上述特征，可對異常客流進行監測，并及時報警提醒工作人員注意。

5 結論

光流包含物體運動的眾多信息，如根據對光流場的像素進行聚集，獲取運動物體的輪廓信息；在提取物體運動的同時，觀察物體內部的相對運動和局部形變等；根據運動信息的變化情況觀察異常運動。通過對比分析可知，光流法在地鐵客流監測領域的應用中，對客流狀態的監測和判斷有其獨到的優勢。

此外，光流法雖能在不知場景任何信息的條件下監測出獨立運動的行人，但是大多數的光流計算方法需要多次迭代運算，計算復雜、耗時，難以滿足實時監測的要求。如何進一步提高其運算速度、實時性及其抗噪性是目前的研究熱點，也是需要后續跟進的重點。

[1] Park S C，Park MK，Kang M G.Super-resolution image reconstruction：A technical overview[J].IEEE Signal Processing Magazine，2003，20（3）：21-36.

[2]徐慶賀.監控視頻流分析的關鍵技術研究及應用[D].上海：上海交通大學，2008.

[3] Lipton A J，Fujiyoshi H，Patil R S.Moving target classification and tracking from real-time video[C].Proceedings of Applications of Computer Vision，1998.

[4] Lucas B D，Kanade T.An iterative image registration technique with an application to stereo vision[C].Proc.DARPA IU Workshop，1981.

[5] Lucas B D.Generalized Image Matching by the Method of Differences[D].PhD Dissertation：Carnegie-Mellon University，1984.

[6] Lucas B D，Kanade T.An investigation of smoothness constraints for the estimation of displacement vector fields from image sequences[C].DARPA Image Understanding Workshop，1981.

[7] Intel Corporation.Open Source Computer Vision Library Reference Manual [S].2001.

[8]邵巍躍.城市軌道交通站內AFC設備通行能力研究及應用[D].南京：東南大學，2012.