基于改進分水嶺算法的運動目標行為理解

張驚雷，張云飛

（1.天津理工大學 天津市復雜系統控制理論及應用重點實驗室，天津300384；2.天津理工大學 自動化學院，天津300384）

0 引 言

運動目標檢測是行為理解的基礎［1］，目前常用的目標檢測算法有光流法、幀間差法、背景差分法［2］。每種方法都有各自的優勢和不足。其中光流法不需要背景任何先驗知識并且獲取的信息豐富，但運算量大且對噪聲敏感；幀間差法簡便易行、適應性強，但易產生孔洞和失真；背景差分法計算量小、實時性好，但易受光強等外界環境變化的干擾。針對此問題，本文采用自適應背景更新算法實時更新背景圖像以應對外界環境變化。在獲取初始二值掩模圖像后，運用分水嶺變換進行運動目標的精確分割。針對傳統分水嶺算法易產生過分割的缺陷［3］，本文提出了一種基于形態學標記的改進分水嶺算法以克服過分割現象并精確提取運動目標輪廓。在目標跟蹤上，傳統的跟蹤方法難以實現多目標聚集或粘連等復雜狀況下的穩定跟蹤，為了有效解決此問題，本文利用分水嶺分割產生的真彩標記矩陣的色彩特征進行跟蹤。在此基礎上利用包圍目標最小矩形框的寬高比劃分場景中的車輛和行人。最后通過分析運動目標的面積和質心運動軌跡信息理解目標行為，并對車輛停車、壓線、逆行等異常行為進行檢測和報警。

1 目標檢測算法

1.1 背景差分

背景差分算法是一種常用的基于灰度信息的目標檢測算法，其計算簡單，實時性好［4］。本文運動檢測算法以背景差分為基礎，運用該算法可以得到初始運動目標區域。首先采用中值濾波法建立初始背景，設It（m，n）表示采集的圖像序列，其中t表示圖像的幀數，m 和n 表示圖像的行、列像素數，k表示用來建立初始背景的圖像幀數，則初始背景Bo（m，n）可用下式求得

為了應對實際場景中光照等外界條件的變化，本文采用自適應背景更新算法實現背景動態更新

式中：Bk（m，n）——第k 幀圖像的背景，Bk－1（m，n）——第k－1幀圖像的背景，Ik－1（m，n）—— 第k－1幀圖像。

獲取當前時刻背景后，將當前幀圖像與當前背景圖像進行差分運算，再應用Otsu算法及形態學填充和開運算處理，獲取運動目標初始二值掩模。實驗結果如圖1 所示，本實驗測試數據來源于IBM 人類視覺研究中心監控系統性能評價提供的戶外視頻序列，圖1 （a）為該數據集中第507幀圖像，圖1 （b）為用上述方法提取的運動目標初始二值掩模。

圖1 初始二值掩模結果

獲取初始二值掩模之后，本文應用改進分水嶺算法進行分割以實現對目標輪廓的精確提取。

1.2 分水嶺算法原理

分水嶺算法是一種基于形態學的分割算法，其基本思想是把灰度級圖像看作拓撲地貌，每個像素點的灰度值被解釋為海拔高度，每個局部極值點及其影響區域被稱作“匯水盆地”，而匯水盆地的邊界則形成分水嶺［5］。為獲取圖像邊緣信息，本文在得到初始二值掩模之后，首先用梯度幅值預處理，將處理后的梯度幅值圖像作為輸入圖像，即

式中：f（x，y）——初始二值掩模圖像，g（x，y）——梯度圖像，grad｛.｝——梯度運算。

本文使用Sobel邊緣檢測算子對圖像進行水平和垂直方向上的濾波，然后求取模值，梯度圖像會在沿對象的邊緣處產生較高的像素值，而在其它區域產生較低的像素值［6］。如果直接對梯度圖像運用分水嶺變換，由于噪聲和局部不規則性的影響，會產生極其嚴重的過分割現象，其導致的問題會非常嚴重，甚至產生不可用的結果，為了有效解決此問題需要加入一個預處理過程，將其它知識帶入到分割過程中以實現對區域數目的限制。其中基于標記的分水嶺分割算法通過對前景和背景對象進行標記處理從而有效控制過分割［7］。

1.3 提取標記

標記是一個屬于一幅圖像的連接分量，我們需要獲取一個內部標記集合和一個外部標記集合修改梯度圖像。本文采用基于形態學重建的開閉操作對梯度圖像進行處理。以保留圖像重要輪廓并去除易造成過分割的噪聲和細節。設f（x）表示梯度圖像，b（x）表示結構元素，則f（x）關于b（x）的形態學開和閉運算分別定義為

這些操作會在每個目標對象內部創建出單位極大值，然后定位這些極大值點，以獲取前景標記。在基于重建的開閉操作處理后的圖像中，暗像素值屬于背景，因此可利用閾值分割提取背景標記，原理如下

式中：f（x）——基于重建的開閉操作處理后的圖像，g（x）——閾值分割后的圖像，其中標注為0的像素對應于背景標記，閾值T 利用Otsu方法獲取。

1.4 標記分水嶺分割

接下來需要利用已獲取的前景和背景標記對梯度幅值圖像進行修正，即

式中：Gmark——修正后的梯度圖像，G——原始梯度圖像，Af——前景標記，Ab——背景標記。

最后，在修正好的梯度圖像上運用分水嶺算法實現對運動目標的分割，即

綜上所示，本文目標檢測流程如圖2所示。

圖2 目標檢測流程

分割結果如圖3所示，其中圖3 （a）為對初始二值掩模直接運用分水嶺變換所獲得的結果，從圖中可以看出產生了極其嚴重的過分割現象，圖3 （b）為本文算法分割結果，可見本文算法可以有效克服過分割現象，并準確提取運動目標輪廓。

圖3 本文算法與傳統算法對比

2 目標跟蹤

目標跟蹤即在動態圖像序列中定位被監控運動目標［8］。其能夠獲取目標運動軌跡，是動態場景運動分析的基礎，在視頻監控中起著關鍵性作用。目前常用的目標跟蹤方法有基于模型的跟蹤、基于特征的跟蹤、基于區域的跟蹤以及基于動態輪廓的跟蹤［9］。

2.1 本文跟蹤算法

經過改進分水嶺變換精確分割出運動目標后，將分割獲取的標記矩陣轉換為真彩圖像來顯示，根據其色彩特征進行目標識別和跟蹤。這里需要一個相似性度量，本文采用傳統的歐式距離作為相似性度量，假設在任一幀真彩標記矩陣中，z和m 表示任意兩像素點，則其色彩信息的歐式距離為

式中：zR、zG、zB——點z的RGB分量，mR、mG、mB——點m的RGB分量，根據兩像素點間的顏色相似度，判斷其是否屬于同一目標，然后根據包圍目標最小矩形框的寬度和高度的比值，對目標進行分類，其中比值較高的為車輛，比值較低的為行人。實驗結果如下所示，其中圖4為真彩標記矩陣，圖5為本文目標跟蹤算法結果。

圖4 真彩標記矩陣

圖5 本文算法跟蹤結果

2.2 目標聚集或粘連情況下的跟蹤

當多個目標聚集甚至粘連時，極易造成跟蹤不穩定。分水嶺算法對粘連區域微弱邊緣非常敏感，因此常用來處理此類問題［10］。在此情況下跟蹤結果如圖6所示，其中圖6 （a）為PETS2001數據集中的第803幀圖像，可以看出，3個行人產生了聚集，其中兩個行人輕微接觸，圖6 （b）為運用本文算法提取的目標輪廓，從圖6中可以看出，在目標聚集或粘連情況下，利用本文提出的目標分割算法能夠準確分割出運動目標。圖6 （c）為基于區域跟蹤算法的跟蹤結果，可見該算法造成了跟蹤混亂。圖6 （d）為本文跟蹤算法結果，可以看出在此等復雜情況下，本文算法能夠實現對多目標的穩定跟蹤。

3 行為理解

近年來，基于視頻圖像的運動目標行為理解已成為視頻監控領域的研究熱點。行為理解即在目標跟蹤基礎上，通過分析獲取的目標運動軌跡以合理詮釋其在特定場景中的行為［11］。本文結合實際交通場景并對運動目標面積和質心運動軌跡信息進行數據分析，以理解目標行為并對停車、逆行、壓線等異常行為進行檢測和報警。

圖6 本文算法與區域跟蹤算法對比

3.1 軌跡提取

運動軌跡是目標行為的直接體現，在目標跟蹤基礎上獲取并分析運動軌跡有助于進一步理解目標行為［12］。本文通過記錄連續圖像序列中目標質心點位置并連線以提取軌跡。圖7為軌跡提取結果。

圖7 運動軌跡

3.2 停車檢測

路中停車屬于一種典型的交通異常行為，極易造成交通事故或道路擁堵，本文根據同一目標的面積在連續兩幀視頻圖像中的變化實現對該異常行為的檢測，設A（j，k）代表第k幀圖像中第j個目標的面積，A（j，k－1）代表第k－1幀圖像中第j個目標的面積，則可根據下式判斷車輛是否異常停駛

式中：T——一接近于零的正整數，當同一目標在連續兩幀視頻圖像中的面積極其接近時，可以判斷該目標停駛，否則即為正常行駛。當檢測出車輛停駛時對該異常行為報警。圖8為對異常停車行為的檢測結果。

3.3 逆行檢測

圖8 停車檢測結果

在單行道上，車輛逆行可能會引發嚴重的交通事故。本文通過連續圖像序列中質心點縱坐標變化實現逆行檢測。設y（j，k）和y（j，k－1）分別代表第k和第k－1幀圖像中第j目標的質心點縱坐標，若y（j，k）大于y（j，k－1），說明目標正在朝y 軸正方向即正對攝像機方向行駛，否則朝著背離攝像機方向行駛。判斷出運動方向后，再通過與正常行駛方向對比判斷目標是否逆行。檢測結果如圖9所示，該場景中的貨車正在公路上倒車，運用該算法成功檢測了其逆行行為。

圖9 逆行檢測結果

3.4 壓線檢測

交通公路上的雙黃線用來分隔不同方向車道，壓雙黃線是一種危險行為，極有可能導致相鄰車道上的車輛發生碰撞。本文的壓線檢測算法以攝像機正對路面架設的情況為例，首先在圖像序列中雙黃線兩側布設兩條綠色檢測線，兩檢測線之間的區域構成了檢測區，當目標質心點進入檢測區時判斷目標壓線。具體算法如下式

式中：R（j，k）——第k 幀圖像中第j 個目標的質心坐標，D（x，y）——檢測區。檢測結果如圖10所示。

4 結束語

實驗結果表明，本文提出的改進分水嶺算法能有效解決過分割問題，并準確提取運動目標輪廓；在目標跟蹤上，利用分水嶺分割產生的真彩標記矩陣的顏色特征進行跟蹤，在目標聚集或粘連情況下其跟蹤效果良好，并且本文采用的基于目標面積和質心運動軌跡信息的行為檢測算法，能夠成功對車輛的停車、逆行和壓線等異常行為進行檢測和報警，證明了算法的可行性和有效性，達到了預期目標。但在實時性方面，本文算法運算速度略慢，有待于進一步研究改進。

圖10 壓線檢測結果

［1］XU Guangyou，CAO Yuanyuan.Action recognition and activity understanding：A review ［J］.Journal of Image and Graphics，2009，14 （2）：189－195 （in Chinese）. ［徐光佑，曹媛媛.動作識別與行為理解綜述 ［J］.中國圖象圖形學報，2009，14 （2）：189－195.］

［2］CANG Yuanyuan，SUN Yubao，LIU Qingshan.Moving object detection based on hierarchical robust principal component analysis［J］.Journal of Computer－Aided Design ＆ Computer Graphics，2014，26 （4）：537－544 （in Chinese）. ［倉園園，孫玉寶，劉青山.基于分層魯棒主成分分析的運動目標檢測［J］.計算機輔助設計與圖形學學報，2014，26 （4）：537－544.］

［3］GAO Li，YANG Shuyuan，LI Haiqiang.New unsupervised image segmentation via marker based－watershed ［J］.Journal of Image and Graphics，2007，12 （6）：1025－1032 （in Chinese）. ［高麗，楊樹元，李海強.一種基于標記的分水嶺圖像分割新算法 ［J］.中國圖象圖形學報，2007，12 （6）：1025－1032.］

［4］CAO Danhua，ZHOU Wei，WU Yubin.Motion human detection based on difference background image［J］.Opto－Electronic Engineering，2007，34 （6）：107－111 （in Chinese）.［曹丹華，鄒偉，吳裕斌.基于背景圖像差分的運動人體檢測 ［J］.光電工程，2007，34 （6）：107－111.］

［5］Karvelis Petros S，Tzallas A T，Fotiadis DI，et al.A multichannel watershed－based segmentation method for multispectral chromosome classification ［J］.IEEE Transactions on Medical Imaging，2008，27 （5）：697－708.

［6］YU Wangsheng，HOU Zhiqiang，WANG Chaoying，et al.Watershed algorithm based on modified filter and marker－extraction ［J］.Acta Electronica Sinica，2011，39 （4）：825－830（in Chinese）.［余旺盛，侯志強，王朝英，等.基于改進濾波和標記提取的分水嶺算法 ［J］.電子學報，2011，39 （4）：825－830.］

［7］Couprie C，Grady L，Najman L.Power watershed：A unifying graph－based optimization framework ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（7）：1384－1399.

［8］Subudhi BN，Nanda PK，Ghosh A.A change information based fast algorithm for video object detection and tracking ［J］.IEEE Transactions on Circuits and Systems for Video Technology，2011，21 （7）：993－1004.

［9］Jong SK，Dong HY，Young HJ.Fast and robust algorithm of tracking multiple moving objects for intelligent video surveillance systems ［J］.Consumer Electronics，2011，57 （3）：1165－1170.

［10］SHI Yu，WANG Guoyou，LIU Jianguo.Topologic structure based watershed algorithm ［J］.IEEE Transactions on Journal of Huazhong University of Science and Technology （Natural Science Edition），2011 （11）：5－9 （in Chinese）. ［時愈，汪國有，劉建國.基于拓撲結構的分水嶺算法 ［J］.華中科技大學學報 （自然科學版），2011 （11）：5－9.］

［11］Candamo J，Shreve M，Goldgof DB，et al.Understanding transit scenes：A survey on human behavior－recognition algorithms［J］.IEEE Transactions on Intelligent Transportation Systems，2010，11 （1）：206－224.

［12］Kosmopoulos D，Chatzis S，Robust visual behavior recognition ［J］.IEEE Transactions on Signal Processing Magazine，2010，27 （5）：34－45.