基于凸型模板的目標行為識別算法

張 瑞，王 爍

(中國電子科技集團公司第五十四研究所,河北 石家莊 050081)

基于凸型模板的目標行為識別算法

張 瑞，王 爍

(中國電子科技集團公司第五十四研究所,河北 石家莊 050081)

為了解決智能視頻監控領域中針對人體翻越警戒線等異常行為的監測識別問題，提出了一種基于凸型模板算法對人體軀干目標檢測、姿態跟蹤的方法。分析了凸型模板跟蹤人體軀干的原理和改進算法的實現步驟。通過引入人體軀干傾斜角度來分析目標與警戒線的位置關系，構建了翻越警戒線判決規則。實驗證明所提的方法運算復雜度較低，可靠性較好，具有較強的工程實用性和操作性。

運動目標跟蹤；凸型模板；異常行為識別

0 引言

隨著我國社會經濟的迅猛發展，道路交通日益完善，但是仍有很多人對已制定的交通規則視而不見，交通事故屢有發生，這就對監控系統提出了更高的要求。傳統的視頻監控系統基本只能依賴監控人員盯著屏幕看來對異常行為進行監視、報警，對采集的視頻無法進行有效的分析處理等工作[1-5]。而智能監控系統采用計算機視覺處理分析技術，可以對監控場景中的運動目標進行檢測與理解[6-7]，當目標發生異常行為時，系統可以實現自動報警，無需安防人員長期監視屏幕，既提高了視頻監控效率又大大節省了人力、物力和財力。

在智能視頻監控領域，針對人體異常行為的檢測迄今為止都是一項極具挑戰且應用前景非常廣闊的技術之一[8-11]。它通過計算機對視頻數據進行智能分析處理，提取影像中的人體目標，并與預先設定的警戒規則相比較，從而判斷是否有人體異常行為發生。而人體頭部，軀干的位置和姿態可以為行為檢測提供大量關鍵信息。相關學者已經提出許多定位人體的有效方法[12-13]，文獻[8]提出了一種用于人體目標檢測分析的凸型模板，通過利用人體的頭部和軀干形成一種“凸”形結構的特點來定位頭部和軀干的位置關系。但該文的凸型模板方法只針對直立的靜止人體目標，為了能有效檢測出人體運動姿態，引入了運動軸心傾斜角度因子，構建了改進的人體凸型模板。實驗結果表明，此方法可以較好地解決視頻影像中人體目標檢測和姿態識別問題。

1 基于凸型模板的人體軀干定位

凸形模板算法是從相對大小和位置關系的角度將人體目標的主體部分近似為一種“凸”形結構，如圖1所示。該“凸”形結構由人體頭部區域(Head)、軀干區域(Torso)和外接區域所構成。其中人體頭部區域和軀干區域記為區域A，外接區域記為區域B。區域B的幾何面積與區域A的相同，即area(A)=area(B)。

圖1 凸型結構示意圖

“凸”形結構能夠對人體目標的軀干和頭部進行定位的主要工作原理就是通過改變“凸”形結構的面積大小以及其與人體目標的位置關系，不斷根據評價函數(如式(1)所示)逐幀計算評價系數S。該系數表示了凸型結構與人體主體區域的匹配程度。區域A經過二值化后，其區域內像素總數用∑A表示，區域B用∑B表示：

(1)

若要使得凸型結構與人體主體區域匹配程度最高，則需要滿足∑A≈area(A)且∑B趨近于0的條件。最終通過選擇匹配度的極大值所對應凸型結構的位置，從而最終確定人體目標頭部和軀干的近似位置。

圖2表示了當凸型結構作為一種確定目標區域的模板時，當其面積和位置發生了變化，評價函數也會隨之進行改變，這里分成3種情況考慮。情況1：當整個凸型結構在目標人體的內部時，如圖2(a)所示，此時∑A≈∑B，根據評價函數可知匹配度S≈0。情況2：當凸型結構的區域A遠大于目標面積時，如圖2(c)所示，由于區域A的歸一化作用，∑A‐∑B增大的程度小于區域A面積增大的程度，所以其匹配度小于1。情況3：如果當凸型結構的大小位置合適，區域A包含了較多目標像素，區域B目標像素較少，如圖2(b)所示，根據評價函數可知，凸型結構所構成的模板與人體目標匹配程度趨近于1，從而定位出人體目標的頭部和軀干大小以及位置關系。

圖2 凸型模板匹配示意圖

2 凸型模板改進算法

采用凸型模板方法進行人體頭部、軀干的定位匹配目前僅適用于在人體目標直立的情況[14-16]。由于人體在運動過程中經常會出現俯仰、轉身等各種行為姿態，而且受到人體肢體的干擾，傳統的凸型模板方法就很難實現準確定位，如圖3所示。

圖3 凸形模板算法軀干定位失敗

其原因在于：傳統的凸型模板的目標定位檢測算法是缺少必要的自由度[17-19]，沒有考慮多樣化的人體姿態以及四肢的影響。本文在基礎的凸型模板算法之上，引入了一個新的參數：人體軀干傾斜角度因子a，以適應人體目標產生傾斜的情形，約定a向左偏離垂直線為正，向右偏離垂直線為負，如圖4所示。

圖4 引入傾斜角度參數的凸形模板

本文中角度a是依據人體軀干中線來確定。同時，為了盡可能去除視頻中手臂對軀干中線造成的影響，本文假設手臂長度小于人體軀干和頭部的長度。具體實現分為以下幾個步驟：

① 首先確定凸形模板的位置，設人體軀干中線為凸型結構的中垂線，這里假定人體軀干處于直立狀態；

② 通過聯通域和形態學濾波方法對獲取視頻序列的當前幀(記為第k幀)進行處理得到前景圖像，再去除前景圖像的空洞和孤立點，得到完整的人體目標二值化圖像；

③ 以k-1幀凸型結構的中線的法線方向，逐行計算二值化像素所構成線段的長度以及個數，線段總個數記為N，線段長度總和記為LineLengthall，得到線段長度的平均值為LineLengthaverage=LineLengthall/N；

④ 設定閾值T=LineLengthaverage/2。沿著圖像序列k-1幀軀干中線方向及其法線方向，去除線段長度小于閾值T的線段。從而在軀干中線方向和法線方向上降低了手臂所造成的影響；

元代豐富的文化底蘊給手工藝品帶來的深刻影響，促進了元代手工業的發展。同時期的景德鎮窯和龍泉窯生產著不同形式的蓋罐，景德鎮窯的明朗清秀、龍泉窯的端莊敦厚。“元有天下，薄海內外，人跡所及，皆置驛傳，使驛往來，如行國中”。“絲綢之路”使得水陸交通的便利和對外貿易的發展，陶瓷產品遠銷海外，蓋罐在元代以得到了很大的發展，產量多，種類豐富，促進了龍泉窯和景德鎮窯的發展。京杭大運河的開發與運用，龍泉窯在浙江的各個地區建立了窯場，也以此奠定的了龍泉青瓷的歷史上的地位。元代以贛江、珠江兩大水系為基礎，江西行省成為快捷便利的交通運輸網，成為南下景德鎮窯瓷器外銷的主要途徑。

⑤ 逐行計算前景像素所組成的線段的中點，之后采用矩陣奇異值分解(Singular Value Decomposition，SVD)[20]擬合像素點，獲得當前幀近似的軀干中線，最終根據軀干中線的斜率計算得到人體的傾斜角度，記為a。

按照步驟①～⑤逐幀計算每幅圖像的軀干傾斜角度a。計算的結果是否準確，與當前人體行為姿態有關，人體目標劇烈運動時，會對計算結果造成較大誤差。圖5和圖6表明當存在手臂干擾時以及當人體傾斜時，采用本文當算法可以正確獲得人體軀干的中線。

圖5 手臂干擾時擬合的軀干中線圖

圖6 人體傾斜時擬合的軀干中線圖

3 翻越警戒線行為檢測

針對翻越警戒線這種異常行為的檢測，傳統的算法主要是采用基于運動目標的質心軌跡來判斷是否發生穿越警戒線的行為。它沒有考慮人體的細節動作，對于在警戒線周圍行走或跨在警戒線上卻沒有翻過去的行為往往會發生誤報的情況。為此，該文提出利用上文所討論的凸形模板技術來識別翻越警戒線這種異常行為，如圖7所示。

圖7 翻越警戒線示意圖

當人翻越警戒線時，人體軀干傾斜角度a會在一定時間段內有明顯的變化，如圖8所示。在檢測翻越警戒線這種異常行為時可依照檢測到的a變化來判斷人體是否發生翻越動作。

圖8 身體傾斜角度a的示意圖

此外為了防止將人體在警戒線附近的彎腰動作以及跨在警戒線上而實際未穿越的情況錯誤檢測，對警戒線兩邊分別設置了一條緩沖區，如圖7虛線所示。設警戒線L上的兩端的坐標分別為(x1,y1)和(x2,y2)，則警戒線可用式(2)表示：

(y2-y1)·(x-x1)-(y-y1)·(x2-x1)=0 。

(2)

當行人處在第k幀監視畫面的某一位置(xk,yk)時，可以結合式(3)判斷行人與警戒線的位置關系PosInfok。

(3)

式中，δ為緩沖區門限值。當PosInfok等于-1時，表示行人在警戒線的左側；PosInfok等于1時，表示在右側；當PosInfok等于0時，表示行人在警戒線緩沖區內。當穿越警戒線動作和姿態角度Δαmax超過設定閾值同時發生時，則可判斷發生了翻越警戒線的行為。可用式(4)表示為：

(4)

當CrossFence等于1時，表示行人翻越了警戒線；當CrossFence等于0時，表示行人未翻越警戒線。

4 實驗結果分析

該文算法開發環境為 VC++2010,為了驗證算法的有效性，對翻越警戒線視頻序列進行測試，視頻分辨率為 384×288,幀率為 25 幀/s。

人體目標的軀干定位和翻越行為的實驗結果如圖9所示。馬路護欄上方的直線是人為設置的警戒線，當人體接近警戒線的時候，凸形模板開始持續跟蹤監控畫面中的行人，并實時計算人身體傾斜角度。當CrossFence等于1時，說明發生翻越警戒線的情況，此時凸形模板顏色發生變化，提醒安保人員注意該可疑目標。

(a)25幀

(b)33幀

(c)40幀

(d)46幀

(e)49幀

(f)56幀

為了測試本文算法的行為檢測識別效果，在實際場景中以同一分辨率采集了8段近似場景視頻，考慮到光線環境、天氣影響、目標遮擋、動目標干擾等影響因素，通過該算法對人體目標進行行為檢測識別。采集的監控視頻幀率為25/s，監控場景的測試記錄如表1所示。

表1 監控場景測試記錄

序號時長/s漏檢/次虛警/次場景特點134000晴天236202晴天,汽車323013陰天,汽車428312光線變化521223光線變化,汽車637000晴天,噪聲高729901陰天,噪聲高830222雨天,汽車

根據表1 的數據，可以分析得出以下結論： 該系統在光照條件比較穩定的情況下，且場景中運動物體較少時，系統的目標檢測效果較好;當發生光照快速變化的情況時，系統會產生幾次虛警，之后系統能夠及時進行修正，漏檢情況較少;對于背景存在噪聲時，虛警很少，系統能夠較好消除噪聲帶來的影響;在場景中運動目標較多，發生遮擋或重疊情況時，系統的漏檢率和虛警率都比較高。

5 結束語

以人體翻越警戒線為例，針對非直立人體目標在肢體運動的情況下，采用基于改進的凸型模板算法來解決獲取人體目標位置和軀體姿態的問題。之后通過目標與警戒線的位置關系來構建翻越警戒線判決規則，實現對該異常行為的顯式描述，解決了目標翻越行為的識別問題。實驗表明所提方法可靠性好，運算復雜度較低、具有較強的工程實用性。

[1] 徐楊，吳成東,陳東岳.基于視頻圖像的交通事件自動檢測算法綜述[J].計算機應用研究,2011,28(4):1207-1210.

[2] 杜友田,陳峰.基于視覺的人的運動識別綜述[J].電子學報,2007,35(1):84-90.

[3] 胡韶山.人體異常行為識別在智能監控系統中的研究與實現[D].西安:西安電子科技大學,2012.

[4] 呂溫,徐貴力,程月華,等.基于局部時空特征的人體行為軟分類識別[J].計算機與現代化,2014(3):94-98.

[5] 范彩霞,朱虹,藺廣逢,等.多特征融合的人體目標再識別[J].中國圖象圖形學報,2013,18 (6):711-717.

[6] Ronald P. A Survey on Vision-based Human Action Recognition Image and Vision Computing[J].Computer Engineering and Design,2010,28(6):976-990.

[7] Wren C R,Azarbayejani A,Darrel T. Pfinder:Real-time Tracking of the Human Body[C]∥International Conference on Automatic Face and Gesture Recognition. IEEE Xplore,1996:51-56.

[8] Micilotta A,Bowden R. View-based Location and Tracking of Body Parts for Visual Interaction [C]∥ BMVC, 2004:849-858.

[9] Zhao L. Dressed Human Modeling,Detection,and Parts Localization[D]∥USA:Carnegie Mellon University,2004.

[10]湯金寬,曹丹華,吳裕斌,等.基于組合模板的人體頭部精確定位算法[J].中國圖像圖形學報,2007,12(8):1389-1394.

[11]蔡建平,范廣偉,王飛,等.基于瞬時參數提取的干擾類型識別方法[J].無線電工程,2014,44(10):69-72.

[12]齊永鋒,楊宏偉.一種基于稀疏隨機投影的人臉識別方法[J].無線電工程,2015,45(3):19-21.

[13]陳勇.一種目標航跡數據聚類挖掘分析方法[J].無線電工程,2015,45(3):22-24.

[14]高朝暉,張琦,陳金勇,等.支持插件擴展的衛星任務管控平臺研究[J].無線電工程,2015,45(3):41-44.

[15]孫婧,劉瑩,孟景濤,等.基于XML的軟件通用程序框架[J].無線電工程,2015,45(6):25-27.

[16]帥通,師本慧,陳金勇,等.多源遙感圖像艦船目標SIFT匹配的性能分析[J].無線電工程,2015,45(10):48-51.

[17]付偉,王金橋,滕可振.基于深度學習的監控視頻目標檢索[J].無線電工程,2015,45(11):16-20.

[18]蘇志,李經安.一種自適應傳輸策略的選取方法[J].無線電工程,2015,45(11):74-76.

[19]張巖,李建增,李德良,等. 基于特征的遙感圖像匹配技術研究[J].無線電工程,2016,46(2):61-64.

[20]梁毅雄,龔衛國,潘英俊,等.基于奇異值分解的人臉識別方法[J].光學精密工程,2004,12(5):543-549.

Cross-line Behavior Recognition Method Based on Torso Mask

ZHANG Rui，WANG Shuo

(The 54th Research Institute of CETC,Shijiazhuang Hebei 050081,China)

The paper introduces a fast human tracking and behavior recognition technology applicable for cross-line behavior detection and recognition in intelligent video surveillance system. It analyzes the principle of torso mask as well as the implementation steps of the improved methods,and establishes the cross-line decision rules based on torso tilt angle and the relationship between the object and warning line. The experiment results show that the new method achieves lower complexity and better performance.

object tracking;torso mask;abnormal behavior recognition

10. 3969/j.issn. 1003-3114. 2017.04.18

張瑞，王爍. 基于凸型模板的目標行為識別算法[J].無線電通信技術,2017,43(4):75-79.

[ZHANG Rui，WANG Shuo. Cross-line Behavior Recognition Method Based on Torso Mask [J].Radio Communications Technology,2017,43(4):75-79. ]

2017-04-27

河北省博士后科學基金重點資助項目(B2015005003)

張 瑞(1983—)，男，工程師，主要研究方向：信息處理和航天地面應用。王 爍(1985—)，男，工程碩士，主要研究方向：計算機應用。

TP391

A

1003-3114(2017) 04-75-5