視頻監控中跌倒行為識別

汪大峰，劉勇奎，劉 爽，保文星，王 巍

（1.大連民族大學 計算機科學與工程學院，遼寧 大連116605；2.北方民族大學 計算機科學與工程學院，寧夏 銀川750021）

視頻監控中跌倒行為識別

汪大峰1，2，劉勇奎1，劉 爽1，保文星1，王 巍1

（1.大連民族大學 計算機科學與工程學院，遼寧 大連116605；2.北方民族大學 計算機科學與工程學院，寧夏 銀川750021）

監控視頻中的異常行為檢測是計算機視覺研究領域的一個重要研究課題。人體跌倒行為作為異常行為的一種，可以對老齡化社會中的老年人跌倒行為做出實時預警，對保護老年人生命安全起到重要作用。本文采用三幀差法與更新運動歷史圖像相結合的方法獲取運動前景，然后采用膨脹形態學操作與中值濾波操作，消除前景圖像的噪聲，對運動區域標記采用矩形包圍框來獲取感興趣區域的形態變化，最后采用矩形框的寬高比、人體Hu矩特征、人體輪廓離心率、人體軸線角多特征融合來識別跌倒異常行為，對識別出的異常行為實時報警。實驗結果表明對固定背景的監控視頻中的單人跌倒異常行為識別，文中的算法具有很強的魯棒性與穩定性。

跌倒行為；自動識別；寬高比；Hu矩人體輪廓離心率；人體軸線角；多特征融合

隨著社會老齡化的發展，“空巢老人”的人數和所占的比例越來越高，老年人的健康問題也是越來越突出[1-5]。跌倒行為是老年人人群多發的行為，也是給老年人身體健康帶來最嚴重后果的一種不可預測的行為。發生跌倒，如果不能及時得到救治，就可能會出現生命危險。鑒于以上需求，許多學者也在跌倒行為識別方面做了很多研究，提出了較多的識別方法。

目前的跌倒異常行為識別研究主要根據運動目標的運動序列進行分析[4-11]。目前的主要工作可以分為以下幾類：第一類是根據模板匹配的方法，其核心思想是事先根據跌倒姿態的種類建立大量的模板，然后對輸入的視頻序列進行匹配。如果輸入的視頻序列正好屬于建立的模板之一則認為是跌倒行為。模板匹配法的不足之處是需要建立跌倒模板的種類太多，工作量巨大。第二類是分類器的方法。該方法是事先學習得到跌倒的特征。然后根據學習到的特征選擇相應的分類器進行行為分類。如Wu[12]等采用支持向量機分類器。Jant[13]等采用基于人工神經網絡的方法等。第三類方法是根據人體結構分析的方法。該方法是從圖像序列中提取目標的外形，運動的特征等信息根據獲得的特征信息使用半監督或者人工的方法去定義正常的行為。一般采用隱馬爾科夫（HMM）模型或者圖像的序列特征去建模。匹配的行為認定為是正常事件，不匹配的行為則認定為是異常行為。第四類是基于圖像統計處理的方法。該方法直接對視頻幀的底層信息進行統計分析，從而對視頻段進行分析理解。Ma[14]對視頻幀進行主成分分析（PCA），然后對動作的序列進行分類和識別。Masoud[15]對整幅圖像進行IIR濾波得到特征圖像，然后利用這些特征圖像對幾個簡單的人動作進行訓練和識別。

文中綜合以上各種算法的優缺點，采用三幀差法與更新運動歷史圖像相結合的方法獲取運動前景，然后采用膨脹形態學操作與中值濾波操作，消除前景圖像的噪聲，對運動區域標記采用矩形包圍框來獲取感興趣區域的形態變化，最后采用矩形框的寬高比、人體Hu矩特征、人體輪廓離心率、人體軸線角多特征融合來識別跌倒異常行為，對識別出的異常行為實時報警。測試采用的視頻全部來自中國科學院行為分析數據庫[16]。

1　算法組成

文中設計的算法由前景檢測、運動區域優化、運動區域標記、跌倒識別4部分組成。

1）前景檢測部分主要采用三幀差法獲取前景。

2）運動區域優化主要包括對前景進行形態學操作與濾波操作，消除噪聲，使前景更加清晰。

3）運動區域標記主要采用矩形框對前景進行包圍，獲取感興趣區域的形態變化。

4）跌倒識別部分主要采用多特征融合與SVM來識別

整個算法的流程圖如下：

圖1　系統算法流程圖

2　三幀差法獲取前景

文中采用的是三幀差法[17]。三幀差法是相鄰兩幀差法的一種改進算法，取連續三幀差分運算，消除由于運動而造成的背景影響，從而提取精確的運動目標輪廓。該算法的基本原理是連續選取視頻圖像序列中的三幀圖像并分別計算相鄰兩幀的差分圖像，然后將差分圖像通過選取適當的閾值進行二值化處理，得到二值化圖像。將得到的兩個二值化圖像進行邏輯與運算，取兩個二值化圖像共同的部分，進而獲得運動的輪廓部分。三幀差法的具體算法可用如下數學公式表示：設連續的三幀圖像為 Ik（x，y），Ik＋1（x，y），Ik＋2（x，y），將用如下三部分公式表示：

第一部分對連續的三幀做差分：

第二部分對得到的差分結果進行閾值化：

第三部分對得到的二值化結果進行邏輯與運算：

下圖的測試的視頻序列是在露天停車場內且角度是水平方向獲取的。圖2為原始視頻幀片序列，圖3是用的背景更新的混合高斯背景減除法[18]獲取的運動區域，圖4是用的三幀差法獲取的運動區域。實驗對比結果可知：三幀差法在背景具有微小變動獲取運動區域的效果優于背景更新的混合高斯背景減除法。

圖2　原始視頻幀序列

圖3　背景更新的混合高斯背景減除法獲取運動區域的結果

圖4　三幀差法獲取運動區域的結果圖

3　更新運動歷史圖像標記運動區域

文中在獲取二值圖像以后采用運動歷史圖像去標記運動區域。運動歷史圖像是一種靜態模板。每一點的像素值都是這點的運動歷史圖像的函數。運動歷史圖像為每一個像素值設置一個時間戳，最近運動的像素被設置為當前時間，亮度值最大，運動較久的像素則被清除，能夠很清晰的記錄運動輪廓。我們假設像素點的運動歷史函數為MHI（x，y，i），發生在當前像素點的時間設置為，則運動歷史函數的數學表達式可以表示為：

4　中值濾波與形態學膨脹操作

三幀差法獲取前景以后會產生噪聲，對于運動目標的獲取會產生一定的影響。在文中采用的是中值濾波去除噪聲。中值濾波是一種典型的低通濾波器，基本思想是使用像素點鄰域灰度值的中值來代替該像素點的灰度值。中值濾波保留了圖 像的邊緣信息。設{xij}（i，j）∈N2表示像素點的灰度值，濾波窗口C為的二維中值濾波可以定義為：

二維中值濾波器的窗口形狀和尺寸對濾波效果的影響較大，不同的圖像內容和不同的應用要求采用的窗口和尺寸是不一樣的。窗口的尺寸一般選為3，窗口越大，抗噪聲能力越強，細節丟失也越嚴重。實際應用中根據圖像的內容具體分析，選擇合適的窗口大小。

由于三幀差法獲取前景會出現空洞現象，對于后續的操作產生很大影響。因此本文算法在濾波操作后會進行相應的形態學操作。這里采用的是膨脹操作。膨脹操作是用一個結構元素掃描圖像中的每一個像素，用結構元素與圖像中的元素做“與”操作，如果為0，則像素都為0，否則為1。膨脹的結果是圖像像素擴大了，能夠消除獲取前景帶來的空洞。膨脹的數學公式表示為：

假設有二值圖像A和B.膨脹的數學定義為Dilation（A，B）={a+b|a∈A，b∈B}。

圖5左側為一幅二值化圖像。1對應圖像的亮度區域，0對應的是灰度區。中間的為結構元素。最右側為執行膨脹操作的結果圖。

圖5　膨脹操作圖

圖6上面一列是沒進行膨脹操作的結果圖，下面一列是進行膨脹操作的結果圖。

圖6　膨脹結果對比圖

由圖6結果分析可知：沒有進行膨脹操作的運動區域在一定程度上具有不連通性與不完整性。膨脹操作后運動區域變得很清晰，也解決了目標的不連通性。

5　矩形框對運動目標進行標記

根據運動歷史圖像我們可以得到運動區域，找到運動區域的輪廓，輪廓找到后就能得到運動區域的左上角坐標和右下角的坐標。根據左上角與右下角的坐標，就可以對運動區域畫矩形框進行標記。標記的目的就是分析矩形框里面感興趣區域的變化，方便提取特征，為后續識別作準備。圖7左側為正常狀態下的標記圖，右側為跌倒狀態下的標記圖。

圖7　正常狀態與跌倒狀態標記圖

6　跌倒識別方法

文中提出了基于矩形寬高比、人體Hu矩特征、人體輪廓離心率、人體軸線角多特征融合來識別跌倒異常行為的識別方法。從而得到了多特征融合的圖像特征向量：提取到人體的輪廓特征后，本文選擇支持向量對人體的跌倒行為和非跌倒行為進行分類和建模。支持向量機（SVM）可以使用核函數使線性不可分的非線性空間轉換到一個線性可分的空間，然后在轉換之后的線性特征空間中構造超平面，以得到類與類之間的最優分類模式，并且具有很好的可區分性。該算法能夠識別人體的跌倒行為。

6.1行人的寬高比

正常人行走的情況下，人體的矩形框的高總是大于寬，而人體摔倒的時候人體的高總是小于寬。這一特征為人體是否正常行走提供了判依據斷。定義r=Height/Width。假設人體的高度為Height，人體的寬度為Width，則有

6.2人體Hu矩特征

Hu矩由于其具有平移、旋轉和平移不變性在計算機視覺、模式識別等領域得到了廣泛的應用和關注.Hu矩的低階矩值具有明確的幾何性質，其中，零階矩m0可以表示目標的總面積、一階矩值m10、m01可以表示目標的外接輪廓大小，二階矩m20，m11，m02又叫慣性矩，表征圖像的大小和方向。Hu矩平移不變性通過”矩心坐標”的方式實現。這里我們跌倒行為的前四階Hu矩（M1-M4）與下蹲、彎腰、坐下三種行為的前四階Hu矩存在明顯差異，因此可以作為表示四種行為的特征之一。

6.3人體輪廓離心率

文中定義人體輪廓的最小外接矩形的最小內接橢圓的離心率即為人體輪廓離心率。離心率同樣包含了能夠描述跌倒行為的信息。可用公式表示。

6.4人體軸線角

此特征定義為風箏模型的角度，即在風箏模型得到了四個輪廓點到質心點的軸線后，計算軸線與相鄰軸線的之間的角度，得到4個角度。計算得到4個角度特征向量為：θ=[θ1，θ2，θ3，θ4]

人體軸線角同樣包含了能夠檢測跌倒行為的特征，人體在不同姿態下軸線角作為跌倒檢測的一個特征。

7　SVM模型選擇

文中檢測的人體行為包括跌倒和非跌倒。這是典型的二分類問題。文中定義的特征向量T=[r，M1，M2，M3，M4，θ1，θ2，θ3，θ4，e]，共包括10個參數。文中研究的支持向量機模型具體實現流程如下：設訓練樣本S={S1，S2…Sk}，其中Si為第i類樣本數據。1）樣本訓練，特征向量T=[R，M1…M4，θ1…θ4，e]作為學習參數，選擇高斯徑向基核函數把非線性空間上升為線性可分空間。2）之后，把高斯徑向函數應用到對偶的拉格朗日函數，有，經過一系列數學變換產生的判別函數是f（x）=，此處需滿足?i最大化。

3）求取滿足判別函數令?i最大化的xi的值，然后存儲非零的?i和相應的訓練向量xi，它們是支持向量。

4）分類：對于模式x，用于支持向量xi和相應的權重?i計算，即此函數的符號確定了x的分類。特征向量映射到更高維度的空間，原來不可分的問題現在變成了線性可分的，利用文中選擇的高斯徑向基核函數，把不可分的，變成了可分的問題這也是選擇此核函數的原因。完成訓練之后，就x的分類。由于特征向量的數量眾多，且在低維空間是得到了訓練出來的分類器，就是跌到檢測的模型。

8　跌倒識別實驗分析

本節實驗選取1 000幅圖像作為待測試樣本，使用已經訓練完成的分類器來進行跌倒識別，其結果如下:

表1　本文方法識別的準確率

為了測試本算法的先進性，本文提出基于Hopfield神經元網絡的方法和基于模板匹配的算法作為對比[19-20]。同樣選取1 000幅圖像作為測試樣本，其結果如下：

表2　基于Hopfield神經元網絡的方法

對于上述表中結果，可做如下分析：選取同樣的訓練集分別對3個模型進行訓練，測試時使用同樣的測試樣本，以上各表中可以看出，模板匹配方法識別率為75.6%，基于Hopfield神經元網絡的算法為88.0%，基于本文的算法的識別率為94.6%，總共識別出633幀跌倒圖像。綜合來看，文中提出的方法識別率較高，具有較好的實用性和潛力。

表3　基于模板匹配的方法

9　結束語

文中提出的利用三幀差法去檢測前景，然后利用然后利用更新運動歷史圖像的算法去標記運動區域獲得運動輪廓。最后利用了矩形寬高比、人體Hu矩特征、人體輪廓離心率、人體軸線角多特征融合來識別跌倒異常行為的識方法。實驗表明該算法在特定的場景下，具有較高的識別率和可靠性。由于實驗中采用的背景比較單一，與實際的情況還有點偏差，實際應用中可能會產生差異。未來對正?；顒优c跌倒姿態進行更加深入的分析與研究。

[1]楊路明，滿君豐，等.空巢老人智能監控系統中異常情況檢測的研究[J].計算機工程與應用，2009，45（16）：242-245.

[2]何小海，張生軍.一種新的異常行為檢測算法[J].計算機工程與應用，2012，48（3）：192-194.

[3]劉紅，左長玲，等.一種改進的自動摔倒檢測算法[J].安徽大學學報，2012，36（6）：57-61.

[4]張繼霞，智能視頻監控中人體的檢測與跟蹤研究[D].大連：大連理工大學，2007:4-12.

[5]陳穎鳴，陳樹越，張顯亭.智能視頻監控中異常行為識別研究[J].微電子學與計算機，2010.27（11）:102-105.

[6]Vaidehi V，Ganaphthy K，Mohan K，et al.Video based automatic fall detection in indoor environment[C]//International Conference on Trends in Information Technology，2011: 1016-1020.

[7]Rougier C，Menunier J，St-Arnaud A，et al.Robust video surveillance for fall detection on human shape deformation.[J]. IEEE Transactions on Circuits and Systems for Video Technology，2006，21（5）:611-622.

[8]Medioni G，Cohen I，Bremond F.Event detection and analysis from video streams[J].IEEE Transaction on Pattern Analysis and Machine Intelligence.2001，23（8）:873-889.

[9]Naphade M R，HuangT S.A probabilistic framework for semantic indexing and retrieval in video[C]//Proceedings of IEEE International Conference on Multimedia and Ecpo. NewYork，NY，USA，IEEE，2000:475-478.

[10]Boiman O，Irani M.Detecting Irregularities in Images and in Video[C]//Proceedings of Tenth IEEE International Conference on Computer Vision.Beijing，China:IEEE.2005:462-469.

[11]林春麗，齊欣，等.SVN-KNN分類器在異常行為檢測中的應用[J].遼寧科技大學學報，2010，33（5）:449-452.

[12]Wu Xinyu.Qu YongSheng.Qian Huihuan，el al.A detection system for human abnormal behavior[C]//2005 IEEE/RSJ International Conference on Intelligent Robots and Systems. 2005（IROS 2005）:1024-1028.

[13]Jant，Piecardim，Hintzt.Neutral network classifiers for automated video surveillance[C]//Proceedings of 2003.IEEE XII Workshop on Netral Network for Signal Processing，Toulouse，France，2003:729-738.

[14]Ma G Y，Lin X Y.Typical sequences extraction andrecognition[J].Lecture Notes in Computer Vision，2004（3058）: 60-71.

[15]MasoudOPapanikolopoulosN.Amethodfor human action recognition.Image and Vision Computing.2003，21（8）:729-743.

[16]中國科學院行為分析數據庫[EB/OL].http://www.cbsr.ia.ac. cn/china/Action%20Databases%20CH.asp.

[17]LV Guoliang，ZHAO shuguang，ZHAO jun.Novel method of moving object detection based on three frame differencing and connectivity checking[J].Chinese Journal Liquid Crystals and Displays，2007，22（1）:87-93.

[18]劉鑫，劉輝，等.混合高斯模型和幀間差分相融合的背景自適應背景模型[J].中國圖像圖形學報，2008，4（4）:729-734.

[19]Tatem，J，A，Lewis，et al.Super-Resolution Target Identification from Remotely Sensed Images Using a Hopfield Neural Network.[J]Ranaon on Gon and Rmo Nng，2001（4）:781-781.

[20]Joya G，Atencia M A，Sandoval F.Hopfield neural networks for optimization:study of the different dynamics.[J].Neurocomputing，2002，43（2）:219-237.

Abnormal behavior recognition of fall in surveillance video

WANG Da-feng1，2，LIU Yong-kui1，LIU Shuang1，BAO Wen-xing1，WANG Wei1
（1.School of Computer Science and Engineering，Dalian Nationalities University，Dalian 116605，China；2.School of Computer Science and Engineering，Beifang University of Nationalities，Yinchuan 750021，China）

Abnormal behavior detection in surveillance video is an important research topic in the field of computer vision.Fall belongs to one kind of abnormal behavior，which will play an important role in protecting the elderly if we can provide realtime warning for the fall behavior of the elderly.In this paper，three frame differencing method and the updating motion history method is combined to get the foreground.Then，dilation and median filtering are adopted to eliminate the noise of the foreground images.Next，the rectangular box is used to mark morphological changes to get the area of interest.Finally，the ratio of rectangular box's height and width，the Hu feature，Contour eccentricity and Human axis angle are applied to detect the fall.Experimental results demonstrate the effectiveness and robustness of the proposed approach for the fixed background cases of surveillance video to detect the fall behavior of single person.

behavior of fall；auto recognition；ratio of height and width；Hu contour eccentricity；human axis angle；multi feature fusion

TN911.73

A

1674－6236（2016）22-0122-05

2016-01-06稿件編號：201601033

遼寧省教育廳科學基金項目（L2014544）；中央高校基本科研業務費專項資金項目（DC201502030201；DC201502030404）

汪大峰(1989—)，男，安徽濉溪人，碩士研究生。研究方向：圖形圖像處理。