基于DM8168的哨位安全智能視頻分析系統

田瑞娟,雷雨能

(西南自動化研究所，四川 綿陽 621000)

?

【信息科學與控制工程】

基于DM8168的哨位安全智能視頻分析系統

田瑞娟,雷雨能

(西南自動化研究所，四川 綿陽 621000)

設計了一種基于DM8168嵌入式平臺的多路視頻輸入的哨位安全智能視頻分析系統，并采用灰度與光流雙模型的背景建模與更新，實現了對人員闖入、遺留物檢測，并對哨兵異常行為識別；試驗表明：系統的檢測精度高，虛警率較低，系統性能穩定、實時性好；本系統在哨位安防監控中得到了很好的應用，有效提升了哨位對安全威脅的預警能力，滿足武警、公安部隊哨位智能設備的應用需求。

DM8168；哨位安全；視頻分析；背景建模

哨兵是哨位職責的執行者，承擔著保護目標安全的神圣使命，因此極易成為恐怖分子和黑惡勢力攻擊的對象。最近幾年國內外針對哨兵被襲的惡性事件屢有發生，給哨兵帶來極大的生命安全威脅。如中國重慶和沈陽發生的兩起哨兵遇襲的惡性案件、印度兵營被襲擊事件等等[1]。

目前哨位安全主要靠哨兵進行“人防”，提高哨兵的敵情觀念、增強哨兵的防范意識等手段來實現。由于受限于哨兵視線、注意力等多方面的限制，安全預警能力普遍較低，因此迫切需要采用先進的技術手段對安全威脅進行主動識別[1-3]，及時提醒哨兵進行處置。通過“人防”加“技防”，有效提高哨兵的快速反應能力和處理突發事件的能力，充分保障哨位及目標的安全。

哨位安全智能視頻分析系統是以保障哨位安全為目的，通過智能視頻分析技術對哨位一定范圍內的威脅人群或威脅物品進行智能檢測、識別、預警，對哨兵出現的異常行為進行檢測和預警。

本文的哨兵安全智能視頻分析系統采用基于TMS320DM8168為核心的數字視頻處理器。在該處理器上實現對哨位區域的多路視頻進行采集、處理、傳輸。系統可根據監控區域的具體情況設置非規則的虛擬警戒區域和虛擬警戒線，自動對警戒區域內入侵人員進行檢測，對出現的可疑滯留物進行檢測，以及對哨兵出現的異常狀態檢測。

1 DM8168處理器介紹

DM8168嵌入式硬件平臺為TI公司的達芬奇架構視頻處理器。TMS320-DM8168是TI Davinci系列數字多媒體處理芯片，是一款基于DSP+ARM架構的高性能、高集成度、超低功耗的高清圖象處理器芯片[4-5]，集成了4個內核和多個外設和總線接口，包括11C674x DSP，主頻可達1 GHz，處理能力可達8 000/6 000MIPS/MFLOPS；22Cortex A8 ARM，主頻可達1.2 GHz；33VPSS M3，用于控制高清視頻處理子系統HDVPSS，負責接收從TVP5158的數據總線進來的視頻圖像，并進行預處理如濾波、反交疊、融合以及圖像顯示等功能；44VIDEO M3，用于MPEG、H264、VC-1、AVS等格式的編解碼。

2 系統硬件組成

哨位安全智能視頻分析系統以DM8168處理器為核心，在其外圍擴展存儲器、電源轉換、以太網接口、視頻接口等設備。其系統框圖如圖1。

在系統中視頻輸入接口采用TVP5158，支持16路D1圖像輸入，通過4片TVP5158共可輸入16路D1視頻。

DM8168的視頻輸出形式包括： 1個HDMI視頻輸出接口，4個標清DAC視頻輸出接口，3個高清DAC視頻輸出接口；并提供了兩個高清數字視頻接口。

DM8168 處理器ARM A8運行于linux系統下，而VPSS M3、VIDEO M3、C674x DSP運行于TI的BIOS系統下，各核共享DDR內存，相互之間可通過信號量和郵箱、內存共享機制進行同步控制和數據傳遞。應用開發基于TI公司的DVRRDK開發工具包，目前使用版本為3.0.0.0。DVRRDK中，各軟件處理單元包裝為LINK，并賦予相應的輸入輸出控制參數。在本系統的LINK鏈接，應用從視頻端口輸入，視頻幀送至DSP進行分析處理，處理幀經壓縮再送至A8處理器，A8就可經網絡將視頻流和分析數據送出。

自行開發的智能視頻分析處理應用程序通過NFS服務器下載到ARM文件系統中。通過配置BIOS地址，系統上電后，自動將哨位智能視頻處理程序加載到DSP核運行。

3 視頻分析處理與效果驗證

DSP接收ARM A8的視頻數據后，根據ARM發送的指令對相應的視頻流進行虛擬警戒闖入、遺留物檢測，以及哨兵的行為分析等視頻處理。為保證實時性兼顧DSP處理能力，DSP每間隔2幀圖像處理1次視頻。

3.1 灰度與光流雙模型的背景建模

在哨位安全智能視頻分析系統中多為針對固定攝像機進行視頻分析，因此，背景建模與更新是進行虛擬警戒與遺留物檢測的基礎。

1) 灰度背景模型。本文采用均值法建立灰度背景模型,Pi(x,y)表示第i幀(i∈[1,n])點(x,y)的灰度值，m(x,y)表示點(x,y)的背景模型，灰度背景模型如：

2) 區分靜止背景和運動背景。Bi(x,y)表示第i幀(i∈[1,n])點(x,y)是否靜止背景：

TH為閾值，目前TH值的確定主要靠經驗。區分靜止背景與運動背景后，用灰度背景模型表示靜止背景。

3) 光流背景模型。令x={x1,x2,…,xn}表示用來訓練的n個樣本，xt(t∈[1,n])包括時刻t像素的灰度信息、鄰域內的灰度信息以及時刻t-1對應像素的灰度信息與其鄰域內的灰度信息；c={u,v,w}表示每個像素的光流背景模型，u,v,w如下式：

u=(umin,umax,u-diffmin,u-diffmax)

v=(vmin,vmax,v-diffmin,v-diffmax)

w=(wmin,wmax,w-diffmin,w-diffmax)

光流背景模型為

u=(mint{ut}, maxt{ut}, mint{u-difft}, maxt{u-difft}}

v=(mint{vt}, maxt{vt}, mint{v-difft}, maxt{v-difft}}

w=(mint{wt}, maxt{wt}, mint{w-difft}, maxt{w-difft}}

c={u,v,w},其中：t∈[1,n]。mint{xt}, maxt{xt}分別表示N幀樣本中的最小值和最大值。

4) 背景更新策略。灰度背景模型更新策略為

mt(x,y),mt+1(x,y)分別表示當前幀與下一幀點(x，y)的背景模型，P(x,y)表示當前幀點(x，y)的灰度值，a∈(1,n)是更新率，按經驗設定。

光流背景模型更新只針對背景運動速度變化。目標檢測期間，為每個像素創建2個隊列，分別記錄最近N幀為前景的次數和速度信息。

Z(t)表示u,v,w在0的鄰域范圍內的次數,FG(t)表示被判定為前景的次數，k，r表示背景更新閾值，主要依靠經驗確定。

軟件流程如圖2所示。

圖2 視頻分析處理流程

3.2 虛擬警戒區與虛擬警戒線闖入檢測

運動目標檢測是虛擬警戒闖入檢測的核心，針對固定攝像機的視頻分析，基于背景模型與更新的運動目標檢測[6-7]是比較適合的視頻處理方法。本文采用灰度與光流雙模型的背景建模與更新方法對檢測區域的視頻分析，建立灰度背景模型，區分靜止背景與運動背景，用該模型描述靜止背景；建立光流背景模型描述運動背景，然后檢測目標。

在離哨兵一定距離的區域可進行相應的非規則警戒區域或警戒線設置，一是在哨兵視線盲區進行設置，報警提醒哨兵對闖入情況的關注，二是哨兵的非接觸安全區域，對區域內靠近哨兵的運動目標檢測與跟蹤[8-9]，闖入虛擬警戒目標進行預警。在一路視頻中可設置多個警戒區和警戒線，進行不同級別的預警，相應地可接入不同的報警設備進行相應的警告，如語音、強聲等預警手段。實驗表明：當闖入目標的成像像素大于5×8像素，對比度大于8% 時，報警準確率達到95%以上。分析處理效果如圖3所示。

圖3 虛擬警戒檢測效果

其中圖3(a)中設置了一條警戒線和一個非規則的警戒區，當有人員出現在視場中，并接近警戒區域一定距離時，對該運動目標進行綠線框標識，但不報警；圖3(b)(c)中對碰觸警戒線或闖入警戒區的目標進行紅線框標識并報警，若在一定時間內目標遠離警戒線和警戒區，系統根據設置的規則自動銷警。

3.3 遺留物檢測

炸藥、爆炸裝置、易燃易爆的液體逐漸成為了恐怖分子一種恐怖襲擊武器，通過圖像處理難以進行檢測與識別，而視頻作為輔助手段可實現對類似爆炸物的靜止遺留物進行檢測，實現對運動人群中出現的可疑遺留物品的預警，而規避流動的人群對檢測的影響。

遺留物檢測則是在背景建模與更新中，對出現的無運動軌跡的非背景的靜止目標進行檢測。與運動目標檢測規則略有區別，需要多幀連續視頻的運動特征判斷。由于進行了實時背景更新，系統適應晝夜變化。實驗表明，當遺留物成像像素大于5×5，對比度大于8%時，檢測精度大于90%。視頻分析處理效果如圖4所示。

圖4 遺留物檢測效果

圖4(a)對劃定虛擬警戒區內的非背景目標進行檢測，具有運動特征的目標不報警，圖4(b)虛擬警戒內出現靜止非背景目標，對其進行靜止時間統計，圖4(c)對靜止異常的目標進行預警提示。

3.4 哨兵行為分析

進行識別哨兵行為分析的目的，一是規范哨兵的行為，更主要的目的是對哨兵人身安全出現威脅時進行預警。通過對哨兵區域的視頻數據分析，判斷哨兵是否處于正常狀態，以及對哨兵區域的近身入侵目標進行判斷，規避哨兵在檢測范圍內的運動對檢測的影響。正面站立、側面站立、彎腰、坐下、蹲下和躺下是日常生活中幾種常見的姿態[10]，而哨兵行為分析具有其特殊性，正常狀態為站姿，可在小范圍內進行站姿活動，蹲下、坐下、躺下，以及離崗均為異常狀態，判斷為哨兵執勤不規范或哨兵遇到安全威脅。

本文的行為檢測不同于一般的智能監控中通過對運動目標提取運動軌跡識別行為類型。哨兵長時間僅在小范圍內運動，無法進行背景建模與目標輪廓提取，因此將哨兵融入背景，進行分區域灰度特征統計。根據各區域以及整體區域的灰度特征變化判斷哨兵行為是否出現異常，而在哨兵區域的外圍一定環形區域進行運動目標檢測來判斷入侵事件的發生。實驗表明，在室外非逆光環境下，當哨兵與背景的對比度大于8%，且將哨兵行為分類為正常站姿、異常站姿(蹲下、坐下、躺下統稱為異常站姿)和離崗三大類，系統的哨兵行為識別準確度大于90%，檢測的視頻效果如圖5所示。

圖5 哨兵行為檢測效果

圖5(a)確定哨兵的活動區域，圖5(b)檢測到入侵的人或物，采用雙線框標識報警，區別于哨兵的其他行為識別，圖5(c)檢測到哨兵下蹲或臥倒等異常行為，圖5(d)檢測到哨兵離崗，將黑線框變成白線框進行預警標識。

4 結論

基于DM8168處理器的哨位安全智能視頻分析系統采用視頻分析自動預警為主要手段，對入侵哨位目標和哨兵的異常行為進行自動檢測。實驗表明：基于灰度與光流雙重背景建模的方法，虛警率低，滿足工程化需求。系統可外接報警系統，實現對異常事件的預警；可單獨組網使用，也可接入其他監控系統實現對監控系統的智能化升級改造。

目前，該系統集成于哨位預警系統中，在武警部隊試用，運行穩定，取得了較好的應用效果，該系統實現了對現有哨位預警的系統的智能化升級，提升現有哨位的預警能力，對保障哨兵的人身安全，起到了積極的作用，本系統可廣泛應用于軍隊、公安、武警、國家機關等重要部門的守衛。

[1] 劉治紅，駱云志.智能視頻監控技術在哨位安全威脅智能識別中的應用[J].兵工自動化,2011,30(7):82-85.

[2] 侯宏錄,李寧鳥.一種基于運動目標識別的智能視頻監控系統[J].兵工自動化,2012,31(3)：5-9.

[3] 何諧.基于DSP優化的行人識別算法在智能監控中的應用與研究[D].成都:電子科技大學,2014.

[4] 周建平,劉歆瀏,賴文娟.基于DM8168的高清視頻智能分析系統設計與實現[J].現代電子技術,2013，36(22):90-92.

[5] 管慶,朱海,王凱.基于TMS320DM8168的視頻監控跟蹤系統[J].數據采集與處理,2012，27(6):60-62.

[6] 樂應英,胡靜波.融合LBP與背景建模的自適應目標檢測混合算法[J].計算機與數字工程,2013，41(7)：71-75.

[7] 李亞南,周勇,田瑞娟.基于混合高斯模型和三幀差法的背景建模[J].兵工自動化,2015，34(4):33-35.

[8] 常風華.基于粒子濾波的視頻多運動目標跟蹤研究[D].杭州:杭州電子科技大學,2012.

[9] 李翠君,王成儒.窗口自適應更新的柔性目標視頻跟蹤[J].光電工程,2012，39(11):102-108.

[10]陳瑞強.基于人體姿勢分析的智能監控系統研究[D].秦皇島:燕山大學,2010.

(責任編輯 楊繼森)

Intelligent Video Analysis System Based on DM8168 Security Guard

TIAN Rui-juan，LEI Yu-neng

(Southwest Automation Research Institute, Mianyang 621000, China)

We designed a kind of intelligent video analysis system sentinel security based on DM8168 embedded platform for multi-channel video input, and used background modeling and updating method of gray model and optical flow modeling of double background to realize the detection of personnel, the sentry and so on. Experiments show that the system has high detection accuracy, low false alarm rate, stable performance and good real-time performance. The system has a good application in sentinel security monitoring, and it improves the early warning ability of security threats sentinel to meet the application requirements of intelligent equipment of security forces and armed police sentry.

DM8168; sentinel security; video analysis; background modeling

2016-11-15；

2016-12-25 作者簡介：田瑞娟(1972—)，女，高級工程師，主要從事圖像處理和機器視覺研究。

10.11809/scbgxb2017.04.026

田瑞娟,雷雨能.基于DM8168的哨位安全智能視頻分析系統[J].兵器裝備工程學報，2017(4):118-121.

format:TIAN Rui-juan，LEI Yu-neng.Intelligent Video Analysis System Based on DM8168 Security Guard[J].Journal of Ordnance Equipment Engineering,2017(4):118-121.

TP3

A

2096-2304(2017)04-0118-04