基于人機交互和網絡傳輸的智能視頻監控系統研究

蘇志賢,馬春飛

浙江安防職業技術學院,浙江溫州325016

基于人機交互和網絡傳輸的智能視頻監控系統研究

蘇志賢,馬春飛

浙江安防職業技術學院,浙江溫州325016

將網絡傳輸技術和視頻自動分析技術應用于網絡視頻監控系統，設計出一種基于監控終端、網絡傳輸、中心服務器和客戶端4個部分組成的智能視頻監控系統。通過標定、TCP/RTP協議以及濾波器圖表結構，實現良好的擴展性和重復性。

人機交互;網絡傳輸;目標檢測;智能視頻監控系統

隨著多媒體、網絡技術、人工智能以及光電圖像分析和圖像處理等技術的快速發展，視頻監控技術朝著智能化、數字化和網絡化的方向發展[1]。與傳統的視頻監控技術相比較，智能視頻監控能夠根據原始視頻形成高層的語義解釋，將人工伺服變成主動識別，將事后分析變成事中分析和預警，并且能夠動態的監控被監控對象的行為，進行識別和跟蹤。智能視頻監控的優點是傳統視頻監控技術所無法企及的，因此，設計一款高效、可靠的智能視頻監控系統具有重要的理論和實際意義。

1 系統結構

1.1 人機交互

為了實現計算機和人之間的優勢互補，通過將人類的良好的整體效應的定性認識能力和計算機強大的邏輯表達能力和推理能力結合起來，通過計算機和人之間的定性和定量表達，最終實現算法優化的方法，叫做人機交互[2]。

1.2 設計目標

基于人機交互和網絡傳輸的智能視頻監控系統的設計目標：結合當前的模式識別技術和計算機視覺技術，對采集獲取的實時視頻數據進行分析，在不需要人為干預的情況下，實現被監控對象的定位、識別和跟蹤，同時能夠在發生異常情況是進行預警或預報。在當前網絡數字視頻監控技術的基礎上，構建出智能視頻監控系統，并將其應用于有安全監控需求的環境和區域，如學校、醫院、機關單位、監獄、公共場所等等。其系統結構如圖1所示。

圖1 智能視頻監控系統結構圖Fig.1 The structure of intelligent video surveillance system

1.3 硬件結構

該智能視頻監控系統的核心控制器為TMS320F2812 DSP[3]，其硬件系統結構圖如圖2所示。

圖2 硬件系統結構圖Fig.2 The structure of hardware system

由圖2系統件結構圖可知，智能視頻監控系統由攝像機、信號預處理、網絡數據通訊模塊、上位機監測系統和基于TMS320F2812 DSP核心處理器的外圍電路組成。通過攝像機，可以實時采集實時視頻監控數據，之后將預處理的數據傳送到TMS320F2812 DSP的ADC轉換接口，實現數據格式轉換并進行數據存儲，通過監測器可以進行實時監控、分析和預警。

2 智能視頻監控系統設計與實現

由智能視頻監控系統結構圖可知，該系統由監控終端、傳輸網絡、中心服務器和客戶端等四個部分組成。監控終端主要實現視頻的采集和處理；傳輸網絡主要實現采集到的視頻數據的傳輸；中心服務器主要實現視頻流的存儲和轉發以及相應的命令控制。客戶端主要實現視頻的監控、播放、定位、識別、追蹤和預報或預警。

2.1 客戶端

客戶端的主要作用是便于用戶和中心服務器的交互，獲取智能視頻監控系統監控終端的實時視頻數據。通過DirectShow技術[4]，客戶端可以將中心服務器RTP轉發來的實時視頻數據進行解碼和播放。客戶端的預警信息則通過TCP協議進行。

圖3 客戶端和智能信息處理模塊Fig.3 The processing module of client and intelligent information

客戶端和智能信息處理相關部分包括分析設置模塊、監控計劃模塊和實時視頻播放模塊(圖3)。

（1）分析設置模塊：其是組成智能視頻監控系統的重要部分，也是體現監控系統是否智能化的關鍵所在[5]。若不能實現攝像機的分析設置，則采集到的實時視頻將無法分析和處理，產生相應的預警信息和報告。分析設置模塊包括標定、預警設置和目標行為分析設置，目的生成分析參數通過傳輸網絡將數據存儲于中心服務器。

標定作用是為了提高監控視頻分析程序的準確性。通過預警設置可以實現各種環境和情景的預警，其設置的參數主要有環境類型、目標類型和預警分類。其中環境類型主要分為白天、黑夜、室內和室外4中情形的組合選擇。目標類型主要為人、汽車、動物、自行車等，在此基礎上可以擴展。預警分類根據需要設置警戒區、警戒線、偵查區、警戒方向和非警戒區等類型[6]，預警分類可以結合目標類型進行預警。

（2）監控計劃模塊：監控終端的攝像機我們可以設置多種視頻分析方案，根據監控對象和場景的改變，應用合適的視頻分析方案。文中系統監控計劃包括默認計劃、周期計劃和一次性計劃。

（3）實時視頻播放模塊：客戶端要實現實時視頻的播放，必須先構建出一個過濾器結構圖表。該結構圖表由XVID Multicast receiver filter、XVID Video decoder filter和Video rendering filter三個濾波器串聯構成。XVID Multicast receiver filter實現中心服務器RTP協議轉發來的視頻壓縮包進行組包還原。XVID Video decoder filter實現數據的解碼，Video rendering filter實現視頻的渲染播放[7]。由這個過程可知，智能視頻監控系統從客戶端的角度來看，就是視頻采集、壓縮、解壓和播放的過程。

2.2 中心服務器

中心服務器主要作用就是實現監控終端和客戶端的交流，分析單元根據采集到的不同視頻進行多方案視頻處理，將分析單元壓縮的視頻數據，通過RTP協議傳送給客戶端，客戶端實現組包解碼和播放并進行預警。中心服務器和分析單元和客戶端的傳輸信息網絡結構圖如圖4所示。

圖4 網絡信息傳輸結構圖Fig.4 The transmission structure of network information

2.3 分析單元

分析單元是視頻分析的關鍵部分，其包括目標檢測、目標跟蹤和分類以及預警信息。目標檢測的流程如圖5所示。

（1）目標檢測：根據視頻畫面的監控區域將圖像中的目標物體提取出來的過程。目標檢測的方法主要有光流法、時間差分法和背景減除法。文中以人為研究事例，選擇背景減除法[8]，檢測結果如圖6所示。

圖5 人體姿態Fig.5 Human postures

圖6 人體姿態檢測結果Fig.6 The detection results of human posture

（2）目標跟蹤：根據目標物體的運動特征和輪廓實現目標物體的跟蹤，文中采用Mean-shift算法[9]進行多目標跟蹤。文中選擇車輛為跟蹤目標，跟蹤結果如圖7所示。

圖7 車輛跟蹤結果Fig.7 The tracking results for vehicles

（3）行為分析：結合目標檢測、目標跟蹤結果以及警告圖片信息[10]，對被檢測對象進行行為分析，對分析結果進行預警分析和提醒，文中選擇短信提醒預警結果為事例，結果如圖8所示。

圖8 短信報警結果圖Fig.8Results from SMS alarm

3 系統實驗

智能視頻監控系統的性能主要受到分析單元的處理速度的影響，用處理一幀圖像耗費的時間作為系統的評價結果，其評價結果如表1所示。由分析結果可知，整個智能監控系統所耗費的時間主要集中在目標檢測和背景更新，耗費時間占到整個系統耗費時間的一半以上，因此選擇優秀的目標分割和檢測方法，對提高系統效率至關重要。

圖9 短信監控終端界面Fig.9 SMS monitoring terminal interface

表1 耗費時間（ms）Table 1 Time consuming(ms)

4 結論

針對傳統系統監控系統存在的缺點，將人機交互和網絡傳輸技術結合應用于智能視頻監控系統，設計出一款滿足現實需求的智能視頻監控系統。將網絡傳輸技術和視頻自動分析技術應用于網絡視頻監控系統，設計出基于監控終端、網絡傳輸、中心服務器和客戶端4個部分組成的智能視頻監控系統。通過標定、TCP/RTP協議以及濾波器圖表結構，實現智能視頻監控系統構建，實驗結果表明，該系統具有很好的擴展性和重復性，可以推廣。

[1]黃凱奇,陳曉棠,康運鋒,等.智能視頻監控技術綜述[J].計算機學報,2015,20(6):1093-1118

[2]閆彬,陳耀武.基于內容的智能視頻監控文件系統[J].計算機工程,2015,41(10):250-254

[3]張謝華,趙小虎.煤礦智能視頻監控中的運動目標檢測研究[J].工礦自動化,2016,42(4):31-36

[4]徐海剛,李朋偉.智能視頻監控系統中多視角目標跟蹤研究與FPGA實現[J].現代電子技術,2016,39(17):6-11

[5]李小斌,吳宏岐,袁戰軍,等.智能視頻監控系統關鍵技術及算法研究[J].控制工程,2016(S1):18-22

[6]楊海林,蔡啟忡,薛圣利,等.基于改進的VIBE算法在鐵路智能視頻監控入侵檢測的研究[J].科學技術與工程,2016,16(21):80-82

[7]孫寧,陳梁,韓光,等.深度分類網絡研究及其在智能視頻監控系統中的應用[J].電光與控制,2015(9):77-82

[8]許慧芳,許亞軍.智能視頻監控系統中多攝像頭協同跟蹤算法[J].電視技術,2015,39(18):86-89

[9]屈寶鵬,張喜鳳,卜文銳.基于ATMEGA328的視頻監控智能車的設計與實現[J].現代電子技術,2015,38(19):160-162

[10]吳祿慎,吳益根.基于ARM9的自適應背景差法智能遠程視頻監控系統[J].儀表技術與傳感器,2015(11):81-84

Study on Intelligent Video Surveillance System Based on Human -Computer Interaction and Network Transmission

SU Zhi-xian,MAChun-fei
Zhejiang Institute of Security Technology,Wenzhou325016,China

The network transmission technology and automatic video analysis technology were applied to network video monitoring system to design an intelligent video monitoring system with composition of the monitoring terminal,network transmission,center server and the client.Through calibration,TCP/RTP protocol and filter graph structure,it could get the good expansibility and repeatability.

Human-computer interaction;network transmission;target detection;intelligent video surveillance system

TP391.1

:A

:1000-2324(2017)01-0108-05

2016-11-15

:2017-01-04

蘇志賢(1988-),男,碩士,講師,主要研究方向為安全防范技術，電子技術.E-mail:wlsuzhixian@163.com