基于時間序列組合邏輯運算的智能 視頻監(jiān)控報警算法

夏平 任強 雷幫軍 師冬霞 胡蓉

摘? 要： 針對智慧小區(qū)視頻監(jiān)控中多目標的判別與報警問題，提出一種基于時間序列組合邏輯運算的智能視頻監(jiān)控報警算法。為實現(xiàn)在多攝像機、多觸發(fā)事件的協(xié)同工作，以完成對目標的檢測、跟蹤及分析，構建了各觸發(fā)事件之間依據(jù)邏輯與、或、非等組合邏輯運算規(guī)則來滿足智能監(jiān)控的要求;其次，引入事件觸發(fā)時間、順序及優(yōu)先級別等因素，構建基于時間序列的監(jiān)控系統(tǒng)報警組合邏輯運算算法，所有觸發(fā)事件按時間序列組合邏輯運算規(guī)定，觸發(fā)視頻監(jiān)控系統(tǒng)報警。實驗結果表明，所提算法可綜合應用多視頻信號源實現(xiàn)多觸發(fā)信號混合使用與報警，實現(xiàn)安全可控、精確便捷的智能化監(jiān)控。

關鍵詞： 智能視頻監(jiān)控; 時間序列; 報警算法; 組合邏輯; 觸發(fā)事件; 仿真實驗

中圖分類號： TN948.64?34; TP391? ? ? ? ? ? ? ?文獻標識碼： A? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）06?0101?05

Intelligent video monitoring alarm algorithm based on time series

combinational logical operation

XIA Ping1，2， REN Qiang1，2， LEI Bangjun1，2， SHI Dongxia1，2， HU Rong1，2

（1. Hubei Key Laboratory of Intelligent Vision based Monitoring for Hydroelectric Engineering， Three Gorges University， Yichang 443002， China;

2. College of Computer and Information Technology， Three Gorges University， Yichang 443002， China）

Abstract： An intelligent video monitoring alarm algorithm based on time series combinational logic operation is proposed to improve the identification and alarm of multiple targets in video monitoring of smart community. In order to realize the cooperative work of multi?cameras and multi?triggering events， and complete the detection， tracking and analysis of targets， the operation rules of combination logic， such as logic and， or and non between triggering events are constructed to meet the requirements of intelligent monitoring. The alarm combination logical operation algorithm of monitoring system based on time series is constructed by introducing event triggering time， sequence， priority and other factors， All triggering events could trigger the alarm of video monitoring system according to the regulations of time series combined logic operation. The experimental results show that the proposed algorithm can synthetically apply multi?video signal source to realize the mixed use and alarm of multi triggering signals with multi video signal source synthetically， and realize the safe， controllable， accurate and convenient intelligent monitoring.

Keywords： intelligent video monitoring; time series; alarm algorithm; combinatorial logical; triggering event; simulation experiment

0? 引? 言

隨著信息技術的發(fā)展與社會的進步，人性化管理和現(xiàn)代信息通信技術（ICT）有機融合，通過“技術+社區(qū)+服務平臺”組合的方式，構建了完善的智慧城市、智慧小區(qū)的服務體系;同時，也促進了智能視頻監(jiān)控技術的廣泛應用，使得視頻監(jiān)控系統(tǒng)可以根據(jù)監(jiān)控場景中相關規(guī)則要求，完成相應規(guī)則下控制任務事件，呈現(xiàn)出一定智能化的視頻監(jiān)控系統(tǒng)[1]。傳統(tǒng)的監(jiān)控系統(tǒng)中，觸發(fā)報警信號集中于單一數(shù)據(jù)源和單一事件的分析、判斷上[1?5]，監(jiān)控任務相對單一[2?3]，可操作性不強[4?7];對于多任務的監(jiān)控則需要多個監(jiān)控系統(tǒng)來完成，結構相對復雜，浪費大量的人力物力而未取得理想的整體監(jiān)控效果，無法滿足更高層次系統(tǒng)全監(jiān)控需求[1，8?12]。相對于傳統(tǒng)監(jiān)控系統(tǒng)，用戶對于智能視頻監(jiān)控系統(tǒng)提出了異常目標檢測、人臉檢測、人數(shù)統(tǒng)計、流量分析等多種智能分析功能的需求[4，10?12]。

針對智慧小區(qū)中對多攝像機、多觸發(fā)事件的協(xié)同工作，按既定時間、順序及規(guī)則混合使用多觸發(fā)事件的智能分析功能需求，本文提出基于時間序列組合邏輯運算的視頻監(jiān)控報警算法。通過引入事件觸發(fā)時間、順序及優(yōu)先級別等因素，構建各觸發(fā)事件之間以邏輯與、或、非等組合邏輯運算規(guī)則，形成了基于時間序列的監(jiān)控系統(tǒng)報警組合邏輯運算算法，所有觸發(fā)事件按時間序列組合邏輯運算規(guī)定，觸發(fā)視頻監(jiān)控系統(tǒng)報警，以滿足智能化的視頻監(jiān)控需求。

1? 基于時間序列組合邏輯運算原理

1.1? 基于時間序列的最小邏輯運算集

基于時間序列的最小邏輯運算集是基于時間序列組合邏輯運算的視頻監(jiān)控報警系統(tǒng)算法的基礎，是在基本邏輯運算基礎上加入時間序列約束條件，即在傳統(tǒng)的與（∧）、或（∨）、非（┐）等邏輯運算中引入時間信息作為約束，此時，與、或、非運算分別定義為[∧t]，[∨t]，[?t];同時，引入了邏輯順序運算“先于（[?t]”）”和“后于（[?t]）”，從而，構建了基于時間序列的最小邏輯運算集：時間序列邏輯與運算、時間序列邏輯或運算、時間序列邏輯非運算以及時間序列邏輯順序運算等，以此描述視頻監(jiān)控報警系統(tǒng)中各觸發(fā)事件之間的既定運算序列規(guī)則。

1.2? 時間序列邏輯運算規(guī)則

1） 時間序列邏輯“與運算”和“或運算”真值表如表1所示。

2） 時間序列邏輯非運算：

若“A=0”，則[?t]A=1;若“A=1”，則[?t]A=0。

3） 時間序列邏輯順序運算：

“先于[?t]”“后于[?t]”描述事件的運算先后順序。

1.3? 時間序列邏輯運算嵌套的運算級

本文算法規(guī)定嵌套使用的運算順序：同級事件運算時，按照時間先后順序依次響應，觸發(fā)報警信號;優(yōu)先級運算時，先響應優(yōu)先級高的事件，再響應優(yōu)先級低的事件;多層優(yōu)先級事件的響應，先響應優(yōu)先級最高的，依次遞減，最后響應其他事件觸發(fā)報警信號。

2? 基于時間序列組合邏輯運算的視頻監(jiān)控報警算法

視頻監(jiān)控報警中，各觸發(fā)事件之間的時序會影響報警結果，本文算法實現(xiàn)的智能視頻監(jiān)控系統(tǒng)主要觸發(fā)事件有運動檢測、拌線檢測、人數(shù)統(tǒng)計以及火焰&煙霧檢測，分別用事件A、事件B、事件C和事件D描述。監(jiān)控報警算法為：

1） 基礎邏輯算法。

采用并行運算的方式進行，所有事件運算級相同，要求所有參與邏輯運算的每個觸發(fā)事件在規(guī)定的時間間隔內完成響應，才產(chǎn)生報警信號。基礎邏輯算法包括時間序列邏輯“與運算[∧t]”、“或運算[∨t]”和“非運算[?t]”。具體算法：A[∧t]B描述了在t時間內，事件A與事件B同時產(chǎn)生響應信號，觸發(fā)器產(chǎn)生報警;A[∨t]B表示在t時間內，事件A與事件B中任一事件產(chǎn)生響應信號，觸發(fā)器均產(chǎn)生報警信號;若事件A產(chǎn)生響應信號，[則?t]A表示在時間間隔t內，事件A的報警信號沒有被觸發(fā);同理，在t時間間隔內，事件A與事件B同時產(chǎn)生響應信號，或者事件C與事件D同時產(chǎn)生響應信號時，觸發(fā)器產(chǎn)生報警信號，組合邏輯運算描述為：（A [∧t] B）[∨t]（ C [∧t ]D）?；A邏輯算法如圖1所示。

2） 全部連續(xù)算法。

要求所有參與邏輯運算的每個觸發(fā)器事件按照預先設定好的時間先后順序，在規(guī)定的時間內依次產(chǎn)生響應，終端才產(chǎn)生報警信號。引入時間序列邏輯運算“先于運算（[?t]）”和“后于運算（[?t]）”。具體算法：A[?t]B描述在t時間內，事件A先于事件B產(chǎn)生響應信號，觸發(fā)器產(chǎn)生報警信號;同理，A[?t]B表示在t時間內，A后于B產(chǎn)生響應信號時，觸發(fā)器才產(chǎn)生報警信號。將此算法應用于A，B，C，D四個事件順序觸發(fā)產(chǎn)生報警信號的時間序列組合邏輯運算表示為：A[?t]B[?t]C[?tD];其中，任一事件未在規(guī)定時間內按順序產(chǎn)生響應，則觸發(fā)器不報警。全部連續(xù)算法如圖2所示。

3） 領導合成算法。

領導合成算法是基礎邏輯算法和全部連續(xù)算法的嵌套運算算法，指定一個或一組觸發(fā)事件為領導運算成員時，其優(yōu)先級最高;該信號產(chǎn)生響應信號后，在規(guī)定的時間內，所有規(guī)定的響應運算成員均產(chǎn)生了響應信號，而所有規(guī)定的不能產(chǎn)生響應的運算成員均沒有產(chǎn)生報警的條件下，觸發(fā)器產(chǎn)生報警信號。若事件A為領導運算成員，其優(yōu)先級最高，必須先產(chǎn)生響應信號，同時，若規(guī)定事件B、事件C產(chǎn)生報警信號，而事件D不產(chǎn)生報警信號，最終才能產(chǎn)生報警，組合邏輯運算為：A[?t（]B[∧t]C[∧t（?t]D））。領導合成算法如圖3所示。

3? 實驗仿真及分析

3.1? 實驗仿真

智能視頻監(jiān)控系統(tǒng)中，通過對基本運算組合及其嵌套使用，在傳統(tǒng)報警處理基礎上，實現(xiàn)或合成、與合成、全部連續(xù)和領導合成4種智能組合邏輯運算報警。通過開發(fā)的“千里眼視頻監(jiān)控系統(tǒng)”進行仿真實驗。

3.1.1? 或合成

任一運算事件產(chǎn)生響應時，均能馬上產(chǎn)生報警信號。以“運動檢測”和“火焰&煙霧檢測”事件為例。實驗結果如圖4～圖6所示。

“運動檢測”是在指定區(qū)域檢測到有物體運動時會發(fā)生報警響應，如圖4所示?！盎鹧?煙霧檢測”是在指定的區(qū)域檢測到火焰或者煙霧時就會發(fā)生報警，如圖5、圖6所示。將“運動檢測”和“火焰&煙霧檢測”兩個觸發(fā)器以或合成運算后描述為系統(tǒng)在指定的區(qū)域內檢測到運動的人或物體、或火焰、或煙霧，系統(tǒng)產(chǎn)生報警。

3.1.2? 與合成

所有參與組合運算事件均須在規(guī)定的時間內產(chǎn)生報警響應時，系統(tǒng)才產(chǎn)生報警信號。以“拌線檢測”和“車牌識別”兩個觸發(fā)器為例實驗。實驗結果如圖7、圖8所示。

“拌線檢測”是運動的物體通過設計的門禁會發(fā)生報警，如圖7所示。“車牌識別”是指在指定的區(qū)域內識別機動車牌號發(fā)生報警，如圖8所示。將“拌線檢測”和“車牌識別”兩個觸發(fā)器進行與合成運算后，描述為非固定車輛經(jīng)過設計的門禁時產(chǎn)生報警。設計的門禁亦可用于禁止機動車輛，此時使用“拌線檢測”和“車牌識別”兩個觸發(fā)器，車輛進入到門禁之內，通過“車牌識別”觸發(fā)器識別到其車牌并記錄，系統(tǒng)發(fā)出報警信號。

3.1.3? 全部連續(xù)

所有參與邏輯運算事件只有按照規(guī)定順序在時間t內產(chǎn)生響應信號時，才產(chǎn)生報警信號。以智能視頻監(jiān)控系統(tǒng)中“拌線檢測”、“人臉檢測”和“人數(shù)統(tǒng)計”三個觸發(fā)器為例。實驗結果如圖9、圖10所示。

“人臉檢測”是系統(tǒng)在指定的區(qū)域識別到人臉時發(fā)生報警，如圖9所示?！叭藬?shù)統(tǒng)計”是在指定的區(qū)域內，對人數(shù)進行數(shù)量統(tǒng)計，當人數(shù)達到設定的最高值時，發(fā)生報警，如圖10所示。此方案可用在諸多公共場合，對控制人流量十分有效。

3.1.4? 領導合成

指定一個或者一組觸發(fā)事件為領導運算成員，在整個系統(tǒng)運行中優(yōu)先級最高，必須優(yōu)先于其他觸發(fā)事件產(chǎn)生報警信號，然后在規(guī)定的時間內，所有必須產(chǎn)生報警信號的觸發(fā)事件產(chǎn)生了報警信號，而所有不能產(chǎn)生報警信號的觸發(fā)事件沒有產(chǎn)生報警信號的條件下，系統(tǒng)產(chǎn)生報警信號。以智能視頻監(jiān)控系統(tǒng)中“拌線檢測”“人臉檢測”和“火焰&煙霧檢測”三個觸發(fā)器為例。實驗結果如圖11所示。

系統(tǒng)規(guī)定“拌線檢測”為領導觸發(fā)器，“人臉檢測”不產(chǎn)生報警而“火焰&煙霧檢測”產(chǎn)生報警。因此，“拌線檢測”觸發(fā)器必須先產(chǎn)生報警信號，然后在規(guī)定時間內，“人臉檢測”不能產(chǎn)生報警信號，而“火焰&煙霧檢測”觸發(fā)器須產(chǎn)生報警信號時，系統(tǒng)才產(chǎn)生報警信號。如圖11的實際場景為家庭廚房，若廚房有人，即使檢測到火焰或煙霧也不會發(fā)生報警信號;若檢測到廚房無人，同時檢測到火焰或煙霧信號，系統(tǒng)就會報警。

3.2? 實驗結果分析

本文采用項目組開發(fā)的“千里眼視頻監(jiān)控系統(tǒng)”，模擬智能組合邏輯運算的視頻報警實驗，預先根據(jù)實際應用的需求設定每個觸發(fā)信號的觸發(fā)時間、順序及優(yōu)先級別，而后執(zhí)行各種聯(lián)動操作，當所有的觸發(fā)信號按照設定的要求一致時，系統(tǒng)產(chǎn)生報警信號。相對于傳統(tǒng)單一信號的報警，本文設計的報警系統(tǒng)應用領域廣、可控性強、智能化程度高，解決了目前智能分析和觸發(fā)數(shù)據(jù)源單一、分析方法單一的現(xiàn)狀，滿足全監(jiān)控系統(tǒng)需求;同時，多種觸發(fā)信號類型可混合使用，也可綜合應用從多種數(shù)據(jù)源和多種分析而來的信號，智能化程度更高。

4? 結? 論

視頻監(jiān)控報警系統(tǒng)單純使用單一報警觸發(fā)模式很難解決日常應用中的突發(fā)問題，本文提出的基于時間序列組合邏輯運算的視頻監(jiān)控算法充分考慮了影響報警結果的觸發(fā)事件的時間、順序、優(yōu)先級等因素，通過時間序列的智能組合邏輯運算建模，實現(xiàn)多源響應信號的智能監(jiān)控報警，在一定程度上解決了視頻監(jiān)控系統(tǒng)多源信號的聯(lián)動報警，滿足人們對智能視頻監(jiān)控報警系統(tǒng)更高智能化的需求。本文算法實現(xiàn)的智能視頻監(jiān)控報警系統(tǒng)具有較廣泛的應用前景。

注：本文通訊作者為雷幫軍。

參考文獻

[1] 黃凱奇，陳曉棠，康運鋒，等.智能視頻監(jiān)控技術綜述[J].計算機學報，2015，38（6）：1093?1118.

[2] ZHENG X， HU C P， MEI L. Video structured description technology based intelligence analysis of surveillance videos for public security applications [J]. Multimedia tools & applications， 2015， 75（19）： 1?18.

[3] TIAN B， LI Y， LI B， et al. Rear?view vehicle detection and tracking by combining multiple parts for complex urban surveillance [J]. IEEE transactions on intelligent transportation systems， 2014， 15（2）： 597?606.

[4] 邵振峰，蔡家駿，王中元，等.面向智能監(jiān)控攝像頭的監(jiān)控視頻大數(shù)據(jù)分析處理[J].電子與信息學報，2017，39（5）：1116?1122.

[5] CHAARAOUI A A， PADILLAL?PEZ J R. A vision?based system for intelligent monitoring： human behavior analysis and privacy by context [J]. Sensors， 2014， 14（5）： 8895?8925.

[6] MEI K L， TANG S， CHAN C S. iSurveillance： intelligent framework for multiple events detection in surveillance videos [J]. Expert systems with applications， 2014， 41（10）： 4704?4715.

[7] 李鵬飛，陳朝武，李曉峰.智能視頻算法評估綜述[J].計算機輔助設計與圖形學學報，2010，22（2）：352?360.

[8] SONG X H， SUN L， LEI J， et al. Event?based large scale surveillance video summarization [J]. Neurocomputing， 2016， 187： 66?74.

[9] FAN C T， WANG Y K， HUANG C R. Heterogeneous information fusion and visualization for a large?scale intelligent video surveillance system [J]. IEEE transactions on systems man & cybernetics systems， 2017， 47（4）： 593?604.

[10] CHEN T S， LIN M F， CHIEUH T C， et al. An intelligent surveillance video analysis service in cloud environment [C]// IEEE International Carnahan Conference on Security Technology. [S.l.]： IEEE， 2016： 1?6.

[11] 施巍松，孫輝，曹杰，等.邊緣計算：萬物互聯(lián)時代新型計算模型[J].計算機研究與發(fā)展，2017，54（5）：907?924.

[12] DUTT S， KALRA A. A scalable and robust framework for intelligent real?time video surveillance [C]// IEEE International Conference on Advances in Computing， Communications and Informatics. Kochi： IEEE， 2016： 212?215.

[13] KIM H， LEE S， KIM Y， et al. Weighted joint?based human behavior recognition algorithm using only depth information for low?cost intelligent video?surveillance system [J]. Expert systems with applications， 2016， 45： 131?141.

[14] 畢林，王李管，陳建宏，等.三維網(wǎng)格模型的空間布爾運算[J].華中科技大學學報（自然科學版），2008，36（5）：82?85.

[15] 王一丁，魏忠義，董毅.DSP處理器XINTF接口與液晶并口的兼容通信設計[J].西安工程大學學報，2016（3）：306?311.

[16] 劉焱，周圣澤，羅軍，等.基于FPGA的并串轉換電路硬件實現(xiàn)[J].電子技術應用，2017（12）：21?24.