基于邊緣計算的視頻監控報警系統研究

殳雪城 童曉斌 劉天宏 劉媛

摘要：隨著人們對安防意識的不斷增強，視頻監控報警變得越來越重要，但傳統的設計方法暴露出時延高的缺點。本文結合邊緣計算的熱點，將視頻監控與邊緣計算技術結合起來，設計了一種基于邊緣計算的視頻監控報警系統。系統包括邊緣計算網關，以EAI610為核心，采用幀間差分法處理視頻圖像數據，運用Docker虛擬化容器技術，分布式部署邊緣計算框架。通過實驗對比的方法，選定幀間差分法的關鍵參數，二值化閾值為10，在此基礎上，測試分析了整個系統的最大報警平均時延為187.7 ms，最小報警平均時延為135.5 ms，實驗結果表明，基于邊緣計算的視頻監控報警系統符合要求，且大大地降低了時延，為視頻監控報警系統提供了新的思路，具有很高的應用價值。

關鍵詞： 邊緣計算; 網關; 視頻監控系統; 幀間差分法

【Abstract】 With the increasing awareness of security， video monitor and alarm become more and more important， but the traditional design method exposes the shortcomings of high delay. In this paper， the video monitor and alarm system based on edge computing is designed， which combines video monitor and alarm with edge computing. The system includes an edge computing gateway， which takes EAI610 as the core， uses temporal difference to process video image data， and uses Docker virtualization container technology to deploy a distributed edge computing framework. By comparing the experimental methods， the key parameters of temporal difference method are selected and the threshold value of binarization is 10. On this basis， the maximum average alarm delay of the whole system is 187.7 ms and the minimum average alarm delay is 135.5 ms. The experimental results show that the video monitor and alarm system based on edge computing meets the requirements. It reduces the time delay， which provides a new idea for video monitor and alarm system， and has high application value.

【Key words】 ?edge computing; gateway; video monitor and alarm; temporal difference

0 引 言

隨著生活水平的不斷提高，人們對安全的防范意識在不斷增強。作為安防系統的一個重要組成部分，視頻監控報警系統在安防系統中扮演的角色越來越重要，同時也吸引了越來越多的關注[1-2]。視頻監控系統最初的應用場景包括交通安全、超市監控和大型會場的安保等公共場所，近年來，則從公共場所逐漸轉向了家庭安防，從而推動了視頻監控系統的快速發展。傳統的模擬監控系統受限于距離的限制。遠程視頻監控系統采用數字監控系統，傳輸距離不收限制。且將采集到的數據上傳至云平臺，在云平臺上處理，控制，暴露出時延比較高的缺點。

邊緣計算[3-4]是在靠近數據源頭的網絡邊緣側， 融合網絡、計算、存儲及應用等核心能力的開放平臺，近提供邊緣智能數據處理服務，以滿足網絡敏捷連接、實時業務、數據優化等應用需求?？梢跃徑庠破脚_的數據處理的負擔，提高了數據處理的效率。同時由于傳感器與邊緣端更貼近，極大地降低了時延。

本文提出了一種基于邊緣計算的視頻監控報警系統，系統主要包括感知傳感器的節點的部署，邊緣計算網關和軟件平臺。研究的目的為搭建視頻監控報警平臺，部署感知傳感器，添加邊緣計算的規則，實現視頻監控異常報警功能，降低報警時延。

1 系統組成

本文采用EdgeX Foundry作為視頻監控報警系統的核心框架，系統組成如圖1所示，包含羅技攝像頭270、EdgeX Foundry邊緣計算平臺和物聯網應用平臺。具體流程如圖2所示。

首先通過羅技攝像頭對監控區域進行數據圖像的采集，然后將獲得數據圖像通過幀差法進行處理判定，將判定后的結果通過MQTT通訊協議發送給EdgeX Foundry邊緣計算平臺，邊緣計算網關根據制定的規則邏輯，通過規則引擎和通知模塊完成事件的通知和報警。規則引擎模塊根據制定的規則，對報警傳感器進行聯動，執行報警操作，通知模塊在滿足規則邏輯的情況下，通過郵件發送的方式，向指定的用戶發送報警通知郵件，最終實現視頻監控報警功能。

2 移動目標檢測算法

移動目標檢測的目的是為了有效地提取到視頻中變化的部分，這是智能圖像處理的基本部分，是人工智能和機器視覺發展的基礎。在視頻監控報警系統中進行移動目標檢測是安防系統的一個重要特征。移動目標檢測算法主要有光流法、背景差分法和幀差法。本文通過對比分析，選擇幀差法作為本文所采用的移動目標檢測算法。

3 邊緣計算平臺

3.1 EdgeX Foundry框架

邊緣計算要具備時效性、安全性、計算能力，并且部署在邊緣側，對工程大小、內存占用、CPU消耗等都有嚴格的要求，目前全球各大公司都加入了邊緣計算平臺系統的開發中，例如：Apache Edgent、OpenStack、EdgeX Foundry、微軟的 Azure IoT Edge、Google Cloud IoT 和亞馬遜的 AWS Greengrass 等[6]。

本文選取的邊緣計算平臺EdgeX Foundry[7]作為邊緣計算網關，EdgeX Foundry是由Linux基金會運營的廠商中立的開放源碼項目，框架由2017年開始被人們所熟知，旨在為“物聯網邊緣計算”創建公共開放的框架。EdgeX Foundry 的邊緣計算系統框架如圖3所示。

由圖3可看出EdgeX Foundry框架從南到北依次為：設備服務層、核心服務層、支持服務層、導出服務層?？蚣芊譃槟媳眱蓚?。南側包括：在物理領域內的所有物聯網對象，以及與這些設備、傳感器、執行器和其他物聯網對象直接通信并從中收集數據的網絡邊緣，統稱為“南側”。北側包括：將數據收集、存儲、聚合、分析并轉換為信息的云（或企業系統），以及與云通信的網絡部分，稱為網絡的“北側”。

4個服務層從南側到北側分別為：設備服務層、核心服務層、支持服務層、導出服務層。對此可做闡釋分述如下。

（1）設備服務層（DS）：設備服務層負責與南向設備交互。

（2）核心服務層（CS）：核心服務層分隔了邊緣的北側和南側層。核心服務包括以下組件：核心數據，命令，元數據，注冊和配置。

（3）支持服務層（SS）：支持服務層包含廣泛的微服務，該層微服務主要提供邊緣分析服務和智能分析服務。

（4）導出服務層（ES）：北向應用可以在網關注冊，并獲取其想獲得的南向設備的數據;設置數據發送的方向;設置數據傳輸的格式。

在此基礎上，研究得到2個增強的基礎系統服務分別為：系統管理，安全基礎設施。這里給出概述如下。

（1）設備與系統管理：提供EdgeX Foundry微服務的安裝、升級、啟動、停止和監視， 以及BIOS固件、操作系統和其他與網關相關的軟件。

（2）安全：EdgeX Foundry內外的安全元件保護由EdgeX Foundry管理的設備、傳感器和其他物聯網對象的數據和命令。

3.2 規則引擎

3.2.1 規則引擎作為導出微服務客戶端

規則引擎微服務提供了一種邊緣事件觸發機制。規則引擎服務接受傳感器傳入的數據，并觸發設備，執行聯動。因此，規則引擎在網絡邊緣處或附近提供“智能”，以加快響應時間。

該實現在其核心使用一個Drools規則引擎。Drools是一個開源規則引擎。這種微服務能夠被第三方提供的許多其他邊緣分析功能所取代或增強。

規則引擎是一個自動注冊為導出微服務的客戶端。當規則引擎微服務啟動時，將會自動調用導出客戶端注冊微服務，將自己注冊為從核心數據中輸出的所有設備和傳感器讀數的客戶端。作為導出微服務的客戶端，通過導出微服務分發數據，規則引擎接收所有事件和讀數?；诮邮艿降臄祿瑘绦兄贫ǖ囊巹t，并且規則引擎通過核心命令微服務，觸發對設備的任何驅動，實現設備間的聯動，其流程圖如4所示。

3.2.2 規則引擎直接連接核心數據

在對時間敏感的生產環境中，大量數據是由連接的傳感器生成的，將規則引擎微服務直接連接到核心數據，從核心數據微服務接受數據。其流程圖如圖5所示。

3.2.3 規則引擎客戶端高級交互

規則引擎微服務附帶了一個RESTful服務，可以添加和刪除新的規則。RESTfulAPI允許在JSON中定義新規則，通過REST POST動態添加到規則引擎中。微服務將提供的JSON數據轉換為Drools規則文件（.drl文件）。每個規則必須與一個唯一的名稱相關聯，該名稱用于標識規則和保存規則的Drool文件。還可以按名稱請求刪除規則。其交互圖如圖6所示。

3.3 通知引擎

3.3.1通知引擎模塊

通知具有信息性，而警報通常具有更重要、關鍵或緊急的性質，可能需要立即采取行動。其系統圖如圖7所示。

圖7顯示了警報和通知的高級體系結構。在左側，API是為其他微服務、盒內應用提供的，這些API可以是REST、AMQP、MQTT或任何標準應用程序協議。在右側，通知接收器可以是云端或個人服務器或應用程序系統。通過調用訂閱RESTful接口，訂閱特定類型的通知，當事件發生時，接收者通過定義的接收通道獲取適當的通知。接收通道包括短消息、電子郵件、REST回調、AMQP、MQTT等。

當警報和通知從任何接口接收通知時，通知將在內部傳遞給通知處理器。通知處理器首先保持接收通知，如果通知是關鍵的（severity=“critical”），則立即將其傳遞給分發協調器。對于普通通知（severity=“normal”），即等待消息調度程序批量處理。

當分發協調器收到通知時，首先查詢訂閱，以獲取需要獲取此通知及其接收通道信息的接收者。根據通道信息，分發協調器將此通知傳遞給相應的通道發送者。然后，通道發送者向訂閱的接收者發送通知。

3.3.2 通知引擎交互

當接收到一個關鍵通知時，通知首先需要持續，并立即觸發分發過程，更新通知狀態后，通知將響應客戶端以指示已接受通知，其高級交互圖如圖8所示。

4 實驗實施與結果分析

本文采用的是羅技270攝像頭傳感器，嵌入式開發板采用的是openailab公司的EAI610-PO[8]，具體參數見表1，安裝64位的Ubuntu16.04操作系統，配置Python+OpenCV環境。EdgeX Foundry是微服務架構，采用的是golang高并發語言設計，本文在開發板上配置golang環境，安裝Docker，docker-compose，運用Docker[9]虛擬化容器技術部署EdgeX Foundry各微服務。

4.1 視頻采集處理模塊

視頻處理模塊的核心是對運動物體的檢測和跟蹤[10]。視頻處理流程如圖9所示，進行運動物體檢測和跟蹤的算法的主要步驟包括：

（1）幀差計算：將相鄰的兩幀進行幀差計算，這是圖像處理的基礎，后續的步驟在此基礎上進行。

（2）灰度圖像轉換：采集的視頻圖像是彩色圖像，彩色圖像包含紅綠藍（RGB）三個通道，圖像的彩色對運動物體的檢測與跟蹤沒有任何影響，但是卻會增加圖像處理系統的復雜度，所以將彩色圖像轉換為灰度圖像，減小系統冗余。

（3）高斯模糊：指定高斯核的寬和高（必須是奇數），以及高斯函數沿X，Y方向的標準差。本文指定2個標準差都為默認值0，函數會根據核函數的大小自行計算。高斯模糊的目的是為了將運動檢測的目標的高斯濾波過濾掉，避免出現干擾。

（4）二值化圖像：在圖像轉換成灰階后，為了使圖像更加簡潔，經過二值化后的圖像只剩黑白兩色。

（5）腐蝕膨脹：腐蝕運算， 即局部最小值運算， 用于消除圖像中不相關的細節。腐蝕即是將圖像與核進行卷積，求出局部最小值，減小圖像中的高亮區;膨脹與腐蝕是相反操作，膨脹運算，即局部最大值運算，用于橋接細節裂縫，其目的是為了前后兩幀對比更加明顯，有利于找到前景的輪廓。

（6）輪廓的尋找：使用OpenCV中的cv2.findCountours函數尋找輪廓，此函數可以將輪廓上的冗余去掉，節省了系統內存的開支。

（7）運動物體標記：計算輪廓的尺寸，并繪出外框將運動的物體標記，并保存圖片，輸出信息。

4.2 報警模塊

報警模塊是基于EdgeX Foundry框架，將此框架編譯成ARM架構，運用Docker虛擬化容器技術部署在EAI610開發板上，啟動各個模塊微服務，通過軟件平臺，進行設備的注冊，本文選用MQTT[11]通訊協議，視頻處理模塊輸出的信息通過MQTT傳送至EdgeX Foundry邊緣計算網關，信息存儲至核心數據庫，核心數據庫通過ZeroMQ[12]發布數據，規則引擎微服務訂閱數據，判斷規則，通過核心命令微服務，向Modbus微服務發送命令，來控制繼電器開關的閉合，與此同時向通知微服務發送命令，通知微服務將報警信息以郵件的方式發送給用戶。

搭建好視頻監控報警系統后，編寫繼電器電源開關的設備文件，在軟件平臺上添加設備，本文通過Postman的post命令上傳規則，設定當視頻處理模塊返回的信息為2時，則觸發邊緣計算，繼電器電源開關設定為打開（即設置值為1），并向用戶郵件發送報警信息;當視頻處理模塊返回的信息為0時，繼電器電源開關設定為關閉（即設置值為0）。在通知微服務里面注冊通知的郵箱。生成了2個規則文件，如圖10所示。

4.3 實驗結果

實驗場景設置為：EAI610開發板距離實驗室的大門大概5 m的距離，人從門口走向設備，在此過程中，對人這個運動物體進行實時的檢測與跟蹤。

4.3.1 閾值對系統的影響

如圖11～圖14所示，最小運動檢測區域都取5 000，有燈光照射下，閾值分別為2，10，15，20，對比實驗結果和對應的閾值處理的結果。

5 結束語

本文將視頻監控報警技術與邊緣計算框架結合起來，采用微服務架構，虛擬化容器部署，設計了基于邊緣計算的視頻監控報警系統。針對不同的參數，進行對比實驗，分析出最適合的參數。相對于其他的視頻監控報警系統，本系統沒有采用GPRS短信模塊，運用邊緣計算框架中的規則引擎與通知微服務，實現了邊緣端的規則處理，減輕了云端的壓力，同時降低了時延，微服務架構更加靈活，部署起來更加方便。實驗結果充分證明了系統的穩定性與可靠性，為視頻監控報警系統的設計提供了一個新的思路，與此同時為邊緣計算的實施提供了參考，具有一定的參考價值。

參考文獻

[1] 劉楠. 基于Android平臺的遠程視頻監控報警系統研究[D]. 長春：吉林大學，2016.

[2]孟慶博. 基于Android平臺視頻實時監控系統的設計與實現[D]. 長春：吉林大學，2016.

[3]SATYANARAYANAN M. The emergence of edge computing[J]. Computer， 2017， 50（1）：30.

[4]SHI W， CAO J， ZHANG Q， et al. Edge computing： Vision and challenges[J]. IEEE Internet of Things Journal， 2016， 3（5）：637.

[5]吳雙. 基于MFC+OpenCV的視頻監控區域入侵檢測系統設計與實現[D]. 濟南：山東師范大學，2017.

[6]施巍松，孫輝，曹杰，等. 邊緣計算：萬物互聯時代新型計算模型[J]. 計算機研究與發展，2017，54（5）：907.

[7]NA W， LEE Y， DAO N N， et al. Directional link scheduling for real-time data processing in smart manufacturing system[J]. IEEE Internet of Things Journal， 2018，5（5）：3661.

[8]佚名. 瑞芯微首發ARM架構人工智能開發平臺[J]. 智能城市，2018，4（17）：9.

[9]李東光，劉智平，姜雨菲. 蟻群優化算法的Docker集群調度策略[J]. 西安工業大學學報，2019，39（3）：330.

[10]韓宇，張磊，吳澤民，等. 基于嵌入式樹莓派和OpenCV的運動檢測與跟蹤系統[J]. 電視技術，2017，41（2）：6.

[11]胡存，駱德漢，童懷. 基于Modbus與MQTT融合工業能耗網關系統設計[J]. 物聯網技術，2019，9（4）：49.

[12]崔曉佳，張云，劉錦鋒. 基于ZeroMQ的教學資源存儲系統的設計[J]. 現代計算機（專業版），2018（28）：96.