基于深度學習的視頻安全監控系統應用研究

趙方 潘志剛 衛晨

（1.西安航天化學動力有限公司 陜西省西安市 710025 2.西安郵電大學 陜西省西安市 710121）

視頻監控技術運用以來，已經從初期的全模擬系統，中期的數字化系統，發展到了網絡化系統，目前正在向智能視頻監控系統蓬勃發展。生產企業引入視頻監控系統，有利于各個監督部門實時、遠程掌握企業生產狀況，及時發現安全隱患。如果遇到不法事件，也能方便職能部門進行取證，有效地震懾不法分子的違法行為[1]。但是，生產企業本身具有組織結構龐大、結構復雜、服務多元化、以及以此帶來的信息量巨大等特點。如果不使用科學和高效的智能系統，而是僅僅依靠人工來提高服務，會帶來很多問題。要讓視頻監控系統智能化，就需要讓視頻監控系統不僅能夠提供視頻數據，而且能夠自動對視頻內容進行分析和處理，從而使得監控系統從“看得見”轉變為“看明白”。

智能視頻分析是計算機圖像視覺技術在安防領域的一個分支，是一種基于目標行為的智能監控技術[2]。在現代計算機強大的計算能力支持下，借助計算機視覺、機器學習、模式處理等方法，將場景中背景和目標分離[3-5]，識別出真正的目標，進而分析并追蹤在攝像機場景內出現的目標行為[6-8]。近年來在人工智能領域最受關注的，非深度學習莫屬[9,10]。深度學習網絡在視頻數據處理時具有優勢，因其深層結構而可以從大量數據中自動學習特征，從而避免了傳統方法手工設計提取特征的缺點，并成功運用于圖像分類、人臉檢測、人臉識別、物體檢測、目標跟蹤等領域[11-13]。通過訓練可以自行抽取視頻流中的有用信息，視頻信號的監控、提取、檢測到最后預警的全過程均不需要人為參與，具有全天候的可靠性。其次，不用增加其他硬件設備，提高已有視頻監控系統中視頻資源的利用率，充分利用生產企業已有資源，不增加額外資金投入。通過視頻數據的大數據挖掘以及基于視頻大數據的智能化應用，使得生產企業視頻監控系統能夠從海量視頻數據資源中捕捉到監控畫面中的異常，經過比對就可以實現對可疑目標的身份識別，及時發出報警信息，從而實現生產企業視頻監控智能化。

針對生產企業重點區域監控的問題，結合人員流動的特點及安全管理的需求，本文以深度學習理論為依據，提出使用基于深度學習的智能視頻監控系統來代替人工視頻監控系統。最后按照標準化、易用性、可擴展性等總體原則，設計并實現了智能視頻分析系統與視頻管理平臺，方便了生產企業對重點區域的監控和管理。

1 智能視頻監控系統的總體設計

1.1 設計原則

智能視頻監控系統設計的主要原則是提取并識別視頻中的異常，并發出安全警報，減少企業的安全隱患。其次，系統的操作界面應該簡單明了，便于操作，滿足企業易用性的需求，盡量減少工作人員的培訓時間和企業費用與負擔。系統的響應時間應該符合人的視覺和感覺范圍之內，滿足用戶的需求。主系統與各個子系統之間的數據交換、修改和傳輸保持數據一致和同步。對系統數據格式及類型要加以限制，并進行驗證。作為生產企業安防系統，系統內的數據多數屬于生產企業內部商業機密或者個人隱私，所以安全保密性對系統來說非常重要。只允許認證用戶才能登陸該系統，系統對每個用戶都有權限設置，對登錄名、密碼以及用戶重要信息進行加密，保證賬號信息安全。注重系統的整體安全性，在數據傳輸保存的環節使用先進的安全技術減小數據丟失風險。

1.2 系統結構

按照智能視頻監控系統的應用需求，主要由智能視頻識別系統和智能視頻管理系統兩部分組成，如圖1所示。將整個系統按業務流程分為兩大部分方便進行分析與設計，其中視頻智能分析系統替代原有人工識別非法入侵的功能，進行自動識別；智能視頻管理系統為視頻分析系統的次級系統，進行非法闖入事件的報警、記錄、查詢等功能。

圖1：智能視頻監控系統設計

1.3 軟件平臺選取

（1）智能視頻服務器Linux 平臺：烏班圖（Ubuntu）。Ubuntu 具有出色的性能與良好的用戶界面，主流驅動大都可以在安裝包中找到，而且預裝了許多常用軟件。

（2）數據庫是一個存放數據的倉庫，并按照一定的數據結構來組織、存儲的，本系統采用MySQL 數據庫。

（3）集成開發環境：MyEclipse。MyEclipse 是對Eclipse IDE的擴展，它是功能豐富的J2EE 集成開發環境，包括了完備的編碼、調試、測試和發布功能，完整支持HTML，Struts，JSF，CSS，Javascript，SQL，Hibernate。利用它我們就可以在數據庫和J2EE的開發、發布，以及應用程序服務器的整合方面極大的提高工作效率。

2 視頻智能分析系統設計與實現

2.1 網絡拓撲結構與業務流程

生產企業視頻智能分析系統由視頻采集部分和視頻處理部分組成。視頻采集部分主要利用生產企業已有的基礎有線視頻監控系統作為主干網絡，新增加的監控區域需要增加新的線路或無線攝像頭。將采集到的視頻信號傳輸到Caffe 服務器進行實時判斷，當發現有非法入侵事件時，視頻信息處理平臺發出信號交由智能視頻管理系統進行處理。視頻智能分析系統結構如圖2所示。

圖2：視頻智能分析系統結構

視頻智能分析系統運行流程為：攝像頭連續無間斷運行采集所在區域的視頻信息，并將該視頻信息發送到視頻處理平臺。視頻處理平臺將視頻處理為格式化的信息后轉發到Caffe 服務器。Caffe 服務器中運行著預先訓練好的判斷模型（Model），當視頻中出現的人是有許可的員工時服務器不做反應，當判斷出進入該區域的人員沒有權限時向視頻信息平臺反饋確認信號，視頻信息處理平臺接收到反饋信號后，將入侵信息發送至視頻信息管理系統，流程圖如圖3所示。

圖3：視頻智能分析系統運行流程

2.2 智能視頻分析系統的實現

生產企業視頻智能分析系統由視頻采集部分和視頻處理部分組成。將采集到的視頻信號傳輸到Caffe 服務器進行實時判斷，當發現有非法入侵事件時，視頻信息處理平臺發出信號交由智能視頻管理系統進行處理。

2.2.1 智能視頻人臉識別

人臉具有區分不同個體身份的特征信息，這是人類視覺系統以人臉作為輸入確定人身份的基礎。智能視頻人臉識別分為視頻預處理、人臉檢測、特征提出和分類識別三部分。圖像預處理包括圖像變換、增強、邊緣檢測、恢復、分割等。人臉檢測是人臉識別的第一步，人臉檢測的準確性對人臉識別有較大的影響。視頻中包含有大量的背景信息，而這些背景信息對人臉檢測毫無益處，必須要提取出含背景信息盡可能少的人臉圖像，并實現準確定位。特征提取的目的是為了最小化類內差異而最大化類間差異，另外一個作用是降低圖像的維數，減少圖像的冗余信息，是實現高性能人臉識別的關鍵。特征提取后，將己提取的特征與己知的人臉特征進行比較，獲得人臉的類別信息。本系統中選用Caffe 框架，對采集到的數據進行標記，標記好之后送入學習網絡，對網絡進行訓練，訓練后的網絡就是一個模型，該模型能夠得到數據中的特征。

2.2.2 系統硬件方案

2.2.2.1 Caffe 的硬件環境

（1）CPU 的選擇。Caffe 支持CPU 訓練和GPU 訓練，如果采用CPU 訓練，CPU 支持的線程數越多越好。若采用GPU 訓練，則大量運算由GPU 完成。本文采用GPU 訓練。

（2）內存的選擇。采用GPU 訓練下，內存頻率不是重要的影響因數。但由于深度學習算法中設計大量的參數，另外深度訓練的每個batch 的原始數據都放在內存中，導致深度學習算法對內存的容量要求很高。本系統配置16 GB 內存。

（3）GPU 的選擇。采用GPU 進行訓練，合適的顯卡至關重要。目前，Caffe 只支持Cuda 庫，而Cuda 庫是NVIDIA 顯卡專用，所以選擇Caffe 作為深度學習框架，必須使用NVIDIA 顯卡。本文使用NVIDIA-980Ti。

（4）硬盤的選擇。Caffe 采用單獨線程異步方式從硬盤中順序讀取數據，在正常情況下，機械硬盤的速度在GPU 速度不是很快下勉強夠用。硬盤容量和訓練所需的數據集密切相關。本文硬盤采用1 TG。

2.2.2.2 攝像頭攝像頭主要用于視頻采集功能，能夠采集特定環境的視頻信息，具有分辨率高、自動白平衡調整、圖像噪音小的優點。

3 視頻管理系統設計與實現

3.1 網絡拓撲結構與業務流程

視頻管理系統主要由Web 管理服務器組成[15]。Web 管理服務器收到非法入侵信號后，控制連接繼電器的樹莓派在入侵處響起警報，并由數據庫保存入侵時間信息，并接收來自視頻處理平臺發出的入侵信息，其結構如圖4所示。為保證數據安全，數據庫只與Web 管理服務器連接而不接入互聯網，只有Web 管理服務器才能操作數據庫，Web 管理服務器連接路由器與防火墻。

圖4：智能視頻管理系統結構圖

視頻管理系統運行流程為：Web 視頻管理服務器監聽視頻分析系統發送的入侵信號，當無輸入信號時保持監聽；當接收到信號時將入侵信號保存入日志數據庫，并控制連接繼電器的樹莓派發送報警信息。管理人員接到警報信息后前往處理，流程圖如圖5所示。

圖5：視頻管理系統流程圖

3.2 功能模塊組成

根據生產企業安全管理業務流程的調查分析，將生產企業智能視頻監控系統劃分為四大管理模塊，分別為監控信息管理模塊、警報信息管理模塊、安全管理模塊以及系統管理模塊，如圖6所示。

圖6：系統管理模塊

（1）監控管理模塊：查看實時監控畫面，對攝像頭云臺進行調整，以及歷史入侵畫面的調取。

（2）警報信息管理模塊：發送和查看報警日志。

（3）安全管理模塊：對企業內部用戶信息進行增刪改查，以及設置員工的權限。

（4）系統管理模塊：對系統本身進行配置，查看系統運行狀態，管理系統設備，檢測系統各部分硬件功能是否正常。

3.3 網絡分層設計

根據生產企業智能視頻監控系統各個管理模塊的設計目標，將系統的核心業務分為三層，自上向下包括應用層、支撐層以及網絡層三部分。智能視頻監控系統、安全管理和系統管理部分組成完整的系統結構，其架構如圖7所示。

圖7：系統設計架構圖

（1）應用層：用戶在應用層對軟件進行操作。當指定好系統監控區域與相關報警流程后，智能視頻監控系統會自動運行，提高了生產企業管理的可靠性與科學性，有效的減少相關人員的工作量。

（2）應用支持層：主要完成系統的數據處理以及系統軟件的業務邏輯。自底向上使用的技術包括MySQL 數據庫管理系統、數據庫Hibernate 對象關系映射框架、SpringMVC 設計模式框架、Tomcat 應用服務器、Shiro 權限管理框架以及使用瀏覽器對服務器發起請求的B/S 架構[16]。

（3）網絡層：為系統提供了網絡與硬件支持，是系統實現的物理基礎，包括有線連接與無線連接的方式。

3.4 數據庫設計

數據庫設計中包含多張信息表。以入侵信息表（invade_info）為例，主要記錄入侵信息，包括記錄入侵設備的編號（varchar 類型），設備所處位置（varchar 類型），入侵時間（datetime 類型）和入侵次數，如圖8所示。

圖8：入侵信息表

3.5 視頻管理系統的實現

視頻管理系統按照功能主要劃分為管理系統操作（包括管理系統登錄和用戶權限管理）、實時監控畫面、監控日志查詢等功能，如圖9所示。

圖9：視頻管理系統

4 總結

本文結合生產企業視頻監控的應用需求和深度學習網絡的特點，提出了一種采用深度學習網絡進行自動監控和視頻管理的系統。基于Caffe 深度學習框架對生產企業監控視頻進行智能分析，并對主要功能進行了模擬驗證，包括視頻人臉檢測與識別等功能。對生產企業智能視頻管理系統進行了實現，完成了員工權限管理、監控視頻查看、入侵日志記錄與查詢等主要功能。