基于OpenCV的視頻監控追蹤系統的設計與實現

劉京城，劉少華

(長江大學 地球科學學院，湖北 武漢 430100)

1 引 言

2007年10月，吉林省長春市開始打造城市安全網，最先將視頻監控系統建設立項為“天網工程”。這一套系統是利用設置在城市及農村的大量攝像頭，組成監控網絡，以便于維護城市治安，打擊街面犯罪，是城市治安的堅強后盾。目前，市面上大部分監控系統和公安“天網監控系統”一樣，都是利用人工查看視頻，效率低，浪費人力物力，給預防犯罪和執法工作帶來了嚴峻的挑戰[1]。

本文針對上述問題，設計開發了一套基于OpenCV技術為依托的人臉識別與基于神經網絡路線預測模型的視頻監控追蹤系統。系統通過監控區域的監控設備獲取監控圖像，進行實時監控，并對目標人物進行識別追蹤，取得目標人物連續的行為路線，利用神經網絡預測模型，對目標人物的目的地進行預測，并輔助生成圍堵方案，最后基于GIS空間位置信息，在地圖模塊上顯示。從而提高對監控區域的管控能力，提高指揮準確性、科學性以及多單位協調能力，提高科技和信息化的應用水平，保證對緊急情況快速合理的處理[2，3]。

2 系統服務內容

為解決人工查看視頻的問題，本系統根據需求調研和分析，提出如下幾個方面的服務內容：①建立一個基于OpenCV的視頻監控平臺。將區域內監控設備取得的視頻流，在監控界面顯示。②利用GIS空間信息管理方式，利用OpenGL將空間信息直觀地顯示在系統內，如道路信息、設備位置信息以及目標任務位置信息等。③利用神經網絡預測模型，基于目標人物的蹤跡，對目標人物的目的地進行預測，并輔助生成圍堵方案。

3 系統總體結構

系統總體結構為C/S(client/server)結構，如圖1所示。

圖1 總體結構圖

3.1 系統功能設計

系統主要包括5個子功能系統，每個子系統實現了相應的功能，如圖2所示。

圖2 功能結構圖

(1)視頻監控模塊。實現用戶監控區域內監控畫面的實時傳輸顯示，用戶打開系統后，查看監控區域的圖像，可回放、暫停、提取目標人物等。

(2)地圖顯示模塊。獲取用戶當前所在的位置，并默認讀取本地文件，在地圖模塊顯示道路、監控設備等信息。獲取道路、監控設備位置信息后，系統會顯示此信息，用戶即可搜索或點擊地物，察看地物的詳細信息。

(3)人臉識別模塊。用戶通過系統添加目標人物的信息后，人臉識別模塊啟動，通過設置采集數據的時間間隔(0.5S)，從監控視頻流中讀取當前的幀信息，利用系統已訓練和學習的分類，當作查詢輸入系統進行檢索，查看是否有匹配項，從而確定目標人物的位置信息。

(4)行動預測模塊。根據識別到的一系列目標的行走路線，利用神經網絡預測模型對目標的目的地進行預測，最后系統返回較準確的檢索結果。根據系統檢索結果，系統會自動將結果顯示在地圖界面，并閃爍顯示。

(5)輔助圍堵決策模塊。利用目標的預測目的地，在一定緩沖區內，建立圍堵模型，得到需要圍堵的道路，生成輔助決策方案。

3.2 OpenCV中面部特征提取分類器

在OpenCV中，CascadelClassifier是一個做面部特征檢測時關鍵的分類器，OpenCV低版本只支持Haar特征提取，但是新版本的分類器增加了LBP特征，既Haar特征與LBP特征。

本文中使用的OpenCV是2.4.6版本，使用Haar的特征。當Haar特征被用于識別對象時，需要計算積分圖像以便于計算Haar特征。即選取訓練時相同尺寸的窗口遍歷圖像，然后逐步擴大窗口，重復利用該方法對搜索目標進行臉部特征提取，然后移動搜索窗口位置，再次計算該區域內的Haar，并與Haar的特征分類閾值的加權比較，得到分支值，并累加一個級的分支值和相應級的閾值進行比較，當該值大于閾值時，則通過，進入下一輪計算比較。當該窗口通過分類器所有級時，說明目標很有可能被識別。也就是說，這個方法需要計算機對大量臉部輪廓樣本進行訓練和學習，從而進行臉部特征提取。本文主要使用DeTectFaces模型進行面部特征提取，效率比較高[4]。

3.3 OpenCV中人臉識別模型

人臉識別主要使用的是FaceRecognizor類，是一個基于Algorithm的常見類。其中方便用戶使用FaceRecognizor類，FaceRecognizor類中定義了Ptr智能指針，我們不用考慮內存的申請與釋放。目前，FaceRecognizor類有3種人臉識別模型，分別是EigenFace特征臉、Fisher臉以及LBPHFace局部二元模式直方圖，三個模型分別通過調用createEigenFaceRecognizor()等相關函數建立模型。

本文主要采用OpenCV庫中人臉識別類(FaceRecognizor)中的LBPH模型(即局部二進制模式直方圖)。FaceRecognizor在建立數學模型時，需要準備一個向量vector，是一個用于存放樣本的容器。此后，使用FaceRecognizor的createLBPHFaceRecognizor()方法建立LBPH模型，再使用train(vector，vector)方法進行樣本訓練，最終得到一個用來識別目標人臉的LBHP模型[4，5]。

3.4 神經網絡預測模型

理論上，BP模型能夠無限向任意非線性函數逼近的優勢。在已知模式下，通過模式訓練以及學習，模型就能夠進行預測。其中，輸入層中的神經元數量和歸一化位置信息特征向量的數量相同。在神經網絡的實際應用中，樣本數據用于訓練和學習，在不斷地測試中，尋找誤差最小的神經元個數，80%-90%的模型采用BP網絡或其變化形式。本文也是采用此模型[6，7]。

3.5 與GIS相結合的OpenGL底層圖形庫

通過OpenGl，將GIS技術引入，建立GIS空間數據庫，將其具有空間位置信息的特點融入視頻監控追蹤工作中，連接數據庫和地理信息系統，實現實體屬性和圖像數據的關聯，存儲匯總道路、監控設備等數據，對數據、表格、圖像進行一體化管理，將數據以圖的形式展示，從而進行區域分析和模型分析，使得圖數并茂，為空間分析與輔助決策提供便利[8，9]。

4 平臺實現與實例檢測

選用Qt作為系統開發框架，使用MVC三層架構的設計思想，其中表現層以對PC客戶端的接口形式存在。系統采用OpenCV中庫函數cvCreateCameraCapture()實時的采集攝像頭數據。系統采用性能高、穩定、安全的SQL Sever數據庫，并采用JDBC技術訪問數據庫。客戶端的開發工具選用Qt Creator(community)。此外，還需要在Qt中配置OpenGL環境。圖3為系統界面，為了更好地與用戶交互，左側主要顯示攝像頭設備信息與查找對象的信息，用戶可以對此類信息進行基本操作(增刪改查)，中間主要顯示視頻監控畫面，右側與GIS相結合，顯示地圖信息和通過人臉識別查找到的對象蹤跡的詳細信息。“監控設備”功能主要對設備的讀取進行管理，在地圖窗口中可以顯示設備位置。“查找對象”功能主要可以查找對象的詳細信息，在地圖窗口中可以顯示查找對象被識別出來的一系列位置[10]。

圖3 系統主界面

為了驗證本系統的性能，我們在系統開發平臺的支持下，利用現有的硬件設備，選取長江大學武漢校區較均勻分布的16個監控攝像頭的視頻進行20組實驗，其中理想情況中一組實驗如圖4所示，實驗目標實際路徑由A點到B點再到C點，即黃色路段，系統識別成功，并通過神經網絡預測模型，預測目標將到達D點，并做出了詳細的圍堵方案，即紅色路段。實際情況如圖5所示，實驗表明利用該系統能夠快速高效地進行目標追蹤和預測以及輔助生成圍堵方案。

圖4 某組實驗結果圖

數目百分比/%理想1470較理想315一般15失敗210總計20100

圖5實驗驗證情況

5 總 結

本系統結合GIS思想構建視頻監控追蹤平臺，為用戶提供基于地理位置的視頻監控追蹤服務，將監控和追蹤置于同一平臺，有效地解決了人工查看視頻的難題，提高了效率。目前，GIS行業正蓬勃發展，80%信息數據都與地理空間信息有關，視頻監控安保與GIS將結合還處于探索階段，本文針對視頻監控追蹤的問題，提出了相應的解決思路并加以實現，具有一定的推廣價值。

[1] 毋立芳，侯亞希，許曉等. 基于緊致全姿態二值SIFT的人臉識別[J]. 儀器儀表學報，2015，36(4)：736～742.

[2] 嚴嚴，章毓晉. 基于視頻的人臉識別研究進展[J]. 計算機學報，2009，32(5)：878～886.

[3] 吳健新，李翠華，吳曉昶等. 數字視頻監控系統開發平臺的設計與實現[J]. 廈門大學學報·自然科學版，2006(3)：352～354.

[4] 呂世良，王曉茜，劉金國. 數字視頻監控系統設計與實現[J]. 測控技術，2014，33(2)：80～82+86.

[5] 楊元挺. 快速反應智能安全監控系統的設計與實現[J]. 電子技術應用，2009(11)：18～21.

[6] 范哲意，曾亞軍，蔣姣等. 視頻人臉識別實驗平臺的設計與實現[J]. 實驗技術與管理，2016(3)：159～161+165.

[7] 李海朋，李晶皎，閆愛云等. 人臉識別中的遺傳神經網絡并行實現[J]. 計算機科學，2015(S1)：168～170+174.

[8] 呂世良，王曉茜，劉金國. 數字視頻監控系統設計與實現[J]. 測控技術，2014，33(2)：80～82+86.

[9] 朱慶，李德仁，龔健雅等. 數碼城市GIS的設計與實現[J]. 武漢大學學報·信息科學版，2001(1)：8～11+17.

[10] 顧志松，沈春鋒，姚文韜等. 高清人像抓拍檢索系統的設計與實現[J]. 控制工程，2015(S1)：68～71.