智能視頻監控系統中視頻圖像分析的關鍵技術研究

冀燕麗 段海濤

隨著互聯網信息技術的飛速發展，人類進入了網絡信息化的新時代。具有時代特征的“互聯網+”，大數據和云計算等技術影響著高等教育的發展。而大數據包含大量信息資產，這給教育領域帶來了希望和挑戰。2011年，教育部下發了《關于做好國家教育考試標準化考點建設工作的通知》，明確規定，省（自治區，直轄市）中央部屬高等學校標準化考點的建設任務應納入地方規劃和綜合實施，標準化電子考場系統的建設應符合相應的技術規范和標準。在這一背景下，我校于2012年完成了本校標準化考場的基本建設，這也是我校視頻監控系統的雛形。

隨著高清視頻技術的發展和高等教育本科教育教學審核評估的發展，已建有的視頻監控系統已不能滿足實際教學需求。于是，我校于2018年，在已有的傳統視頻監控系統的基礎上做了升級改造，全校公共教室里配備了高清網絡攝像機、現代教育技術中心機房配備了和部署了高清視頻監控管理平臺、高清視頻存儲系統、高清NVR和高清解碼器等，這些構成了我校目前以高清視頻技術和視頻圖像分析技術為支撐的高清智能視頻監控系統。隨著高清視頻監控的逐步推廣和普及應用，視頻監控市場朝著“視野清晰，清晰可見”的方向發展。與此同時，隨著政府和企業對平安校園和視頻監控建設的不斷投入，視頻和視頻數據可謂大規模增長。這使得我們身處一個數據爆炸性增長的“大數據”時代，也為我們的數據處理和駕馭能力帶來了新的挑戰和機遇。

大數據時代的到來帶來了大量的視頻圖像數據存儲，如何更好地挖掘，利用和分析這些視頻圖像數據是我們的關鍵思考和研究的方向。智能視頻圖像分析技術要具備根據分析結果控制整套視頻監控系統的能力，就必須借助一系列關鍵技術來實現，如計算機視覺技術、圖像智能分析技術和人工智能技術，借助于這些技術對視頻中的序列圖像進行檢測，分析和理解。它融合了眾多領域的先進技術和核心理念，如圖像處理，模式識別，人工智能，自動控制和計算機視覺。隨著網絡，通信和微電子技術的迅速發展，數字視頻監控技術已經越來越成熟，并已廣泛應用于多領域。因此，研究視頻圖像智能分析技術具有特殊重要意義。

一、視頻圖像智能分析技術的內容

被稱為第四代視頻監控技術的智能視頻分析技術是未來視頻監控發展的方向，也是視頻監控領域最先進的應用模式之一。智能視頻監控使用智能視頻分析技術來處理，分析和理解視頻信號。 IVS結合了多學科研究成果，包括圖像處理，目標檢測和跟蹤技術，模式識別，軟件工程和數字信號處理（DSP）。圖1為智能視頻監控系統的工作流程圖。實時的或歷史的視頻數據流通過視頻基礎管理單元傳輸到視頻數據中心，然后再通過配置管理服務器，將任務分發到智能分析服務器，經分析后，將分析結果傳輸至智能監控客戶端。

在該視頻監控系統中，目標的獲取、檢測，目標特征的提取、目標的跟蹤、分類和識別以及對目標行為的分析和理解是智能視頻圖像分析技術研究的主要內容，但由于攝像機安裝位置、功能的不同以及場景的差異都會對分析結果產生一定的影響。這些都會影響到攝像機對目標的識別準確度。下面我們具體闡述視頻圖像智能分析技術的研究內容。

（一）目標獲取

大多數視頻智能分析算法基于未壓縮的圖像格式，例如RGB或YUV。因此，圖像信號被直接發送到視頻分析單元而不被壓縮。幾乎所有的視頻分析系統都帶有圖像采集功能，通常通過BNC（Bayonet Neill Concelman）輸入圖像信號。我校現有的視頻監控系統中的圖像信號通常是以壓縮圖像流的形式存在，可以將圖像流解壓還原成原始圖像格式后再進行分析。

（二）目標檢測

實現視頻智能監控系統智能化，首先要完成對目標的檢測。它通過使用相關的目標檢測算法將視頻序列中的移動像素和靜止像素自動分離。現實環境中，很多目標不是靜止不動的，對于移動的目標就要使用“運動”的特征來檢測，移動目標檢測不注重靜態的背景，通過快速的運動檢測來提取移動目標，以達到對目標檢測的快速和實時。

目前，最常用的檢測運動目標的方法有光流法，幀差法和背景差分法。光流法的基本原理是首先對圖像中每個像素分配一個速度矢量，在一個特定的運動時刻，被分配速度矢量的像素形成的圖像運動場上的點與三維物體上的點一一對應，用于動態分析圖像；幀差法的基本原理是檢測目標圖像中相鄰幀或隔幀之間的圖像改變，并且利用閾值方法提取圖像中的運動區域以進行區分視頻序列中的圖像；背景差分法，該方法具有較高的魯棒性，它首先提取基于圖像序列的當前圖像，然后將圖像和實時得到的背景模型或者預先存儲的背景圖像進行差分，再經過閾值分割提取出運動目標。

具體到我校智能視頻監控系統中，目標檢測就是教室內學生的人臉檢測。這個問題非常復雜，主要是因為檢測工作會受到人臉照明，化妝品，頭發和光等諸多因素的影響。人臉檢測的最終目標是在完整圖像中找到人的面部區域，并將輸入圖像合理地分成兩部分，一部分是面部區域，另一部分是非面部區域。

（三）目標跟蹤

目標跟蹤的本質是按時間順序連接在每個幀之間找到的相同對象，即跟蹤每個運動對象的運動軌跡。在不同場景中由于光照、遮擋、視覺和雜波等干擾就會引起監控系統檢測到感興趣的目標，并對目標在姿勢、位置、形狀、運動等方面進行匹配，進而達到對動態目標的運動跟蹤。

根據運動目標的表達和對先驗知識的依賴，常用的跟蹤方法如下幾種類型：基于區域的目標跟蹤。該方法將感興趣的運動目標的區域與目標模板進行比較，并比較跟蹤對象與候選對象之間的相似度，以計算相似度測量函數，以準確定位運動目標；基于活動輪廓的目標跟蹤。該方法基于能量最小化原理，能夠準確地跟蹤目標的輪廓，并且對圖像的微小變化具有很強的依賴性，但它對噪聲非常敏感，并且當跟蹤快速移動的目標時，跟蹤效果不是很好；基于特征的目標跟蹤。該方法的主要思想是依靠最優匹配原則，專注于對象的多個特征點的集合。它的最大優點是對同一對象多個特征的跟蹤，當一個特征被遮擋時，還能通過其他特征來跟蹤目標對象。

（四）目標行為識別

目標行為識別的目的是判斷檢測目標在運動中的行為是否異常，主要檢測視頻圖像中移動，物體行為的變化，從靜態目標的姿態識別，運動行為的識別和復雜事件的分析三個方面來對運動目標進行識別，然后進一步對目標行為特征進行分析。目前，典型目標行為識別應用主要有如下幾方面：目標分類，缺陷檢測，殘留檢測，人口統計和報警聯動等。

二、視頻圖像智能分析技術的應用難點

雖然視頻智能分析技術已經得到了廣泛而深入的研究，但在實際應用中仍存在許多困難。它主要包括視頻智能監控的實時性，魯棒性和場景規則確定。

（一）實時性

監控系統自身存在采集，編碼和傳輸等延遲的缺陷，因此要達到對視頻場景實時監控的要求，就必須提高對整個智能監控算法系統的實踐復雜度的要求。在高分辨率的視頻中，雖然視頻中的每個像素的處理時間非常短，但一幀圖像通常有數十萬甚至百萬像素，因此目標檢測還是整個分析算法中最耗時的部分，為了滿足實時監控，智能分析的需要，就要求系統每秒處理十幀以上的圖像，每幀的目標檢測時間限于幾十毫秒，如果沒有特殊硬件的幫助很難實現實時的要求，許多目標檢測的算法也只能停留在理論層面上。

（二）魯棒性

由于受到實際環境的影響，視頻智能分析相關算法的魯棒性也是一個亟待解決的問題，其算法參數是以實際環境參數為基礎，因此圖像本身的清晰度，是否為夜間模式，是否使用廣角鏡頭等復雜的外在因素都會影響智能分析的結果。在室內外不同的環境中，目標檢測會受到天氣、照明、燈光的反射、陰影，圖像噪聲等外在因素的影響，甚至由于攝像機安裝的位置，拍攝的角度，和焦距的差異都會導致智能監控系統對目標特征的分析判斷產生偏差。

如何降低實際環境對視頻智能分析的影響是一個魯棒的視頻監控系統需要解決的難題，但我們在提高視頻監控系統的魯棒性的同時，就會增加建模和計算的復雜性，這就一定程度上降低了系統的實時性，因此要求系統設計者要平衡兩者之間的關系。

（三）場景規則的確定

在不同的場景中，有些運動目標的行為是正常的，而有些目標的行為是異常的，如何區分不同場景，不同區域的目標行為是否正常，這要求視頻智能分析系統依據不同的場景規則來判斷。這就需要系統設計者提前在視頻智能分析平臺中設置好可以作為判斷依據的場景規則。

三、我校智能視頻監控系統中視頻圖像分析技術的應用

我校目前建成的智能視頻監控系統，全面支持百萬像素圖像質量和16：9寬屏，使視頻更清晰，更開放。同時，該系列高清產品均基于H.264高效編碼技術，可占用較少的帶寬和存儲空間，節省投資。圖2為我校建成后的智能高清視頻監控系統網絡拓撲圖。

建成的智能視頻監控系統中利用到的視頻圖像分析技術主要有視頻圖像采集技術和視頻圖像目標檢測技術。

（一）視頻圖像采集技術

視頻圖像采集主要依靠前端設備高清攝像機，它是整個系統的信號源，用于采集每個教室的視頻信號，并將信號傳輸到視頻處理設備。 攝像機每天24小時監控，因此使用高清晰度，低照度的攝像機。使用在亮度差異較大的區域支持寬動態功能的攝像機可確保監視場景的任何部分都不會太亮或太暗。

圖3即為實時采集到的各個教室視頻圖像數據信息。

（二）視頻圖像目標檢測技術

通過目標檢測來捕獲的視頻圖像中的學生面部檢測。通過加載到相應的面部分類器來檢測面部，并輸出檢測到的面部（矩形框標記）和檢測到的面部編號。如圖4所示：

我們知道人的面部固定特征包括膚色，輪廓，灰度分布，器官的對稱性等。 膚色是面部的重要組成部分。在中國，人臉膚色是一種單調的黃色。它不依賴于其他面部細節，具有相對穩定性。無論面部表情如何變化都適用，所以膚色特征是面部檢測所需的最常見功能。

首先，根據膚色模型進行膚色檢測。在檢測到膚色區域之后，根據色度和空間相關性的相似性對可能的面部區域進行分割，然后使用該區域的幾何特征或灰度特征來驗證該區域是否是一個人的臉，其目的是排除相似膚色的物體。在一些情況下，根據色度和空間距離的一致性將膚色像素聚集成區域，然后逐漸合并，直到獲得符合某一先驗知識的橢圓區域，最后形成暗區域或空隙。檢查該區域的眼睛，嘴巴等，確定它是否是人臉。

人臉的輪廓和灰度分布特征在人臉檢測中也起著重要作用。人的面部和面部器官具有典型的邊緣和形狀特征，例如面部輪廓，眉毛邊緣，眼瞼輪廓，虹膜輪廓，鼻子線和唇部輪廓，其可近似為簡單的橢圓形，圓形，弧形或線段等幾何單元。可以基于這些幾何特征值來檢測人的面部。在實踐中，還使用Sobel，Laplacian和Canny等算子，并使用小波變換來提取邊緣特征。

四、結語

智能視頻監控系統已在許多領域得到廣泛應用，其核心技術視頻圖像分析受到了研究界的高度重視。對視頻圖像內容分析中包括的目標檢測，目標跟蹤，目標分類和識別等關鍵技術進行了廣泛而深入的研究，取得了許多成果。然而，在視頻分析的高級目標識別和目標跟蹤行為分析的研究工作中，仍存在許多實際困難。而且，這些問題仍值得進一步研究和討論。