通用視頻圖像分析處理應用框架的設計

章亞

（云南省政府采購和出讓中心綜合服務處，昆明 650118)

通用視頻圖像分析處理應用框架的設計

章亞

（云南省政府采購和出讓中心綜合服務處，昆明 650118)

在處理視頻的過程中，經常需要對特定視頻流進行一系列連續分析處理，并依據處理結果進行視頻內容的分析研判。基于實際需求設計包括圖像獲取部分、圖像分析部分、規則判斷部分三部分的視頻圖像分析處理框架，同時，考慮圖像處理算法的封裝，使得同一張視頻幀的處理結果可以在多個應用中使用，提高開發特定應用時的開發效率及穩定性。

視頻處理；視頻分析；視頻分析應用框架；智能分析；處理框架

0 引言

隨著安防建設的快速發展，以視頻監控為主的安防策略被廣泛應用，當前，各個小區、街道、路口，甚至辦公居住場所內都安裝了大量的視頻監控設備，傳統的視頻監控系統已經成為了公安部門抓獲犯罪分子的利器、維持社會安定的重要手段。但同時，如何有效地完成對視頻的分析處理，提高視頻的利用效率成為了當前的一個主要的研究內容。

智能視頻分析處理本身是計算機圖像視覺技術在安防領域應用的一個分支，是一種基于目標行為的智能監控技術。區別于傳統的移動偵測（VMD，Video Motion Detection）技術，智能視頻分析首先將場景中背景和目標分離，識別出真正感興趣的目標，去除背景干擾（如樹葉抖動、水面波浪、燈光變化），進而分析并追蹤在攝像機場景內出現的目標行為。

在視頻圖像分析應用領域，實際處理過程中經常需要對來自某個視頻流的一系列圖像進行連續的分析處理，并將處理結果按照某種規則進行判斷，從而獲得有用的信息。對于某一個特定的視頻圖像分析應用來說，這個過程中一般需要定制開發的主要是以下三個部分：圖像獲取部分（完成視頻對接，如針對網絡流媒體、Morhan等引入通用媒體訪問UMA[1]）、圖像分析部分，完成視頻幀的分析處理，今年來這部分的研究也非常廣泛[5～8]；規則判斷部分，根據分析處理的結果和應用規則進行研判，如在民用、銀行、機場等公共場所的應用[9～10]，在政府、軍事中的應用[11～12]。但是將這三個部分連接起來的部分則相對固定。例如說，圖像獲取模塊獲取到圖像后如何將其送入圖像分析模塊；同一張圖如果提供給多個算法進行處理；同一個處理結果如何提供給多個規則分別進行評判等。這些中間環節，可重用度很高。如果能夠將這整個過程中變化及非變化部分進行抽象，并使用接口進行隔離，設計開發出一個通用視頻圖像分析應用框架[13]，可以有效提高開發特定應用時的開發效率及穩定性。本文即是在這種應用要求下提出的。

整個通用視頻圖像分析應用框架設計目標包括：

●通用性。只要是處理一個連續的圖形系列，并在滿足某種規則時觸發某種動作的應用都可以使用這個框架。

●方便性。特定應用只需實現圖像獲取、圖像分析、規則判斷三個部分中需要實現的部分，可以快速實現及測試。

●擴展性。圖像獲取、圖像分析、規則判斷這三個模塊通過接口與框架連接在一起，在這些模塊內部可以使用任何底層技術框架。例如說，圖像分析部分可以使用OpenCV或其他算法庫。

總體設計思路：

將不變部分的功能實現為框架的骨架，將變化部分功能設計為可拔插的模塊，中間用接口進行隔離。

1 框架實現

在這里，采用MS VC++2010環境及OpenCV庫來實現框架主體。

整個框架主要分為視頻源（Video Source）、視頻源管理器（Video Source Manager）、視覺處理器（Vision Processor）、視覺用戶（Vision User）、視覺用戶管理器（Vision User Manager）五個部分。

由于VC++沒有接口（interface），因此采用抽象類（abstract class）來代替接口，以下所提到的接口都是抽象類。

1.1 視頻源（Video Source）

視頻源主要功能就是提供連續的視頻圖像系列。需實現IVideoSource接口。IVideoSource接口定義如下：

視頻源對象（CVideoSource）繼承了并實現了IVideoSource接口，因為從視頻流中獲取圖像與視頻設備及廠商有關，在這里為了提高重用度，將具體的圖像獲取部分的實現留在框架外部，通過在創建視頻源時將獲取圖像的函數指針傳入視頻源對象，由視頻源對象按一定的幀率來獲取連續的圖像系列。

1.2 視頻源管理器（Video Source Manager）

視頻源管理器是個靜態類，負責管理視頻源對象的創建、使用及銷毀。

Video Source Manager的定義如下：

1.3 視覺處理器（Vision Processor）

視覺處理器封裝了特定的圖像處理過程，需要根據應用的要求進行定制開發。Vision Processor需實現IVisionProcessor接口。

IVisionProcessor接口定義如下：

IVisionProcessor接口最主要的目的就是處理圖像。各類處理算法的處理器都應實現該接口，在框架中提供了一個實現IVisionProcessor接口的抽象類CVisionProcessor，該類將實現一些圖像處理的公共操作，然后特定算法的視覺處理器類則繼承CVisionProcessor抽象類，并實現其特定的功能。如：運動目標跟蹤處理器CBlobTrackProcessor、人臉識別處理器CFaceDetect-Processor等。

1.4 視覺用戶（Vision User）

視覺用戶是封裝了特定的規則判斷過程，需要根據應用的要求進行定制開發。VisionUser需實現IVisionUser接口。

IVisionUser接口定義如下：

IVisionUser接口最主要的目的就是對圖像處理的結果應用規則判斷。各類應用規則判斷都應實現該接口，在框架中提供了一個實現IVisionUser接口的抽象類CVisionUser，該類將實現應用規則判斷的公共操作，然后特定應用規則判斷的視覺用戶類則繼承CVisionUser抽象類，并實現其特定的功能。如：運動目標跟蹤用戶類CBlobTrackUser、人臉識別用戶類型CFaceDetectUser等。

1.5 視覺用戶管理器（Vision User Manager）

視覺用戶管理器是個靜態類，負責管理視覺用戶對象的創建、使用及銷毀。

CVisionUserManager的定義如下：

2 結語

本文給出了包括視頻源（Video Source）、視頻源管理器（Video Source Manager）、視覺處理器（Vision Processor）、視覺用戶（Vision User）、視覺用戶管理器（Vision User Manager）五個部分的通用視頻圖像分析處理應用框架，對于高效地完成視頻分析處理具有一定的實用價值。

[1] Morhan R,Smith J R,Li C S.Adapting Multimedia Internet Content for Universal Access.IEEE Transactions on Multimedia,1999,1（3）：104～114

[2] Chang S F,Verto A.Video Adaptation：Concepts,Technologies and Open Issues,Proceedings of the IEEE Special Issue on Advances in Video Coding and Delivery,2005,93（1）：148～158

[3] ISO/IEC.Information Technology：Multimedia Framework Part 7：Digital Items Adaptation（2100027），2004

[4] Vetro A,Timmerer C.Digitalitem Adaptation：Overview of Standardization and Research Activities.IEEE Transactions on Multimedia, 2005,7（3）：418～426

[5] Tsai,LW,et al.Vehicle Detection Using Normalized Color and Edge Map[J].IEEE Transactions on Image Processing，2007,16（3）：850～864

[6] Pereira,F,Sun,NT.Special Issue on Video Surveillance[J].IEEE Transactions on Circuits and Systems for Video Technology，2008, 18（8）：1001～1005

[7] NGHIEM AT,et al.ETISEO,Performance Evaluation for Video Surveillance Systems[C].IEEE International Conference on Advanced Video and Signal Based Surveillance.London,UK.2007：476～481

[8] 孔曉東.智能視頻監控技術研究[D].上海：上海交通大學，2008

[9] 張曙光.智能視頻監控在公共安防中的應用研究[J].天津：信息系統工程，2011，07：58～59

[10] Stringa E,Regazzoni CS.Real-Time Video-Shot Detection for Scene Surveillance Applications[J].IEEE Transaction Son Image Processing，2000,9（1）：69～79

[11] Collins RT,et al.Introduction to the Special Section on Video Surveillance[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（8）：745～746

[12] Doucet A,et al.Particle Filter for State Estimation of Jump Markov Linear Systems[J].IEEE Transactions on Signal Processing.2001, 49（3）：613～624

[13] 徐農.智能視頻監控系統的分析與設計[D].北京：北京郵電大學,2012

Design of Processing Application Framework of the General Video Analysis

ZHANG Ya
（Government Procurement and Transfer Integrated Service Center，Yunnan Province,Kunming,650224）

In the processing of video,often needs a series of continuous analysis of treatment on specific video streams,and based on the results of the process makes the judged analysis.Based on actual demand,designs a framework including image acquisition part,image analysis part,judge rules part.At the same time,by the package of the image processing algorithm,as a result to the analysis of the frame can be used in multiple applications,it can improve the efficiency of the development and stability of the application.

Video Processing;Video Analysis;Video Analysis Framework;Intelligent Analysis;Processing Framework

1007-1423（2015）01-0065-05

10.3969/j.issn.1007-1423.2015.01.015

章亞（1965-），男，河南周口人，碩士，工程師，研究方向為系統結構、軟件工程

2014-11-18

2014-12-05