一種基于XML的海量視頻監控信息檢索技術

馮少奇，鞏思亮，陳春明

(公安部第三研究所 物聯網技術研發中心,上海 201204)

一種基于XML的海量視頻監控信息檢索技術

馮少奇，鞏思亮，陳春明

(公安部第三研究所 物聯網技術研發中心,上海 201204)

針對智能視頻監控中視頻解析產生的結構化數據不能集合存儲到視頻錄像而由此帶來的信息檢索不便問題，文中提出了一種基于XML的異構數據集成解決方案。它主要通過將監控數據庫中的檢索數據導入XML文件后和關聯視頻文件進行一體化的異構數據存儲，使用戶可以通過統一的接口來實現對監控數據和視頻文件的訪問。首先在對相關技術進行研究和分析的基礎上，設計了一個統一的數據集成和用戶查詢平臺；然后在高清卡口場景下，針對車輛信息檢索進行了實驗。結果表明，該方法不僅實現了基于關鍵詞的視頻文件檢索，也實現了基于單一視頻文件的信息檢索。該技術提高了數據的自由遷移能力，可以實現基于視頻文件的離線信息檢索，因此具有極高的實用性。

海量視頻；視頻檢索；AVI；RIFF；可擴展標記語言；高清卡口

0 引 言

近年來，作為建設平安城市和智慧城市重要組成部分的視頻監控業務，由于其在治安巡邏、警情處置、治安管控、案件偵破等方面發揮著不可或缺的技術支撐作用，受到全國各地公安機關的高度重視和政府的大力支持。隨著視頻監控基礎設施建設的日趨成熟以及大聯網和高清化等因素的推動，海量視頻背景下的信息檢索能力顯得尤為重要。

視頻數據的爆炸式增長，意味著需要投入更多的資源以及付出更多的人力，才能在這些體量龐大的數據中尋找到有價值的信息。原始的信息檢索往往是人工基于時序的瀏覽和排查，這種方式不僅效率低，而且極易遺漏轉瞬即逝的重要信息。同時傳統基于文件名的視頻文件搜索由于受字數限制，只能存儲少量的文本標識信息，無法滿足基于攝像頭名稱、編號、地理位置信息和錄像時間等更加靈活的關鍵詞搜索。

如圖1所示，監控攝像頭所獲得視頻經過轉碼壓縮后存儲于基礎視頻庫，同時視頻解析服務器把原始視頻按照定義的結構類型進行數據挖據后輸出到監控數據庫中以提供決策型數據訪問的基礎。通過該數據庫可以精確映射到基礎視頻庫中的目標文件和實現基于內容的海量視頻快速檢索。但是在以文件系統為核心的數據存儲方式下，作為非結構化數據的視頻錄像與視頻挖據產生的結構化數據存在著不能集合存儲到統一文件的問題，這給視頻的存儲管理和信息檢索帶來諸多不便。

圖1 海量監控視頻信息的存儲和管理

1 數據遷移相關技術

1.1 XML技術

XML(可擴展標記語言)作為一種結構性標記語言，由于其簡單、可擴展、跨平臺的特性而被廣泛應用于數據信息的交換和傳輸。從文件格式來講，由XML語言生成的文檔為純文本文件，因此在編輯和創建上不僅支持文本編輯器，同時也支持大型可視化開發環境；從數據存儲能力上來講，XML文檔具有極強的可擴展性，支持小到配置文件大到企業級數據庫的存儲應用[1]。因此使用XML文件完全可以滿足圖1中監控數據庫的檢索數據向基礎視頻庫中關聯視頻文件的數據遷移需求[2]。

實現基于XML的數據遷移包括模式映射和數據轉移兩個步驟。前者將數據的關系模式映射為XML模式,后者依據XML模式將數據映射到XML文檔。DTD和XML Schema語言均可以用于實現模式映射。由于XML Schema不僅提供了豐富的數據類型，而且具有良好的繼承性和可擴展性，因此可以使用XML Schema實現模式映射和數據遷移[3]。

數據遷移生成的XML文件通過SAX(Simple API for XML)和DOM(Document Object Model)編程接口可以實現對XML文件的解析[4]。鑒于DOM的文檔驅動機制，即可以把XML文件一次性讀入的特性，文中使用DOM作為數據解析的編程接口。

1.2 AVI文件解析

AVI作為視頻監控中一種常見的視頻存儲格式，遵循RIFF規范將音視頻數據以交錯存儲進行存儲。其基本單元為LIST和CHUNK。其中LIST相當于文件系統的目錄，可以包含多個LIST或者多個CHUNK。CHUNK是保存數據的基本單元，可以保存音視頻數據以及參數信息[5]。

圖2為使用RIFFspot軟件對一個AVI文件的結構解析。

圖2 AVI文件結構解析

如圖2所示，整個文件呈樹狀結構，其中根節點RIFF_AVI表征了AVI文件類型，其子節點為三個LIST：LIST_hdrl、LIST_INFO、LIST_movi。LIST_hdrl用于描述AVI文件中各個流的格式信息；LIST_INFO用于描述使用的編碼器工具信息；LIST_movi用于保存真正的媒體流數據，包含視頻圖像幀數據和音頻采樣數據；Idx1是一個可選的索引CHUNK，用于為AVI文件中每一個媒體數據塊進行索引[6]。

使用AVIMaster軟件可以進一步詳細查看CHUNK結構的數據內容，經過解析可知其中LIST_INFO下ISFT CHUNK的存儲內容為“Mencoder SVN-r33883<20110779-gcc4.5.2”，它表征了當前AVI文件中媒體數據使用的編碼器及其版本信息。

因此，可以通過在RIFF_AVI LIST下創建一個LIST_USER LIST,然后在該LIST下創建用戶自定義CHUNK,在該CHUNK中存儲包含遷移數據的XML文件，實現XML文件與CHUNK數據的映射關系。

2 基于XML實現視頻檢索

2.1 研究現狀

通過XML實現數據遷移和信息檢索，國內外目前已有較多深入研究和可借鑒的應用成果。文獻[7]提出了一種面向數據庫升級應用的XML數據遷移技術。文中提出利用SAX解析器實現源數據庫向XML文件的導出，然后把XML文件中的數據轉換為目標表字段格式后導入到目標數據庫中實現數據遷移。文獻[8]為了解決電子政務中的異構信息交換問題,設計了一個基于XML的星型結構的數據交換模型，實現了任意數據庫與XML的數據交換，并提出了具體的實現原理，具有極強的借鑒意義。文獻[9]針對高校存在學生信息管理、教務管理、財務管理和科研管理等多個信息系統的現狀，設計了一個基于XML的統一數據交換平臺，提出在異構數據源和用戶應用程序之間設計一個中間件以提供虛擬視圖來集成異構數據源，可作為文中設計的重要參考。

2.2 系統方案

針對目前視頻監控中存在的信息檢索不便的問題，文中在對上述相關技術充分研究的基礎上，提出了一個基于XML的異構數據集成方案。該方案主要通過將監控數據庫中的檢索數據導入XML文件后和關聯視頻文件進行一體化的異構數據存儲，使用戶可以通過統一的接口來實現對監控數據和視頻文件的訪問。這不僅提高了海量視頻監控背景下數據的自由遷移能力，而且大大提高了用戶在有效檢索信息的同時快速訪問關聯視頻的能力[10]。

基于該方案，設計了一個統一的監控數據集成和信息查詢平臺，服務于一線公安視頻監控業務實戰應用。如圖3所示，該平臺業務流程包括監控數據庫中的數據遷移到基礎視頻庫和基于視頻庫實現用戶信息檢索兩個部分。

圖3 監控數據集成和信息查詢平臺

2.2.1 數據遷移

如圖3所示，為實現數據集成，首先需要將監控數據轉換為XML文件，然后將XML文件按照視頻結構封裝后寫入關聯視頻文件。第一步需要將數據在數據庫中的關系模式使用XML Schema映射生成后綴為.xsd的文件，然后基于該文件從數據庫中取出對應元素，將其映射到XML文檔。該映射需要遵循兩個原則：

(1)XML Schema應保留關系模式中的所有約束；

(2)在不丟失語義的前提下避免XML文檔中的數據冗余。

第二步需要依據視頻文件的數據結構對XML文件進行結構封裝后寫入關聯視頻文件。由于篇幅有限，文中針對上述技術研究中的AVI文件展開論述。如1.2所述，可以通過創建一個LIST_USER LIST，在該LIST下封裝XML文件形成自定義CHUNK后寫入AVI文件，完成數據遷移。需要注意的是，一個視頻文件往往關聯到多個XML文件，對此可以通過在一個LIST下創建多個CHUNK分別進行數據封裝。

2.2.2 信息檢索

由于遵循RIFF規范實現了檢索數據與監控視頻的異構一體化存儲，因此通過上述平臺既可以實現監控視頻的隨機播放，也可以實現基于視頻庫的信息檢索。為實現該過程，首先需要從AVI中解析出XML文件，然后基于XML文件實現信息檢索和視頻的關聯播放。如1.1所述，通過使用DOM作為數據解析的編程接口來實現用戶信息檢索。具體的信息檢索工作流程如圖4所示[11]。

圖4 基于視頻庫的用戶信息檢索

3 高清卡口實驗

高清卡口在智能交通檢測領域發揮著重要作用，其檢索數據包含車輛信息數據和車輛抓拍圖片。文中采用2.2節所述系統方案將車輛信息數據與關聯高清視頻錄像數據導入數據集成和信息查詢平臺，實現了基于AVI文件的車輛信息檢索和關聯視頻的定位播放[12]。該系統數據源為SQL Server 2008數據庫，開發工具為VS2008，開發語言為C++[13]。

3.1 數據集成

(1)車輛信息數據導入XML文件。

以東方大道編號為0001的高清卡口于2015年1月11日下午15：53分所攝錄的時長為3 min的一段高清視頻所關聯的卡口信息數據為例進行分析。其中表1為卡口信息數據，表2為錄像文件數據，表3為車輛信息數據。

如圖5所示，其中表1和表2、表3以表1主鍵“編號”為關聯形成“一對二”的數據映射關系。

表1 卡口信息數據表

表2 錄像文件數據表

表3 車輛信息數據表

圖5 卡口數據表映射關系圖

在建立XML關系數據模型后，把源數據庫中的上述數據導出到XML數據文件中[13]，依據數據映射關系進行數據遷移后生成的XML文件如下：

<卡口信息 卡口編號=“0001”

卡口名稱=“東方大道”

地理位置信息=“120.874825,31.272796”

錄像開始時間=“2015-01-11 15:53:00”

錄像停止時間=“2015-01-11 15:56:00”>

<車輛信息 經過時間=“2015-01-11 15:53:24”>

<車頭牌號 存儲值=“蘇E9R623”/>

<車輛顏色 存儲值=“藍色”/>

<車輛類型 存儲值=“小型轎車”/>

<車輛信息 經過時間=“2015-01-11 15:55:51”>

<車頭牌號 存儲值=“蘇HT0211”/>

<車輛顏色 存儲值=“銀色”/>

<車輛類型 存儲值=“小型面包車”/>

<卡口版本 version=“1.0”/>

(2)車輛信息數據導入XML文件。

在生成XML文件后，需要將其導入關聯的視頻文件20150111155324.avi。首先創建了一個LIST_USER LIST，在該LIST下封裝XML文件形成名稱為“0001”的CHUNK后寫入AVI文件，完成了卡口數據和視頻文件的集成。

3.2 信息查詢

圖6為基于2.2節所述的XML解析和AVI文件解析所設計完成的信息查詢平臺，可以快速地進行海量卡口視頻背景下的信息檢索。在文件檢索方面，支持基于卡口名稱、編號、地理位置信息和錄像時間等更加靈活的關鍵詞檢索；在車輛信息檢索方面支持基于牌號、車型、車輛顏色檢索的關鍵詞查詢，同時也支持基于AVI視頻文件的車輛信息預覽和快速定位播放[14]。

(1)AVI視頻文件檢索。

在圖6中，首先設置導出的檢索視頻文件夾路徑，然后搜索卡口編號為0001位于東方大道時間在2015年1月11日的所有視頻文件。在軟件左下角列表框中列出了滿足條件的所有AVI視頻文件。然后隨機將光標選中文件名為20150111155300.avi的文件，即可在右側查詢和觀看該文件所包含的所有車輛信息。

(2)基于牌號、車型、車輛顏色檢索。

當選中目標文件后，在右側卡口信息檢索欄可以確認當前的文件名，同時在列表框中顯示的是該視頻文件中所有車輛的經過時間，隨機選中“20150111155324”，即可實現在播放器循環播放關聯視頻片段的同時查看車輛信息。如果在右上方“車型”下拉框選擇“小型轎車”或者在“車輛顏色”下拉框選擇“藍色”，然后點擊“車輛搜索”，同樣可以獲取目標車輛信息。

3.3 結果分析

由實驗可知，基于文中所提出的系統方案可以將卡口數據庫中車輛信息關系數據實現基于XML的數據遷移和基于時間關聯的AVI視頻錄像文件的一體化存儲，然后基于XML解析技術和RIFF規范設計了基于AVI視頻庫的信息檢索平臺，實現了基于關鍵詞的視頻文件和車輛信息的靈活檢索。

4 結束語

目前的智能視頻監控建設由于沒有統一規劃，存在著信息共享困難、數據分散存儲的問題，由此形成的信息孤島給數據挖據等大數據技術的應用帶來了困難。文中所提出的基于XML的海量視頻監控信息檢索技術，巧妙地將攜帶檢索信息的XML文件寫入AVI視頻，實現了基于AVI文件的條件檢索和視頻播放。最后在卡口應用場景下，將卡口車輛信息和高清視頻相融合，使得用戶可以在快速獲取車輛細節信息的同時通過高清視頻了解整個卡口的宏觀動態，為事件提供了更加豐富、更加準確的信息。

圖6 基于AVI文件的卡口信息檢索

[1] 白 濤,王 斌,張太紅,等.基于XML的高校網招錄取數據交換技術的研究[J].計算機技術與發展,2014,24(8):202-205.

[2] 張先花．基于XML的異構數據源的數據存儲和集成研究[D]．天津:南開大學，2007.

[3] 曹溫華,鄧美玲.XML與關系數據庫之間轉換技術的研究[J].科技風,2008(16):68-69.

[4] 鑒保瑞，宋余慶，陳健美，等.一種基于關系的XML文檔模型映射方法[J].計算機應用研究,2011,28(12):4621-4624.

[5] 張南豫，張連堂．AVI在多媒體技術中的應用研究[J]．電腦知識與技術，2010,6(21)：5813-5814.

[6] 徐殿武.AVI文件格式及其應用研究[J].現代電子技術,2008,31(2):119-122.

[7] 趙艷妮，郭華磊．基于XML的數據遷移技術在信息系統升級中的研究與實現[J]．計算機應用與軟件，2014，31(12)：52-54.

[8] 孫 騰，孫安健．基于XML數據交換的電子政務系統集成[J]．計算機應用與軟件，2012，29(5)：188-190．

[9] 趙芳云．基于XML的異構數據源查詢系統設計[J]．計算機應用與軟件，2009，26(8)：185-188．

[10] 傅珊珊．基于聚類的XML文檔集成管理方法研究[D]．泉州:華僑大學，2007.

[11] 華珊珊,謝鉉洋.XML查詢語言XQuery的研究與實現[J].計算機技術與發展,2009,19(4):48-50.

[12] 張建偉．高清智能卡口管理平臺設計與實現[D]．成都:電子科技大學，2014.

[13] 顧 兵.SQL Server2005中的XQuery應用研究[J].計算機技術與發展,2011,21(3):98-101.

[14] 鄭 宏,李 年,丁 凱.XML檢索方法研究[J].計算機技術與發展,2013,23(10):15-18.

A Technique of Surveillance Information Retrieval for Massive Video Based on XML

FENG Shao-qi,GONG Si-liang,CHEN Chun-ming

(Center of Internet of Things,the Third Research Institute of Ministry of Public Security, Shanghai 201204,China)

A heterogeneous data integration solution based on XML scheme is proposed to solve the information retrieval inconvenient problem which comes from that structured data generated by the video parsing cannot be merged into video recording file in intelligent video surveillance system.By integrating the XML files exported from the surveillance database with the associated video files in heterogeneous way,this solution enable users to access the monitoring data and video files through a unified interface.Firstly,an unified platform for data integration and user queries is designed after the research and analysis of related technology.Secondly,an experiment for vehicle information retrieval in HD bayonet scene is carried out.The result shows that this method not only achieves the retrieval of video files based on keywords,but also realizes the video file-based information retrieval.This technology makes the free migration of data possible and offers the ability of off-line information retrieval based on the video file.Hence,it is very practical.

massive video;video retrieval;AVI;RIFF;XML;HD bayonet

2015-06-11

2015-09-16

時間：2016-03-22

公安部技術研究計劃(2014QZX005)

馮少奇(1982-),男,研究實習員，碩士,研究方向為數據庫技術、視頻編碼與視頻處理。

http://www.cnki.net/kcms/detail/61.1450.TP.20160322.1518.038.html

TP311.13

A

1673-629X(2016)04-0182-05

10.3969/j.issn.1673-629X.2016.04.040