基于空間信息輔助的視頻分割研究

（1.重慶郵電大學 計算機科學與技術學院， 重慶 400065；2.南京師范大學 虛擬地理環境教育部重點實驗室， 南京 210046）

摘 要：現有視頻分割方法大都從計算機圖像處理角度進行，而實際上視頻本身具備豐富的地理空間信息，有效利用這種信息將使分割過程更加準確便利。從GIS應用的角度對基于空間信息輔助的視頻分割方法進行一種新的探索，為構建可定位視頻數據的組織與存儲，建立基于影像幀層次與視頻內容檢索的高效索引機制奠定了基礎。

關鍵詞：視頻分割；空間信息；全球定位系統；可擴展標記語言

中圖分類號：TP391文獻標志碼：A

文章編號：1001-3695(2009)04-1546-03

Research on video segmentation based on spatial information assistance

REN Fei1，2，LIU Xue-jun2，FENG Jiang-fan1，YUAN Zheng-wu1

(1.College of Computer Science Technology， Chongqing University of Posts Telecommunications， Chongqing 400065， China;2.Key Laboratory of Virtual Geographical Environment， Nanjing Normal University， Nanjing 210046， China)

Abstract:The existing methods of video segmentation are mostly operated in the view of computer vision processing. In fact， video itself includes affluent geographic spatial information. Effective use of this information will enable the segmentation more accurately and facility. This paper discussed a video segmentation method based on spatial information assistance from the perspective of GIS application， which contributed to the organization and storage of locating video data， and to the establishment of efficient mechanism indexing on frame and video content.

Key words:video segmentation; spatial information; GPS; XML

0 引言

隨著多媒體數據在采集、存儲和傳播方面取得的重大技術進步，數字視頻的應用領域愈加廣泛，已經成為人們日常生活中不可或缺的一部分，關于如何管理和檢索視頻數據的研究也越來越多。視頻GIS，即將視頻影像信息與地理信息實時自動集成，生成空間位置與視頻影像相融合的空間視頻信息。由于視頻流是一種非結構化的線性數據流，要對含有空間信息的視頻數據進行分析應用，必須先將其分解成具有獨立語義信息的片段。因此，視頻分割就成為各種視頻處理的第一步，是隨后的高層內容分析、分類、索引和查詢的基礎。在視頻GIS中，視頻分割的準確性更直接影響到后續三維量測、影像解析、對象提取等效果，具有重要意義。

視頻分割是指將視頻序列或圖像按一定的標準分割成區域的行為[1]，也可理解為在視頻幀內分離出有一定意義的前景實體或前景目標[2]。傳統的視頻分割技術從用途來看，大致可分為基于內容的編碼傳輸及面向對象的存取和操縱兩大類，并沒有一個通用且可靠的技術方案。大多依賴于視頻序列的某一種或幾種屬性，運用計算機圖像處理技術，選取顏色、紋理或邊緣等進行特征提取和模板匹配，建立合適的測量準則以描述視頻內容的不連續性[3，4]進行分割，精度不高，也并未考慮空間信息。

基于視頻與空間信息的緊密聯系，Navarrete等人［5］在VideoGIS項目中提出了一種空間視頻數據組織與存儲模型。該方案整合了專題地理信息，生成能在地理環境中調用的超視頻，但是它的視頻影像與地理信息是分開存儲的，而且所支持的視頻檢索層次比較低，只能支持文件層次的檢索。在國內，唐冰等人[6]提出了鐵路沿線視頻影像與地理信息集成的技術方案與實現方法，將線路里程與視頻幀號一一對應，它的幀號里程數據庫基本為手工輸入，工作量很大。孔云峰[7]提出了一個公路視頻GIS，在地理位置、公路里程、視頻時間或幀之間建立映射關系，但是其內業數據處理過程靠手工完成。

不管是傳統的視頻分割方法，還是已有的考慮到空間信息的視頻分割方法，雖然提供了可資借鑒的成果，卻并不能很好地滿足GIS領域中視頻分割的要求。如何結合豐富的空間地理信息對視頻進行分割，構建適于空間視頻組織與存儲、分析和查詢的視頻節段就成了亟待解決的問題。本文首先介紹一種利用腳本編碼將視頻與空間地理信息實時融合的方法，然后從GIS應用的角度對基于空間信息輔助的視頻分割方法進行一種新的探索，提出了一些存在的問題并作了總結。

1 視頻與空間信息的融合

1.1 投影轉換

為了獲得融合地理信息的空間視頻，需要通過GPS接收機獲取衛星定位數據，然后與攝像頭采集到的視頻編碼集成。GPS接收到的定位信息是基于WGS-84地心坐標系的，我國所采用的電子地圖大部分都是基于54北京坐標系，兩者采用的地球橢球參數不同，需要在編碼前對GPS數據進行空間坐標系的轉換。大地直角坐標轉換目前最常用的是七參數模型[8]，其轉換式為

XBYBZB=ΔX

ΔYΔZ+(1+M)1εZ-εY

-εZ1εX

εY-εX1XAYAZA(1)

其中：XA、YA、ZA、XB、YB、ZB為同一點在不同坐標系的大地直角坐標；ΔX、ΔY、ΔZ為兩個坐標系的坐標原點平移量；M為無量綱的尺度因子；εX、εY、εZ為坐標旋轉角。實際應用中，也可只解出ΔX、ΔY、ΔZ，舍去εX、εY、εZ及M這四個參數（即三參數轉換），然后將大地坐標通過高斯—克呂格投影轉換成平面坐標，以便與電子地圖匹配。系統設計如圖1所示。

1.2 視頻與空間信息的集成

采用WME(Windows media encoder)SDK進行移動終端的二次開發，將GPS信息以腳本的形式實時存儲[9]。腳本命令包括索引、腳本類型、腳本內容。形式為（iIndex，bstrType，bstrData）。應用程序將視頻信息進行MPEG-4編碼，同時每接收到一條GPS信息，就在編碼中添加一條空間信息記錄，從而得到含有攝像機空間位置、時間、方向、姿態等信息的空間視頻源數據。

2 基于空間信息輔助的視頻分割方法

合理的視頻分割節段既應與視頻中展現的高層語義特征密切相關，又與空間坐標相關。本文從兩個層次來考慮對視頻序列進行分割，首先基于空間位置信息將視頻序列分為視頻節段；然后在特定視頻節段上進行對象提取和背景重建。

2.1 視頻節段的分割

視頻GIS最顯著的特征是電子地圖信息與帶有定位信息的視頻數據有機結合。視頻數據帶有空間位置信息、方向以及姿態等信息，因此可以根據這些信息將視頻幀與電子地圖上的實體（如道路、河流等）相匹配，對可定位視頻數據自動根據定位信息進行分割，形成具有空間語義的視頻片段，構建可定位視頻數據的組織與存儲模型，建立基于影像幀層次與視頻內容檢索的高效索引機制。本方法采用按道路進行的視頻自動分割，如圖2所示。

首先從地圖道路集中選取一條道路，讀取此道路的起點和終點坐標；然后對視頻中的定位信息進行搜索。由于視頻中的定位信息和道路的起點或終點的坐標可能不完全一致，可事先取一個差值作為閾值，根據閾值找出道路起點或終點最匹配的視頻幀，再根據起點與終點視頻幀所在的時間戳進行視頻分割。

從地圖道路專題集中選取某一條道路，可以通過交互式界面由用戶指定，也可以通過GPS航跡與地圖上的矢量化路段對象進行自動匹配[10]。以GPS航跡曲線作為待匹配樣本，以該軌跡曲線附近的所有道路曲線作為狀態模板，通過待匹配樣本與模板間的匹配，選擇形狀相似度最高的模板作為匹配結果，相似性度量函數可采用簡單的加權二維歐氏距離。第i條待識別路段的相似性度量函數λ如下：

λi=piNk=0Δik(0≤i≤c-1)(2)

其中：Δik=(xik-xTik)2+(yik-yTik)2；Δ指平面二維歐氏距離；p是加權系數。很明顯，λ越小，路段的相似性越高。

這里只是為了進行視頻分割，所以并不需要將視頻中的所有GPS航跡點都投影到道路上，處理的關鍵是道路轉換處的GPS定位點。

2.2 視頻節段表示

XML是一種半結構化的可擴展標記語言，有著豐富的內容和關系、語法和語義的表現特性，因此采用基于XML的語言描述半結構化信息是目前普遍認可的方案[11]。視頻的分段結果可以用XML文檔表示，該文檔不僅包含了視頻的源和幀速率，還包含視頻中每一幀的地理坐標。通過XML文檔，可以把所有文件組織成一個大型的樹型結構，從而方便數據的管理與操作。

構建的元數據結構內容可分為兩部分：a）視頻頭部分（DescriptionMetadata部分），它包含了視頻的基本信息，如日期、時間和創建者等；b)ContentDescription/VideoSegment部分，是每一幀的數據，包含抽象對象的信息，如3D地理坐標、鏈接的圖像區域、十字路口的信息、相關的URL等。一段視頻的MPEG-7元數據的部分示例如下：

〈?xml version=\"1.0\" encoding=\"UTF-8\"?〉

〈Video src=\"testv.wmv\" fps=\"25\"〉

〈DescriptionMetadata〉

〈MediaName〉test.wmv〈/MediaName〉

〈PrivateIdentifier〉VideoGISDescriptionExample 〈/PrivateIdentifier 〉

〈Creator/〉

〈CreationTime/〉

〈LensParameters〉0.963403，2.401160，4.454484〈/LensPara-meters〉

〈/DescriptionMetadata〉

〈ContentDescription〉

〈VideoSegment〉

〈MediaTimePoint〉0〈/MediaTimePoint〉

〈Where〉131.1254，34.1254〈/Where〉

〈Object〉

〈Region〉125，254，254，12，124，123，25，125〈/Region〉

〈URL〉http://www.example.net〈/URL〉

〈/Object〉

〈Keyword〉over 10 story building 〈/Keyword〉

〈/VideoSegment〉

〈/ContentDescription〉

〈/Video>

3 實驗平臺

本系統使用ESRI公司的ArcGIS Engine作為GIS開發工具。ArcGIS Engine是一組嵌入式GIS組件庫和工具庫，可用來創建新的或擴展已有的桌面應用程序，能夠很方便地將GIS功能嵌入到已有的應用系統中，也有利于定制實用的用戶界面。選取某條道路，即可從后臺XML文件中查詢調用出相關視頻。圖3為應用系統的一個運行界面。

4 結束語

視頻分割是視頻瀏覽和檢索中至關重要的一步。本文從GIS角度借助于空間信息對視頻分割方法進行了探索，生成具有空間語義的視頻片段，為構建可定位視頻數據的組織與存儲模型，建立基于影像幀層次與視頻內容檢索的高效索引機制奠定了基礎。這樣一來，用戶就可以方便地查詢某路段沿線的視頻信息。GIS的功能結合，為智能交通管理、視頻導航等提供良好支持。然而，視頻分割仍然存在很多亟待解決的難題，如低層特征與高層語義之間總是存在著巨大的“語義鴻溝”[12]，如何將視頻低層信息和高層語義，特別是地理信息語義更有效地結合起來實現視頻分割仍有待進一步研究；還不能有效實現視頻與地理信息之間的雙向交互[13]。現有的系統只停留在從地理信息到視頻的交互，而不能通過視頻剪輯中的對象自動獲取地理對象的屬性。

MPEG-7和MPEG-21標準的提出[14]，克服了現有的視頻檢索系統只描述單一的媒體底層特征的不足，為多媒體信息的多層和多種語義特征的描述提供了接口[15]。基于新標準結合空間語義信息特征的視頻分割算法將是未來的研究重點。

參考文獻：

［1］

季白楊，陳純，錢英.視頻分割技術的發展[J].計算機研究與發展，2001，38(1):36-42.

[2]LI Hong-liang，NGAN K N.Automatic video segmentation and tracking for content-based applications[J].IEEE Communications Magazine，2007，45(1):27-33.

[3]KOPRINSKA I，CARRATO S.Temporal video segmentation:a survey[J].Signal Processing:Image Communication，2001，16(5):477-500.

[4]HANJALIC A.Shot-boundary detection:unraveled and resolved[J].IEEE Trans on Circuits and Systems for Video Technology，2002，12(2):90-105.

［5］NAVARRETE T，BLAT J.VideoGIS:segmenting and indexing video based on geographic information[C]//Proc of the 5th AGILE Confe-rence on Geographic Information Science.2002.

[6]唐冰，周美玉.基于視頻圖像的既有線路地理信息系統[J].鐵路計算機應用，2001，10(11):31-33.

[7]孔云峰.一個公路視頻GIS的設計與實現[J].公路，2007(1):118-121.

[8]張小平，王保保，范克利.GPS與數字地圖的匹配研究[J].計算機仿真，2005，22(6):148-151.

[9]豐江帆，張宏，沙月進.GPS車載移動視頻監控系統的設計[J].測繪通報，2007(2):52-57.

[10]蘇潔，周東方，岳春生.GPS車輛導航中的實時地圖匹配算法[J].測繪學報，2001，30(3):252-256.

[11]顧進廣，陳莘萌.基于語義的XML信息集成技術[M].武漢:武漢大學出版社，2007:3.

[12]SEBE N，LEW M S，ZHOU Xiang，et al.The state of the art in image and video retrieval[C]//Proc of International Conference on Image and Video Retrieval.Berlin:Springer，2003:7-12.

[13]KIM K H，KIM S S，LEE S H，et al.The interactive geographic video[C]//Proc of IEEE International Conference on Geoscience and Remote Sensing.2003:59-61.

[14]MPEG-7 overview[EB/OL]. (2004-10)[2007-12-21].http://www.chiariglione.org/mpeg/standards/mpeg-7/mpeg-7.htm.

[15]TSENG B L，LIN C Y，SMITH J R.Using MPEG-7 and MPEG-21 for personalizing video[J].IEEE Multimedia，2004，11(1):42-52.