在ＭＰＥＧ壓縮域中進行運動對象提取的現狀研究

摘 要：運動對象的提取是進行視頻分析的一個重要部分。傳統的提取方法是在像素域中完成，將其用于以壓縮形式存儲的視頻則需要耗費大量的時間先進行壓縮碼流的解碼。為了提高速度，許多科研人員開始分析MPEG碼流的特性，研究直接在壓縮域中進行運動對象提取的方法。對近年來提出的壓縮域中運動對象的提取方法進行分析，為進一步提高算法性能奠定基礎。

關鍵詞：MPEG碼流；壓縮域；運動對象提取；視頻分析

中圖分類號：TP391 文獻標識碼：A 文章編號：1004373X(2008)1615004

Status Research of Moving Object Extraction in the MPEG Compressed Domain

LI Peng.1，LI Yan.1，2，LU Xiaofeng.1，WANG Xuetong.1，WANG Li.1

(1.School of Computer Science and Engineering，Xi′an University of Technology，710048，China;

2.School of Electronics and Information Engineering，Xi′an Jiaotong University，710049，China)

Abstract：Moving object extraction is one of the important procedures in the video analysis.The traditional extraction methods are carried out in the pixel domain.Due to the heavy work to decompress the videos，it′s a timeconsuming work to analyze the videos stored in compressed form by traditional extraction methods.In order to speed up the extraction procedure，many researchers have begun to study the characters of the MPEG coded stream and proposed some new extraction methods which are implemented in the compressed domain directly.In this paper，some recently developed moving object extraction methods are introduced and compared for further improvement of the extraction algorithms.

Keywords：MPEG coded stream;compressed domain;moving object extraction;video analysis

1 引 言

視頻中運動對象的提取是指從視頻序列中分離出有一定意義的實體，是進行視頻分析的一個重要部分，為建立視頻摘要和進行視頻檢索提供重要信息。傳統的視頻運動對象提取是在像素域中進行的，目前已有一些基于像素域的提取算法.\\4\\〗可以得到比較精確的結果。但是現今大量的視頻數據是以壓縮的格式存放的，在像素域中完成運動對象提取需要耗費大量的時間進行壓縮碼流的解碼。因此，研究利用壓縮域信息進行運動對象提取的方法.\\16\\〗是非常有意義的。

2 MPEG壓縮標準

為了解決視頻數據量巨大所帶來的存儲與傳輸困難，國際標準組織制定了相應的圖像與視頻壓縮標準。其中包括ISO/IEC靜止圖像專家組制定的JPEG以及JPEG2000標準，運動圖像專家組制定的多媒體數據編碼標準MPEG1，MPEG2，MPEG4以及后續的針對多媒體內容描述的MPEG7和綜合各種標準的框架MPEG21，另外還有ITUT制定的數字視頻壓縮國際標準H.261，H.263等。近年來，ISO/IEC MPEG工作組和ITUT合作開發了新的視頻壓縮標準，即H.264/MPEG4AVCPart10，可滿足視頻移動通信、視頻流服務、高清晰度電視存儲和傳輸等不同領域的應用。

MPEG壓縮標準是視頻圖像壓縮標準中最具代表性的，是許多科研機構和大學的研究熱點，也是工業界產品開發的熱點。

2.1 MPEG1

MPEG1^［17］主要采用離散余弦變換(DCT)和運動補償技術，其視頻圖像數據為分層結構，如圖1所示。在MPEG1這6層數據中，前4層包含各自的頭信息和一些特征信息，將第5層作為運動補償的基本單元進行運動補償預測，在第6層進行DCT變換。也就是說，第5層和第6層主要包含運動矢量和量化的DCT系數，這兩層的信息與視頻圖像的具體內容密切相關。

MPEG1定義了4種幀類型：I幀、P幀、B幀和D幀。每幀圖像由3個整數矩陣構成，一個亮度矩陣(Y)和2個色度矩陣(Cb和Cr)。I幀進行幀內編碼，不需要進行運動補償預測，在第6層傳送幀內每個塊像素值的DCT系數，壓縮比最低。P幀進行前向預測編碼，也就是說當前P幀參考與其最近的前一個I幀或P幀進行運動補償預測，即在前一參考幀中尋找與當前幀中待編碼宏塊最相似的宏塊，構造運動矢量，在第5層傳送運動矢量(運動矢量也可能不存在，即參考幀中不存在相似宏塊，則當前幀中宏塊進行自編碼)，第6層傳送運動殘差的DCT系數或者像素值本身(參考幀中的塊與當前幀中的塊內容差別較大，進行自編碼)的DCT系數。B幀進行雙向預測編碼，即當前B幀參考與其最近的前一個I-幀或者P-幀以及后一個I幀或者P幀進行雙向的運動補償預測，在第5層傳送運動矢量，第6層傳送運動殘差的DCT系數或者像素值本身的DCT系數。在上述3種類型的幀中，B幀的壓縮比最高，但過多的B-幀會導致預測誤差的傳播。D幀僅包含一些低頻信息，為用戶快速瀏覽定位視頻提供支持。

2.2 MPEG2，MPEG4，MPEG7和MPEG21

MPEG2是在MPEG1的基礎上提出的，它保留了MPEG1提供的全部功能，并與MPEG1兼容，同時又增加了基于幀/場的運動補償方式，并提供空間可擴展、時間可擴展、質量可擴展以及容錯編碼等新技術。

MPEG4引入視頻對象(VO，Video Object)的概念，針對視頻內容進行有效的編碼，使基于內容的操作需求得以滿足，又保證了編碼的高效、簡便，同時與先前的編碼標準很好的兼容。

ISO/IEC還提出2個標準算法——MPEG7和MPEG21，實際上這2個標準并不是針對視頻編碼的。

MPEG7的目標是建立一套音視頻信息的量化標準描述符以及它們之間的關系和結構，被稱之為描述方案(Description schemes，DS)。同時MPEG7也建立了一套標準化的語言——描述定義語言(Description definition language，DDL)，用以說明描述符和描述方案。可以認為，如果以往的MPEG1，2，4表達的信息都是內容本身的話，那么MPEG7則是針對多媒體內容的表述進行標準化，是一種表示信息的信息。

隨著多媒體技術的不斷發展，各種多媒體標準層出不窮，為了對這些標準進行有效地協調，使它們能配套銜接，一個“多媒體框架(Multimedia framework)”的概念被提出來，這個新的工作方向就被確定為MPEG21。

3 壓縮域中進行運動對象提取的現有算法

通過對MPEG壓縮標準的了解，可以發現在壓縮域中可供利用的主要信息是運動矢量和DCT系數，目前針對壓縮域提出的運動對象提取算法基本上都是集中在對這2類信息的分析運用上。作者認為，現有的提取算法大致可以分為4類：第一類部分解碼視頻幀得到DC圖像，即得到原始視頻圖像的粗略描述，然后提取運動對象；第二類分析利用運動矢量和DCT系數的特性完成運動對象的提取；第三類針對壓縮域算法提取精度不高的問題，首先在壓縮域進行粗分割，接著對粗分割的結果區域進行解碼，然后在像素域中提取運動對象的精確輪廓；第四類考慮攝像機帶來的全局運動，提高提取結果的準確度。

(1) 根據DC圖像提取運動對象

文獻［10］利用DC系數得到DC圖像，根據DC圖像提供的信息檢測出背景區域，進而提取出運動對象。這種方法實際上還是利用了像素域中分割算法的思想，在進行分割時，需要將視頻圖像從壓縮域變換到像素域，只是在恢復原始視頻圖像時，僅利用DC系數還原出原始圖像的粗略描述，不進行IDCT變換，減少解碼負擔，提高速度。

(2) 利用運動矢量和DCT系數的性質提取運動對象

文獻［5，6］首先對于存在運動矢量的宏塊，將運動矢量從空域和時域上進行聚類，得到組成運動對象的候選宏塊。可以認為在同一幀內，屬于同一運動對象的宏塊其運動矢量可能基本相同，根據這個特性進行空域上的聚類。還可以認為在相鄰幀中，屬于同一運動對象的宏塊其運動矢量也可能基本相同，根據這個特性又在時域上進行進一步聚類。然后，對于不存在運動矢量的自編碼宏塊，若該宏塊(稱為A宏塊)作為下一幀某宏塊(稱為B宏塊)的參考，而B宏塊被認定為運動對象的候選宏塊，則認為A宏塊也為候選宏塊。最后，對得到的所有候選宏塊進行后處理，根據AC系數濾除平坦區(Flat region)，得到運動對象。在前兩步的提取過程中，平坦區通常會被誤認為運動對象的候選宏塊。不過，包含平坦區的宏塊其DCT系數中的AC系數值很大，根據這個特性可以成功地將平坦區宏塊從候選宏塊中濾除掉。

上述方法是以分析運動矢量特性為主，DCT系數特性為輔完成運動對象提取。DCT系數中的DC系數能夠反映顏色信息，AC系數能夠反映紋理信息。如果在進行對象分割時，能夠更多地利用DC和AC系數提供的信息，應該能夠優化分割結果。文獻［9］綜合了DCT系數和運動矢量的特性，構造出一個特征向量，通過分級聚類的方法完成對象分割。文獻［11］提出一種“跟蹤檢測”技術，通過分析相鄰幀中宏塊的運動矢量以及AC系數譜能量，將運動區域在多幀之間連接起來，進而完成運動對象的提取。

(3) 壓縮域方法和像素域方法結合，提高提取結果的精確度

基于壓縮域的運動對象提取方法避免了大量解碼壓縮視頻的過程，提高了運算速度。但是，現有的壓縮域算法在精確度上都無法達到像素域算法的分割效果。

為了提高分割結果的精確度，文獻［14］提出了將壓縮域算法和像素域算法結合的思想，首先在壓縮域聚類運動矢量得到運動區域，再對運動區域運用IDCT變換進行解碼，得到該區域的原始圖像，最后利用Canny邊緣檢測算子得到運動對象的精確輪廓。這種方法折中考慮了效率和效果，以時間換取精度。

文獻［16］的基本思想類同于文獻［14］，首先在壓縮域對運動矢量進行聚類得到運動區域，然后通過部分解碼得到該運動區域的DC+2AC圖像，從而提取到比較精確的輪廓特征。運動矢量是以宏塊為基本單位的，文獻［16］為了進一步提高分割精度，為每個塊添加運動矢量，更加準確地提取出運動區域。在對運動區域進行解碼時，綜合考慮了效率和效果2方面的因素，利用DC+2AC系數恢復出原始圖像的粗略描述，不需要進行IDCT變換，提高了解碼速度。雖然DC+2AC圖像的效果不如原始圖像，但已能比較清晰地反映出輪廓信息。

(4) 考慮攝像機帶來的全局運動，提高提取結果的準確度

在視頻序列中，除了存在對象的實際運動，還存在另外一類重要的運動信息，即攝像機鏡頭的自身運動。攝像機鏡頭的運動會引起視頻畫面的整體運動，也被稱為全局運動。文獻［8］考慮了攝像機全局運動對提取結果的影響。首先，根據宏塊的運動矢量得到運動流。然后，通過哈夫變換進行鏡頭運動估計，得到鏡頭運動參數，利用該參數對運動流進行運動補償，從而確定運動對象。最后，利用均值平移(mean shift)法對檢測出的運動對象進行跟蹤。文獻［13］結合第三類和第四類算法的思想，首先根據運動矢量和鏡頭運動參數分離出背景區域和運動對象，然后對包含運動對象的區域進行解碼，在像素域檢測出運動對象的精確輪廓。

4 結 語

運動信息是視頻序列中的重要特征，運動對象的提取是建立視頻摘要和進行視頻檢索的重要基礎。由于存儲容量和網絡帶寬的限制，目前視頻序列大多以壓縮的形式存放。常用的壓縮標準有MPEGx和H.26x等。在像素域中進行運動對象的提取已有很多算法可以得到比較精確的結果，但將這些算法用于壓縮視頻，就必須耗費大量時間解碼，為了提高視頻分析的速度，直接針對MPEG壓縮域進行運動對象提取是很有必要的。近年來，許多科研人員在這方面做了深入研究，提出了一些有效算法。

研究基于壓縮域的運動對象提取算法有著廣泛的應用前景。文獻［7］通過融合運動矢量和聚類DCT系數完成道路上車輛的檢測。文獻［12］主要利用DC系數提供的顏色信息實現交通監控。文獻［15］根據運動矢量分離全局運動和局部運動得到運動區域，再根據運動區域的DC+2AC圖像提取輪廓特征，從而分析出室內人物的狀況，實現有效的監督。可以看出，研究基于壓縮域的提取算法具有非常大的實用價值。

基于壓縮域進行運動對象的提取算法，在計算復雜度和計算速度方面都比基于像素域的算法有較大的優勢，但分割的精確度不夠高。目前針對精度問題提出的解決方案是以時間換取精度，通過解碼運動區域，在像素域完成邊緣檢測，以求達到更好的分割效果。在MPEG壓縮域中，可供利用的主要信息是運動矢量和DCT系數，進一步分析這兩者的特性，充分利用其提供的信息提高對象分割的精確度是一個值得研究的方向。另外，在特定的應用領域中，可以結合領域特性修改算法，從而在效率和效果上更好的滿足需求。

參 考 文 獻

［1］Meier T，Ngan K N.Automatic Segmentation of Moving Objects for Video Object Plane Generation［J］.IEEE Trans.Circuits Systems for Video Technology，1998，8(5):525538.

［2］張澤旭，李金宗，李寧寧.基于光流場分割和Canny邊緣提取融合算法的運動目標檢測［J］.電子學報，2003，31(9):1 2991 302.

［3］Jinsang K，Tom C.Multiple Feature Clustering for Image Sequence Segmentation ［J］.Pattern Recognition Letter，2001，22:1 2071 217.

［4］Castagno R，Ebrahimi T，Kunt M.Video Segmentation Based on Multiple Features for Interactive Multimedia Application ［J］.IEEE Trans.Circuits Systems for Video Technology，1998，8(5):562571.

［5］Nakajima Y，Yoneyama A，Yanagihara H，et al.Moving object detection from MPEG coded data ［C］.SPIE，Visual Communications and Image Processing ′98，1998，3 309:988996.

［6］Yoneyama A，Nakajima Y，Yanagihara H，et al.Moving Object Detection and Identification from MPEG Coded Data ［C］.In Proc.IEEE ICIP′99，Kobe，Japan，1999(2):934938.

［7］Zen H，Hasegawa T，Ozawa S.Moving Object Detection from MPEG Coded Picture ［C］.In Proc.IEEE ICIP′99，Kobe，Japan，1999(4):2529.

［8］Park SM，Lee J.Object Tracking in MPEG Compressed Video Using Meanshift Algorithm ［C］.In Proc.IEEE，ICICSPCM′03，Singapore，2003(2):748752.

［9］Porikli F.Realtime Video Object Segmentation for MPEGencoded Video Sequences ［J］.SPIE，RealTime Imaging VIII，2004，5297:195203.

［10］Zeng W，Gao W，Zhao D.Automatic Moving Object Extraction in MPEG Video［C］.In Proc.IEEE ISCAS ′03，Bangkok，Thailand，2003(2):524527.

［11］Lie WN，Chen RL.Tracking Moving Objects in MPEGcompressed Videos ［C］.In Proc.IEEE ICME ′01，Tokyo，Japan，2001:1 1721 175.

［12］Mezaris V，Kompatsiaris I，Strintzis M G.Compresseddomain Object Detection for Video Understanding ［C］.In Proc.Workshop on Image Analysis for Multimedia Interactive Services，Lisbon，Portugal，2004:203206.

［13］Ralph Ewerth，Martin Schwalb，Paul Tessmann，et al.Segmenting Moving Object in MPEG Videos in the Presence of Camera Motion ［C］.Image Analysis and Processing，2007.ICIAP 2007.14th International Conference on 1014，2007:819824.

［14］王占輝，劉貴忠，劉龍.一種從視頻壓縮碼流中精確提取運動對象的快速算法［J］.電子與信息學報，2004，26(7):1 1571 162.

［15］Lin Chiawen，Ling Zhihong.Automatic Fall Incident Detection in Compressed Video for Intelligent Homecare ［C］.Computer Communications and Networks，2007.ICCCN 2007.Proceedings of 16th International Conference on 1316，2007:1 1721 177.

［16］Zhou Qiya，Yang Gaobo，Chen Weiwei，et al.A Fast and Accurate Moving Object Extraction Scheme in the MPEG Compressed Domain ［C］.Image and Graphics，2007.ICIG

2007.Fourth International Conference on 2224，2007:592597.

［17］ISO/IEC.Coding of Moving Pictures and Associated Audio for Digital Storage Media at up to about 1.5 Mbps ［S］.ISO/IEC 11172，1993.

作者簡介 李 鵬 男，西安理工大學。研究方向為嵌入式系統，圖形圖像處理。