一種基于背景提取的視頻對象分割算法

焦蓬蓬，郭依正

(南京師范大學 泰州學院 信息科學與技術系，江蘇 泰州 225300)

隨著網絡和多媒體技術的發展，通信數據量越來越大，特別是在視頻會議、視頻電話等圖像通信中，其通信數據量大得驚人。而目前通信網絡的帶寬有限，不能很好地支持高質量的圖像通信業務。為了解決這些問題，國際電信聯盟先后提出了MPEG-2、MPEG-4標準。MPEG-4的初衷是針對于視頻會議、視頻電話的超低比特率編碼，但在以后的發展中，MPEG對該標準又進行了修改。MPEG-4標準引入了視頻對象VO(Video Object)的概念，編碼是基于對象(Object)的[1]。所謂對象是指一個場景中可以操作和控制的實體，而傳統壓縮方法是基于幀的，已無法對對象進行操作。MPEG-4中對比特率控制可以是基于對象的，即使在帶寬有限的情況下，可以利用碼率分配方法，對于用戶感興趣的對象可以多分配一些比特率，而對于用戶不感興趣的對象可以少分配一些比特率，這樣圖像質量可以得到保證。所以在MPEG-4標準中，視頻對象分割算法顯得十分重要。

視頻對象分割算法與圖像分割技術聯系緊密，圖像分割算法被廣泛地應用在視頻對象分割中。目前的視頻對象分割算法有很多，如檢測變化區域的分割方法[2]，其主要是通過檢測序列圖像幀的變化區域與不變區域，從而分割出運動物體與靜止背景。該算法的關鍵是閾值的選取，分割后的圖像中沒有變化的部分表示背景圖像，變化的部分代表運動區域。這類算法的優點是計算簡單，特別適用于室內場景(如視頻電話、網絡會議等)。其缺點是對噪聲敏感，在背景場景變化復雜的室外情況下，分割的效果不好。基于對稱差分的視頻分割算法[3]是將數學的“與或”操作運用在圖像分割中，通過連續幀的差減、“與或”運算，可以提取出中間視頻幀的圖像運動對象。近年來，自適應閾值的方法[4]也廣泛運用在運動目標的提取上，它結合了形態學中的開啟和閉合方法來對圖像進行處理。此外還有基于時空信息的視頻對象分割算法[5]。綜上所述，視頻對象分割算法還處于發展之中，一種優秀的分割算法不僅要與圖像分割相結合，而且還需要人工智能和運動分析等方面知識。

1 視頻分割算法

MPEG-4算法中對象的提取是關鍵技術之一，提取的效果直接關系到圖像壓縮的效率。對稱差分方法[3]簡單有效，但這類算法也存在一些不足。首先，由于是連續的操作，視頻圖像的背景部分和運動部分都要進行差減運算，而實際上背景是靜止不變的，只會受到噪聲的一些小影響。所以在用該算法時，背景的運算是沒有必要的，特別是在硬件實現上，浪費了大量CPU時間。其次，圖像的播放是30幀/s，如果在每秒都用對稱差分算法，顯然很不實際。所以一般采用的方法是每隔Δt后，采樣一幀圖像，再用該算法進行提取視頻對象。此外，每秒的視頻序列很多，而視頻運動對象的運動范圍相對固定，所以可以認為視頻對象只在一定的范圍內變化，提取視頻對象時，只要提取視頻圖像中該范圍內的視頻對象信息即可。

根據視頻對象運動的特點和MPEG-4對視頻對象的要求，以及對對稱差分分割算法的理解分析，本文提出了一種基于背景提取的視頻對象分割算法。這種分割算法適合應用在室內環境或者是視頻會議等背景變化不大、視頻對象的運動范圍變化也不大的情況下。該算法思想是：首先通過對多幀視頻序列的比較，提取出背景圖像信息，同時得到視頻對象的運動區域。對于以后的視頻序列，只要提取運動區域內的相關圖像信息即可，避免了以后視頻序列間的運算，節約了時間，減少了運算量。該算法的主要步驟如下：

(1)初始化圖像的參考對象，如第一幀圖像。

(2)求兩幀圖像之間的差，并選取一定的閾值，將圖像二值化。由于視頻對象的運動，所以運動區域的像素點值相對于背景區域的像素點值變化較大，很容易找出視頻對象。同時也可以根據Surendra原理，將背景圖像更新。背景更新的算法根據公式(1)來計算。通過多幀視頻序列的迭代，得到的背景效果會更好，然后再二值化。

式中，Di(x，y)=1為視頻對象區域，Di(x，y)=0為背景區域，Bi為第i幀圖像，α為比例系數。

(3)對二值圖像分別從 x軸、y軸進行自左向右、自上而下掃描，記錄下 Di(x，y)=1的點數和 Di(x，y)=0的點數，并設置一個閾值，記錄下超過該閾值的行列值。

(4)對這些相鄰的行列值分別求差，并選取各個方向最大的兩個值作為視頻對象運動區域的上下左右4個點。因為視頻對象邊緣的像素點變化最大，通過求差分的方式可以表現出來。

(5)對于以后的視頻序列，可以只讀取該區域的圖像信息作為視頻對象。其中，這個矩形區域可以適當調整。步驟(4)得到的矩形是視頻對象運動最劇烈的部分，經調整可以將視頻對象提取得更完整一些。

2 仿真結果與分析

實驗環境：Dell公司的PC機，CPU為Intel Pentium4，主頻 1.5 GHz，內存 512 MB，操作系統 Windows 2000。程序在Matlab 7.0下，采用foreman視頻序列來完成測試。foreman視頻序列如圖1所示，提取foreman序列時采用1幀/s的速率進行提取。從圖中可以看到，人物的運動基本是在一個相對固定的區域。提取時首先提取視頻圖像的背景，后面的視頻序列只要讀取背景以外的部分就可以了。

圖2是提取的視頻圖像的背景，圖3是從第7幀、第17幀和第22幀中提取的視頻對象。程序運行時從第7幀、第17幀和第22幀中采用任意兩幀用來提取視頻對象，運行結果為“Elapsed time is 3.561000 seconds”，即總共運行了3.561 s，少于其他算法的運行時間。

由實驗結果可以看到，該算法較準確地分割出了視頻對象，且在計算上比其他算法要簡單得多。但該算法分割出的對象區域是視頻對象運動最大的區域，導致在加矩形框時，可能存在過分割的現象，即將多余的圖像信息也包含了進去。因此，對于該算法中的矩形框的大小確定問題仍然需要深入研究。

本文考慮到實時性和計算量等因素，在一種對稱差分方法的基礎上，從視頻序列的背景入手，先找出視頻序列的背景信息，對以后的各幀圖像只要讀取背景以外的信息，就可以方便地提取出視頻對象。實驗仿真表明，這種方法可以快速提取出視頻對象。但是，該算法只適合于視頻會議、視頻電話等背景區域變化不大的場合。如何實現在室外環境和背景不斷轉換的情況下的視頻對象的有效分割需要繼續深入研究。

[1]錢淵，張曉燕，夏靖波.視頻對象分割技術綜述[J].探測與控制學報，2008，30(2)：64-67.

[2]印勇，張影.基于變化檢測的視頻對象分割算法研究[J].計算機工程與設計，2008，44(13)：161-163.

[3]賀貴明，李凌娟，賈振堂.一種快速的基于對稱差分的視頻分割算法 [J].小型微型計算機系統，2003，24(6)：966-968.

[4]姚軍，蔣曉瑜，黃應清.一種基于自適應閾值與邊緣跟蹤的目標提取方法 [J].裝甲兵工程學院學報，2004(4)：56-57.

[5]張曉波，劉文耀，呂大偉.基于時空信息的自動視頻對象分割算法[J].光電子·激光，2008，19(3)：384-387.