基于Kinect的自動視頻摳像算法

夏 倩，許 勇，夏玉勤

（1.貴州民族大學 傳媒學院，貴州 貴陽520025；2.華南理工大學 計算機學院，廣東 廣州510510；3.貴州大學 計算機科學與工程學院，貴州 貴陽520025）

0 引 言

傳統的數字摳像 （digital image matting）算法例如三分圖、涂鴉方式都需要用戶交互，耗時多且計算復雜，使視頻摳像圖算法的實際應用受限［1］。

微軟的Kinect體感設備能夠獲取深度圖，它可以避免物體遮擋、亮度變化、陰影以及環境變化等的影響，因此現有的視頻摳像算法引入了深度圖像信息來輔助摳像。文獻［2］對獲取的深度圖進行聚類和形態學操作，得到大致的區間分割圖。接著利用深度值來改進閉式解摳像算法［3］，但它沒有充分利用前一步獲取的透明度值a，造成無法獲得精確的摳像邊界。文獻 ［4］利用顏色信息將圖像過分割，過分割區域被視為節點，接著把顏色和深度信息相似性作為鄰接區域邊的權重，從而構建一個帶權圖。最后使用歸一化切割方法實現摳像，但是算法中沒有考慮前背景關聯性，無法將前景與背景有接觸的區域分離。文獻 ［5］不僅考慮空間信息、顏色信息，而且結合深度信息建立一個雙重雙邊濾波器，但這種算法沒有考慮每一信息的權重，只是簡單的將所有信息糅合在一起，摳像結果不理想。

針對以上問題，本文提出一種利用運動、顏色以及Kinect的深度圖來提取感興趣區域 （region of interest，RoI）的自動視頻摳像算法。算法根據運動和深度信息獲得到視頻中的ROI，排除非主要區域及背景的干擾，減少了運算量，提高了后續摳像的速度。在ROI區域內使用改進的種子區域生長法，計算粗前景掩膜，再利用數學形態學和邏輯操作得到大致的三分圖。最后在和人類視覺一致的Lab顏色空間［6］中精確計算三分圖，即使用改進的Shared Matting算法［7］來減小前一步驟中大致三分圖帶來的誤差，保證視頻自動摳像結果的精度。本文算法省去了任何形式的人機交互，在降低計算復雜度的同時也提高了運算速度。

1 本文算法

本文研究的重點是利用Kinect產生的深度圖像信息、顏色信息、運動信息以及幀間相關性自動生成精確的視頻幀摳像，提高視頻摳像效果，期望既能減少視頻摳像時間，又能保證視頻摳像的時空一致性。本文算法流程如圖1所示。

圖1 本文算法流程

1.1 ROI檢測

視頻摳像的目標在于精確提取場景中的ROI［8，9］。例如，在大多數場景中，運動的目標經常是人們比較關注的區域。這些ROI如果能被計算機迅速發現，并進行重點分析，將提高圖像處理效率和精度。

本文利用三幀差分法，首先選取視頻序列圖像中連續三幀，分別計算相鄰兩幀的差分圖像，然后選擇恰當的閾值將差分圖像二值化處理，最后兩個連續差分二值圖像進行邏輯與運算，從而獲得出運動目標既是視頻場景中的ROI。但該方法易于受到噪聲和亮度突變的影響。為了降低運動目標的誤判性，在此基礎上，考慮前后運動的變化相鄰幀的深度信息。當Kinect設備不動時，場景中的背景不會運動，而只有運動目標才會有深度信息上的變化。因此把序列圖像中的相鄰幀的深度信息的變化值也作為判定運動目標的依據。為了提高計算速度，在三幀差分法前需要把彩色圖像轉換為灰度圖像

式中：ft－1（i，j），ft（i，j），ft＋1（i，j）——圖像中（i，j）在t－1、t和t＋1時刻對應的前一幀、當前幀和后一幀。dt（i，j），dt＋1（i，j）——相應像素點分別對應的深度值，mt（i，j）——連續三幀的變化圖像，選擇合適的閾值T1來判斷前景和背景，Mt（i，j）就是根據公式獲得的當前幀大致的ROI，如圖2 （a）所示。由于圖像中存在一些噪聲點及漏洞，需要進行膨脹處理和連通區域面積分析。設定一個閾值，當連通的區域面積大于該閾值時，就認定檢測到了ROI。當然，ROI也能直接進行圖像分割，但是大多數都是基于閾值的方法［10－12］，其通用性差。為了得到精確的摳效果，這里的粗ROI只為后續的粗前景掩膜提供區域信息。

圖2 圖像掩膜

1.2 粗前景掩膜

獲得序列圖像精準的三分圖，需要對圖像進行區域劃分，進而從圖像中摳出前景的區域。種子區域生長算法的核心問題是種子點的選擇以及相似性判斷準則。本文采用了改進的自動種子區域選取方法，即基于深度信息的自動選取算法。將上一步獲得ROI區域位置映射到當前幀，選取映射區域范圍中心位置點作為種子點，它能夠反映關注目標的圖像信息。同時也考慮像素的相似性和空間上像素的鄰近性。具體的算法步驟如下：

步驟1 將前一步驟獲得的粗ROI區域位置映射到當前幀，把相應區域中心位置的一個像素點作為初始種子點；

步驟2 判斷相鄰像素 （未標記）是否滿足相似性準則；

步驟3 如果滿足，則該鄰域像素合并到種子區域，并給該點添加相應標記；

步驟4 對于新合并的區域，重復步驟2，步驟3；

步驟5 區域將在各個方向上不斷增長，直到映射區域內沒有多的像素點被合并，迭代結束

設像素點pk為前景點， （i，j）為與種子點相鄰的像素。判定它屬于前景區域的準則如式 （2）所示。（i，j）為前景點的條件不僅僅是該點與種子點亮度差值小于閾值T2，而且根據針對的視頻場景，本文認為只要像素點的深度值變化值在一定范圍內，就認為是前景點。所以設定了（i，j）的深度值要在（ft（pk）－T2，ft（pk）＋T2）范圍內。本文改進的自動種子區域生成算法，不但取消人工交互的過程，在降低了計算復雜度的同時，也避免了與前景顏色接近的背景而造成的摳像錯誤，最終得到粗前景掩膜。

1.3 三分圖

考慮到分割誤差、深度圖包含有噪聲以及自身精度的影響，前景邊緣區域、前景和背景重合區域不能得到較好的處理。因此，對上述區域再處理，以得到一個包含前景、背景和未知區域的大致三分圖。圖2 （b）、圖2 （c）是步驟3和步驟5所得結果。具體步驟如下：

步驟1 利用形態學操作對上一步操作得到的粗前景掩膜進行膨脹處理，前景邊緣向外擴張，以便它能包括前景的所有邊緣；

步驟2 使用Canny算子對擴大的前景掩膜提取邊緣；

步驟3 由于前一步驟中提取的邊緣有可能存在不連續，對邊緣使用膨脹操作；

步驟4 將經過以上處理的前景掩膜和ROI區域進行邏輯與操作，去除掉背景區域的雜點；

步驟5 對前一步的結果進行兩次腐蝕操作，3次膨脹操作，這樣就得到了視頻幀的三分圖。

1.4 精前景掩膜

三分圖中確定最精確的前景背景區域，擴大未知區域的范圍。由于前景區域的透明度a 值為1，背景區域為0。剩余部分即為三分圖的未知區域。以往的摳像算法，通過前景和背景再重建來求解未知區域的a 值，計算量巨大。為了提高視頻摳像效率，文獻 ［7］采用了基于RGB 顏色空間的Shared Matting算法來完成未知像素的求解。它通過相鄰像素間共享候選樣點的方式來減少計算量。在計算最優前景和背景樣本點對時，從每個像素出發，沿4條射線向外尋找，擴大采集范圍，避免陷入局部最優。并且進行了平滑處理消除噪聲干擾，獲得較好的摳像結果。

本文對Shared Matting算法進行改進，在算法的區域擴張階段，在與人類視覺一致的Lab顏色空間［6］中計算未知區域鄰近像素的顏色相似性，進一步糾正粗三分圖中未知像素點，提高了后續采樣的效率，得到更好的摳像結果。采用Rhemann測試數據庫［13］中的圖像，Lab與RGB 顏色空間區域擴張個數和處理時間對比結果見表1。經過擴張后，統計圖像中未知像素點的數量和擴張的處理時間，Lab顏色空間分別比RGB空間在像素個數上平均少約2%，在處理速度上快2.6%。圖2 （d）是本文采用基于Lab顏色空間的Shared Matting算法得到的視頻幀的精前景掩膜。

表1 Lab和RGB顏色空間處理對比

1.5 視頻摳像的一致性

視頻中序列圖像，都會輸出相應前景掩模并做標記。由于視頻中前后幀之間有較強的相關性，掩膜信息在連續幀間傳遞，這樣有助于檢查視頻連續幀前景掩膜信息一致性，有利于改進的視頻摳像的整體性能和魯棒性。例如，視頻場景中的運動目標速度很慢，此時可能會檢測不到ROI，這樣粗前景區域提取時就沒有可靠的種子點，從而獲得不了三分圖。或者視頻場景中背景有和前景不相關的快速移動的物體。針對第一種情況，本文可以利用前一幀的前景掩膜信息區處理當前幀。對于第二種情況，利用深度信息的變化范圍以及前后幀的相關性來判斷摳像結果。

2 實驗及分析

為了驗證本文算法的性能。本文算法和同樣利用深度和顏色信息的文獻 ［5］算法，分別從摳像效果、摳像準確率和摳像時間3個方面進行比較分析。實驗平臺配置是CPU為Intel CoreⅡ雙核處理器、主頻2.0GHz和RAM 2.0GB。以matlab7.0為開發環境，使用文獻 ［14］中 “Professor”，文獻［15］中“Bellat”的測試集和自選3組Kinect視頻。

從圖3 （b）顯示的摳像效果來看，當前景和背景顏色相近時 （“Professor”膚色、領帶和背景顏色接近），文獻［5］算法發生了部分圖像缺失或者冗余。而本文結合顏色信息和深度信息，當前景和背景相似時，有前景區域的深度信息設定在一定范圍內的輔助判斷，能較好地解決上述問題，如圖3 （c）所示。當視頻場景比較復雜，人們往往對場景中運動目標比較感興趣。例如，一個人在跳舞而另一個人保持不動 （如圖4所示）。本文算法使用顏色信息，并且結合運動信息和深度信息，只是摳出顯著運動的目標，而文獻［5］是把兩者都摳出 （長條方框中為不動目標）。在摳像細節方面，從圖3連續三幀圖像的摳像結果中可以看到，本文算法處理的結果明顯優于文獻［5］。

為了驗證視頻摳像結果的準確率，本文對視頻摳像質量進行了定量的比較。即用查準率 （P）和查全率 （R）作為評價的準則，對標準圖像的分割結果和正確分割結果進行比較。其中，查準率表示當前摳像結果中準確部分所占的比例，查全率表示當前摳像結果中準確部分在正確分割結果中所占的比例。它們分別定義為

式中：Z（x，y）——正確的摳像結果，B（x，y）——摳像后得到的二值圖像。比較結果如圖5所示，由圖中可見，本文算法的摳像效果較好，平均查準率和查全率均優于文獻［5］算法。

圖3 “Professor”第12、13和14幀摳像效果的比較

圖4 “Bellat”第83幀摳像效果

圖5 查準率p和查全率R 對比

本文算法的運行時間由自動提取ROI時間、粗前景掩膜提取時間、生成三分圖時間和視頻幀精摳像時間組成。文獻 ［5］算法需要用戶標記，多次交互才能完成最后的摳像，而本文算法是使用自動提取出視頻幀中的ROI，大大節約了時間。兩種摳像時間比較見表2，本文算法比文獻［5］算法速度平均提高11倍。可以達到實時摳像效果。

表2 Kinect視頻集上本文算法和文獻 ［5］算法的時間比較/ （S/frame）

3 結束語

結合運動、深度和顏色信息，提出了一種基于Kinect的自動視頻摳像算法。該算法對傳統的視頻摳像算法從4個方面進行了改進。針對摳像算法中人工交互頻繁，摳像精度，計算速度等問題，利用改進的三幀間差分法自動檢測到視頻中的ROI；再結合深度圖信息改進自動種子增長區域算法，估算出粗前景掩膜；通過數學形態操作和邏輯操作生成粗三分圖；采用改進了的Shared Matting 算法，得到精確的視頻幀摳像效果。實驗結果表明，該算法精度高、速度快。對于大多數具有顯著前景目標的視頻得到較好的摳像效果。

［1］ZHANG Zhanpeng，ZHU Qingsong，XIE Yaoqin.The latest research progress on digital matting ［J］.ACTA Automatica Sinica，2012，38 （10）：1571－1578 （in Chinese）. ［張展鵬，朱青松，謝耀欽.數字摳像的最新研究進展 ［J］.自動化學報，2012，38 （10）：1571－1578.］

［2］Zhu J，Liao M，Yang R，et al.Joint depth and alpha matte optimization via fusion of stereo and time－of－flight sensor［C］//Proc of CVPR.Miami，USA：IEEE Press，2009：453－460.

［3］Levin A，Lischinski D，Weiss Y.A closed form solution to natural image matting ［C］//Proc of CVPR.Minneapolis，USA：IEEE Press，2007：228－242.

［4］Cigla C，Alatan A A.Segmentation in multi－view video via color，depth and motion cues［C］//Proc of the 15th IEEE International Conference on Image Processing，2008：2724－2727.

［5］Kim S Y，Cho JH A Koschan，Abidi M A.Spatial and temporal enhancement of depth images captured by a time－of－flight depth sensor ［C］//Proceedings of 20th International Conference on Pattern Recognition，2010：2358－2361.

［6］D’Angelo A，Dugelay J.A statistical approach to culture colors distribution in video sensors［C］//5th Int Workshop on VPQM，2010：13－15.

［7］Gastal E S L，Oliveira M M.Shared sampling for real－time alpha matting ［J］.Computer Graphics Forum，2010，29 （2）：575－584.

［8］Steven Yantis.To see is to attend［J］.Science，2011，29：54－55.

［9］WANG Xin，WANG Bin，ZHANG Liming.Airport detection based on salient areas in remote sensing images［J］.Journal of Computer－Aided Design ＆Computer Graphics，2012，24 （3）：336－344 （in Chinese）.［王鑫，王斌，張立明.基于圖像顯著性區域的遙感圖像機場檢測 ［J］.計算機輔助設計與圖形學學報，2012，24 （3）：336－344.］

［10］Achanta R，Estrada F，Wils P，et al.Salient region detection and segmentation ［C］//Proceedings of International Conference on Computer Vision Systems，2008：66－75.

［11］Achanta R，Hemami S，Estrada F，et al.Frequency－tuned salient region detection ［C］//Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition，2009：1597－1604.

［12］ZHANG Qiaorong，JING Li，XIAO Huimin，et al.Image segamentation based on visual saliency ［J］.Journal of Image and Graphics，2011，16 （5）：767－773 （in Chinese）. ［張巧榮，景麗，肖會敏，等.利用視覺顯著性的圖像分割方法［J］.中國圖象圖形學報，2011，16 （5）：767－773.］

［13］Rhemann C，Rother C，Wang J，et al.Alpha matting evaluation website［DB/OL］.［2012－03－16］.http：//www.alphamatting.com.

［14］Mobile 3DTV research，video plus depth ［DB/OL］. ［2011－03－16］.http：//sp.cs.tut.fi/mobile3dtv/video－plus－depth.

［15］MSR video Sequences［DB/OL］.［2014－03－06］.http：//research.microsoft.com/en－us/um/people/sbkang/3dvideodownload.