雪景視頻中雪花的自動摳取算法研究

包艷霞

（安徽工業(yè)職業(yè)技術(shù)學院，安徽 銅陵 244000）

雪景視頻中雪花的自動摳取算法研究

包艷霞

（安徽工業(yè)職業(yè)技術(shù)學院，安徽 銅陵 244000）

摳圖是圖像視頻處理的一項重要技術(shù)，在自然現(xiàn)象的圖案中有著廣泛的應(yīng)用。文章針對雪花的特征，使用特定的軟摳取算法對雪花進行精確提取，以實現(xiàn)虛擬環(huán)境中的飛雪運動的場景。

視頻；軟摳取；形狀濾波器

一、相關(guān)工作

當前有不少論文研究如何用計算機視覺技術(shù)對自然界的氣候信息進行圖像加工，例如：Li Shen[1]等人討論了如何用視覺技術(shù)作天氣預(yù)報，Kshitiz Garg等人在[2]研究了如何在雨景中探測雨滴的方法，他們使用時間過濾器，將快速移動的雨滴和慢速移動的其它物體運動區(qū)分開，然后進行雨滴消除，他們的算法能消除視頻中的雨滴。

Kshitiz Garg的方法只能適用雨滴，并不適用雪景，在此我們受到Paul Viola的啟發(fā)，Paul Viola等人在[3]中提出了一個快速檢測人臉的算法，其原理是設(shè)計一系列弱分類器，并用一系列弱分類器組成成強分類器，并最終實現(xiàn)檢測算法。我們也借鑒這種算法，使用一系列弱形狀分類器去識別雪花，我們使用飽和度濾波器，顏色濾波器，時間過濾器，差分濾波器識別雪花，并最終將這一系列過濾器組合成一個強分類器去識別運動中的雪花。

霧，雪，雨，其本質(zhì)上都是半透明的，霧本身是細小的水滴，能折射光線，是半透明的，而雪雨的特點在于高速運動中產(chǎn)生運動模糊，因此也半透明的，在對這些半透明物體進行摳取時，往往使用matting算法，Kaiming He等人在[4]中提出了一個從圖像中移除霧的算法，這個算法是基于alpha matting，在此，我們也使用這種技術(shù)進行摳取。Hai liu等人在[5]中提出了一個增強的軟摳取算法，但這個算法需要用戶指定前景和背景區(qū)域，我們根據(jù)雪花的一系列特征，對雪花進行自動識別，我們的創(chuàng)新性在于：根據(jù)雪景的特點，構(gòu)造出了在已知前景下的閉形式矩陣，這樣就能更好的進行雪景的摳取。我們的方法能很好的適應(yīng)雪景的要求，實驗也證明了我們算法的有效性。

二、在視頻中檢測雪花

雪粒子在高速運動中會形成運動模糊，對于一個給定的像素Ii，當雪花經(jīng)過像素時，參與像素Ii曝光的能量中，不僅有雪花，還來自背景光的能量，我們假設(shè)對雪粒子和背景的曝光時間分別為tsnow和tbackground，那么像素Ii可以用如下方式表示：

在式1中，Isnow是雪的實際顏色，一般來說是白色，Ibackground是背景色，α是運動中雪花的透明度，從公式中可以看出，實質(zhì)上雪花的運動模糊降低了背景的飽和度，由于雪花中心的地帶，對雪的曝光時間比較長，而對背景的曝光時間少，在雪花的邊緣地帶，對背景的曝光時間長，對雪的曝光時間比較少，因此，在雪花中，像素的飽和度在雪花中心地帶比較低，而在邊緣地帶比較高。

我們根據(jù)雪花的一系列特征，Isat是雪的飽和度，Iw是像素距離純白色的距離，Idiffsat是飽和度的差分來區(qū)別雪花。

I_sat是指像素的飽和度，飽和度越高，就越接近白色，所以越可能是雪花，同時雪花不同于其它物體的特點在于，雪花的飽和度是變化的，在中心地帶高邊緣低，所以我們可以用飽和度的差分I_diffsat來作雪花的特征，I_w則反映了像素顏色和純白色的距離，顯然，越接近純白色，越有可能是雪花。

在時間域上，我們使用相鄰幀中的同一位置的顏色變化去反應(yīng)特征，由于雪花是運動的，所以我們可以根據(jù)雪花在不同幀上同一位置的飽和度變化作為特征，由于雪花是高速運動的，所以在時間域上，飽和度會有很大變化，而對于慢速移動的物體來說，變化就不大。

對于于這四個特征，我們定義了四個形狀濾波器去識別雪粒子，飽和度形狀濾波器、微分形狀濾波器，顏色濾波器。飽和度濾波器和微分濾波器,飽和度濾波器如下圖所示：

圖1 ：飽和度形狀濾波器

在飽和度濾波器中，白色的長方形特征的響應(yīng)是正的，而黑色的長方形特征響應(yīng)是負的。當飽和度濾波器對應(yīng)的中心地帶飽和度高，而邊緣地帶飽和度低時，飽和度濾波器響應(yīng)較高的值差分濾波器計算差分特征。白色濾波器計算特征Iw。

我們使用四個弱分類器以對圖像中的像素進行分類,每個弱分類器對應(yīng)于一個形狀濾波器.對應(yīng)于像素n的弱分類器稱之為，δ（）是一個0-1指示函數(shù)，則是第i個形狀濾波器的響應(yīng)。僅當所有濾波器反饋正值時，一個像素才被識別為雪花。

三、雪花的抽取

由于軟摳取算法需要定義三分圖，也就是已知前景區(qū)域、已知背景區(qū)域、未知區(qū)域，所以在每幀中，我們將定義的前景區(qū)域定義為上節(jié)算法中探測到雪景區(qū)域，然后用以下規(guī)則定義背景區(qū)域：

根據(jù)已知的前背區(qū)域和背景區(qū)域，我們可能用雪花用alpha matting[6][7]技術(shù)抽取出來。

我們找出當前檢測出的雪花區(qū)域中最亮的一種顏色當做當前雪的真實顏色，于是我們可以用最大信任度去估計像素的值。

不同于單張圖像中的matting算法[7]，我們的算法中，前景的顏色是固定的，一般是純白色，那么[7]中定義的前背景的信任度距離R（dFi，B）jR（dFi，B）j及權(quán)重w（Fi，B）j，可以被簡化為如下公式:

L是軟摳取矩陣，Levin的閉形式摳取矩陣過于復雜，在此，我們對軟摳取矩陣作出簡化。

因此模仿[8][5]，我們可以假定1－α可以在每個像素對應(yīng)的小鄰域內(nèi)滿足線性關(guān)系，那么，最終的軟摳取問題，可以化簡為以下的能量最小化問題：

將式（9）代入（8）式，并擴展到RGB空間中，得到最終全局優(yōu)化的結(jié)果如下：

在（i,j）行對應(yīng)的軟摳取矩陣的元素為

在上式中，Σk是一個3*3系數(shù)矩陣，ε是一個3*1向量，E是一個3*3全1矩陣，Dj對應(yīng)于顏色I-F的三通道向量。

于是我們可以通過公式求出θ＝1－α的信息，然后再求出α透明度。

當背景不隨時間而變化時，算法可以被進一步簡化，由于雪花的運動模糊降低了背景的飽和度，所以當背景是不變時，假定同一像素j在各幀中可以表示為一系列數(shù)組，。那么最大飽和度的像素可以認為是背景.這樣我們可以將背景用時間濾器[4]求解并表示如下:

在已知背景后，由于已知前景，所以alpha值可以輕松求取，這樣就極大的提高了求取的速度。

以下是一些摳取結(jié)果：

圖2 ：雪花的軟摳取結(jié)果

［1］Li Shen,Ping Tan,Photometric Stereo and Weather Estimation Using Internet Images,IEEE Conference on Computer Vision and Patten Recognition(CVPR)[R].Florida,US,Jun.2009.

［2］K.Garg and S.K.Nayar.Detection and removal of rain from videos[R].In Computer Vision and PatternRecognition,2004.CVPR 2004.Proceedings of the 2004 IEEE Computer Society Conference on,volume1,pages I–528–I–535 Vol.1,June-2 July 2004.

［3］Paul Viola and Michael Jones.Rapid object detection using a boosted cascade of simple features[R].InComputer Vision and Pattern Recognition,pages 511–518,2001.

［4］Kaiming He,Jian Sun,and Xiaoou Tang.Single image haze removal using dark channel prior[R].ComputerVision and Pattern Recognition,IEEE Computer Society Conference on,0:1956–1963,2009.

［5］Hai Liu,Lizhuang Ma,Xuan Cai,Zhihua Chen,and Yang Shen.A closed-form solution to video mattingof natural snow[J].Inf.Process.Lett.,109(18):1097–1104,2009.

［6］Christoph Rhemann,Carsten Rother,and Margrit Gelautz[R].Improving color modeling for alpha matting.In BMVC,2008.

［7］JueWangand M.F.Cohen.Optimized color sampling for robustmatting[R].In Computer Vision andPattern Recognition,2007.CVPR’07.IEEEConferenceon,pages1–8,2007.

［8］A.Levin,D.Lischinski,and Y.Weiss.A closed form solution to natural image matting[R].In IEEEComputer Society Conference on Computer Vision and Pattern Recognition.IEEE Computer Society,June 2006.

TP391.41

A

1672-0547（2010）03-0071-02

2010-04-25

包艷霞（1980-），女，安徽工業(yè)職業(yè)技術(shù)學院教師，碩士研究生。