視頻序列中的一種微動目標提取與背景替換算法

安世全 文倩云 孟 琦

(重慶郵電大學計算機科學與技術(shù)學院 重慶 400065)

?

視頻序列中的一種微動目標提取與背景替換算法

安世全 文倩云 孟 琦

(重慶郵電大學計算機科學與技術(shù)學院 重慶 400065)

為了實現(xiàn)視頻圖像中微動目標的背景替換，需要解決微動目標準確提取這一難題。首先利用Adaboost分類器訓練膚色樣本庫，獲得膚色與非膚色數(shù)據(jù)，并確定膚色的閾值范圍，得到膚色檢測二值圖；然后將膚色檢測二值圖和Otsu分割的微動目標二值圖融合得到微動目標序列圖像的粗二值圖；經(jīng)過形態(tài)學、孔洞填充等處理過程得到完整的二值圖模板，最后完成視頻圖像的背景替換。仿真實驗表明，所提出的算法可以較好地分割出微動目標并實現(xiàn)背景替換。

Otsu Adaboost分類器 膚色閾值 形態(tài)學 背景替換

0 引 言

隨著4G網(wǎng)絡的普及，憑借座席系統(tǒng)支撐的某些客服服務，越來越希望能夠通過視頻給客戶提供解說業(yè)務或業(yè)務推銷等更加人性化和可信的服務。通過把原始視頻的背景替換，不僅可以保護客服人員的工作環(huán)境及其隱私，還實現(xiàn)了視頻圖像背景的有效利用，增加了客服服務的可信度。因為視頻圖像中的前景較大，且沒有明顯的變化，故背景替換的主要問題演變成如何把微動目標實時從背景中準確地分割出來。原始視頻圖像經(jīng)過圖像分割[1]、形態(tài)學處理、背景替換等技術(shù)可實現(xiàn)視頻序列圖像的微動目標分割、背景替換。

在利用Otsu得到前景、背景的分割閾值獲得視頻圖像微動目標二值圖的基礎(chǔ)上，為了解決微動目標膚色與背景顏色相似這一問題，本文提出結(jié)合Adaboost模型訓練HSV空間下的膚色樣本[2,3]，得到強分類器，確定膚色閾值范圍，獲取膚色檢測的二值圖；然后將兩幅二值圖融合得到微動目標粗二值圖，使用形態(tài)學處理去除噪聲，孔洞填充[4]等預處理得到完整的微動目標二值圖，最后用需要的視頻圖像替換原始視頻圖像背景，得到合成的視頻圖像，具體算法流程如圖1所示。

圖1 算法流程

1 閾值選取

微動目標在視頻圖像中變化不大，圖2中(a)、(b)、(c)是視頻圖像中的三類微動目標。由于微動目標幾乎不動，所以背景相減法、幀差法、Codebook模型、混合Guassian模型[5]等傳統(tǒng)方法很難將實時場景中的微動目標從視頻圖像中準確地分割出來。并且如前景與背景顏色相近、光照、噪聲、陰影等，極其容易造成微動目標的誤分割。

圖2 微動目標

如前景與背景顏色相近、光照、噪聲、陰影等，極其容易造成微動目標的誤分割。

1.1 Otsu法閾值選取

1979年日本學者大津(Otsu)提出的Otsu法是一種廣為應用的閾值選取方法[6]，但該方法只考慮了像素點的灰度信息。根據(jù)圖像的一維直方圖，把圖像分為前景、背景兩部分。對于圖像f(x,y)，前景和背景的最大類間方差作為分割閾值，記作T。若f(x,y)

1.2 二維Otsu法閾值選取

二維Otsu法，利用原圖像與其鄰域平滑圖像構(gòu)建二維直方圖。設(shè)圖像f(x,y),1≤x≤M,1≤y≤N，灰度級為L，其鄰域平滑圖像g(x,y)，可以從每個像素點計算其n×n鄰域的平均灰度值，其灰度級也為L。由此，構(gòu)建圖像二維直方圖。同時，增加了計算的復雜性，也限制了二維Otsu法的使用。

1.3 膚色檢測閾值選取

1995年Freund等人提出的Adaboost算法是一種迭代算法[7]，可以避免不必要的訓練數(shù)據(jù)，而把重心放在關(guān)鍵的數(shù)據(jù)集上。Adaboost算法通過訓練篩選出分類能力一般的弱分類器，然后使用加權(quán)方式把篩選后的分類器進行疊加，構(gòu)成分類能力強的強分類器。

膚色是人臉顯著特征之一。HSV[8]空間具有對亮度分量分開處理的特性，可以避免亮度帶來的影響，故本文使用Adaboost算法對HSV空間的膚色樣本庫訓練，得到膚色的閾值范圍[9,10]。得到膚色區(qū)域檢測二值圖如圖3所示，膚色檢測算法流程如圖4所示。

圖3 膚色區(qū)域檢測二值圖

圖4 膚色檢測算法流程

1.4 K-means聚類結(jié)合膚色檢測

瞿中等人提出了K-means聚類與膚色檢測相結(jié)合的微動目標檢測分割算法[11]，用K-means聚類分別對屬于前景、背景的像素點進行分類。當選好背景類之后，找到背景點從而得到K-means聚類算法分類后的類別標識值，根據(jù)此標識值把背景區(qū)域用黑色像素點填充，非背景區(qū)域用白色像素點填充，最終獲得微動目標二值圖。由于K-means算法是迭代的聚類算法，因此分割處理運行時間相對較長。

2 微動目標分割

使用Otsu提取微動目標時，由于微動目標的膚色和背景顏色相近，會出現(xiàn)誤分割，如圖5所示將人臉、手等部位誤檢為背景。為了解決Otsu的弊端，本文將Otsu的一維直方圖升到二維直方圖，得到二維Otsu，但是視頻圖像處理的運行時間也隨之成倍增長，而且大部分序列圖像經(jīng)過形態(tài)學、孔洞填充等處理后，仍不能獲得完整的二值圖模板，如圖6所示。K-means聚類與膚色檢測相結(jié)合的微動目標檢測分割算法雖然可以完整提取微動目標，但是犧牲了系統(tǒng)的實時性。本文將Otsu閾值分割得到二值圖和膚色閾值分割得到二值圖相融合，不僅解決了微動目標膚色和背景顏色相似的問題，獲取了完整二值圖，還得到了較前兩種微動目標提取方法實時性好的算法。

圖5 Otsu分割二值圖

圖6 二維Otsu分割二值圖

本文算法主要分為微動目標預分割、微動目標粗分割和微動目標二值圖預處理及背景替換三大模塊。

具體的算法步驟如下：

(1) 輸入待替換背景的視頻圖像。

(2) 利用Otsu法計算前景、背景的最大類間方差，獲得閾值T，若圖像f(x,y)

(3) 建立膚色樣本庫，手動分割膚色，并將獲得的膚色和非膚色數(shù)據(jù)由RGB空間轉(zhuǎn)換到HSV空間，通過Adaboost算法模型對膚色這一特征進行提取、分類，并確定膚色分割閾值的范圍，進而得到視頻圖像中微動目標膚色檢測二值圖。

(4) 結(jié)合步驟(2)、(3)判斷，若fe(x,y)為白色像素點，或ff(x,y)為白色像素點，則fn(x,y)用白色像素點標記，如式(1)可獲得微動目標粗分割的二值圖。

(1)

其中，fe(x,y)是通過Otsu法獲得的微動目標二值圖，ff(x,y)是通過膚色閾值檢測所獲得的二值圖,fn(x,y)是合成的微動目標粗二值圖。

(5) 通過步驟(4)獲得的微動目標粗二值圖經(jīng)過形態(tài)學處理、孔洞填充等預處理過程獲得微動目標完整的視頻圖像二值圖，并最終確定微動目標二值模板。

(6) 利用二值圖模板的黑白信息分別獲取替換背景視頻圖像和原始視頻圖像的信息，并對兩者顏色信息進行融合，最終得到背景替換視頻圖像，如式(2)。

(2)

其中，f(x,y)是原始視頻圖像，是替換背景視頻圖像，ft(x,y)是背景替換后合成的新視頻圖像。

2.1 微動目標預分割

本文分別用Otsu法和膚色檢測將待分割視頻圖像預分割，分別獲取到視頻圖像中微動目標二值圖和視頻圖像中膚色檢測二值圖，如圖7中的(a)、(b)所示。

圖7 微動目標預分割二值圖

2.2 微動目標粗分割和預處理

通過微動目標預分割，結(jié)合式(1)，得到視頻圖像的微動目標二值圖，因為這樣的二值圖存在一些噪聲和空洞，如圖8所示，故稱為粗二值圖。粗二值圖像依舊影響圖像中微動目標二值圖的完整性。因此需用形態(tài)學處理和孔洞填充進一步完善微動目標二值圖。

圖8 微動目標粗二值圖

具體的孔洞填充算法步驟：

(1) 將微動目標粗二值圖進行形態(tài)學處理。

(2) 遍歷當前圖像，查找二值圖模板的所有輪廓，獲取輪廓邊界的序列或數(shù)組。

(3) 通過步驟(2)所查找的輪廓，獲取其感興趣輪廓部分的起始點，計算表示輪廓部分和起始點連線所構(gòu)成的封閉部分的面積，記為Area。

(4) 若封閉面積Area

(5) 若封閉面積Area≥Area-T，則進入下一個輪廓面積的計算，并且重復步驟(3)。

其中，Area-T是孔洞面積閾值，通過部分幀的圖像輪廓面積獲得最大Area，定義為Area-T。對圖8執(zhí)行這一步驟，便得到完整的微動目標二值圖，如圖9所示。

圖9 微動目標人物模板

(6) 遍歷結(jié)束。

2.3 背景替換

在獲得的微動目標人物二值圖模板中，白色像素點和黑色像素點分別表示視頻圖像前景、背景。將白色區(qū)域?qū)脑家曨l圖像與黑色區(qū)域?qū)拇鎿Q背景視頻圖像合成，便完成了背景替換，如圖10所示。

圖10 背景替換

3 仿真實驗結(jié)果及分析

本文實驗視頻是在自然狀態(tài)下采集。圖11是三種算法對視頻圖像隨機抽取的17幀(第180幀、第200幀，…，第500幀)對微動目標分割處理運行時間的比較。縱軸為微動目標分割處理運行時間，單位ms，橫軸是隨機抽取的幀數(shù)。其中算法1是二維Otsu，算法2是K-means結(jié)合膚色檢測，算法3是本文算法。由圖11知，本文算法運行處理時間快于K-means結(jié)合膚色檢測算法，并且快于二維Otsu算法十幾倍。

圖11 三種算法分割處理運行時間比較

表1是二維Otsu、K-means結(jié)合膚色檢測、本文算法、專業(yè)人士繪畫得到的微動目標序列圖像二值圖白色像素點的統(tǒng)計個數(shù)。根據(jù)表1像素點的統(tǒng)計個數(shù)，可依次獲得三種算法對微動目標提取的準確率，如圖12所示。分別用二維Otsu的準確率P、K-means結(jié)合膚色檢測的準確率Q和本文算法的準確率R量化評估本文算法。P、Q、R分別定義為：

(3)

其中，Ne是二維Otsu微動目標白色像素點的統(tǒng)計個數(shù), Nk是K-means結(jié)合膚色檢測微動目標白色像素點的統(tǒng)計個數(shù)，Nr是本文算法微動目標白色像素點的統(tǒng)計個數(shù),Nt是通過專業(yè)人員提取的微動目標白色像素點的統(tǒng)計個數(shù)。隨機抽取實驗視頻圖像中的17幀(幀號Num：180，200，…，500)進行計算，其結(jié)果如表1所示。

表1 三種微動目標提取完整性量化分析

從表1的三種微動目標提取完整性量化分析表可獲知三種算法提取像素點平均依次為5428、5851、5996，最接近完整的微動目標6123。

圖12是根據(jù)式(3)計算得到二維Otsu、K-means結(jié)合膚色檢測算法以及本文算法的P、Q、R值的折線圖，可更直觀地看到本文所提算法的準確率較高。實驗結(jié)果證明，本文算法在實時提取微動目標過程中具有更高的準確率。

圖12 三種算法提取微動目標準確率比較

4 結(jié) 語

本文采用Otsu與膚色檢測相結(jié)合的方法，解決了膚色與背景顏色相近的問題。通過實驗驗證，本文算法不僅有效地獲取了微動目標的二值圖，還可以以較高的準確率提取微動目標，并最終較好地完成了微動目標的背景替換。下一步工作研究復雜背景替換。

[1] Liu S,Gao D,Yin F.Infrared image segmentation method based on 2D histogram shape modification and optimal objective function[J].Journal of Systems Engineering and Electronics,2013,24(3):528-536.

[2] Luo G,Yang S,Tian G,et al.Learning Human Actions by Combining Global Dynamics and Local Appearance[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2014,36(36):2466-2482.

[3] 瞿中,張亢,喬高元.MB-LBP特征提取和粒子濾波相結(jié)合的運動目標檢測與跟蹤算法研究[J].計算機科學,2013,40(8):304-307.

[4] Lin S,Ruimin H,Rui Z.Depth similarity enhanced image summarization algorithm for hole-filling in depth image-based rendering[J].Communications,China,2014,11(11):60-68.

[5] 吳桐,王玲.基于幀差分塊的混合高斯背景模型[J].計算機工程與應用,2014,50(23):176-180.

[6] Otsu N.A threshold selection method from gray-level histogram[J].IEEE Trans.System. Man and Cyhernetics,1979,9(1):62-66.

[7] Li Z,Wang W,Liu X,et al.An efficient multi-threshold AdaBoost approach to detecting faces in images[J].Multimedia Tools and Applications,2015,74(3):885-901.

[8] 任磊,賴惠成,陳欽政,等.基于改進K均值聚類與HSV模型的棉花分割算法[J].計算機工程與設(shè)計,2013,34(5):1772-1776.

[9] Chatrath J,Gupta P,Ahuja P,et al.Real time human face detection and tracking[C]//International Conference on Signal Processing and Integrated Networks.IEEE,2014:705-710.

[10] Lee Y H,Kim B,Kim Y.AAM-based emotion recognition using variance of facial feature points on mobile video stream[J].Computer Systems Science and Engineering,2014,29(6):423-428.

[11] 瞿中,馬慶偉,張慶慶.多線程下的視頻微動目標檢測與提取算法研究[J].計算機科學,2012,39(4):265-268.

AN ALGORITHM OF MICRO MOVING TARGET EXTRACTION AND BACKGROUND REPLACEMENT IN VIDEO SEQUENCES

An Shiquan Wen Qianyun Meng Qi

(CollegeofComputerScienceandTechnology,ChongqingUniversityofPostsandTelecommunications,Chongqing400065,China)

In order to realise the background replacement of micro moving targets in video images, there has the need to solve the problem of accurate micro moving targets extraction. In the paper we first use Adaboost classifier to train skin colour sample database to obtain the data of skin colour and non-skin colour, and determine the threshold range of skin colour, as well as get the binary image of skin colour detection. Then we fuse the binary images of skin colour detection and the binary images of micro moving targets segmented by Otsu to get the rough binary image of image sequence of micro moving targets. After that, we obtain the complete binary image templates through the treatment processes of morphology and holes filling, and at last accomplish the background replacement of video image. Simulation experiments show that the proposed algorithm can well segment the micro moving targets and realise background replacement.

Otsu Adaboost classifier Threshold of skin colour Morphology Background replacement

2015-09-08。重慶市教委科學技術(shù)研究項目(KJ140 2001)；重慶市科委基礎(chǔ)與前沿項目(cstc2014jcyjA1347)；重慶市高校優(yōu)秀成果轉(zhuǎn)化項目(KJZH14219)。安世全，教授，主研領(lǐng)域：數(shù)字圖像處理，信息與計算理論。文倩云，碩士生。孟琦，碩士生。

TP391.41

A

10.3969/j.issn.1000-386x.2016.11.026