基于膚色模型和背景差分的手指區(qū)域分割方法

基于膚色模型和背景差分的手指區(qū)域分割方法

陳俊彥a，王勇a，張紅梅b，李鵬飛b

(桂林電子科技大學 a.CSIP廣西平臺；b.信息與通信學院，廣西 桂林 541004)

摘要：為了提高基于計算機視覺的人機交互系統(tǒng)中觸控手指區(qū)域分割的性能和精度，提出了一種基于膚色模型和背景差分的手指區(qū)域分割方法。首先，根據(jù)膚色的聚類特征，在YCbCr色彩空間上建立膚色模型，對手指區(qū)域進行膚色分割；隨后加入自適應更新的背景差分法摒除圖像中光照度和背景顏色的干擾。實驗結(jié)果證明:該算法在復雜背景下分割手指區(qū)域具有較高的準確性和實時性，能應用在嵌入式環(huán)境中。

關鍵詞：YCbCr；膚色模型；背景差分

基金項目：國家科技支撐計劃基金項目(2012BAH18F00)

作者簡介：陳俊彥(1985-),男,廣西梧州人,助教,碩士,主要研究方向為圖像處理、嵌入式系統(tǒng).

收稿日期：2014-05-13

文章編號：1672-6871(2015)01-0039-04

中圖分類號：TP391.41

文獻標志碼：A

0引言

基于計算機視覺的觸摸屏技術(shù)作為一種理想的人機交互模式，已經(jīng)成為當前人機交互研究的熱點。在早期的一些計算機視覺人機交互系統(tǒng)中，需對背景或人手做出種種限制才能實現(xiàn)[1-2]。隨著發(fā)展更自然的交互系統(tǒng)的需要，限制各種觸摸條件的計算機視覺人機交互系統(tǒng)已經(jīng)不再適用，人們需要在復雜的背景下使用手指進行自然的人機交互[3-4]。其中，觸控手指區(qū)域的有效分割是實現(xiàn)該技術(shù)的關鍵，分割效果將直接影響指尖提取的準確率。文獻[5]采用背景差分的方法分割動態(tài)前景的人手區(qū)域，這種方法雖然能非常好地檢測出靜止背景中的人手信息，但對于復雜背景中的人手檢測就顯得無能為力了；文獻[6]在高速數(shù)字信號處理器(DSP)設備上對人手進行基于膚色模型的人手分割，該方法實時性好，運算開銷低，但檢測效果會受到背景顏色和照明因素的影響，分割效果不好；文獻[7]采用一種閾值結(jié)合混合多高斯的背景差分算法得到人手的區(qū)域，該方法能有效實現(xiàn)手指區(qū)域分割，但需要耗費大量計算，并不適用于計算能力較差的嵌入式環(huán)境，應用環(huán)境局限較大；文獻[8]針對圖片不同光照環(huán)境采用不同的膚色分割方法，并提出一種基于類間方差和類內(nèi)離散度相結(jié)合的動態(tài)閾值方法來確定分割閾值，該方法可有效降低光照環(huán)境對膚色檢測的影響，但無法分割膚色較相近的背景顏色。

針對上述問題，本文提出一種能應用在嵌入式環(huán)境的手指區(qū)域分割方法。首先，根據(jù)膚色的聚類特征，建立合適的手指區(qū)域膚色模型；隨后，采用背景差分法對前景的手指區(qū)域進行粗略提取，去除背景中與膚色相近顏色的干擾；最后使用膚色分割法對手指區(qū)域進一步分割。實驗結(jié)果證明：該方法可在復雜背景下實現(xiàn)手指區(qū)域的有效分割，實時性好，能應用在嵌入式環(huán)境中。

1膚色建模

如何將視頻或圖片中包含的人體相關信息提取出來，一直是機器視覺識別課題中的難題。文獻[9]在實驗中證明：除了白化病人膚色比較特殊外，所有人都有相同的色度，出現(xiàn)膚色差異只是因為膚色飽和度不同。同時，圖像中膚色還會受亮度信號影響。因此，根據(jù)膚色的聚類特征，建立合適的膚色模型，能夠理想地將人手區(qū)域從背景中分割出來。同時，膚色在各個色彩空間中的分布特征區(qū)別較大，選擇不同的色彩空間將對膚色建模有著顯著的影響，因此，選取合適的色彩空間進行建模是人手區(qū)域分割的關鍵。

膚色建模常用的色彩空間有RGB空間[10]、HSV空間[6,11-12]和YCbCr空間[13-14]。為了考查膚色在常用色彩空間(RGB、HSV和YCbCr)下的分布特征，本文選取了2 000張?zhí)幱诓煌庹障?、尺寸?0×30像素的人手膚色圖像，共計約1 800 000個人手膚色像素點進行實驗測試。實驗統(tǒng)計了人手膚色像素點在每個色彩空間中各分量值的分布情況，如圖1所示。

圖1　膚色在RGB、HSV、YCbCr下的分布特征

由圖1可知：RGB色彩空間的R、G、B這3個分量受亮度影響較大，分量值分布廣泛，膚色在色彩空間RGB中沒有聚類特征，不易對膚色進行分割，如圖1a所示。但由于圖像多以RGB色彩空間保存，因此，使用RGB色彩空間進行膚色分割可節(jié)省膚色空間轉(zhuǎn)換時間[10]。在HSV色彩空間中，色度信號和亮度信號是分離的，色度信號不會受亮度信號的影響，膚色基本集中在色調(diào)分量H的歸一化值0～0.1范圍內(nèi)，聚類特征比較明顯，如圖1b所示。但飽和度分量S和亮度分量V的值則跨度很大，沒有明顯的聚類特征，僅用色調(diào)分量H建模會出現(xiàn)較大誤差[11-12]。在色彩空間YCbCr中，Cr和Cb分量值在亮度分量Y∈[50，150]內(nèi)基本保持恒定，同樣具有較好的聚類情況，膚色基本集中在Cb分量的90～125值和Cr分量的130～170值，如圖1c所示。同時，由于YCbCr色彩空間的Y亮度分量值與色彩圖像的灰度轉(zhuǎn)換值相等[13]，可為后續(xù)算法節(jié)省灰度值轉(zhuǎn)換的額外開銷。

從綜合膚色分割效果和算法時間開銷等因素考慮，本文選擇在YCbCr色彩空間上建立合適的膚色模型，對手指區(qū)域進行膚色分割。由于Cr和Cb分量值在亮度分量Y∈[50，150]內(nèi)基本保持恒定，且數(shù)值分布曲線形狀相近，因此得出膚色在YCbCr色彩空間的參數(shù)模型為：

(1)

該膚色檢測模型通過設定Cr和Cb比值絕對值的最大和最小閾值來判定膚色區(qū)域。當result為1時，表示該像素點為膚色區(qū)域；為0時，表示為非膚色區(qū)域。

2基于背景差分與YCbCr膚色模型的手指區(qū)域分割

雖然在YCbCr空間中亮度和色度的分離度較大，但在實際的操作中色度值對亮度值總是存在著一定的非線性的依賴關系，容易受到照明因素影響。同時，當背景中出現(xiàn)大面值與膚色相近的顏色時，也會對分割造成嚴重的干擾，難以根據(jù)二值圖像判斷人手區(qū)域的位置。

針對上述問題，本文提出一種先使用背景差分法對前景的手指區(qū)域進行粗略提取，去除背景中顏色與膚色相近的像素點，隨后再使用膚色分割法對手指區(qū)域進一步分割的改進方法。同時，背景將根據(jù)前景圖像的變化進行自動更新，最大限度地降低因背景更改或光照變化而產(chǎn)生的影響。

2.1　背景差分算法

在手指進入攝像區(qū)域前，先存儲若干圖片并做灰度轉(zhuǎn)換，隨后計算其均值作為背景灰度圖像：

(2)

式中：Gi為存儲的第i張圖片；n為存儲的圖片數(shù)量；Gbkimg為得到的背景灰度圖像。

對前景圖像作YCbCr色彩空間轉(zhuǎn)換后，由于Y亮度分量值與色彩圖像的灰度轉(zhuǎn)換值相等，可直接利用Y分量與式(2)得到的背景灰度圖像作差，通過閾值判斷像素點是否為背景。

D(x,y)=abs(Yftimg(x,y)-Gbkimg(x,y))；

(3)

(4)

式中：Yftimg為前景圖像的Y分量；Iftimg為前景圖像；R為進行背景差分計算后的結(jié)果圖像。若D(x,y)大于設定的閾值T，則保留前景圖像的值；若小于閾值T，則將該像素點的值置為0。

因此，可將式(1)的模型改進為：

(5)

式中：D為背景差分值；常數(shù)T為背景差分閾值。

2.2　背景自動更新

在人機交互過程中，背景會因為環(huán)境因素(顯示屏亮度、外部光照)或顯示屏圖形用戶界面(GUI)的變化而發(fā)生改變。若用于差分算法的背景圖像數(shù)據(jù)不會自動更新，當背景改變時，則會嚴重影響對前景目標的分割效果，因此需要對背景實現(xiàn)自動更新。

根據(jù)背景變化的原因，背景更新可分為以下兩種情況：

(Ⅰ)若系統(tǒng)產(chǎn)生了觸摸操作，顯示屏的圖形用戶界面會相應地改變，因此需要重新設定背景圖像。在判斷手指離開屏幕后，系統(tǒng)重新存儲若干圖片并做灰度轉(zhuǎn)換，根據(jù)式(2)計算其均值作為新的背景灰度圖像。

(Ⅱ)若系統(tǒng)未產(chǎn)生觸摸操作，為了防止因環(huán)境因素的變化使背景產(chǎn)生改變，可根據(jù)式(6)更新背景圖像數(shù)據(jù)：

Ga(x,y)=(1-α)×Ga-1(x,y)+α×Yftimg(x,y)，

(6)

式中：Ga-1為更新前的背景灰度圖像；Ga為更新后的背景灰度圖像；Yftimg為前景圖像的Y分量值；α為更新常系數(shù)，α值越大，背景更新速度越快，但也越容易將前景目標更新到背景中，降低分割的準確性。通過多次實驗測試，α取值0.03時更新效果最好。

3實驗結(jié)果與分析

為了驗證手指區(qū)域分割的準確性和算法的實時性，本文在桂林電子科技大學云計算與復雜系統(tǒng)重點實驗室研制的GUET-GW嵌入式平臺上進行測試。該平臺采用龍芯2H處理器，主頻1 GHz，同時配置了2 GB DDR3內(nèi)存和32 GB固態(tài)硬盤。

實驗首先測試式(1)提出的YCbCr色彩空間膚色模型的分割效果，本文選取了多張包含人手的圖像進行測試，圖像分辨率均為320×240像素。同時與文獻[10]提出的HSV膚色模型和文獻[11]提出的改進的HSV膚色模型進行比較。其中，式(1)膚色參數(shù)模型中取值Min=1.15，Max=2.25。本文選取較為典型的圖片顯示測試效果，如圖2所示。

圖2　不同的膚色模型分割測試結(jié)果

由圖2可知：HSV膚色參數(shù)模型對膚色像素點的要求最為嚴格，可濾除背景中與膚色較為接近的顏色，但由于該模型將亮度V的閾值設定為固定值，因此對圖像亮度十分敏感，圖像中某些亮度不高的膚色像素點也被濾除，得到的手型輪廓并不完整。改進的HSV膚色參數(shù)模型在亮度V的閾值選取中，通過掃描整個膚色區(qū)域的所有亮度值V計算出最小閾值和最大閾值，減少了圖像亮度對分割的影響，因此，對人手區(qū)域的分割效果比HSV膚色參數(shù)模型要好，但也更容易受到背景中膚色相近顏色的干擾。當屏幕背景為亮度較高時，膚色的飽和度值較高，HSV膚色模型和改進的HSV膚色模型均分割不出人手區(qū)域。本文提出的YCbCr膚色參數(shù)模型在不同的背景下都能完整地分割出人手區(qū)域，且輪廓曲線平滑，沒有出現(xiàn)斷裂或邊緣呈鋸齒狀的情況。同時，通過實驗結(jié)果可看出：無論哪種膚色模型都難以摒除背景的干擾，圖片亮度值越高，背景帶來的干擾越大。

隨后測試式(5)提出的基于背景差分和YCbCr膚色參數(shù)模型的手指區(qū)域分割算法，如圖3所示。其中，式(5)中背景差分閾值T=20。

圖3　手指區(qū)域分割結(jié)果

由圖3可知：在背景中手指上方區(qū)域的顏色與膚色類似，若僅采用式(1)提出的YCbCr膚色模型進行手指區(qū)域分割，會受到極大的干擾，得到錯誤的輪廓，如圖3a所示。當加入背景差分法對前景的手指區(qū)域進行粗略提取后，可去除背景中大部分顏色與膚色相近的像素點；隨后再使用膚色分割法對手指區(qū)域進一步分割，得到了完整的手指區(qū)域二值圖像，如圖3b所示。

為了測試本文算法的性能，實驗選取了一段包含手指運動的視頻，測試本文算法對每幀圖像進行手指區(qū)域分割的平均消耗時間，同時提取分割出的圖像中輪廓面積最大的區(qū)域作為手指區(qū)域。視頻的分辨率為320×240像素，時長10 s，共250幀圖像。表1記錄了本文算法對每幀圖像進行手指區(qū)域分割過程中的平均消耗時間。表2記錄了本文算法與文獻[11]提出的HSV膚色模型和文獻[12]提出的改進的HSV膚色模型的總耗時比較，并統(tǒng)計了出現(xiàn)手指區(qū)域判斷錯誤的幀數(shù)。

表1　手指區(qū)域分割過程的平均消耗時間　 ms

表2　不同手指區(qū)域分割算法的誤差和耗時比較

上述實驗結(jié)果表明:本文提出的算法可對手指區(qū)域進行有效的分割，總耗時為16.7 ms，能滿足實時的要求。雖然耗時比起另外兩種算法稍長，但誤差卻大大降低，僅在視頻開始階段背景灰度數(shù)值不穩(wěn)定時出現(xiàn)2幀圖像的錯誤，準確率高達99%以上。

4結(jié)論

本文根據(jù)便攜式設備人機交互實時性好、可靠性高的要求，提出了基于背景差分與YCbCr膚色模型的手指區(qū)域分割方法。文中選擇在YCbCr色彩空間上建立合適的膚色模型進行膚色分割提取人手區(qū)域，并加入背景差分法消除背景相似顏色的干擾，得到了較好的分割效果，同時也能滿足算法實時的要求，可運行在嵌入式設備上。

目前，本文實現(xiàn)的功能主要是手指區(qū)域的分割，后續(xù)將在嵌入式平臺上對指尖定位、人機交互和復雜手勢識別等方面進行研究，構(gòu)建智能化、人性化和高效的嵌入式人機交互系統(tǒng)。

參考文獻：

[1]Starner T,Weaver J,Pentland A.Real-time American Sign Language Recognition Using Desk and Wearable Computer Based Video[J].IEEE Transations on Pattern Analysis and Machine Intelligence(S0162-8828),1998,20(12):1371-1375.

[2]孫倩倩.光學觸摸屏及其配套的觸摸筆:中國,CN101504580A[P].2009-08-12.

[3]萇道方,鐘悅.考慮行為和眼動跟蹤的用戶興趣模型[J].河南科技大學學報:自然科學版,2014,35(1):49-52.

[4]高攀,郭理,汪傳建.特征集和分類器融合技術(shù)在表情識別中的應用[J].河南科技大學學報:自然科學版,2014,35(2):48-54.

[5]Song P,Winkler S,Gilani S O,et al.Vision-based Projected Tabletop Interface for Finger Interactions[J].Lecture Notes in Computer Science,2007,4796:49-58.

[6]向守兵,蘇光大,任小龍,等.實時手指交互系統(tǒng)的嵌入式實現(xiàn)[J].光學精密工程,2011,19(8):1911-1920.

[7]郭康德,張明敏,孫超.基于視覺技術(shù)的三維指尖跟蹤算法[J].計算機研究與發(fā)展,2010,47(6):1013-1019.

[8]熊霞,桑慶兵.光照自適應的膚色檢測方法[J].計算機應用,2011,31(5):1233-1236.

[9]Bradski G R.Computer Vision Face Tracking as a Component of a Perceptual User Interface[C]//Proc Fourth IEEE Workshop Applications of Computer Vision (WACV’98).Berlin,Germany,1998:214-219.

[10]于蘊杰,管業(yè)鵬,熊會軍.指勢識別的實時指尖提取[J].計算機工程與應用,2011,47(6):219-222.

[11]游亞平,袁保宗.復雜背景下人臉檢測的數(shù)字形態(tài)學運算方法[J].電子與信息學報,2004,26(12):1863-1870.

[12]肖明坤.復雜背景下基于膚色分割的人臉檢測[D].南京:南京郵電大學,2006:23-26.

[13]湯勇,顧宏斌,周來.交互系統(tǒng)中實時手勢分割及指尖檢測方法[J].光電工程,2010,37(7):145-150.

[14]張繼濤,王偉,高君林.基于膚色分割和模板匹配的人臉檢測技術(shù)研究與實現(xiàn)[J].河南科技大學學報:自然科學版,2009,30(1):41-44.