謝 杰,張 鍵,付天豪
(1.中國電子科技集團公司第五十八研究所,江蘇 無錫 214072;2.中科芯集成電路有限公司,江蘇 無錫 214072)
膚色信息是人類最顯著特征之一,對膚色進行分割是很多關于人體相關的圖像處理系統的基礎處理部分。膚色分割主要分為三步:顏色空間變換、膚色建模、膚色決策。不同的研究者在顏色空間選擇方面對皮膚分割算法性能的影響得出了不同的結果。文獻[1]在YCgCr彩色空間,通過改進的粒子群與K均值聚類綜合的方法進行人臉膚色分割,提升了聚類方法的全局檢索能力;文獻[2]在YCgCr與YCgCb空間中進行膚色分割,提升了聚類方法的全局檢索能力;文獻[2]在YCgCr與YCgCb空間中進行膚色分割,能夠將每一視頻幀中的膚色區域與非膚色區域有效地分隔開。文獻[3]對多種顏色空間比較發現,YCbCr顏色空間比HSV顏色空間更適合應用于光照不均勻的復雜彩色圖像的膚色分割。目前為皮膚分割任務尋找最優顏色空間的努力轉向采用優秀的皮膚檢測模型和光照補償方法[4]。對特定顏色空間中皮膚聚類的觀察可以建立膚色模型。膚色建模主要有基于皮膚聚類邊界的分割規則[5-6]和基于機器學習[7-8]兩種方法。機器學習方法分割膚色較優,但需要大量具有代表性的訓練數據集,并且還需要較長的分類時間,不適合實時性較高的情況。在膚色決策方面,固定閾值分割法常用于單一背景下的膚色圖像分割,當存在類膚色背景下的適應性不強,分割效果不佳,而動態閾值分割容易受環境變化的影響。
針對傳統分割方法對圖像中光照變化膚色分割魯棒性不強、自適應能力不佳等問題,本文提出一種人體膚色自適應分割方法,能夠較好地適應光照和復雜背景的變化。本文的自適應膚色分割方法步驟為:首先獲取輸入的RGB膚色圖;其次將膚色圖像素轉化為本文改進后的YCbCr顏色空間;最后結合橢圓邊界膚色模型和本文提出的自適應膚色決策對膚色進行有效分割。
本文選取YCbCr顏色空間,因為它的膚色聚類性好,分割效果佳[9]。傳統的RGB轉YCbCr得到Cb、Cr值呈現一定的規律性,當光照強度Y在[60,180]范圍內變化時,Cb值和Cr值隨著光照強度Y變化很小,聚類性較強,表現出了很強的穩定性[10],當光強度值Y在[60,180]范圍之外,Cb和Cr就呈現非線性無規律變化。對上述理論通過實驗驗證,采用LED環形光源進行亮度調節,通過在人手的相同位置在不同的光照強度下獲取像素點樣本,將像素點的RGB值轉換為YCbCr值得到如圖1實驗規律。其中RGB轉換YCbCr如下[10]:


圖1 改進前Cr和Cb隨Y變化趨勢
由圖1可知,當光照強度Y在[60,180]范圍之外時,Cb值和Cr值呈現非線性變化,已經不能反映正常的人體膚色色度信息,因此需要進行改進,以增強Cb和C r穩定性,使得膚色分割對光線具有更好的適應性。對式(1)的線性轉換算法通過非線性調節函數校正,使得Y在較大范圍內時,Cr、Cb值對Y的變化具有適應性,從而增強Cr、Cb的聚類性。由圖1可以得出Y在[60,180]范圍之內時Cr和Cb隨Y的變化按照最大擬合度比較發現與式(2)函數變化擬合度較高。

其中a1、b1、a2、b2是函數參數。令YCr=lnCr、YCb=ln(-Cb)、XY=1/Y、θ=lna1、λ=lna2,可將式(2)轉換為式(3):

采用式(4)求取式(3)中θ、b1的最優解。


改進后RGB轉換YCbCr為:

經過大量的統計數據發現膚色在(Cb-Cr)空間上的投影近似一個橢圓。通過擬合橢圓,且將待判定膚色點的顏色分量Cb、Cr值在橢圓邊界膚色模型內時,則判定該點為膚色點[10]。橢圓邊界膚色模型如下:

其 中Cx=109.38,Cy=152.02,θ=2.53rad,eCx=1.60,eCy=2.41,a=25.39,b=14.03。
當圖像中出現與膚色相似的特征時,僅僅利用橢圓邊界膚色模型會把落入橢圓邊界內的所有像素點都視為膚色區域,從而導致較高的誤檢率。為了完整、準確地進行皮膚區域分割,并且能夠適應復雜環境的變化,本文提出一種自適應膚色分割方法:首先以橢圓邊界膚色模型內為約束條件獲取(Cr-Cb)的取值范圍(n,m)即為膚色閾值范圍(將式(6)參數帶入可得n=22.25,m=66.32),但是此范圍內存在類膚色的干擾因此需要獲取更加精確的閾值范圍。其次根據本文改進的YCbCr顏色空間獲取(Cr-Cb)像素灰度值的直方圖。最后將灰度值(n,m)范圍內灰度直方圖擬合成高斯曲線,令高斯曲線的二階導數為零獲取灰度值變化最快的區域即為精確的膚色邊界范圍。
通過式(5)獲取YCbCr顏色空間下Cr減去Cb像素灰度值的直方圖(以本文實驗部分圖5(a)為例)如圖2所示,從圖2中可以看出在灰度值(22,67)范圍內存在膚色范圍的峰值。然后采用最小二乘法[11]處理圖2膚色范圍內的局部灰度直圖。

圖2 (Cr-Cb)灰度直方圖
通過擬合在灰度直方圖局部膚色范圍內的高斯曲線將獲取更精確的膚色閾值范圍。將高斯曲線式(7)轉換為式(8)的形似:

式(8)中b=μ/σ2,c=-1/(2σ2),F(x)=lnf(x),a=lnA-1/2*ln(2Π)-lnσ-μ2/(2σ2)。已知灰度直方圖每個灰度級的灰度值的數目[xi,L(xi)],根據最小二乘原理建立目標函數:


將式(7)求二階導數:

令式(11)為零,獲取膚色范圍變化最快的灰度級,得到兩個實數解,便可得到動態膚色閾值范圍。該方法獲取的動態膚色閾值可以有效地對膚色圖像進行精確分割,適應變化的光照,保證膚色分割的準確性。
本文實驗的測試環境為:處理器是intel(R)Core(TM)i5-9400 CPU@2.90Hz 2.71GHz;內存是8.00GB;系統是64位。本文選用的膚色分割的實驗樣本主要分為三個部分:實驗1在兩種光照環境較極端情況下分別采用YCbCr顏色空間(式(1))和改進YCbCr顏色空間(式(5))進行對比實驗,如圖4(a)和4(d)所示。其中變化光照下樣本像素點的采集是采用LED環形光源在光照強度Y從0逐漸增加200,通過在人手的相同位置,獲取到一共1100幀的變化光照像素點樣本。通過擬合樣本像素點隨光照變化的曲線得到式(5)中的相關參數a1、b1、a2、b2;實驗2選用的是在六種不同光照變化下的手的膚色,如圖5(a)所示。實驗3的圖片來源于AFLW人臉數據庫[12],如圖6(a)所示。為了驗證本文算法的有效性,本文采用橢圓邊界膚色模型膚色決策[10]、閾值分割方法[13]進行比較,評估膚色目標分割結果。其中閾值分割方法的5 實驗1的處理結果如圖4(b)、(c)、(e)、(f)所示。其中改進后Cr和Cb隨Y變化趨勢如圖3所示。采用本次實驗樣本獲得的式(5)的參數a1=18.8592,a2=11.2346,b1=-52.070,b2=-28.265。 圖3 改進后Cr和Cb隨Y變化趨勢 其中圖4(a)是在100≤Y≤210下的膚色原圖、圖4(d)是采用傳統的方法獲取Cr分量的灰度圖、圖4(c)是采用本文改進方法獲取Cr分量的灰度圖、圖4(d)是在Y≤80下的膚色原圖、圖4(e)是采用傳統的方法獲取Cb分量的灰度圖、圖4(f)是采用本文改進方法獲取Cb分量的灰度圖。從圖4(b)和圖4(c)對比中發現采用兩種方法分割Cr膚色分量差異較小,都能適應強光的變化提取清晰的膚色輪廓信息。從圖4(e)和圖4(f)對比中發現采用改進的膚色分割方法對Cb膚色分量在光照不足的情況下能夠較明顯提取膚色輪廓信息。 圖4 顏色空間轉換效果對比圖 實驗2的處理結果如圖5(b)、(c)、(d)所示。其中圖5(a)中存在的六種不同光照變化的手的膚色。實驗光源采用環形光源,型號DHO-RI12030;光源控制器型號為DHO-AP1024-1。變化光照下分割出膚色占總膚色比例如表1所示。本次實驗中本文方法獲取的自適應高斯曲線擬合參數如表2所示。 表2 實驗2擬合曲線參數表 圖5 不同光照下膚色分割對比 從表1中可知,單獨采用橢圓邊界膚色模型進行膚色分割不能很好地在變化的光照下分割膚色;雖然采用固定閾值分割的方法能夠在特定光照下分割出大部分膚色,但對光照較弱的環境適應性不強;而本文算法對不同的光照環境有比較良好的適應性,能夠在變化的光照下分割出大部分膚色區域。 實驗3的處理結果如圖6(b)、(c)、(d)所示。文中采用如下參數評價不同算法的檢測效果: 其中第i張圖中膚色點總數為YSi;非膚色點總數為NSi,正確膚色被檢測出為膚色點的總數為RSi,非膚色被檢測出為膚色點總數為FSi。分割出膚色的不同算法檢測性能比較如表3所示。在本次實驗中本文方法對圖6(a)的四張復雜背景圖獲取的自適應高斯曲線擬合各個參數為:圖6(a)-1的μ=52.17,σ=8.69;圖6(a)-2的μ=47.83,σ=3.73;圖6(a)-3的μ=50.46,σ=3.92;圖6(a)-4的μ=58.70,σ=4.61。 圖6 復雜背景下膚色分割 從表3中可知,單閾值分割、橢圓邊界膚色模型、本文方法都有良好的膚色檢出率;橢圓邊界膚色模型、本文方法在對膚色分割也有良好正檢率和較低的誤檢率。 表3 不同算法膚色分割性能比較 本文提出了一種膚色分割方法,在YCbCr空間下采用高斯分布擬合膚色曲線并獲取精確膚色范圍。文中的方法能夠較好地檢測出膚色,對類膚色像素有一定的區分效果,在實驗中發現對光照變化也有較好的適應性,但是在后續的工作中應該進一步考慮如何利用膚色特征信息降低誤檢率,以及如何在極端光照環境下進行膚色分割。






3 結束語