基于形態學處理與模式識別的手部圖像分割

羅偉等

摘 要： 為了更有效地分割手部圖像，提出一種基于彩色閾值變換、形態學處理與模式識別的手部識別算法。利用手部與周圍背景在RGB顏色分量上存在一定的差異，先通過RGB閾值變幻將彩色圖像二值化，然后進行閉運算與孔洞填充，最后根據周長面積比去除背景中的孤立點集以提取手部。實驗證明，該算法能夠較為有效地將手部從背景中提取出來。

關鍵詞： 手部圖像分割； 彩色閾值； 形態學處理； 特征提取； 模式識別

中圖分類號： TN911.73?34； TP751 文獻標識碼： A 文章編號： 1004?373X（2015）12?0080?03

0 引 言

手部識別屬于模式識別問題，其中涉及圖像處理和特征提取操作。由于手部識別的應用范圍廣闊，許多學者及研究機構都在對此進行研究。

在已有的研究成果和算法中，最常使用的方法是機器視覺技術[1]，很多研究者通過諸多不同的機器視覺技術實現了精確有效地手部識別。Bhuyan.M.K等人提出一組新的描述手部連續姿態的特征集[2]。郭訓力等人提出一種融合膚色模型和三維深度信息的手部識別方法[3]。覃文軍等人提出了通過手部形狀特征檢測的手勢感興趣區提取方法[4]。魏來等人利用Kinect的關節點信息和膚色顏色模型提取出手部區域[5]。柴功博等人提出一種基于手掌分割的攝像機陣列手部定位技術[6]。DE.STEFANO.C等人將遺傳算法應用于模式識別中對手部圖像的處理[7]。此外，還有通過外部設備獲取生物電信號實現手部識別的方法，如郭一娜等人提出一種基于肌電信號與柔性神經樹（Flexible Neural Trees）FNT模型的實時手勢識別模型[8]。

以上這些算法都過于復雜，不利于工程實現。本文意在尋找一種簡單且復雜度較低的算法來解決手部的識別問題。本文根據手部與周圍背景在RGB顏色分量上的差異，對彩色圖像閾值變換所得到的二值圖像，進行開閉操作及特征提取，最后完成手部的識別過程。實驗結果表明，該方法能夠較為有效地實現手部與周圍背景的分割。

1 數據來源

這里手動采集了27幅手部圖像，其中包含了男性和女性樣本，年齡在18～20歲之間，擺出不同的姿態。圖1給出了數據庫的4幅示意圖。

2 方 法

本文方法分為3個步驟如圖2所示。在采集原始手部圖像后，首先通過多通道閾值分割，得到二值圖像；接著通過形態學操作，填充孔洞；最后通過模式識別方法，去除圖像中的孤立點集，此時得到的就是最終的分割圖像。

2.1 基于通道的閾值分割

物體表面的顏色即表面色是因光照而呈現的顏色[9]。在自然光照射及其他因素的影響下，手部和其他物體形成不同的表面色，且推測手部表面色會處于某個色彩范圍內，本文正是利用手部和周圍環境在RGB顏色分量上的差異進行識別。截取樣本圖像中的感興趣區域ROI（Region of Interest），即圖像中的手部部分，對其進行RGB顏色分量統計，得到顏色分量直方圖，如圖 3所示。可見，手部圖像在RGB顏色分量直方圖上均存在波峰，可進一步劃分彩色閾值。

由上述顏色分量直方圖可得出手部的RGB顏色分量分布區域，根據這些信息將圖像二值化。設R（m，n），G（m，n），B（m，n）分別代表（m，n）處的R、G、B分量值，而bw（m，n）代表該點的二值化值，則：

[bwm，n=1， Rm，n in 100，130& Gm，n in 60，90 & Bm，n in （40，70）0， otherwise] （1）

2.2 形態學操作

彩色閾值分割后，手部可能會因為表面紋理造成圖像中存在孔洞，所以，對變換后的二值圖像先進行孔洞填充操作。然后，以白色手部區域為前景，其余黑色部分為背景，對得到的二值圖像進行閉運算，閉運算即先膨脹再腐蝕的結果，將圖像中狹窄的缺口連接起來，并填充比結構元素小的洞，平滑對象的輪廓。進行閉運算后，再進行一次孔洞填充，補完圖像。

2.3 模式識別

在孔洞填充之后，圖像中還有可能出現孤立的局部點集，這是由于拍攝時受噪聲影響。為此，將所有互相連接的點集標號，提取對應的特征，建立規則選取符合手部圖像的點集。

圖像特征是指圖像中可以用來標志的屬性[10]，在其提取過程中，一般包括面積、周長、重心等。對手部圖像進行特征提取，考慮到手指部分的形狀，整個手部的周長面積比會與其他物體有所區分，所以根據周長面積比將手部從背景中提取出來。

面積：指物體區域包含的像素數，用符號s表示。

周長：物體輪廓線上像素間距離之和，用符號c表示。在進行周長計算時，需根據像素間的連接方式，分別計算距離。像素間距離可分為并列連接像素與傾斜連接像素2種方式。并列有上下左右4個方向，像素間距離為1；傾斜方向有左上角、左下角、右上角、右下角，其像素間距離等于單位正方體的對角線長度。本文使用8向鏈碼求二值圖像的周長。周長面積比用r表示，有[r=cs]。

表中數據0.048 276偏差較大，是由于取樣過程中，拍攝樣本圖片角度過于傾斜導致。排除異常數據后，表中周長面積比的最小值min=0.067 697，最大值max=0.110 470，據此設置手部提取的特征參數區間。若用h代表手部，1和0分別代表該對象被保留或舍棄，則定義手部提取公式為：

[h=1， rin（0.068，0.110）0， otherwise] （2）

3 實 驗

編程語言采用Matlab 2014a，在主頻為3 GHz、CPU為Intel Core i3、內存為8 GB的HP Pavilion g6筆記本電腦上運行。這里設計了如下3個實驗任務。限于篇幅，選擇以圖 4（a）為例，詳細描述本文算法的每一步結果。

3.1 預分割二值圖像

基于RGB三通道得到的手部預分割的二值圖像如圖 4（b）所示，可見式（1）能夠有效地初步提取彩色手部圖像。手部的大致邊緣均包含在得到的二值圖像內。缺陷在于，手部存在孔洞，同時背景部分存在獨立點集。這將通過下述兩個步驟予以校正。

3.2 孔洞填充

圖 4（c）是對二值圖像進行孔洞填充、閉運算、再次孔洞填充后得到的變換圖。可見，經過形態學操作后，前景圖像（手部）中的孔洞已較好的予以填充，能夠完整地反映手部的形狀。

3.3 去除孤立點集

對孔洞填充后的圖像進行模式識別以去除孤立點集，得到最終結果如圖 4（d）所示。可見，此時得到的分割結果不僅在手部區域沒有孔洞，而且在背景區域也沒有孤立點集，較理想地完成了本文的設計任務。

4 結 語

本文根據手部和背景在RGB顏色分量上的差異所提出的基于分量值的彩色閾值變換圖像分割算法，較單色分量的閾值變換具有明顯的優勢。同時引入形態學操作與模式識別算法，能夠較好地填充孔洞與去除孤立點集。實驗結果顯示該算法具有較高的準確率，能夠很好地將手部從背景中提取出來。

本文方法的缺點在于，在采集的樣本圖像中有部分提取后偏差較大，尤其是背景色彩復雜、光照過強或過弱的樣本，此次樣本有限，未能做進一步分析。另外，算法評價過于主觀，需要進一步采用客觀的量化評價方法。今后的工作將繼續完善本算法，考慮引入紋理特征和邊緣檢測，以進一步提高該算法的魯棒性，保證該算法在各種條件下都能適用。

注：本文通訊作者為張煜東。

參考文獻

[1] NOUAOURIA N， BOUKADOUM M. Improved global?best particle swarm optimization algorithm with mixed?attribute data classification capability [J]. Applied Soft Computing， 2014， 21（2）： 554?567.

[2] BHUYAN M K， KUMAR D A， MACDORMAN K F， et al. A novel set of features for continuous hand gesture recognition [J]. Journal on Multimodal User Interfaces， 2014， 8（4）： 333?343.

[3] 郭訓力，俞揚.一種基于膚色和深度的第一人稱人手識別方法[J].計算機工程與應用，2014（12）：133?136.

[4] 覃文軍，楊金柱，趙大哲.基于形狀特征檢測的手勢感興趣區提取方法[J].機器人技術與應用，2012（6）：39?41.

[5] 魏來，王迪，邢程，等.基于kinect的手指定位[J].電腦知識與技術，2014（28）：6713?6715.

[6] 柴功博，顧宏斌，吳東蘇，等.基于手掌分割的攝像機陣列手部定位技術研究[J].儀器儀表學報，2012（11）：2535?2545.

[7] DE STEFANO C， FONTANELLA F， MARROCCO C， et al. A GA?based feature selection approach with an application to handwritten character recognition [J]. Pattern Recognition Letters， 2014， 35（2）： 130?141.

[8] 郭一娜，王清華，艾杰特·亞伯拉罕.基于柔性神經樹和表面肌電信號的手勢識別模型[J].計算機應用與軟件，2012（4）：170?173.