去除冗余背景的手勢連續輪廓提取算法與實驗

張 鈺，徐偉斌，陸敬微，王光義

(杭州電子科技大學 電子信息學院，國家級電工電子實驗教學示范中心，杭州 310018)

去除冗余背景的手勢連續輪廓提取算法與實驗

張 鈺，徐偉斌，陸敬微，王光義

(杭州電子科技大學 電子信息學院，國家級電工電子實驗教學示范中心，杭州 310018)

連續輪廓提取是三維圖像模式識別和重建的重要步驟。現有輪廓提取方法處理后的輪廓存在斷點，嚴重影響后續圖像處理步驟的質量。提出了一種手勢連續輪廓提取方法。采用高斯混合模型定位方法確定視頻圖像中手勢所在區域；利用Sobel算子對所選擇區域中手勢進行粗糙輪廓提取；采用深度優先算法進行輪廓遍歷，確定最長輪廓為手勢輪廓；通過計算輪廓斷點的斜率和分析最長輪廓中斷點的相對位置，采用局部sobel算子或直線連接斷點。實驗結果表明，所提方法不僅能夠得到優于其他方法的主觀視覺效果，而且客觀指標也明顯優于現有輪廓提取方法，其中輪廓完整性可達98%、輪廓純凈性接近0。

連續輪廓提取； 最長輪廓； 手勢識別； 高斯混合模型

0 引 言

傳統的人機交互方式以硬件設備為中心，如鼠標、鍵盤和觸摸屏等，這種交互方式較為機械和呆板。近年來，利用面部表情[1]、手勢[2-3]、肢體語言[4]等更加直觀的方式進行人機交互已經成為發展新趨勢。手勢識別是一種較為新穎的非接觸交互方式，除了可以增加用戶體驗度，還可以用在一些較為危險的工業控制領域，以減少安全隱患。

手勢輪廓提取是手勢識別的基礎，輪廓提取的完整性和連續性直接影響手勢識別的圖像質量。現有的輪廓提取方法主要有：第1類方法是數學算子法，如改進的Sobel算子[5-6]和Canny算子[7-8]，這類方法具有處理簡單、效率高等優點，但存在所提取的輪廓不完整、有斷點的缺點，而且帶有冗余的背景信息。第2類方法是基于機器學習的輪廓提取方法[9-10]，利用其自我學習能力，逐漸增加輪廓提取的完整性。但是由于不同場景需要選擇不同的算法，很難實現對所有場景都適用。第3類方法是配帶特定的手套實現輪廓提取[11-12]，這種方法精度高，但是價格昂貴。

根據上面的分析可以看出，現有輪廓提取方法很難提取出連續、完整的輪廓。針對這個問題，本文提出了一種手勢連續輪廓提取方法，不僅能夠得到完整的輪廓信息，而且能夠去除冗余的背景信息。

1 手勢連續輪廓提取方法

算法的流程圖如圖1所示。首先利用高斯混合模型(Gaussian Mixed Model,GMM)定位算法確定視頻圖像中手勢所在區域；接下來對圖像進行灰度化處理，將彩色圖像變成灰度圖像；然后利用Sobel算子進行粗糙輪廓提取；最后進行斷點補償，得到連續的手勢輪廓。

圖1 手勢連續輪廓提取算法流程圖

1.1GMM定位算法

多維變量X服從高斯分布時，概率密度分布函數為：

(1)

式中：x是多維度列向量；μ為模型期望值，C為模型方差。在實際應用中μ通常用樣本均值來代替；C通常用樣本方差來代替。

高斯混合模型認為數據是從幾個單高斯模型中延伸出來的，概率密度分布函數為：

(2)

GMM算法使用3～5維高斯模型來描述圖像中各像素的特征。為了確定背景像素特征和兩個參數，前景匹配前需要學習的過程。攝像頭每次捕獲到圖像后，就更新之前建立的背景模型，用當前圖像中每個像素點和建立的背景模型進行比對，若比對成功就把該像素點作為背景像素點，并且更新模型；否則就把該像素點作為前景像素點。

(a)原視頻圖像(b)視頻圖像經GMM匹配后圖像(c)定位后所選定的手勢區域

圖2 GMM手勢定位實驗圖

1.2灰度化處理

將彩色圖像轉換成灰度圖后，能減小后續的圖像處理計算量。使用

(3)

對定位后的彩色視頻圖像進行計算，即將RGB三通道圖像的各通道平均值作為圖像的灰度值。

1.3粗糙手勢輪廓提取

使用Sobel算子提取粗糙手勢輪廓，Sobel算子進行輪廓提取的計算式為：

(4)

梯度G的計算式

(5)

梯度方向θ的計算式

θ=arctan(Gy/Gx)

(6)

I表示原始圖像；Gx及Gy分別表示經橫向及縱向輪廓提取的圖像。

1.4連續手勢輪廓提取

在得到粗糙手勢輪廓的基礎上，將實現手勢的連續輪廓提取，分為三部分內容，如圖3所示。

圖3 連續手勢輪廓提取的流程圖

從圖3中可以看出，對比GMM結果，去除背景輪廓目的是減少后續輪廓遍歷的時間和后續輪廓連接的數目，同時有利于降低輪廓的誤識別率；輪廓遍歷是為了找出粗糙輪廓中所有不連續的輪廓；根據斷點的不同結構，輪廓連接使用不同方法進行連接，形成完整、連續的輪廓。

(1) 背景輪廓去除。經過GMM定位后，手勢區域便可確定下來，由于這樣的手勢區域中還可能存在冗余背景物體，那么使用Sobel算子從該區域中提取的輪廓也會包含冗余背景輪廓。為了去除冗余背景輪廓，將Sobel算子提取的輪廓和GMM算法定位的結果進行比對，以去除冗余的背景輪廓，處理結果如圖4所示。對比圖4(c)、(d)可見：在圖4(d)中，圖4(c)的背景物體輪廓已經被去除，粗糙手勢輪廓在一定程度上被提純了。

(a)手勢區域(b)經由GMM算法定位后的手勢區域圖(c)使用Sobel算子提取的粗糙輪廓(d)經由圖4(b)、(c)比對的結果

圖4 背景物體輪廓去除試驗結果

(2) 輪廓遍歷。將粗糙輪廓中的像素點位置分為3種情況：孤立像素，端點像素，中間像素。分別如圖5(a)、(b)、(c)所示。

(a)孤立像素(b)端點像素(c)中間像素

圖5 粗糙輪廓像素點位置分類

圖5中黑色點表示粗糙輪廓上的像素。圖5(a)中以像素點A為中心的8連通區域范圍內未存在一個像素點和A相鄰，那么稱A這樣的像素點為孤立像素。圖5(b)中以像素點A為中心的8連通區域中有且僅有一個像素點B和A相鄰，那么稱A這樣的像素點為端點像素。圖5(c)中以像素點A為中心的8連通區域中有2個或超過2個(B，C，D)像素點和A相鄰，那么稱A這樣的像素點為中間像素。

為了找到所有輪廓，采用深度優先搜索算法[14]進行遍歷。首先選取輪廓上任意點作為遍歷的起始點，然后判斷輪廓上的像素點是否都已經被訪問過，如果已經訪問完畢，那么輪廓搜索結束，所有輪廓都被存儲在結構體中，在后續遍歷所有輪廓時只要讀取該結構即可。如果還有未被遍歷的像素點存在，那么判斷該點是否為孤立像素，為孤立像素則直接丟棄，重新選擇一個點開始遍歷。如果判斷為不是孤立點，那么接著判斷該點否為端點像素。如果是端點像素，那么存儲到對應的變量中；如果不是端點像素，那么該點就是中間像素，把該點的相應信息寫到對應的變量中。在遍歷完輪廓上的所有像素點后，得到了包含不連續手勢輪廓在內的所有輪廓，選擇最長的輪廓，去除其他輪廓，得到含有斷點的手勢輪廓。

(3) 輪廓連接。為了得到連續性輪廓，對上述粗糙輪廓進行斷點(每條輪廓的端點，即端點像素)連接。在進行該步驟前首先對端點像素的斜率進行求解，由于端點處斜率可能會發生突變，故從端點像素開始每隔5個像素點進行一次斜率的求解。假設該端點的坐標為A(x1,y1)，前一點像素坐標為B(x2,y2)，那么這兩點的斜率k為：

(7)

當滿足如下3個條件之一時停止斜率的求解：① 在經過一定次數斜率求解后，斜率變化不大。這表示該端點在手指的中間位置，該點的斜率可用求解斜率的平均值來代替，端點位置如圖6(a)所示；② 經過一定次數斜率求解后，每個斜率和前一次所求斜率相比差值都比較大，這說明該端點在手指之間的彎曲部分，那么該點斜率直接使用第一次所求解的斜率，端點位置如圖6(b)所示；③ 前后兩次計算斜率一正一負，這說明端點附近出現拐點，那么該點斜率的值根據①、②來確定，端點位置如圖6(c)所示。

(a)端點位于手指中間處(b)端點位于手指輪廓彎曲處(c)端點位于手指尖處

圖6 端點位置示意圖

斷點連接的流程如圖7所示。首先在以端點A的像素坐標為中心的32×32矩形區域中搜索，搜索結果中如果存在端點像素B，若該點像素的斜率和點A的斜率相近，那么該點的斷點類型為圖8(a)所示，對應圖6(a)的斷點，這樣的斷點在一條較直的線段上，直接連接兩個端點不會改變手勢輪廓形狀，連接效果如圖8(b)所示。

如果兩個端點的斜率相差較大，說明兩個端點之間為一條曲線，如圖8(c)所示，對應圖6(b)和(c)，如果直線連接則會破壞輪廓原有形狀，如圖8(d)所示。此時采取下述方法進行輪廓的連接：在該區域多次使用Sobel算子進行輪廓提取，動態的調整閾值以曲線連接端點A和端點B，其連接結果如圖8(e)所示。

圖7 斷點連接的流程圖

(d)(e)

圖8 斷點分布情況及不同連接方法

2 實驗結果

為了驗證所提算法的視覺處理效果，采用Visual Studio做為驗證平臺，用OpenCV計算機視覺庫對視頻圖像進行處理[15]。從中選取了10組不同手勢圖片，使用傳統的Canny算子、Sobel算子和最長輪廓法[16]進行手勢輪廓提取，不同方法處理后的圖像如圖9所示。

圖9 不同算法處理結果對比

從圖9可以看出，使用Canny算子和Sobel算子提取的手勢輪廓不僅包含冗余背景輪廓，而且輪廓還會出現斷點。Canny算子和Sobel算子對膚色、背景、光照強度很敏感，導致算子的閾值選取比較困難，因此對于不同的場景需要人為調整閾值。圖9(d)為最長輪廓算法提取的輪廓，缺失很多手勢信息。圖9(e)為所提算法得到的手勢輪廓，得到未包含冗余背景信息的、連續的輪廓。

為了進一步對實驗結果進行驗證，使用兩個指標對處理結果進行分析：輪廓完整性和輪廓純凈性。

輪廓完整性表示的是使用各種算法提取輪廓中包含真實輪廓像素點的數目與真實輪廓像素點數目的比值，計算方法為：

(8)

式中：Icr即衡量輪廓完整性的指標，該值越趨近于1說明輪廓越完整。n1表示算法提取的輪廓包含真實輪廓像素點的數目，N表示真實輪廓像素點的數目。

輪廓純凈性表示的是使用各種算法提取的輪廓中不屬于真實物體輪廓的像素點數目與真實輪廓像素點數目的比值，計算方法為：

Ipr=n2/N

(9)

式中：Ipr即衡量輪廓純凈性的指標，該值越小說明提取的輪廓越純凈。n2表示不屬于真實輪廓像素點的數目，N表示真實輪廓像素點的數目。

其中真實輪廓使用Photoshop 軟件得到。針對圖9中的10幅圖像，不同算法處理后圖像的輪廓完整性和輪廓純凈性如表1和表2所示。從表1可以看出，所提輪廓提取算法得到的手勢輪廓完整性可達到90%，而使用最長輪廓提取算法提取的輪廓完整性就比較低。雖然使用Sobel和Canny算子提取的輪廓完整性也較高，但從表2可以看出，Sobel和Canny算子提取的輪廓純凈性較差，包含了很多冗余背景輪廓。所以，綜上分析可以看出：所提算法得到的輪廓完整性和純凈性都較好，在處理后圖像上(見圖9)表現為沒有斷點、具有較少的不屬于真實物體輪廓的像素點數目。

表1 不同輪廓提取算法的手勢輪廓完整性 %

表2 不同輪廓提取算法的手勢輪廓純凈性 %

3 結 語

本文提出了一種可去除視頻圖像中冗余背景的手勢連續輪廓提取算法。通過GMM算法定位視頻圖像中的手勢位置，然后利用Sobel算子進行粗糙輪廓提取，并與GMM定位后圖像做比對，以去除圖像中冗余背景。在此基礎上進行輪廓遍歷找到手勢輪廓，并根據斷點的不同分布，采用不同策略進行輪廓連接。與現有輪廓提取算法相比，所提算法能夠獲得較優的視覺效果，同時能夠獲得較高的輪廓完整性和較好的輪廓純凈性。所提輪廓提取算法可為三維圖像重建和模式識別提供較好的預處理方案。

[1] 孫曉,潘汀,任福繼.基ROI-KNN卷積神經網絡的面部表情識別[J].自動化學報, 2016, 42(6): 883-891.

[2] Zhang Z.Microsoft kinect sensor and its effect[J].IEEE MultiMedia, 2012, 19(2): 4-10.

[3] Pillajo C, Sierra J E.Human machine interface HMI using Kinect sensor to control a SCARA robo[C]//2013 IEEE Colombian Conference on Communications and Computing (COLCOM).Medellin, 2013:1-5.

[4] Vadakkepat P, Chong T C,Arokiasami W A.Fuzzy logic controllers for navigation and control of AR.Drone using microsoft kinect[C]//2016 IEEE International Conference on Fuzzy Systems (FUZZ-IEEE).Vancouver, Canada, 2016:856-863.

[5] Deng C, Ma W, Yin Y.An edge detection approach of image fusion based on improved sobel operator[C]//2011 4th International Congress onImage and Signal Processing (CISP).Shanghai, 2011: 1189-1193.

[6] Razali M R M, Ahmad N S, Hassan R.Sobel and canny edges segmentations for the dental age assessment[C]//2014 International Conference on Computer Assisted System in Health (CASH).Kuala Lumpur, 2014:62-66.

[7] Li X, Jiang J , Fan Q.An improved real-time hardware architecture for canny edge detection based on FPGA[C]//2012 Third International Conference onIntelligent Control and Information Processing (ICICIP).Dalian,2012: 445-449.

[8] Kim J, Lee S.Extracting major lines by recruiting zero-threshold canny edge links along sobel highlights[J].IEEE Signal Processing Letters, 2015,22(10):1689-1692.

[9] 王景中,李萌.基于LBP和PCA機器學習的手勢識別算法[J].計算機測量與控制,2015,04:1320-1326.

[11] Nguyen B P, Tay W L and Chui C K.Robust biometric recognition from palm depth images for gloved hands[J].IEEE Transactions on Human-Machine Systems, 2015, 45( 6):799-804.

[12] Fujishima N, Ietsuka T.Basic construction of a natural finger outline extraction system with a color glove[C]//IEEE/ACIS 15th International Conference on Computer and Information Science (ICIS).Okayama, 2016:1-6.

[13] 王桂婷, 王幼亮, 焦李成.基于快速EM算法和模糊融合的多波段遙感影像變化檢測[J].紅外與毫米波學報, 2010, 29(5): 383-388.

[14] 龔建華.深度優先搜索算法及其改進[J].現代電子技術,2007(22):90-92.

[15] 趙巨峰,高秀敏,崔光芒.結合生產線的視覺檢測實驗系統設計[J].實驗室研究與探索, 2016, 35(4):59-62.

[16] Qiu T, Yan Y, Lu G.An autoadaptive edge-detection algorithm for flame and fire image processing[J].IEEE Transactions on Instrumentation and Measurement, 2012,61(5):1486-1493.

AlgorithmandExperimentofContinuousContourExtractionforGesturewithoutRedundantBackground

ZHANGYu,XUWeibin,LUJingwei,WANGGuangyi

(Institute of Electronic and Information, National Electrical and Electronic Experimental Teaching Demonstration Center, Hangzhou Dianzi University, Hangzhou 310018, China)

Continuous contour extraction plays a significant role in pattern recognition and reconstruction of 3D image.However, the existing contour extraction methods cannot obtain the continuous contour, so it will influence the subsequent image quality seriously.The continuous contour extraction algorithm of gesture is proposed in this paper.Firstly, the Gaussian mixed model is utilized to locate the gesture region in the video image.Then Sobel operator is employed to extract the rough contour of gesture in the selected region.Next, the depth-first algorithm is used to realize contour traversal, and ascertain the longest contour as the gesture contour.Finally, by calculating the gradient and analyzing the relative position of the breaking point in gesture contour, the local Sobel operator or line connection will be adopted to connect the breaking point.The experimental results have shown that the proposed algorithm can get better subjective visual effect and objective performance standard than the traditional methods.Contour integrity can reach to 98%, while contour purity is close to 0.

continuous contour extraction; longest contour; gesture recognition; Gaussian mixed model

TP 391.4

A

1006-7167(2017)10-0008-05

2017-03-20

國家自然科學基金面上項目”CIS像素RTS噪聲的時變物理統計建模與多維非均勻抑制方法研究”(61372156)

張 鈺(1978-)，女，內蒙古人，博士，副教授，碩士生導師，研究方向：圖像信號處理，先后主持國家基金項目2項、浙江省基金項目1項，發表SCI/EI收錄論文16篇。Tel.:15824482396; E-mail:zy2009@hdu.edu.cn