基于組合色彩空間和卷積神經網絡的手勢識別算法

紀國華

（忻州師范學院計算機系，忻州034000）

0 引言

作為人機交互的重要手段之一，手勢交互相較于人臉、表情等方式更加靈活方便，可以應用于各個領域的智能設備使用中[1]。手勢識別包括靜態手勢識別和動態手勢識別兩部分，其中動態手勢識別需要獲取手勢序列圖像以判斷其運動趨勢，主要基于其運動軌跡作為基本特征進行手勢的識別判斷，計算比較復雜；靜態手勢識別需要提取靜態圖像中的手勢形態特征，在單一背景環境下計算復雜度較低，但是在復雜環境下可提取的形態特征會受到環境干擾。因此，在靜態圖像中提高手勢與背景的識別度，可以有效提高手勢識別的效率。

靜態手勢識別過程中，最關鍵的操作是手勢區域的提取與分類識別。在手勢區域提取方面，大量基于膚色特征的手勢檢測方法被提出[2-3]，這類方法主要是基于不同色彩空間中的顏色聚類信息進行膚色檢測，對簡單背景下的圖像處理效果較好，對光照變化、復雜背景較敏感。在手勢分類識別方面，基于傳統特征提取的識別方法通過提取手勢區域的色彩、紋理與幾何特征能夠實現較穩定的靜態手勢識別[4-6]，但是對特征提取的算法準確度要求高，算法識別效果受特征提取的結果影響大。深度學習是機器學習領域中一系列試圖使用多重非線性變換對數據進行多層抽象的算法，隨著深度學習技術的發展，其在計算機視覺領域的應用愈加廣泛，在手勢識別中被應用到手勢的檢測與分類中[7-9]，通過對大量樣本的學習得到手勢區域的隱含特征，可以得到較好的識別結果，但是要求有較大數量的學習樣本才能實現網絡的有效訓練，而且在不同的樣本集中需要重新訓練網絡參數。

在手勢識別方法中，基于簡單背景的方法、基于可穿戴設備的方法以及基于深度圖像的方法的手勢識別效果較好，但是對于靜態復雜背景下的手勢識別準確率仍有待提高，主要是由于靜態手勢圖像可提取的特征較單一，容易受光照變化、復雜背景等因素的影響，基于此，本文提出一種基于組合空間的手勢區域分割方法作為手勢識別的預處理方法，在排除復雜背景干擾的情況下將分割后的手勢圖像作為深度學習分類器的輸入進行分類識別。相比較其他深度、前饋神經網絡，卷積神經網絡（Convolutional Neural Networks，CNN）需要估計的參數更少，是一種頗具吸引力的深度學習結構，在計算機視覺領域得到了較好地應用，本文基于組合色彩空間和卷積神經網絡進行靜態手勢的識別。

1 手勢區域提取

為了提高神經網絡進行手勢識別的效率，本文首先對神經網絡的輸入圖像數據進行分割預處理，采取基于視覺的方法將靜態手勢從圖像中分離出來，進而減少神經網絡識別的計算量。

由于手勢區域有在圖像中有典型的色彩——膚色，本文采用基于膚色的方法進行手勢區域的分割。彩色圖像通常采用RGB 色彩空間表示，采用該空間模型進行圖像數值處理相對簡單，但沒有實現亮度與色度的分離，與人類視覺特征中的膚色感知有一定差距，因此，不適合直接進行膚色模型計算。HSV 色彩空間、YCbCr 色彩空間以及Lab 色彩空間都是色度和亮度分離的空間，符合人類視覺感知，因此可以用來進行基于視覺的區域分割。由于手勢圖像從RGB 空間轉到HSV 空間是由復雜的非線性變換計算得到的，采用HSV 空間會增加算法的復雜性，因此本文基于YCbCr和Lab 組合色彩空間進行膚色區域計算。

YCbCr 顏色空間中，Y 分量代表亮度分量，Cr 代表光源中的紅色分量，Cb 代表了光源中的藍色分量，將RGB 圖像轉換為YCbCr 圖像的計算公式為：

在YCbCr 色彩空間中，對膚色區域的聚類效果較好，在簡單背景下可以將手勢區域準確地識別出來，但是對復雜背景下的手勢區域分割效果欠佳，主要是對屬于背景區域的紅、黃色區域比較敏感，為了進一步改善分割效果，本文在YCbCr 色彩空間的基礎上，進一步考慮Lab 色彩模型，Lab 色彩空間由感知亮度的L 分量和感知色階的a、b 分量組成，將RGB 圖像轉換為Lab 圖像的計算公式為：

Lab 色彩空間可以有效分離復雜背景，但對膚色區域的聚類效果不佳。由于Lab 色彩空間中的a 分量的色彩表示范圍為洋紅色至綠色，b 分量的色彩表示范圍為黃色至綠色，因此可以采用a、b 分量來克服YCbCr空間對復雜背景中的紅色和黃色區域的過度敏感，即將YCbCr 色彩空間和Lab 色彩空間進行組合，選取兩個色彩空間中的Cr 分量、a 分量、b 分量對圖像進行重構，即有色彩空間變換公式為：

進一步進行基于動態閾值[10]的手勢區域分割，得到不同色彩空間手勢分割結果如圖1 所示，其中第一列分別是簡單背景與復雜背景手勢原圖像，第二列是YCbCr 色彩空間分割結果，第三列是基于組合色彩空間分割結果：

圖1 基于不同色彩空間的手勢分割效果

分析分割結果，發現基于組合色彩空間的圖像中對復雜背景的手勢區域分割效果更好，同時也能夠準確地識別簡單背景中的手勢區域，因此適合用來對手勢圖像進行手勢區域的分割提取。

2 卷積神經網絡分類器

2.1 網絡構建

分割后的手勢圖像前景突出，因此可以直接作為分類器的輸入數據進行分類識別。作為深度學習的代表算法之一，卷積神經網絡是一種基于卷積計算的前饋神經網絡，其隱含層內的卷積核權值共享機制及其稀疏性層間連接提高了神經網絡的計算效率，使得CNN 能夠合理加深層數以提取充分的特征，在圖像識別領域得到較好的應用。本文采用卷積神經網絡對分割后的手勢圖像數據集進行識別。卷積神經網絡通常以矩陣作為輸入，在本方法中即經過區域提取、歸一化處理后的手勢圖像，以分類標簽向量作為輸出，中間的隱含層包括卷積層、池化層以及全連接層。其結構如圖2 所示。

圖2 本文卷積神經網絡分類器的結構示意圖

作為CNN 中最基本的層結構，卷積層通過對圖像進行卷積運算，實現對圖像的局部特征提取。在卷積層，構造合適的卷積核不斷地在上一層輸出的特征圖中進行滑動，將卷積運算的結果重構成新的特征圖輸出，整幅圖像的局部共享卷積核的權值。卷積層的計算公式：

其中，N 和M 分別代表第l-1 層和第l 層的特征圖個數，代表第l 層的第j 個特征圖，wi,j代表當前層的卷積核，即權值，blj代表偏置，f（·）表示神經元的激勵函數，通常采用Sigmoid 函數、Tanh 函數以及Relu 函數等。

為了避免網絡訓練陷入過擬合的問題，在本方法中激勵函數選擇Relu 函數，卷積層是隱含層中的第一、三、五、七層，卷積核大小均為5×5，步長均為1，其中第一層卷積層外圍補齊padding 為2，以保證輸出特征圖與輸入圖像大小相同。

池化層的作用是對圖像進行下采樣，通過將輸入特征圖分成不重疊的小塊，分別用采樣函數進行計算，對輸入的特征圖進行縮小，以減少全連接層的參數。采樣過程的計算公式為：

其中，down（·）代表采樣函數，通常采用均值采樣或最大值采樣。本方法在第二層、第四層和第六層采用最大值采樣，即計算選區的像素最大值作為函數輸出，設計池化核為2×2，步長為2。

全連接層連接特征圖和輸出層，該層中的每個神經元都與上層神經元有連接，采用Softmax 回歸分類器作為激活函數，將上層高維矩陣變換為低維矩陣，最終分類結果輸出到一列向量中，表達式為：

2.2 網絡訓練

CNN 本質上的是一種有監督的訓練網絡，輸入樣本經過網絡中的卷積、池化等操作輸出分類結果，通過計算目標輸出與實際網絡輸出值的平方誤差，定義代價函數為：

其中，xi（i=1，2，…，n）代表訓練集中的n 個訓練樣本，y（xi）代表當前樣本xi的目標輸出，al（xi）代表當前層數為l 的網絡中該訓練樣本的實際輸出。通過計算代價函數，采用反向傳播進行網絡中權值與偏置的優化，通過梯度下降法來實現。

3 實驗結果及分析

為了驗證設計的手勢識別算法的有效性，本文在MALAB 2017a 環境下進行分類對比實驗。實驗中使用來自公開數據集NUS Hand Posture dataset-II 中Hand Postures 的共2000 張手勢圖像數據，分別是代表字母a到j 的10 類手勢，各200 張圖像，原始圖像大小為160×120。為適應CNN 分類器，首先對圖像進行尺寸預處理，將圖像歸一化為64×64，再進行手勢區域的提取，然后將二值化的分割結果輸入到CNN 分類器中進行識別。圖3 所示為數據集中的部分手勢圖像歸一化處理結果，分別代表a 到j 的10 類手勢。

圖3 實驗數據歸一化預處理

網絡模型的構建和訓練使用深度學習框架Tensor-Flow，CNN 的收斂曲線如圖4 所示，在迭代次數達到1300 次后趨于穩定，識別準確率達到97.3%。

圖4 卷積神經網絡進行手勢識別的收斂曲線

不同方法的手勢識別準確率如表1 所示，可以看出，基于單一色彩空間的方法不能準確分割提取靜態手勢區域，因此在后續的手勢分類識別中準確率受到影響，而本文提出的基于組合色彩空間的方法可以提高各種背景下手勢區域提取的準確性，因此提高了手勢識別的精度。

表1 對比實驗結果

4 結語

本文研究了一種基于組合色彩空間與深度學習方法的靜態手勢識別方法。該方法基于YCbCr 和Lab 色彩空間中膚色區域的聚類特性，采用組合色彩空間進行圖像重構，分割并提取單一和復雜背景下的手勢區域，然后將分割后的圖像進行歸一化處理，作為卷積神經網絡分類器的輸入樣本，實現圖像中靜態手勢的分類識別。仿真實驗結果表明，基于組合色彩空間的算法可以克服手勢區域對背景敏感的問題，有效提取各類背景下圖像中的手勢區域，提高了手勢區域在卷積神經網絡中的識別準確率。