基于改進卷積神經網絡的手勢識別

宋京　段惠斌

摘 要：為了解決傳統卷積神經網絡（CNN）由于手勢背景復雜和手勢姿態多樣性而導致準確率不高的問題，提出一種改進卷積神經網絡方法對手勢進行分類識別。首先對手勢圖像做基于膚色閾值的手勢分割處理，然后用Dropout優化后的卷積神經網絡對手勢圖像特征進行提取和分類識別。在不同環境下對手勢識別并與傳統方法進行對比實驗。實驗表明，改進CNN識別準確率為96.92%，傳統CNN識別準確率為93.58%，證明改進CNN識別準確率較傳統CNN有一定提高。

關鍵詞：改進卷積神經網絡;手勢識別;準確率;圖像處理;過擬合;Dropout

中圖分類號：TP39文獻標識碼：A文章編號：2095-1302（2020）07-00-02

0 引 言

隨著人工智能技術的飛速發展，其在人機交互[1]領域的應用也越來越廣泛，手勢識別[2]正是其中之一。實現手勢識別的核心是對手勢特征的提取[3]。傳統的識別算法中多是由人工設計提取特征，然后再用分類器分類識別，例如HMM-SVM[4]，Kinect特征匹配法[5]等。這項工作繁瑣、費時，而且還會因為提取特征誤差導致識別率降低。近年來，深度學習在識別領域有很大進展，謝崢桂[6]在對手勢識別的研究中首先對手勢圖像進行手勢分割預處理，然后再用傳統CNN進行特征提取和識別。張起浩等[7]在做手勢識別研究中利用Leap Motion結合CNN進行識別，首先利用Leap Motion獲取手勢圖像并進行灰度處理，然后用CNN算法對圖像進行特征提取及分類。然而考慮到手勢的復雜性、多樣性特點，傳統卷積神經網絡已不能滿足對其魯棒性的識別[8]。隨著卷積神經網絡的深入學習，很容易出現過擬合問題，大大降低了識別準確率。為此，本文提出的方法是在識別之前對手勢圖像進行手勢分割處理，并在傳統卷進神經網絡中加入Dropout層。通過增加網絡連接的隨機性和稀疏性來提高泛化能力，解決因為過擬合而造成的識別率低的問題。

1 手勢圖像數據集制作及預處理

本文手勢數據集的制作利用python中的OpenCV調用攝像頭采集錄制不同手勢，然后將不同手勢定義相應的標簽生成主文件。為滿足手勢訓練集的降噪要求，在采集過程中對手勢圖像做基于膚色閾值的二值化預處理。處理過程主要分為如下三步：

（1）選用YCrCb作為手部膚色的顏色空間;

（2）在空間下建立手部膚色的高斯模型;

（3）對模型做二值化處理，二值化處理過程圖像如圖1所示。

2 卷積神經網絡及改進

2.1 傳統卷積神經網絡

卷積神經網絡結構雛形于1998年由Yann Lecun提出[9]。與人工神經網絡不同，這是一種深度神經網絡。它擁有很多網絡層數，主要分為卷積層、池化層和全連接層。卷積層中前一層輸入更高層次特征到下一層并形成特征圖，池化層可以對特征圖進行降維以減少不必要的數據。全連接層總結歸納池化層輸入的特征信息，通過分類器進行分類識別。卷積神經網絡的一個優點在于權值共享，使得網絡復雜度和訓練時的運算復雜度大大降低，因此被廣泛應用于圖像識別領域。本文應用卷積神經網絡對手勢進行識別，大大減小了傳統人工提取特征的難度，其網絡結構如圖2所示。

在卷積層中，卷積核用于提取圖像中的特征信息。不同的卷積核先與上一層得到的特征圖作卷積運算，然后加上偏置值得到輸出，最后通過合適的激活函數推出卷積結果，即輸出特征圖。卷積運算如下所示：

式中：ylj為當前卷積層的第j個特征圖;f（）表示激活函數，為降低網絡復雜度，本文使用ReLU（）型激活函數;Mj為全部的輸入特征圖;wi， j為i與j間的卷積核;blj表示偏置。

2.2 Dropout優化

隨著卷積神經網絡對圖像特征學習的深入，其網絡架構層數變得越來越多。隨著卷積神經網絡的層數不斷增加，網絡訓練復雜度也隨之上升。在數據集少的條件下還會導致網絡模型泛化能力下降，識別率降低。為此，本文在傳統模型的最大池化層后加入Dropout層，在模型訓練時會增加網絡神經連接的不確定性，使網絡變得更稀疏，以此來提高模型的泛化能力，解決過擬合問題。加入Dropout[10]后的全連接層對比如圖3所示，它通過隨機刪掉網絡中p=0.5（0

2.3 改進卷積神經網絡

為提高手勢識別準確率，本文設計的適用于手勢識別分類的改進卷積神經網絡模型結構如圖4所示。

3 實驗與結果分析

本文實驗數據集包括6種表示不同數字1，2，3，4，5，6的手勢圖片，如圖5所示，每個數字400張，共計

2 400張。圖片大小統一為32 cm×32 cm，按比例選取其中的80%作為訓練樣本，20%為測試樣本。分別訓練和測試改進卷積神經網絡模型和傳統卷積神經網絡模型，并對其準確率做對比實驗。兩模型測試準確率與迭代步數的曲線如圖6所示。

從圖6中可以看出，準確率在迭代步數達到50時趨于飽和，改進CNN模型準確率為96.92%，CNN模型準確率為93.58%。即改進卷積神經網絡模型比傳統卷積神經網絡模型在零件識別方面的準確率更高。

4 結 語

本文設計了一種改進卷積神經網絡模型，分別對6種手勢進行識別。首先，在訓練模型之前對手勢圖像數據做增強處理，使模型訓練更加充分。然后，運用Dropout優化傳統模型，對圖像進行特征提取，多次訓練得到高性能模型。最后，用測試樣本圖片對改進模型進行測試，并與傳統模型作對比實驗。實驗結果表明：改進卷積神經網絡模型平均識別準確率為96.92%，傳統卷積神經網絡模型為93.58%，改進模型準確率比傳統模型識別率提高了3.34%。

參考文獻

[1]范向民，范俊君，田豐，等.人機交互與人工智能：從交替浮沉到協同共進[J].中國科學：信息科學， 2019， 49（3）：361-366.

[2]宋一凡，張鵬，劉立波.基于視覺手勢識別的人機交互系統[J].計算機學，2019，46（S2）：570-574.

[3]劉小建，張元.基于多特征提取和SVM分類的手勢識別[J].計算機工程與設計，2017，38（4）：953-958.

[4] ROSSI M，BENATTI S，FARELLA E，et al. Hybrid EMG classifier based on HMM and SVM for hand gesture recognition in prosthetics [C]// IEEE International Conference on Industrial Technology. IEEE，2015.

[5]田元，王學璠，王志鋒，等.基于Kinect的實時手勢識別方法[J].計算機工程與設計，2018，39（6）：1721-1726.

[6]謝錚桂.基于改進的卷積神經網絡的手勢識別的研究[J].計算機應用與軟件，2019，36（3）：192-195.

[7]張起浩，蔣少國，蔣青山，等.基于Leap Motion和卷積神經網絡的手勢識別[J].物聯網技術，2019，9（10）：47-49.

[8]楊紅玲，宣士斌，莫愿斌.基于卷積神經網絡的手勢識別[J].計算機技術與發展，2018，28（7）：11-14.

[9]周飛燕，金林鵬，董軍.卷積神經網絡研究綜述[J].計算機學報，2017，40（6）：1229-1251.

[10]任曉霞.基于Dropout深度卷積神經網絡的ST段波形分類算法[J].傳感技術學報，2018，31（8）：1217-1222.