基于深度學習的動態手勢檢測與識別算法研究

中圖分類號：TP391.4 文獻標識碼：A 文章編號：2096-4706（2025）08-0054-07

Abstract： Gesture recognition is of great significance torealize human-computer interaction.In order torealize highprecisiontarget detection and recognition under dynamicconditions，this paper is based on YOLOv5 target detection firstly and determines the coordinate informationof the target gesture byusing thefeature pyramid structureand multi-scale fusion structuralfeaturesinsidethealgorithm.ThenitusestheMediaPipemodeltodetectthekeypointsofthehand，deterinesthe vectorangleofthehand joints，andanalyzes thefingerbendingsituation，soas tojudge the specific gesture.Using themethods of positiondeterminationand implementationbyusingseparate models foractionclasficationeffectivelyimproves the problem that thereduced recognitionrateof gesturescaused byfactors suchasrotationandoccusionin dynamicconditions.The training samplesare selected fromsixcategories intheopen-source gesturedataset HaGRID.Theexperimentaltestresults demostrate that the mean value of one-hand recognition detection accuracy of the combined algorithm is up to and the detection speed is up to 40 FPS，and the model size is 88.5 MB.

Keywords： gesture recognition; YOLOv5;MediaPipe; hand joint point detection; gesture dataset

0 引言

人機交互是指人與計算機之間通過某種特殊方式實現信息交換的過程，傳統人機交互采用穿戴傳感器的方式，由于傳感器的感知范圍有限且信號不具有普適性的問題，無法滿足人們日常生活的實際要求。隨著視覺設備捕捉速度和識別算法精度的不斷提升，手勢作為一種直觀且高效的肢體語言表達方式，計算機通過提取視頻數據中手勢動作的特征信息，構建特征信息和手勢動作之間的映射關系，按照特征信息的差異性翻譯成對應的肢體語言，實現計算機主動理解人類的行為意圖[]。當前，手勢識別被廣泛應用在車載監控、醫療監護、智能家居等領域。考慮到自然狀態下，存在環境光照、背景以及手勢自身旋轉性等因素。本文采用深度學習目標算法作為檢測基礎，結合MediaPipe手勢關鍵點檢測[2]方法，通過確定手勢的坐標信息和向量角度，判斷手指的彎曲程度，實現最終手勢類別的識別，最后在開源數據集HaGRID進行算法模型的訓練及驗證，證實本實驗方法的可行性。

1手勢識別神經網絡模型

1.1 YOL0v5目標檢測

YOLOv5的網絡結構可以分成四個部分：輸入層（Input）、主干特征提取網絡（Backbone）、中間尺度變化網絡層（Neck）以及目標檢測網絡（Head）[3]。輸入層采用Mosaic數據增強方式，自適應的圖像拼接和錨框計算。主干網絡采用 C S P + F o c u s + S P P 等模塊組成特征提取網絡。Neck中間層采用FPN+PANet用于融合不同階段輸出的特征信息，提高網絡的檢測精度。Head用于預測目標和類別的輸出。

主干網絡主要用于目標特征的提取，如圖1所示，YOLOV5的主干網絡由CSP和Focus模塊組成。CSP網絡設計包含CSP1 N 和CSP2 N 兩種，采用跨層次的方式進行結構合并，從而豐富了特征梯度的組合信息CSP1 N 前設置一個卷積層，卷積核大小為3 × 3 ，Stride大小為2，作為Backbone主干特征提取網絡實現特征降采樣。CSP2_ N 結構則作用于Neck網絡中，由 2 N 個CBL與卷積層組成，從而實現加強網絡特征融合的作用，Concat主要負責淺層和深層特征的通道信息融合[4]。

如圖2所示，Focus網絡結構由4個切片和CBL構成，CBL包含卷積層（Conv）、批量歸一化層（BN）以及激活函數三個部分。當卷積核的數量越多，所得到的特征寬度越厚，網絡的學習能力也越強[5]。將輸入圖像尺寸大小為 6 4 0 × 6 4 0 × 3 的彩色圖像直接進行通道互換，得到 3 2 0 × 3 2 0 × 1 2 的尺寸大小，通過以上計算可以看出Focus網絡將輸入的數據進行切片為原圖的一半，在不丟失特征信息的同時實現圖像降維的目的。

Neck主要位于特征提取層和分類器之間，用于特征提取的壓縮，該模塊主要由SPP和 F P N + P A N 兩部分組成。其中，SPP用于擴大感受野，實現預測框與特征圖的對齊。如圖3所示，SPP網絡包含四個分支結構，使用不同尺寸池化核，將特征劃分成1 × 1 、 5 × 5 ， 9 × 9 、 1 3 × 1 3 四種尺寸。采用邊緣填充的方式保證輸出特征矩陣長度的一致性，最后將四個分支獲得特征矩陣進行融合輸出，使得全局特征與局部特征有效融合，提高模型特征的語義性和特征表達能力。

如圖4所示， F P N + P A N 是一種圖像金字塔結構，結合上采樣和下采樣，提高小目標對象的檢測效果，具有尺度不變性。FPN采用自上而下的方式，將特征圖進行下采樣。與FPN相反，PAN金字塔結構采用從下到上，將語義信息表征信息進行維度的獲取，實現高維表征與低維特征的融合工作。FPN網絡采用自下而上的路徑聚合輸出方式，將低維特征信息通過下采樣的方式與高特征維度進行融合，提高小尺寸自標的檢測效果，從而得到輸出特征矩陣。PAN自適應特征池化結構則采用自頂向下的傳輸方式，將低維特征信息采用上采樣的方式，通過淺層特征的分割得到邊緣等特征，提高物體大目標對象的檢測。

1.2MediaPipe關節點檢測

MediaPipe是谷歌公司發布的一款跨平臺機器視覺學習框架，內部提供了身體姿勢、面部、手部等預訓練模型，該模型通過提供開發文檔和可視化編程工具，幫助開發者快速構建視覺計算。該模型通過實時檢測手部關鍵點信息，將檢測后的手勢轉化為相應的數字或字符，以滿足不同場景下的應用需求。在實時手勢追蹤的過程中，考慮到由于運動所帶來的手勢動作形變等問題，為降低目標檢測過程中數據增強的需求。MediaPipe框架將上一幀邊界框的信息作為當前幀的輸入，只有在開始幀或者檢測器丟失手部信息時，才會啟動檢測器，該方法可以有效地減少手部檢測模型的計算量，避免訓練過程中的過擬合情況。

MediaPipe檢測流程如圖5所示，圖像采集器通過捕捉RGB-D視頻得到每幀圖像的R、G、B顏色和深度信息。利用手部檢測器模型實現手部位置的快速定位，考慮到手部形變和遮擋問題，模型不直接進行手指或關節的檢測，而是估算手掌和拳頭的位置實現手部位置定位。檢測器通過檢測手部關節錨點模擬手掌骨架，采用編碼-解碼的方式擴大感知背景，忽略手掌的長寬比，降低錨點檢測數量，實現高縮放情況下的手部關節錨點檢測。

手部關節點檢測如圖6所示，在對每幀數據進行圖像裁剪、歸一化之后，通過手掌檢測器將圖像的空間坐標系中2D點坐標轉化為實際下的像素坐標，獲得關鍵點的深度信息范圍為 0 ～ 1 。將2D坐標點與深度信息進行融合，將特征提取之后，生成手部3D坐標維度為 2 1 × 3 關鍵點信息[8。當未檢測到當前幀手部關鍵點信息時，多余部分的特征信息全部記為0，當檢測到手部關節信息時，根據當前關節點信息預測下一幀手掌可能出現的區域。

圖7為手勢關節點標注信息，通過分析指間關節各夾角之間的大小 ? θ 和各方位的運動向量 、 、 []，計算手部關節點之間的歐式運動距離和向量角度，判斷手指的彎曲程度，關鍵點之間對應距離變化量計算式如（1）所示，向量之間的夾角計算式如（2）所示。

2實驗環境及數據預處理

2.1 HaGRID數據集

HaGRID數據集是廣泛應用于手勢識別研究的開源數據集，該數據集在不同場景下進行采樣，每位受試者需在距相機 0 . 5 ～ 4 . 0 米之間距離處，完成手勢動作的采樣。數據集共包含超過50萬張 分辨率的RGB圖像，采樣不同人類手部動作圖像樣本，共涵蓋18個手勢類別，且每個樣本都包含一張彩色圖像和相應手勢標簽[10]。考慮到原數據集數據總量較大，本實驗對HaGRID數據集進行精簡，只選擇了call、four、ok、one、palm、three六種類別作為樣本，HaGRID數據集部分樣本如圖8所示，每個類別約7000張圖像。

2.2實驗環境與網絡超參數

網絡模型的訓練與測試需要在硬件平臺上進行，本文進行程序設計與調試所用的操作系統為Windows10，GPU 為NvidiaGeForceRTX2080Ti，顯存為 1 6 G B 。編程語言采用Python3.9，深度學習框架為PyTorch1.7。

超參數是指模型訓練開始之前需要提前設置的參數，良好的超參數設置可以控制模型的復雜程度及防止過擬合。實驗將數據集劃分為訓練集與測試集劃分比例為9：1，Batchsize為16，初始學習率為0.01，動量為0.937，采用Warmup預熱學習率策略，在模型穩定時，通過余弦退火算法動態調節學習率大小，防止過擬合的同時加速模型的收斂速度[]，詳細超參數設置如表1所示。

3 實驗結果和分析

3.1 性能評估

在目標檢測中為了定量的評價實驗結果，常使用召回率（Recall）和精度均值（mAP）衡量模型的準確性。Recal1用于衡量實際為正樣本中被檢測正確的概率，如式（3）所示，mAP用于綜合評估準確性與召回率，有效衡量模型的檢測精度和泛化能力[12]，如式（4）所示，FPS（FramesPerSecond）用于評定模型的檢測速度。

實驗以HaGRID數據集作為訓練數據，在訓練過程中不斷的優化和調整超參數，保證網絡精度的前提下提高網絡運行效率。訓練過程中，每50個Epoch計算一下mAP的值，訓練過程中mAP曲線變化情況如圖9所示，從圖中可以看出，模型訓練起始階段曲線的收斂速度較快，且出現了部分震蕩的現象，隨著訓練的不斷迭代和學習率的變化，當網絡曲線基本趨于平穩，模型權重逐漸趨于最優解。最后，當訓練迭代次數達到大概步數時，曲線下降趨勢基本趨于平穩，模型學習效率[13]趨于飽和，此時模型的損失值保持在0.5至0.9附近。

對于 ，由于沒有提供具體的數字，所以無法根據曲線的變化確定訓練是否發生過擬合，此時需要綜合訓練日志、損失函數變化、召回率等進行綜合考慮。圖10中Box表示所有邊界框的數量、Objectness表示邊界框是否包含目標物的概率，即目標得分、Classification表示邊界框包含物體類別的概率，即類別得分。Val表示驗證集上各項指標的值，該值越小表示模型魯棒性越穩定[14]。

3.2 實驗與結果分析

為了驗證算法模型的準確度，對6種手勢類別繪制分類結果的混淆矩陣，各手勢動作在驗證集上識別準確率如圖11所示，橫坐標為動作類別，縱坐標為真實動作的類別，正方形框中為各類手勢動作的準確度，通過圖示可見，所有動作在準確度上都表現較好[15]。其中，palm類別由于關節點不存在遮擋，模型捕捉到的有效信息更多，所以識別精度最高。對于未分類的動作，設置NoGesture標簽，此時需要采用人工補充的方式對動作進行補充。

調用MediaPipe模型中的MediaPipeHand、DisplayHand兩個類用于手勢關節點提取和關節點可視化[1]。實驗運行過程中，提取并保存21個手勢關鍵點，并通過連接線連接起來繪制出手勢骨架。如圖12所示，所有檢測結果都通過預測框的方式進行標注，每一種手勢都可以清晰的描述關節信息。

如圖13所示，改進后的算法檢測速度FPS在40幀／秒左右，同時附帶置信度分數[17]。其中，置信度分數為介于 0 ～ 1 之間的浮點數，其值越接近1表明識別的手勢類別越準確。

4結論

本文采用深度學習目標檢測算法實現動態手勢識別，通過目標檢測算法確定手勢的坐標信息之后，利用MediaPipe模型確定向量角度，判斷手指的彎曲程度實現手勢的識別。算法訓練與測試過程，在性能優良的服務器上實現，但深度學習模型在運算過程中往往需要大量的算力推理計算，后期在模型遷移上，有待進一步對模型進行剪枝和推理加速的研究。

參考文獻：

[1]陳睿智，謝曉雨，羅瑩.科學教育測評中人機交互試題的發展、特征與啟示[J].中國考試，2024（8）：79-88.

[2]高加瑞，杜洪波，蔡錦，等.基于MediaPipe的手勢識別算法研究與應用[J].智能計算機與應用，2024，14（4）：157-161.

[3]袁蔭，楊蘇朋，陳孟元.動態場景下基于YOLOv5的SLAM算法[J/OL].重慶工商大學學報：自然科學版，2024：1-9[2024-08-23].http：/kns.cnki.net/kcms/detail/50.1155.N.20240816.0914.002.html.

[4]文碩怡.基于深度學習的手勢序列識別研究[D].天津：天津職業技術師范大學，2024.

[5]周楠.基于卷積神經網絡的手勢識別算法研究[D].桂林：桂林理工大學，2022.

[6]BAIL，DINGXW，LIUY，etal.Multi-scaleFeatureFusion Optical Remote Sensing Target Detection Method [J].OptoelectronicsLetters，2025，21 （4）：226-233.

[7]ABONDIO P，BRUNO F. Single-cell Pan-omics，Environmental Neurology，and Artificial Intelligence：The TimeforHolistic Brain Health Research [J].Neural RregenerationRresearch，2025，20（6）：1703-1704.

[8]羅怡.基于深度學習的手部姿態估計研究[D].貴陽：貴州大學，2023.

[9]劉曉克.基于深度學習的人體關節點檢測算法研究[D].秦皇島：燕山大學，2019.

[10]蔡宇.基于深度學習的手勢識別算法研究[D].呼和浩特：內蒙古大學，2023.

[11]邱鋒.基于深度學習的實時動態手勢識別[D].杭州：浙江大學，2020.

[12]陳睿敏.手勢識別關鍵技術及其在智能實驗室中的應用研究[D].中國科學院大學（中國科學院上海技術物理研究所），2017.

[13]楊文姬.面向家庭服務機器人的手勢交互技術研究[D].秦皇島：燕山大學，2015.

[14]王鳳艷.基于多模態輸入的手勢識別算法研究[D].合肥：中國科學技術大學，2017.

[15]尹康.基于多特征融合網絡的手勢軌跡識別研究[D].成都：電子科技大學，2019

[16]白云超.手勢行為的識別及語義表征技術[D].南京：南京大學，2020.

[17]王強宇.基于深度神經網絡的動態手勢識別技術研究[D].北京：中國礦業大學（北京），2019.

作者簡介，陳吳東（2003一），男.漢族，湖北荊州人.本科在讀，研究方向：嵌入式系統。