基于手勢識別的手部康復智能評估算法研究

徐 勝，劉志誠，涂鑫濤，周軒陽，費敏銳，張 堃,5

(1.南通職業大學電子信息工程學院，江蘇 南通 226007；2.華東理工常熟研究院有限公司，江蘇 常熟 215500；3.南通大學電氣工程學院，江蘇 南通 226019；4.上海大學機電工程與自動化學院，上海 200444；5.南通市智能計算與智能控制重點試驗室，江蘇 南通 226019)

0 引言

手部康復評估對于手部中風和肌肉衰退的患者是必不可少的。現有的X光、磁共振等方式，一方面依賴于大型設備，造價昂貴，另一方面依賴醫生的經驗、水平，無法標準化。而基于數據手套的虛擬康復系統，在佩戴手套時容易對手部有創傷的患者造成二次傷害。本文針對現有手部康復評估手段存在的不足，將計算機視覺技術用于手部康復評估。

近年來，隨著卷積神經網絡(convolutional neural networks，CNN)[1]、遞歸神經網絡、深度信念網絡等技術的發展，研究人員基于計算機視覺技術開展了手勢識別研究。Alam[2]等采用深度視角傳感獲取手勢圖像數據集，用于解決手勢圖像樣本多視角的提取問題。但是，深度視角傳感受光線干擾影響較大，只能在一些特定的場景下使用，不利于普及。Cao[3]等提出的OpenPose模型，采用自低向上的檢測方法，與局部親和算法相結合，可以檢測出關鍵點并把關鍵點連接起來，檢測速度和檢測精度都較傳統模型都有大幅度提高。但是，OpenPose模型規模太大，不適用于實際場景。王珩[4]采用了卷積神經網絡的方法，使用遷移學習的訓練方式訓練YOLOv3網絡。但是，該模型檢測速度較慢，并且只能在GPU上運行，對硬件要求比較高。

因此，本文對YOLOv4算法進行改進，提出Hand-YOLOv4算法。經過Hand-YOLOv4算法識別出手部區域，基于RexNet網絡進行深度學習，檢測出手部21個關鍵點。通過動態時間規整(dynamic time warping，DTW)算法作動態時間規整，比較患者動作與標準動作的關節角度變化軌跡的相似度，進行康復評估。本文以自主手勢識別技術為核心，結合DTW算法，設計了基于手勢識別的手部康復智能評估算法。該算法架構輕量化，具有檢測速度快、檢測精度高的優勢。

1 Hand-YOLOv4算法

本文對YOLOv4算法進行改進，提出了針對手部康復的Hand-YOLOv4算法。Hand-YOLOv4算法結構如圖1所示。

圖 1 Hand-YOLOv4算法結構

深度卷積神經網絡通常由大量卷積組成，規模大，計算成本高。因此，減少計算成本一直是網絡模型優化的一個方向。例如，在MobileNet網絡中引入深度卷積、ShuffleNet混洗操作，使用較小的卷積核(浮點運算)構建有效的CNN。但是1×1卷積層仍將占用大量內存，需要較高的每秒浮點運算次數(floating-point operations per second，FLOPs)，降低計算量的效果不理想。

因此，本文參考GhostNet[5]網絡中的堆疊Ghost模塊的原理，結合注意力機制，原創性地設計了輕量化的網絡模塊Lwblock(light weight block)，用于替換YOLOv4算法中的模塊Resblock。利用Ghost模塊生成與普通卷積層相同數量的特征圖，以Ghost模塊替換卷積層，并集成到現有的神經網絡結構中，可減少計算成本。Lwblock網絡模塊結構如圖2所示。

圖2 Lwblock網絡模塊結構

2 基于DTW算法的康復評估方法

患者在康復訓練過程中，由于動作快慢等因素，導致患者動作與標準動作在時間軸上存在一定的差異，不能形成幀與幀對應的關系。直接使用歐式距離、相關性系數等方法無法正確地評估運動數據流的相似度[6]。采用DTW算法可以找到2個時間序列的最佳對齊方式[7]，尤其適用于不同長度、不同節奏的時間序列。DTW算法將自動扭曲時間序列，即在時間軸上進行局部的縮放，使得兩個序列的形態盡可能一致，得到最大相似度[8]，從而確定患者動作與標準動作之間的差異性。差異性越大，就意味著患者的肢體運動能力越差。

由于Hand-YOLOv4算法采集的關鍵點的坐標時間序列受個體影響比較大，所以先將各關鍵點的坐標時間序列轉換為關節的角度時間序列，再比較患者動作與標準動作的關節角度變化軌跡的相似度，從而進行康復評估，判斷患者的恢復情況。

下面以大拇指角度變化為例，描述DTW算法在動作數據流相似度評估中的應用。

首先，將坐標信息轉換為角度信息，如式(1)所示。

(1)

根據DTW算法計算出其相似度，如式(2)所示：

(2)

式中：D為DTW距離；K為路徑長度。

選取閾值λ。當SDTW≤λ時，說明拇指彎曲動作完成度較高，大拇指運動能力較好，康復情況較好。反之，則說明拇指彎曲動作完成度較低，拇指運動能力差，康復情況不好。

3 基于手勢識別的手部康復智能評估算法設計

為了驗證所提出的基于手勢識別的手部康復智能評估算法，本文設計了1個非穿戴式的手部康復評估模型。

3.1 智能康復評估流程

智能康復評估算法的第一步就是采用Hand-YOLOv4算法框選出手部區域。此算法分為兩種模式：一種是標準動作流錄入模式，另外一種是康復評估模式。

在標準動作流錄入模式下，標準動作流數據庫的建立流程如下。

①3名健康人員進行動作流錄入。基于Hand-YOLOv4算法采集他們的動作流，每人每個動作重復5遍，共15組數據。

②讀取15組數據，將第1組數據作為初始動作流模板。

③計算下一組數據與模板的DTW距離。若DTW超過閾值，則丟棄。若距離未超過閾值，則將2組動作流按照DTW匹配路徑重新映射，并給模板數據分配0.8的權重，給下一組數據分配0.2的權重，計算對應序列點的加權值，作為新的動作流模板。

智能康復評估算法流程如圖3所示。

圖3 智能康復評估算法流程圖

④重復步驟③，直到遍歷完15組數據。

在康復評估模式下，患者做相應的手部康復動作，由單目相機采集信息，通過Hand-YOLOv4算法進行檢測。基于DTW算法比較患者動作與標準動作的關節角度變化軌跡的相似度，進行康復評估，判斷患者的恢復情況。

3.2 智能康復評估過程

具體評估步驟如下。

①對攝像頭采集到的圖像數據進行預處理，并對圖像作歸一化和標準化處理。

②基于Hand-YOLOv4算法，識別出手部矩形區域，并建立坐標系。

③用RexNet對手部關鍵點進行預測，識別出手部的21個關鍵點，并根據手部關鍵點進行連接，構成對應的向量。手部關鍵點對應序號如表1所示。

表1 手部關鍵點對應序號

④使用DTW算法進行康復評估，判斷患者的恢復情況。

實際場景模擬如圖4所示。

圖4 實際場景模擬

4 試驗分析

4.1 試驗環境與評價指標

本檢測平臺由S-YUE晟悅1080P攝像頭和1臺計算機組成。攝像頭用于采集手勢信息，通過USB接口與計算機連接。

試驗所用的訓練數據集是微軟公司制作的COCO數據集。它是一個集訓練、驗證、測試于一體的用于圖像識別的數據集，有超過 200 000 張圖片、80種物體類別。所有的物體實例都用詳細的分割mask進行了標注，共標注了超過 500 000 個物體實體。

試驗中所檢測的手部關鍵部位共21個。所用的精度評價標準為平均精度均值(mean average precision，mAP)。分別使用50%、75%和90%作為每類關鍵點的檢測精度閾值，然后計算其平均值并作為模型的平均檢測精度。所用的速度評價指標是幀率，單位為每秒傳輸幀數(frame per second，FPS)。

4.2 Hand-YOLOv4算法測試

為了驗證Hand-YOLOv4算法的性能，分別使用Resnet50、Darknet53和Hand-YOLOv4的主干網絡這3種模型進行分類預測[9]。3種模型參數指標如表2所示。在輸入尺寸均是416×416時，Hand-YOLOv4的主干網絡所需參數量最少，只有20.4 MB，同時幀率也均高于Resnet50和Darknet53。試驗結果表明，本文提出的Hand-YOLOv4的主干網絡是最優的。

3種主干模型的檢測精度對比如圖5所示。在COCO數據集上采用AP、AP50、AP75 3種不同的評價指標進行檢測。由圖5可知，在主干網絡方面，Darknet53比Resnet50效果更好，但是Hand-YOLOv4的主干網絡效果最優。

圖5 檢測精度對比圖

不同改進方法在COCO數據集上的消融試驗結果如表3所示。

方法一僅使用YOLOv4的主干網絡Darknet，不作任何改進。

方法二嘗試優化提取底層特征的方式，在Darknet的基礎上引入注意力機制(self-attention mechanism，SE)，模型的mAP會增加到41.4%，而效率沒有任何損失。

方法三使用網絡模塊Lwblock替換Darknet中的模塊Resblock,可以提高性能。從表3可以看到，mAP提高了0.24%，FPS提高了近14%，而計算量下降到原來的一半左右，總的計算時間減少了。

方法四將SE引入網絡模塊Lwblock，整體替換Darknet中的模塊Resblock。模型的mAP會增加到41.6%，計算量較方法一下降了一半，FPS較方法一提高了近14%。

總的來說，采用方法四的檢測效果最優[10]。

4.3 智能康復評估算法測試

試驗分別采用OpenPose、YOLOv4+RexNet、Hand-YOLOv4+RexNet作為手部關鍵點識別算法開展算法性能對比測試。

首先，采用標準動作流錄入模式，錄入6個動作，作為標準模板。每個動作采集5次，完成標準數據庫的建立。

然后，在康復評估模式下，選取10名健康受試者按照隨機順序、不同程度地做出標準數據庫中的6個動作。每個動作做10次，共計600次試驗，得出600組對應的康復評估結果。同時，針對系統所錄制的受試者測試過程，進行人工評估，將算法評估結果與人工評估結果進行對比。

經過統計，OpenPose+DTW的模型檢測精度為75.9%，YOLOv4+RexNet+DTW的模型檢測精度為89.54%，本文提出的Hand-YOLOv4+RexNet+DTW的模型檢測精度高達93.45%，效果最佳。

5 結論

本文提出將計算機視覺檢測技術用于手部康復評估，創新性地提出非穿戴式的基于手勢識別的手部康復智能評估算法。該算法能夠避免對手部有創傷的患者造成二次傷害。在YOLOv4算法的基礎上加以改進，提出Hand-YOLOv4算法，測量精度達到41.6%，幀率提高了14%，計算量降低了一半左右；結合DTW設計了手部康復智能評估算法，可以找到2個時間序列最佳的對齊方式，進而確定患者動作與標準動作之間的差異性。測試表明，該智能康復評估算法的檢測精度可達到93.45%，能夠勝任手部康復評估的工作，將有效推動手部醫療康復領域向舒適化、便捷化方向發展。