基于輕量級OpenPose改進的幻影機手勢交互系統

譚立行，魯嘉淇，張笑楠，劉宇紅，張榮芬

貴州大學 大數據與信息工程學院，貴州550023

近年來，隨著計算機技術的高速發展，各國紛紛制訂了各自的機器人發展戰略規劃，而良好的人機交互方式是人機合作的重要基礎。傳統的鍵盤、鼠標等人機交互方式只能在人與計算機之間架起一座起到交互作用的橋梁，難以滿足用戶日益增長的交互需要，因此尋求一種更自然化、便捷化的實時人機交互方式成為熱點研究方向[1]。

當前，人手已經被用作實時輸入設備進行人機交互，人們可以通過手勢而非鍵盤或鼠標等設備來更直觀地控制機器，例如手機的觸摸屏。但是，觸摸屏一類的交互方式受限于配套設備，要求被操控的機器必須有配套的觸摸屏。經過研究發現，基于攝像頭輸入的手勢交互不需要與被控設備進行直接接觸，可以在設備周圍進行交互。然而，通過攝像頭視頻輸入手勢進行手勢估計對于計算機是一個艱巨的任務，因為手的運動靈活多樣，實踐應用中用戶背景環境也復雜多變，手勢識別的準確性、實時性以及魯棒性較差[2]，如何使計算機能夠及時、準確地識別用戶做出的手勢是這一技術亟待解決的關鍵問題。為有效地進行人機交互，本文目標是嘗試提出一種能精準、實時解決攝像頭手勢交互識別的算法模型及硬件系統，實現通過手勢交互控制小車運行。

1 相關工作

傳統的手勢識別主要使用基于圖像和序列圖片幀處理手工特征的算法來實現。這些方法首先需要檢測圖像中手部位置，常見的手部檢測方法主要分為基于形狀信息特征、基于膚色信息、形狀特征與膚色信息相結合和基于運動信息的四種方法。基于形狀特征的方法主要是基于梯度直方圖（Histogram of Oriented Gradient，HOG）、尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）、光流直方圖（Histogram of Flow，HOF）等人為指定的特征，利用支持向量機（Support Vector Machine，SVM）分類器進行分類[3]，對人工特征的依賴很強。膚色方法通過分析人體膚色與背景的特殊差異，設置閾值將不同色彩空間中的人手分離出來，然后使用形態學操作對圖形進行腐蝕膨脹處理，進而達到消除噪聲的目的。這種方法局限性大，由于各人膚色不同，在閾值設置上不能適用統一標準，無法全面描述人類手勢。基于運動信息的方法利用運動過程中圖像幀之間的差異進行減運算得到差異值，通過差異值分析運動信息，是一種基于序列圖片幀的方法。這種方法的缺點在于對運動圖像要求很高，要求運動圖像中背景不能變化，手勢移動不能過快，場景光照條件也不能變化，不具有廣泛適用性[4]。在機器學習出現以后，基于模板匹配的方法開始流行，最早出現的方法是利用模板匹配法進行靜態手勢識別，將輸入圖像與模板進行匹配計算圖像相似度[5]，但這種識別方法準確性較低，僅能識別簡單手勢。在深度學習方法出現以后，基于深度學習的識別方法開始成為主流，以Wang Nan團隊提出的基于深度學習的Faster R-CNN方法為例，Faster R-CNN可以通過使用深度卷積神經網絡（Convolutional Neural Network，CNN）學習更多抽象的手勢紋理特征，避免了傳統手勢識別方法對人工設計特征的依賴，使得手勢識別更具準確性和魯棒性。

目前，深度學習的視覺手勢識別主要分為基于RGB-D攝像頭的方式和基于RGB攝像頭的方式兩種。基于RGB-D攝像頭的方式除了常見的三位顏色空間信息外，還能夠提取空間深度信息，以微軟公司研發的Kinect攝像頭為例，這種攝像頭可以直接應用于捕捉人體關節點，能夠實現現實與虛擬環境中場景間的多感知交互[6]。這種方式的優點在于空間中的深度信息給計算機提供了一個新的數據維度用來分析手勢，在準確率、識別準確度和系統穩定性上都表現優秀。有很多研究者基于Kinect進行相關研究，如桑海峰團隊研究的面向人機交互的快速人體動作識別系統就利用Kinect捕捉人體骨骼數據流提取關鍵點形成特征[7]。但是RGB-D攝像頭價格昂貴，不利于開發。而基于RGB攝像頭的方式不需要專業的攝像頭，并且不需要特殊的設備，對于人機交互來說，是一種更為自然、通用的交互方式，也更利于成為主流的視覺手勢交互方式。

基于深度學習的手勢識別方法在靜態動作識別上可以取得很好的精確度且有較好的魯棒性，但是深度學習帶來的計算開銷往往過大，使得基于深度學習的視覺手勢交互系統還不能夠投入生產，仍停留在理論階段。為了避免分類器過載，影響算法性能，一些研究人員使用了降維方法，降低特征維數。與此思想類似，本文提出的基于輕量級OpenPose改進的手勢交互系統，主要針對OpenPose網絡中的卷積神經網絡進行降維，改善OpenPose在速度上的局限。

本文降維的靈感來源于華為公司諾亞方舟實驗室的Kai Han團隊提出的幻影網絡GhostNet[8]。通過幻影模塊（Ghost Module）減小卷積核尺寸的同時保證識別的精度，減小深度學習對于硬件算力的需求。最后本文結合Arduino嵌入式平臺，搭建了一個基于深度學習的視覺手勢人機交互系統。該系統應用幻影模塊針對Intel提出的輕量級OpenPose[9]進行改進，提升了實時應用的可行性。

2 算法研究

2.1 輕量級的OpenPose

輕量級OpenPose（Lightweight OpenPose）是Intel公司基于卡耐基梅隆大學發布的開源項目OpenPose框架進行的改進。OpenPose是一個可以基于實時多人關鍵點識別讀懂人類肢體語言的開放庫和程序包[10]，它使得開發者能夠在單目攝像頭的基礎上獲得準確率較高的人體關鍵點坐標。OpenPose支持對手部進行21個關鍵點的檢測，將原始圖像輸入網絡后，最終能夠匯總得到人手關鍵點特征圖。21個手部關鍵點結構如圖1所示。

圖1 21點人手建模Fig.1 21 points human hand model

OpenPose的結構如圖2所示，由一個雙分支的CNN對于輸入的二維彩色圖像進行處理。

大小為W×H像素的原始圖像在經過VGG-19前十層初始化處理后經過微調會得到一個特征圖F，將特征圖F輸入網絡當中，在網絡中分成兩路分支。用TP表示總階段數，TC表示總置信圖階段數。分支1中的每一級都用于預測關鍵點置信圖[11]，從最新的部分親和域（Part Affinity Fields，PAF）開始重復進行置信圖檢測。

在利用式（1）和式（2）進行關鍵點置信圖檢測時，t表示第t輪迭代，其中ρt表示在第t輪迭代中進行推理的CNN，STP表示經過TP輪迭代后的置信圖，St表示經過TP輪迭代后，從最新的部分親和域開始重復進行檢測得到的置信圖。

分支2中每一級都用于預測關鍵點的部分親和域：

其中，φt指的是在第t階段進行推理的CNN。令φ1為第1輪迭代時用于進行推理的CNN，在每個后續階段中，來自上一階段CNN的預測結果和原始圖像的特征圖F共同作用精確地預測Lt。

部分親和域是一組二維矢量場，用于在圖像上編碼肢體像素點的位置和走向。之后的每一路循環都將上一輪兩路分支循環的輸出以及原始特征圖F作為輸入，最后利用匈牙利算法進行推理，得到人體骨骼的關鍵點和肢體對應的二維坐標作為輸出，如圖3所示。

圖3 OpenPose流程圖Fig.3 OpenPose pipeline

為了引導網絡在迭代過程中能夠預測兩分支中的部分親和域和關鍵點置信圖，在每個階段的末尾都要應用損失函數。在t階段的置信圖分支的損失函數和部分親和域的損失函數分別為：

為了評估fS，在網絡訓練的過程中，從標注的關鍵點中生成可信度置信圖S*。每一個置信圖都是特定身體部位處于給定像素中的可信度的二維表征。令Xi,j∈?2為圖片中第k個人第j個身體部分的真實位置，則在p處的值可定義為：

其中，σ為控制峰的擴展。表示第k個人第j個身體部分的可信度。

網絡預測結果的可信度置信圖可表示為各個獨立置信圖通過最大算子后的集合。

而在Intel公司改進后的輕量級OpenPose中，將原始的OpenPose中用于提取特征圖F的網絡從VGG19換成了輕量級的網絡MobileNetV1。通過這樣的操作可以有效減少訓練過程中生成的參數量，僅為原始二階OpenPose參數量的15%，減輕了程序運行時加載網絡參數的資源損耗，從而提升了檢測的速度。輕量級OpenPose還改進了原始OpenPose中的兩分支結構，共享所有層使其變為單路結構，僅在最后兩層分為兩路分支分別輸出關鍵點置信圖S和親和域L。原始OpenPose中計算量耗費大的7×7卷積核也被替換為3×3，1×1，3×3結構的卷積核，在保留了接收親和域的同時減少了計算量。輕量級OpenPose結構改進部分如圖4所示。

圖4 輕量級OpenPose改進結構Fig.4 Improved architecture of lightweight OpenPose

2.2 幻影姿態機

輕量級OpenPose框架在OpenPose框架檢測效果的基礎上通過犧牲一小部分精確度換來了可觀的速度提升，但是輕量級OpenPose框架所提供的網絡結構依舊過大，在實時檢測時難以使用獨立的CPU得到較高的檢測速率。為了進一步減輕OpenPose對于硬件資源的需求，提出了幻影姿態機（Ghost Pose Machine，GPM）。

幻影姿態機是基于華為公司諾亞方舟實驗室提出的幻影模塊的思想提出的。GPM整體結構與輕量級OpenPose識別網絡類似，通過將其中的卷積層從傳統卷積層更換為幻影卷積層來提升網絡性能。通過更少的卷積運算次數獲得更多的特征，以此來提高OpenPose框架的運行速度，提高實時識別速度，減輕計算機視覺深度學習對于硬件資源的需求。在基于深度學習的計算機視覺識別過程中，需要進行大量的卷積運算來產生特征圖，幻影模塊的核心思想在于卷積過程中產生的特征圖會有許多特征圖是類似的，將這樣的特征圖稱作冗余特征圖，這些冗余特征圖可由其他特征圖進行線性變換得到相似特征圖，將此類冗余特征圖稱作“幻影”特征圖[12]。因此可以通過減少卷積產生的通道數，利用線性乘法對卷積后的特征圖做線性變換，從而得到“幻影”特征圖產生高維卷積效果。本文幻影模塊結構如圖5所示。

圖5 幻影模塊（GM）Fig.5 Ghost module（GM）

如圖6所示，給定輸入數據X∈?c×h×w。圖中c是輸入圖像的通道數，在RGB彩色圖中，共有紅、綠、藍三色通道，h和w分別是輸入圖像的高度和寬度，則生成n個特征圖的任意卷積操作層可表示為式（9）：

圖6 卷積操作Fig.6 Convolution operation

其中，*為卷積運算符號，X為輸入圖像，Y是通道數為n的輸出特征圖，Y∈?h′×w′×n，f∈?c×k×k×n既是卷積核，也是濾波器，b是偏差項，h′、w′為特征圖尺寸，k×k為卷積核尺寸。

由于在輸出圖中存在很多冗余，不必一一生成具有大量FLOP和參數的“幻影”特征圖。將原來生成n個特征圖Y的卷積操作替換為產生m個核心特征圖Y′的卷積操作，如式（10）所示。

其中，f′∈?c×k×k×m為所使用的卷積核，m為生成特征圖個數，且m≤n。

為了進一步獲得所需要的n個特征圖，對得到的m個核心特征圖Y′做廉價線性運算生成s個“幻影”。

其中，y′i,j是Y′的第i個核心特征值，Φi,j是生成第j個“幻影”yi,j所進行的第j個線性運算，yi,j是生成的第j個“幻影”，最終可得到n=m×s個特征圖。

通過在傳統的CNN中插入幻影模塊，無需進行高維度的卷積運算，能夠有效減少卷積運算所帶來的硬件設備資源消耗，提高算法的識別速度。

使用幻影模塊升級后的卷積操作與普通卷積操作理論加速比為：

其中，d×d是每個線性運算的平均核尺寸，其大小和k×k的大小近似，而s?c。

類似地，理論壓縮比可以計算為：

表明本文幻影姿態機能對整個過程中涉及到的高維度卷積層進行降維，縮小卷積核的尺寸，并通過插入幻影模塊來達到高維卷積的效果，在可以接受的精度損失內減小了計算量。

3 系統結構及軟件設計

3.1 幻影姿態機

本系統首次將OpenPose用于實時人機交互操作控制，并且利用輕量級OpenPose和幻影模塊對識別過程進行加速，有利于提高系統實時性。根據本文幻影姿態機基于輕量級OpenPose框架進行改進，只需將框架中用到的卷積層替換為幻影模塊卷積，卷積核替換結構如圖7所示。

圖7 幻影卷積核替換結構Fig.7 Architecture of ghost convolution kernel

即將網絡中原本的7×7卷積替換為3×3卷積，生成m通道核心特征圖，再進行s次線性運算得到n通道特征圖，所得特征圖與7×7卷積生成的n通道特征圖相似。替換后可實現卷積降維，從而對整體神經網絡架構進行加速，提高幻影姿態機識別效率。

另外，通過將普通的卷積層替換為幻影卷積層，可以使用更少的卷積運算得到相同的特征圖。本文基于幻影模塊生成冗余特征圖的方法，提出了一種新的適用于多場景的手勢識別控制方法。首先利用幻影姿態機對輸入的實時RGB圖像進行手部建模，然后使用模板匹配圖像識別方法對幻影姿態機建立的手勢模型進行識別并發出指令，從而進行人機交互控制，以滿足系統應用需求。該方法適應性強，任何人做出操作手勢均可識別，無需針對不同膚色的人重新訓練用于進行動作識別的模型，并且相對于輕量級OpenPose，減少了卷積運算次數，能夠提高識別速率。本文幻影姿態機框架如圖8所示。

圖8 幻影姿態機框架Fig.8 Architecture of ghost pose machine

3.2 手勢識別系統框架

本文手勢識別交互控制系統結構如圖9所示。實驗中采用搭載Arduino UNO的移動小車執行交互響應，將系統運行在PC端進行實時手勢檢測以及指令識別，并通過PC端與移動端的通信對移動端小車發出控制指令。

圖9 手勢交互系統框架Fig.9 Architecture of gesture interaction system

圖10 給出的是小車手勢交互控制系統流程。系統準備就緒后，使用PC端RGB攝像頭輸入實時圖像，在此過程中，調用訓練好的“輕量級OpenPose+幻影姿態機”模型（簡稱幻影姿態機）進行人手關鍵點檢測并畫出骨架，利用模板匹配方法對畫出骨架的手勢圖像進行分類識別。

圖10 系統流程圖Fig.10 System pipeline

識別完成后，PC端將根據識別出的手勢通過藍牙通信向小車發出控制指令，小車上搭載的Arduino開發板通過藍牙模塊與PC進行實時通訊，接受指令并對小車的電機進行控制，從而達到控制小車交互行進的目的。

為了控制小車的移動，本文設置了五種基本手勢：握拳、手勢數字1、手勢數字2、手勢數字6和手掌打開。五種手勢分別對應了小車的前進、左轉、右轉、倒車、停車五個指令。如圖11所示。

圖11 五種指令手勢Fig.11 Five instruction gestures

3.3 軟件設計

本系統的實驗平臺基于藍牙移動小車搭建。藍牙小車搭載Arduino嵌入式平臺，通過藍牙模塊與本地PC端進行通信。小車平臺用兩節18650鋰離子電池供電，搭載藍牙4.0模塊。

嵌入式平臺選用Arduino UNO平臺，該平臺搭載時鐘頻率為16 MHz ATMEGA328P內核的微處理器，足夠進行藍牙通訊。圖像的采集和處理識別主要由本地PC機進行，嵌入式平臺作為控制傳輸中繼，通過藍牙連接小車電機和本地PC。本地PC通過攝像頭監測控制者的手勢，生成控制指令。

4 實驗及結果

4.1 數據集與網絡訓練

在訓練幻影姿態機的過程中，本文采用微軟公司的COCO2017數據集進行訓練實現關鍵點檢測，共計118 288張圖片；而對于手勢分類，用幻影姿態機采集了五種手勢各20張的關鍵點圖進行標注，用于分類識別網絡的訓練。

為使得幻影姿態機能夠更快取得良好結果，本文調用了預訓練過的MobileNetV1進行遷移訓練，使用GPU顯卡（NVIDIA GTX 2070）對訓練過程進行加速。軟件基于深度學習開源工具箱Pytorch實現，調用了pycocotools、opencv、numpy等開源庫，最終可運行在Intel?Core i5-9500F@2.90 GHz CPU，Windows 10操作系統上。

網絡中的各層權重通過Adaboost求解，訓練中主要修改迭代次數和學習率兩項參數。每一次迭代使用256張圖片，共經過3 700次迭代。最終在訓練集上幻影姿態機的檢測準確率達到65.9%。

4.2 識別算法評估

實驗1人手關鍵點檢測。

為了對比驗證本文改進算法的實際檢測性能，分別針對原始OpenPose、輕量級OpenPose和本文幻影姿態機三個模型在COCO驗證集上進行了檢測人手關鍵點的測試實驗。準確率測試結果如表1所示。

表1 COCO2017驗證集上OpenPose、輕量級OpenPose、幻影姿態機的性能比較Table 1 Performance of OpenPose，lightweight OpenPose and ghost pose machine on COCO2017

從表1結果中可以看出，本文幻影姿態機算法基本上保持了原有網絡的關鍵點識別率。

為了測試幻影姿態機的加速效果，本文分別將OpenPose、輕量級OpenPose以及幻影姿態機三種算法在本地PC機上運行，接通RGB攝像頭進行實時檢測，經多次測試的運行速度如表2所示。

表2 OpenPose、輕量級OpenPose、幻影姿態機的實時檢測幀率Table 2 Real-time FPS of OpenPose，lightweight OpenPose and ghost pose machine

從表2結果中可以看出，本文幻影姿態機對比原輕量級OpenPose框架明顯提高了識別速率。由式（12），理論加速比為2，根據上述結果可計算出實際加速1.18~1.57倍，低于理論加速比，猜想是因為幻影姿態機中backbone部分使用的幻影模塊參數還未達到最優，“幻影”冗余還可進一步壓縮。

實驗2實時手勢識別。

在上述訓練與驗證幻影姿態機的過程中，攝像頭始終正對著手勢且沒有受到其他干擾，在實際應用中難以做到理想狀態。因此為了實時測試在更復雜情況下的識別效果，本組實驗分別做以下四種情況的識別效果對比：手勢正常面向攝像頭，手勢側面對準攝像頭，手勢背面對準攝像頭，有多只手出現在攝像頭中。這四種情況下幻影姿態機的識別效果如圖12所示。

圖12 復雜情況下手勢識別效果Fig.12 Recognition results on complicated background

在測試過程當中，分別在不同情況下設置五種手勢（對應小車前進、左轉、右轉、倒車、停車）的對照實驗，用手勢正面面對攝像頭、手勢側面面對攝像頭、手勢背面面對攝像頭以及正面出現兩只手控制小車實現交互響應。每次測試中，隨機做動作100次，每種手勢各20次。小車實時響應結果如表3所示。

表3 五種手勢在三種情況下手勢識別精確率和召回率Table 3 Precision and recall of five gestures recognition under three cases %

文中，TP為將手勢預測為對應手勢的數量，TN為將其他手勢預測為其他手勢的數量，FN為將手勢預測為其他手勢的數量，FP為將其他手勢預測為當前手勢的數量，則精確率計算公式為：

召回率計算公式為：

通過以上實驗結果可以看出，幻影姿態機在正面和背面的手勢識別精確率和召回率較高，正面識別精確率最高可達85.71%，召回率最高可達90%；手勢側面對準攝像頭時檢測效果最差，精確率最高僅達到72.73%，召回率僅能達到75%；特殊情況，在同時出現兩只手時，若兩只手的距離較近，幻影姿態機會將兩只手的關鍵點誤識別，無法判斷識別出關鍵點屬于哪只手。

另外，在實際應用中，操作人員一般正面對準攝像頭，但系統很難確保操作人員在操控設備時位置不變，因此需要測試幻影姿態機在操作人員與攝像頭處于不同距離下的手勢識別效果。表4是正面識別時各種手勢的平均識別結果。

表4 不同距離下幻影姿態機的正面識別精確率Table 4 Precision of ghost pose machine for front recognition at different distances

通過實驗結果可知，在超過兩米的范圍幻影姿態機很難再對人手進行識別，這是因為OpenPose框架提供的基礎人手訓練模型僅對近距離手勢數據進行訓練，無法應用于遠距離的手勢。解決辦法是考慮利用數據增廣技術擴充數據集，通過人工標注圖片對網絡進行再訓練，提升姿態機在較大的距離范圍內檢測復雜人手關鍵點的能力。

5 結束語

本文提出了一種改進的基于輕量級OpenPose的新型人機交互系統，通過構建幻影姿態機，改善了OpenPose模型參數量大的問題，減輕了硬件負擔，在保證手勢識別準確率的基礎上有效提升了識別速率。該系統可適用于多種領域，包括無人機操控、遠程手術等不適合傳統人機交互模式操作的場景，能夠對機器進行更為復雜的操控。本系統基于輕量級OpenPose與幻影模塊進行改進，目前的研究實現了幻影姿態機的基本運行，但仍然有許多可以改進和深入研究的方向，比如：如何進一步優化模型參數設置；如何確定卷積層中哪些是核心特征，哪些是“幻影”；如何進一步簡化網絡結構[13]；實現多人背景下的手勢識別交互；實現動態手勢的識別；進一步提高準確度、魯棒性等。