OpenPose算法人體姿態(tài)識別應(yīng)用研究

沈陽理工大學 周 越 陳琪然

針對傳統(tǒng)圖像提取算法、目標識別算法識別精度低，識別性單一，設(shè)備容量要求高，無法進行強度較高的交互而難以判斷出手勢發(fā)起人等問題。通過研究Openpose姿態(tài)估計算法，將多個關(guān)鍵點設(shè)為目標，再進行多目標距離進行處理具有較高的魯棒性。該算法改進可以對手部和姿態(tài)進行單獨編碼，在人臉識別框架的基礎(chǔ)下進行區(qū)域姿態(tài)的篩選，進而節(jié)約計算時間。

隨著無人駕駛汽車的快速發(fā)展，路面信息變得尤為復雜，因此無人汽車在行駛過程中能準確識別車輛指揮員手勢并進行判斷變得愈發(fā)重要。

手勢識別技術(shù)對人機交互要求較高，我們通過識別車輛指揮員的手勢與我們訓練的手勢進行對比識別進而執(zhí)行指令。

我國的手勢識別技術(shù)也發(fā)展了很多年，國內(nèi)知名高校匯集了大量的研究成果。浙江大學計算機系的董鐘書團隊研究出一種基于人體表面的手勢識別技術(shù)。可以通過對運動分割幀間圖像進行估計，將運動、形狀、紋理等信息統(tǒng)一進行手勢識別；研發(fā)出的在線識別系統(tǒng)可以識別9種手勢，識別率很高。李德平團隊提出一種基于AdaBoost算法和光流相匹配的實時手勢識別方案：與計算機的攝像頭相連讀取手勢視頻片段便可對手勢作出較為準確的識別。

國外對于基于視覺的手勢識別的研究也進行了很長時間。麻省理工和加州理工的YoungShill Lee、Se-Jun Park等人通過采用熵分析法，將手勢區(qū)域從復雜背景的視頻流中分割出來，然后進行手勢識別。使用鏈碼法檢測出手勢區(qū)域輪廓，最后通過計算得出從手勢區(qū)域的質(zhì)心到輪廓的距離。該系統(tǒng)可識別出7種手勢，平均識別成功率超過92%；8個人中，每人的手勢的平均識別成功率達到93%-100%。

本文通過改進openpose算法進行人臉和手勢識別。

1 OpenPose算法主要流程介紹

姿態(tài)估計算法可以分為Bottom-Up方法和Top-down兩個不同的方向。Bottom-Up方法的原理是先通過檢測圖像中的人體的關(guān)鍵點，然后將圖像中的關(guān)鍵進行分配，進而分配于不同的人身上。Top-down方法的原理是將人體和關(guān)鍵點進行分開檢測，先運行一個人體檢測器，此人體檢測器可識別出人體，當識別到人體后，再對關(guān)鍵點進行檢測并得出結(jié)果。

傳統(tǒng)的自上而下的單人姿態(tài)估計方法當人體檢測器發(fā)生故障時無法恢復，在沒有識別到人時就無法繼續(xù)識別關(guān)鍵點如手、腳等，而且每個人都要與姿態(tài)估計器進行對應(yīng)，耗費時間過多。為了克服以上問題，我們提出了使用OpenPose算法，bottom-up表現(xiàn)形式通過PAFS進行展示，二維向量場可通過PAF進行表示，可以對人的肢體手、腳等所在圖像區(qū)域進行方向位置的編碼。關(guān)聯(lián)編碼的作用是為貪婪解析提供足夠的全局上下文，高質(zhì)量的結(jié)果可以通過很少的計算成本實現(xiàn)。

2 改進的OpenPose算法

首先我們先獲取識別后的人臉坐標，對右上角左下角坐標分別標注為（xa1，ya1），（xa2，ya2），由以上兩個坐標我們可以獲得臉的寬度W=xa2-xa1，高h=ya2-ya1。然后進行人臉柵格化，對柵格化的矩陣進行坐標標記，同理格柵化后的矩形的右上角左下角可以標注為（xmi，ymi），（xmi，ymi），i為劃分的第幾個區(qū)域，通過坐標相減可將人臉的左上角左下角區(qū)域表示出來，后面的區(qū)域也是同理類推。

接著通過使用改進的OpenPose算法通過PAFS將手部關(guān)鍵點對應(yīng)上，采用貪婪算法對關(guān)鍵點進行編碼。手部關(guān)鍵點表示圖如圖1所示，以9號為手掌中心，將手部關(guān)鍵點分為21個。定義手掌位置坐標（xf,yf），當xa

圖1 手部關(guān)鍵點示意圖

3 實驗仿真與分析

我們通過搭建平臺環(huán)境對改進后的OpenPose手勢定位方法進行驗證。本實驗所需硬件環(huán)境為CPU Intel（R）Core（TM）i9-10900K CPU@3.50GHz 64G內(nèi)存，顯卡為NVIDA GeForce RTX 3090。軟件環(huán)境采用WINDOWS10，修改OpenPose源碼采用VS2018和Opencv3.5，利用python3.6進行調(diào)用。

表1 算法對比

實驗結(jié)果表明，根據(jù)膚色進行定位的手勢識別技術(shù)在陽光充足背景簡單的情況下表現(xiàn)良好，但是當陽光不充足或背景較為復雜時檢測狀況不佳。本文的算法改進了OpenPose算法運算量高無法流暢實驗結(jié)果表明，本文實驗成果符合預期，在允許對手和臉進行關(guān)鍵點檢測的前提下可以獲得較好的精度和流暢的速度。由于實驗環(huán)境可能有所差別，檢測結(jié)果可能與上表有些許出入。

本文的改進算法與傳統(tǒng)圖像提取算法相比較下具有較高的有效性并具有高魯棒性，可以在相關(guān)實際應(yīng)用場景中發(fā)揮良好的作用。