基于雙歐算法的虛擬現實游戲動作軌跡識別方法

中圖分類號：TP391 文獻標志碼：A

Motion Trajectory Recognition Method of Virtual Reality Game Based on Dual-Europe Algorithm

LI Lan1，2

（1.School of Computer and Information，Hefei University of Technology，Hefei 23oo51，China; 2.Department of Urban Rail Transit and Information Engineering， Anhui Communications Vocational and Technical College，Hefei 23oo51，China）

Abstract： When recognizing the motion trajectory of virtual reality games，the solving method of describing the motion posture angle is too complex，which leads to the low recognition rate of motion trajectory. Therefore， a new method of motion trajectory recognition of virtual reality games combined with Dual-Europe algorithm is proposed. The 3D computer vision technology is used for image acquisition to obtain the motion track image of virtual reality game. Based on the action track image，the foreground image is extracted by differential processing， and the virtual reality game action track image segmentation processing is completed. The virtual reality game action space is constructed according to the extracted foreground area， and the joint point space coordinate system is obtained. After determining the space coordinate system of the joint point，the motion trajectory image is calculated using the Dual-Europe algorithm，and the posture angle of the motion trajectory of the virtual reality game is obtained. Combining the hidden Markov model，the motion modeling is carried out，the attitude angle of each trajectory sub-primitive is calculated，and the motion trajectory recognition result is obtained. The experimental verification results show that the recognition rate of the design method in this paper to the game action track is above 0.9，the AUC value is as high as 0.96，and the maximum recognition time of the action track is 0.57s ，which proves that the design method in this paper has high technical level and application value.

Key Words：Dual-Europe algorithm; virtual reality games; action; track identification; joint point;coordinate system

0引言

虛擬現實技術的快速發展促進了眾多領域的進步.在游戲市場中，為了提升用戶的游戲體驗[1]，人們越來越重視虛擬現實技術的應用，從而促進虛擬現實游戲的爆發式發展[2].在虛擬現實游戲開發過程中，為了獲得較好的交互效果，需要準確識別游戲動作軌跡，使得人與機器之間的交流更加自然.然而，目前的動作軌跡識別方法難以得到準確性較高的識別結果.

文獻[3通過背景提取與差分二級化對人體運動區域進行分割，把人體運動空間描述轉換至人體運動關節空間坐標系，通過歸一化位移向量序列標識關節活動幅度軌跡，利用位移向量序列描述關節活動軌跡，再通過DTW（動態時間歸整）方法將描述結果與運動軌跡模板進行匹配，完成動作軌跡識別.文獻［4]對OpenPose模型的特征提取網絡和預測網絡分別進行改進，實現輕量化模型的目標.該方法首先通過人工神經網絡對人體動作進行分類，在傳統的非線性網絡中加入線性模塊，提高了網絡的記憶能力和泛化能力；然后將基本數據信息輸入該網絡中進行學習，生成動作軌跡分類識別結果.由于該方法存在背景噪聲，導致動作識別結果不穩定性.文獻[5]由輕量Openpose處理得到18個人體關鍵點信息，首先根據節點的不同尺度信息對應的鄰接矩陣，應用自注意力機制計算影響力；然后將各尺度鄰接矩陣加權合并輸人圖卷積網絡提取特征.在池化層和分類器的同步作用下，得出動作軌跡識別結果.由于該方法中描述動作姿態角的求解方法過于繁雜，從而導致動作軌跡識別率較低.

對此，本文研究基于雙歐算法的虛擬現實游戲動作軌跡識別方法，從解算動作關節點姿態角入手，結合隱馬爾可夫模型得出動作軌跡識別結果.

1本文識別方法

1.1 采集虛擬現實游戲動作軌跡圖像

依托數碼成像設備，應用三維計算機視覺技術進行圖像采集，獲取連續幀的動作軌跡圖像，將其作為軌跡識別的基礎.單幀采集圖像邊緣輪廓的分塊信息素可以表示為

minF（β）=（f₁（β），f₂（β），…，f_m（β））， ，（1）其中： β 表示游戲動作圖像； F 表示邊緣輪廓的信息素分塊集合； f 表示信息素分塊； m 表示圖像邊緣輪廓的信息素分塊數量.

從采集的圖像序列中提取出圖像高頻信息，并在此基礎上引入空間不變特征分解方法，建立游戲動作軌跡線形二值圖像[6.為了便于后續動作軌跡識別分析，在圖像采集階段，建立公式（2）所示的特征傳導模型，綜合圖像序列的紋理特征，得到融合后的游戲動作圖像.

η（β，γ）= （2）其中： η 表示圖像紋理特征； （β，γ） 表示圖像中心坐標； （β_i，γ_i） 表示圖像中第 i 個動作軌跡線形捕捉點坐標； ψ 表示前景圖像； I 表示捕捉點數量； 表示位置分布概率密度函數.

基于視覺信息特征傳輸結果，重構游戲動作軌跡圖像的像素空間，使得采集圖像的前景與背景有明顯區別.同時，考慮動作軌跡線形的噪點分布情況及分塊融合圖像信息，最終形成包含眾多局部信息特征點的動作軌跡圖像，作為后續軌跡識別的基礎.

1.2 建立運動關節點坐標系

在明確采集圖像的前景和背景區域后，通過差分處理分割出前景運動區域，便于后續動作軌跡識別8.其中，差分計算過程可表示為

其中： C 表示差分處理后的圖像； u 表示前景圖像的像素亮度值； v 表示背景圖像的像素亮度值.以此計算結果為基礎提取前景圖像，完成虛擬現實游戲動作軌跡圖像分割處理[9].

為便于后續識別分析，針對提取的前景區域構建虛擬現實游戲動作空間，并建立關節點空間坐標系，輔助軌跡識別分析.實際操作過程中，需要將游戲人物右手方向、頭部方向和正前方向，分別看作空間坐標系的X軸、Y軸和Z軸[10].而后，針對圖像采集設備構建一個空間坐標系，并得到該坐標系內游戲人物旋轉俯視圖，其與人體空間坐標系之間的轉換關系如圖1所示.

圖1中， O 表示空間坐標原點； OXYZ 表示游戲人物運動空間坐標系； O^′ 表示平面坐標原點；X^′O^′Y^′ 表示人體旋轉俯視平面坐標系； a 表示旋轉角度； P，Q 分別表示左右肩膀映射坐標點[11].

為了得到統一動作軌跡數據，針對設備空間坐標系和人體空間坐標系，建立坐標點轉換關系，可表示為

（x，y，z，1）=

其中： （x，y，z），（x₀，y₀，z₀） 分別表示人體空間坐標系下的目標點和原點坐標； （x^′，y^′，z^′） 表示設備空間坐標系下的坐標點.

1.3 設計動作姿態角解算方法

為了更好地識別虛擬現實游戲動作軌跡，需要應用雙歐算法對一系列連續的動作軌跡圖像進行計算，推算出動作姿態角[12]，并將其作為動作軌跡識別的依據.基于雙歐算法進行全角度動作姿態角解算，本質上是結合正反歐角度轉換方法，進行數值模擬計算.運用正反歐拉方程推算姿態角時，需要進行多次基元旋轉，描述當前坐標系、旋轉坐標系之間的歐拉角，即可表示坐標系之間的關系[13].

為得到正歐拉系統，需要先定義坐標系繞3個坐標軸分別旋轉3個基元，并將旋轉前坐標系、旋轉后坐標系之間的轉換關系表示為公式（5）.公式（5）中， 表示正歐拉角； L 表示基元矩陣[14].

同理，在反歐拉系統的輔助下，可以將旋轉前后坐標系轉換關系表示為公式（6）.

sinq -cosφ sine cosw cosΦ sinωcose + cosω sinp sinε - sinωcosφ coswcose - sinw sinp sine

其中： 表示反歐拉角.

雙歐算法中的正反歐角度轉換，表達的是同一個轉換.因此，針對虛擬現實游戲動作軌跡圖像進行分析時，只要確定動作本體坐標系中的角速度分量，即可運用雙歐算法推算出游戲動作姿態角變化率，并解算出動作姿態角[15].實際動作姿態角解算過程中，用正歐拉方程描述角速度和動作姿態角之間的關系，可表示為

其中：b表示角速度;w表示分量;Wx，Wy，Wb表示3個坐標軸角速度的分量； ε^' 表示偏角； φ^′ 表示滾轉角； 表示俯仰角.

同理可得，反歐拉方程為

應用公式（7）和公式（8）實施雙歐算法，算出虛擬現實游戲動作軌跡的動作姿態角，將其作為游戲動作軌跡識別的依據，應用到后續識別工作中.

1.4 生成游戲動作軌跡識別方案

為便于計算，文中將一個動作軌跡描述為一系列軌跡基元，再分析每個子基元的動作姿態角，在HMM（隱馬爾可夫模型）的支持下，與常規游戲的動作軌跡姿態角進行對比，識別出當前虛擬現實游戲動作軌跡，具體軌跡識別模式如圖2所示.

一個子基元序列可以完整地表示一個游戲動作軌跡，通過隱馬爾可夫模型進行動作建模，并計算最大后驗概率，描述當前動作姿態角向下一個動作姿態角轉移概率.考慮到子基元序列中可能存在隱藏狀態，將包含隱藏狀態的狀態轉移矩陣

表示為

H={h_os∣h_os=σ（q_t=τ_s∣q_t-1=τ_o）}， （9）其中： H 表示狀態轉移矩陣； σ 表示概率值； _o，s 表示動作軌跡狀態； h 表示狀態轉移概率； t 表示時間； q 表示隱藏狀態； τ 表示子基元.

對每個虛擬現實游戲動作進行單獨建模，描述該動作軌跡狀態數量，并定義狀態數量為子基元序列長度.計算出最大后驗概率后，即可得出最佳查詢軌跡描述結果，并根據該軌跡描述包含的偏角、滾轉角和俯仰角等姿態角參數，將該動作軌跡劃分為對應的類別，從而輸出游戲動作軌跡識別結果.

2實驗及結果分析

2.1 實驗數據

為了測試所提方法的應用性能，采集數據進行實驗分析.同時，與文獻[3]、文獻[4]和文獻[5]提出的方法進行對比，應用同樣的游戲動作軌跡識別測試，展示不同方法的測試結果.

本次實驗所應用的數據是自己構建的游戲動作軌跡數據庫，該數據庫內包含移動、沖刺、閃避、跳躍、揮刀和格擋6類游戲動作，共336個游戲動作軌跡序列.每一類動作對應的實驗樣本數量如表1所列.

從表1可知，每一類的實驗數據都需要平均劃分為兩部分，一半用于模型訓練，使得實驗應用模型處于最優狀態；另一半實驗數據則作為測試數據，應用文中設計方法和其他3種選定方法對測試數據進行識別，檢驗各種方法的識別性能.為了保證實驗結果的真實性，每種方法需要重復進行4次動作軌跡識別實驗，取平均值作為實驗結果.

2.2 動作軌跡識別過程

將采集的游戲動作軌跡圖像導入該軟件，自動識別游戲人物關節點，識別過程如圖3所示.

游戲人物動作關節點識別完成后，按照文中研究內容進行運動關節點坐標系建立、動作姿態角解算和動作軌跡識別，最終識別出當前游戲人物動作軌跡屬于“沖刺\"動作，表明所提方法的合理性.

2.3 識別方法性能對比分析

對所提方法和其他3種方法進行實驗后，得出虛擬現實游戲動作軌跡識別結果，與真實動作軌跡類別進行對比，最終建立的混淆矩陣結果如圖4所示.

根據圖4可知，本文設計方法對6類游戲動作軌跡的識別率都在0.9以上，驗證了所提方法的有效性.其他3種方法只對“跳躍”“揮刀”兩類動作的識別率較高，其他幾類動作軌跡識別結果極易出現混淆情況.

為了得到直觀的識別方法性能對比結果，本次實驗以AUC值作為評價指標.以游戲動作軌跡混淆矩陣為基礎，繪制不同識別方法的ROC曲線，結果如圖5所示.

根據圖5可知，本文識別方法的AUC值為0.96，文獻[3]、文獻[4]、文獻[5]提出的識別方法，AUC值分別為 0.85.0.81.0.78. 綜合來看，本文方法可以得到準確率較高的動作軌跡識別結果，與其他3種方法相比，AUC值提升了11.46%.15.63%.18.75%

為進一步驗證本文方法的有效性，采用游戲動作軌跡識別時長作為評價指標進行對此測試，測試結果如圖6所示.

根據圖6可知，本文設計方法的動作軌跡識別時長最高為0.57s，文獻[3]方法的動作軌跡識別時長最高為 1.52s ，文獻[4]方法的動作軌跡識別時長最高為 1.68s ，文獻[5」方法的動作軌跡識別時長最高為1.81s.由此可見，本文設計方法識別時長明顯低于對比方法，說明本文設計方法對動作軌跡的效率較高.

3結語

本文提出一種結合雙歐算法的新型識別技術，通過正反歐拉轉換方法，推算出虛擬現實游戲動作軌跡發生時，人物關節點姿態角，并以此為基礎進行動作軌跡識別.從實驗驗證結果可以看出，本文設計方法對游戲動作軌跡的識別率均達到0.9以上，AUC值高達0.96，動作軌跡識別時長最高為0.57s，證明本文方法能夠有效為游戲動作軌跡識別提供幫助，且最終得出的識別結果較為準確.將該方法應用到虛擬游戲開發過程中，可以更好地提升游戲互動性，推動虛擬現實游戲的進一步發展.

參考文獻：

[1]賈云鵬，劉雅昕.基于情感傳播的游戲反饋機制虛擬現實電影中的交互LJ」.當代電影，2022（8）：169-176.

[2」龍年.基于軌跡提取算法的視頻關聯動作跟蹤仿真[J].吉林大學學報（理學版），2022，60（3）：641-646.

[3」于燕山，郭鵬.基于改進坐標轉換的人體運動軌跡識別方法[J」.微型電腦應用，2021，37（7）：111-115.

[4」李一凡，袁龍健，王瑞.基于OpenPose改進的輕量化人體動作識別模型[J].電子測量技術，2022，45（1）：89-95.

[5]張富凱，賀天成.結合輕量Openpose和注意力引導圖卷積的動作識別[J].計算機工程與應用，2022，58（18）：180-187.

[6」李炫燁，郝興偉，賈金公，等.結合多注意力機制與時空圖卷積網絡的人體動作識別方法[J].計算機輔助設計與圖形學學報，2021，33（7）：1055-1063.

[7]趙貢美，顧先宇.基于紅外傳感器的運動動作軌跡重構方法[J].激光雜志，2021，42（9）：155-160.

[8」曹爾凡，崔建偉.基于數據手套與虛擬模型的手臂動作識別方法[J].測控技術，2021，40（1）：16-21，77.

[9」馬強，安維崢，柳依何，等.基于虛擬現實技術的水下生產系統虛擬仿真系統研究LJ」.電子設計工程，2021，29（23）：16-19，24.

[10]呂淑平，黃毅，王瑩瑩.基于C3D卷積神經網絡人體動作識別方法改進[J].實驗技術與管理，2021，38（10）：168-171，176.

[11]張昱彤，翟旭平，汪靜.一種基于低分辨紅外傳感器的動作識別方法[J].紅外技術，2022，44（1）：47-53.

[12]邢蒙蒙，楊鋒，辛在海，等.深度視頻下的人體動作識別研究[J].中國醫療設備，2023，38（1）：36-41.

[13］陳文繼.基于Radon變換的健美操跳躍動作軌跡實時提取方法[J].自動化技術與應用，2023，42（1）：60-63，81.

[14]秦曉飛，趙穎，張逸杰，等.多尺度超圖卷積骨架動作識別網絡[J」.光學儀器，2022，44（4）：39-48.

[15」晏國良.基于動作捕捉的舞蹈視頻動作識別技術研究[J].赤峰學院學報（自然科學版），2022，38（9）：48-52.

[責任編輯：李 嵐]