基于手勢識別技術的交互式虛擬攝影系統設計與實現

沈潔

摘 要： 傳統虛擬攝影系統使用手動式控制識別，無法實現短距離交互式非觸感識別，為此設計基于手勢識別技術的交互式虛擬攝影系統。使用Kinect深度圖像模型對手勢圖像進行分割預處理，完成手勢關鍵節點定位；使用Kinect屬性傳感器剝離環境條件以及手勢表面噪音數據；以數據編程形式對手勢特征進行提取并標記關鍵節點；計算定位延遲，實現交互式虛擬手勢姿態定位。試驗結果表明，設計的交互式虛擬攝影系統比傳統虛擬攝影系統的Miuyg參數高出20%，說明設計的系統具備極高的有效性。

關鍵詞： 手勢識別技術； 交互式； 虛擬； 數據編程； 攝影系統； 系統設計

中圖分類號： TN919.3?34 文獻標識碼： A 文章編號： 1004?373X（2018）05?0093?04

Abstract： The traditional virtual photography system uses the manual mode for recognition control， which can′t realize the short?distance interactive non?tactile recognition. Therefore， an interactive virtual photography system based on gesture recognition technology was designed. The Kinect depth image model is used to perform the segmentation and preprocessing for the gesture image to locate the gesture key nodes. The Kinect attribute sensor is used to eliminate the environmental conditions and gesture surface noise data. In the form of data programming， the gesture characteristics are extracted and key nodes are marked. The positioning delay is calculated to realize the interactive virtual gesture positioning. The experimental results show that the Miuyg parameter of the interactive virtual photography system is 20% higher than that of the traditional photography system， which indicates that the designed system has higher effectiveness.

Keywords： gesture recognition technology； interaction； virtualization； data programming； photography system； system design

0 引 言

在虛擬攝影系統中多數使用接觸式控制進行虛擬攝影的調試。傳統虛擬攝影系統由于對呈現方式的需求，需要一定的短程識別調試[1]。手勢識別技術通過數學算法來識別手勢的變化，對不同動作的識別實現短程的虛擬控制，繼而能夠有效地實現虛擬攝影系統的短程控制。針對上述背景，本文設計基于手勢識別技術的交互式虛擬攝影系統。使用Kinect深度圖像模型對虛擬圖像進行手勢節點定位，經過手勢圖像的預處理去除環境影響因素以及手勢表面噪音，使用編程進行圖像特征的提取，通過延遲計算實現交互式虛擬手勢姿態定位，完成交互式虛擬攝影系統設計。為保證設計的有效性，模擬使用環境進行仿真試驗，實驗數據表明本文設計的交互式虛擬攝影系統具備極高的有效性。

1 交互式虛擬攝影系統硬件模塊設計

1.1 手勢圖像分割預處理

手勢圖像分割預處理過程主要使用Kinect深度圖像模型的深度相機對手勢進行圖像采集預處理，如圖1所示為針孔攝像機與識別手勢的模擬圖[2]。假設手勢圖像的光源是從場景或者很遠的地方射過來的非點光源，經過影像的倒置投放到成像平面上，成像平面為相機鏡頭所在平面，相機鏡頭到成像平面的焦距為表示相機鏡頭到手勢圖像的距離，即識別深度。為手勢的識別長度，是成像平面上手勢所成的圖像。

一般情況下，Kinect深度圖像模型使用針孔攝像機采集手勢圖像，并對手勢圖像進行整理，使用多種等價形式對手勢圖像進行保存[3]。如圖2所示，將一張采集后的手勢圖像放置在一個坐標系中進行多點的等價置換。這樣可以去除數學上的符號變化，使得記錄結果更加簡潔。理想情況下，Kinect深度圖像模型將手勢圖像的主點設置在成像芯片的中心處，但實際上會存在偏差，芯片的中心設定在主光軸上，為此，Kinect深度圖像模型使用兩個參數和分別修正手勢圖像在軸和軸方向的偏移，這樣手勢圖像對于相機坐標系里的一點始終保持不變，并且可以標定手勢圖像的有效坐標為

1.2 手勢圖像深度處理

Kinect深度圖像模型中包含的Kinect屬性傳感器會對圖像進行一定程度的噪音抵消[4?5]。但是由于受虛擬攝影系統的內部結構以及手勢圖像中的場景環境條件等因素影響，造成手勢圖像出現各種噪聲以及影響識別因子，對手勢圖像分割過程造成的影響很大，為此需要消除Kinect屬性傳感器、手勢圖像場景環境、手勢表面特性噪音。

消除Kinect屬性傳感器的噪音，可以使用TOF原理，消除Kinect傳感器中由紅外光源造成的相關性周期抖動的噪音，TOF原理對手勢圖像進行深度測量，恢復手勢圖像的實際深度位置。同時針孔攝像機經常出現的噪聲也會通過TOF原理進行抵消，在圖像分割預處理過程中的邊緣噪音能夠使用TOF原理進行修正[6?7]。endprint

手勢圖像場景環境噪音主要由手勢圖像場景內光照條件造成，其中Kinect深度圖像模型內置補光能夠補充的不是很多，余留的差別光源造成嚴重的光源噪聲。消除方式使用點對點的置換消除，通過環境的多重刻畫進行圖像的光源替換，雖然不能全部消除，但是能夠抵消絕大多數的噪音影響[8]。

手勢表面特性噪音產生的方式是由于不同的物體表面的反射率不同，當光源變化造成反射率較低時，手勢圖像入射光量會減少，因此手勢圖像會出現顏色深度變化，比如手勢圖像中黑色物體吸收的光不足，在圖像中的測量無法對物體輪廓進行選定[9]。在消除過程中，增設光線置換系統，對光線不足的情況進行補充，對光線較強的地方進行光線削弱，以此消除由于光線造成的手勢表面特性噪音。

本文設計的手勢圖像深度處理流程如圖3所示。

2 交互式虛擬攝影系統軟件設計

2.1 手勢圖像的特征提取

在手勢圖像特征提取的過程中，需要參照手距離虛擬攝影系統的距離、手勢的姿態位置以及交互式的條件等，一個好的關鍵特征能夠區別出不同的手勢大小以及姿態，還能夠去除環境因素的影響，手勢圖像關鍵特征要滿足以下幾個條件：首先旋轉、平移、縮放不會發生變性；其次滿足歸一化轉動慣量變化，并能夠使用傅里葉原理進行描述；最后滿足圖像不變矩和幾何特征描述[10]。

手勢圖像特征提取通過空間的分布情況，在概率統計中用空間表示手勢圖像特征的分布情況，手勢圖像分割過程中會得到特征二維密度分布狀態，使用不同的名稱進行標注，再經過數據編程進行提取。本文手勢圖像的特征提取關鍵編碼如下：

#include

#include

using namespace std

int main（int argc，手勢圖像）

IplImage * 標定特征= cvLoadImage（"E：＼＼Download＼＼test1.jpg"，1）；

IplImage*特征=cvCreateImage（cvGetSize（src），位置，有效）；

IplImage*h_特征=cvCreateImage（cvGetSize（src），位置，有效）；

IplImage*s_特征=cvCreateImage（cvGetSize（src），位置，非有效）；

IplImage* v_特征=cvCreateImage（cvGetSize（src），位置，有效）；

IplImage* planes[] ={ h_plane， s_plane }；

/*H分量劃分16個特征節點，S分量劃分為8個提取等級*/

int h_bins = 提取， s_bins =保留；

int hist_size[] = {h_bins， s_bins}；

cvRectangle（ hist_img， cvPoint（i*bin_w，height），

cvPoint（（i+1）*bin_w，height ? intensity），

color， ?1， 重新提取， 0 ）；

cvNamedWindow（ "定位"， 1 ）；

cvWaitKey（0）；

2.2 交互式虛擬手勢圖像姿態定位

在手勢圖像進行交互過程中，交互式虛擬機本機振蕩會產生與手勢圖像關鍵節點信號相同的一組P碼（或C/A碼），由于延時器與圖像接收器的頻率不同，在延時器的延時頻率強于圖像接收器時，當兩組信號彼此重合，手勢圖像便進行了雙重定位[11]。

假設交互式虛擬器中手勢圖像時鐘為在圖像坐標值處的第個關鍵節點出現時，手勢圖像的鐘面時為，此時虛擬攝影系統時鐘的鐘面時為由于手勢圖像鐘、交互式虛擬器時鐘以及虛擬攝影系統時鐘不同步，其時鐘差分別為：

式中：分別表示手勢圖像時鐘差、虛擬攝影系統時鐘差[12]。設某一手勢圖像信號在時刻采集到虛擬攝影系統接收的時刻為則手勢圖像的傳播延遲為： 由此可得手勢圖像與虛擬攝影系統的距離為：

式中：表示光速[13]；表示延遲間距。在實際使用中，測得的信號收發時刻具有一定的誤差，手勢圖像鐘面時以及虛擬攝影系統接收時刻鐘面時手勢圖像的實際延遲量應為將結果式代入式（3）中得：

式中：則式（4）可表示為：

式中：表示定位距離，實際使用中會有一定誤差，因此計算值往往大于實際值。經過定位距離的選定也實現了交互式虛擬攝影系統設計。

3 試驗分析

為了驗證設計的基于手勢識別技術的交互式虛擬攝影系統有效性，解決短距離識別控制問題，以某博物館中的虛擬攝影系統為實驗對象，分別進行Miuyg參數對比試驗以及交互虛擬影響控制實驗，為保證本文試驗的有效性，使用本文設計的基于手勢識別技術的交互式虛擬攝影系統與傳統虛擬攝影系統進行對比，對比結果在統一數據圖中顯示。

3.1 數據準備

在設計的交互式虛擬攝影系統基礎上，試驗采用雙攝像頭，設計了一款“猜拳游戲”，即用兩個攝像頭同時捕捉并識別兩個使用者的手勢，然后對手勢圖像進行比較，并將比較結果顯示在屏幕上。按照“猜拳游戲”規則，共有三種手勢，均為已經標定的手勢，如圖4所示。試驗準備數據如表1所示。

3.2 Miuyg參數對比試驗

Miuyg參數是衡量虛擬攝影系統短距離控制有效度的參數，能夠有效對虛擬攝影系統進行綜合評估，在不同條件下手勢圖像得到的Miuyg參數是不同的，經過平均值的求取得到最終Miuyg參數結果。

本文設計的基于手勢識別技術的交互式虛擬攝影系統與傳統虛擬攝影系統的Miuyg參數對比試驗結果如圖5所示。

通過對圖5分析可知，本文設計的基于手勢識別技術的交互式虛擬攝影系統在Miuyg參數測試結果上明顯高于傳統虛擬攝影系統，并且Miuyg參數節點的波動幅度呈現規律變化，無較大的數據波動說明系統運行平穩。傳統虛擬攝影系統數據平穩后比本文設計系統低20%左右，因此說明本文設計的基于手勢識別技術的交互式虛擬攝影系統具備極高的有效性。

3.3 交互式虛擬影響控制實驗

交互式虛擬影響控制實驗對比結果見圖6。通過對圖6分析可知，本文設計的基于手勢識別技術的交互式虛擬攝影系統的交互影響參數更加貼近于標準值。交互影響參數是一個綜合性參數，能夠反映攝影系統的交互控制調節能力，交互影響參數越大攝影系統越具備完備性。通過圖6可以說明，本文設計的基于手勢識別技術的交互式虛擬攝影系統具備短程控制調節有效性。

4 結 語

本文設計了基于手勢識別技術的交互式虛擬攝影系統，使用手勢識別技術實現短程有效控制，實驗數據表明，本文設計的攝影系統具備極高的有效性。希望通過本文的研究能提升虛擬攝影系統的短程控制能力。

參考文獻

[1] 周天彤，徐飛林，張旖帆，等.基于unity和kinect的交警手勢識別仿真系統的設計和實現[J].計算機測量與控制，2016，24（5）：156?159.

ZHOU Tiantong， XU Feilin， ZHANG Yifan， et al. Design and implementation of simulation system about traffic police gesture′s recognition based on unity and kinect [J]. Computer measurement & control， 2016， 24（5）： 156?159.

[2] 梅明亮，王翠鳳，何炳蔚.基于視覺的手勢識別技術及在小車控制中的應用[J].長春大學學報，2016，26（8）：24?31.

MEI Mingliang， WANG Cuifeng， HE Bingwei. Vision?based gesture recognition technology and its application in automobile control [J]. Journal of Changchun University， 2016， 26（8）： 24?31.

[3] 江鐵成.基于視覺手勢識別技術的實踐研究[J].合肥師范學院學報，2016，34（3）：31?34.

JIANG Tiecheng. Practical research on recognition technology based on visual gesture [J]. Journal of Hefei Normal University， 2016， 34（3）： 31?34.

[4] 張玉軍，孟曉軍，王剛.基于手勢交互的三維電子沙盤系統設計與實現[J].指揮控制與仿真，2016，38（2）：110?114.

ZHANG Yujun， MENG Xiaojun， WANG Gang. Design and implementation of 3D electronic sand table system based on gesture interaction [J]. Command control & simulation， 2016， 38（2）： 110?114.

[5] 吳福理，丁胤，丁維龍，等.基于Leap Motion的虛擬農作物人機交互系統設計[J].農業工程學報，2016，32（23）：144?151.

WU Fuli， DING Yin， DING Weilong， et al. Design of human computer interaction system of virtual crops based on Leap Motion [J]. Transactions of the Chinese society of agricultural engineering， 2016， 32（23）： 144?151.

[6] 潘志庚，劉從晉，葛瑩瑩，等.支持自然交互的虛擬跑步機系統的設計和實現[J].系統仿真學報，2017，29（11）：2753?2759.

PAN Zhigeng， LIU Congjin， GE Yingying， et al. Design and implementation of virtual treadmill system supporting natural interaction [J]. Journal of system simulation， 2017， 29（11）： 2753?2759.

[7] 李朝新，張俊平，吳利青.虛擬現實技術支持下的GIS立體顯示系統的設計與實現[J].測繪通報，2016（9）：119?122.

LI Chaoxin， ZHANG Junping， WU Liqing. Design and implementation of GIS stereo display system based on virtual reality technology [J]. Bulletin of surveying and mapping， 2016（9）： 119?122.

[8] 于寧波，李思宜，趙營泉，等.基于共享控制的人機靈巧力觸覺交互系統設計與實現[J].儀器儀表學報，2017，38（3）：602?611.endprint

YU Ningbo， LI Siyi， ZHAO Yingquan， et al. Design and implementation of a dexterous human?robot interaction system based on haptic shared control [J]. Chinese journal of scientific instrument， 2017， 38（3）： 602?611.

[9] 趙康.基于GIS的虛擬景觀平臺設計與實現[J].測繪科學，2017，42（3）：165?168.

ZHAO Kang. Research on virtual landscape platform based on GIS and VR [J]. Science of surveying and mapping， 2017， 42（3）： 165?168.

[10] WANG L， ZHANG G， LIU Z， et al. Design and implementation of real time gesture recognition system based on monocular vision [J]. Electronic science & technology， 2017， 8（6）： 12?45.

[11] ZHANG B， SUN X， WU Y. Design and implementation of gesture recognition algorithm based on convolution neural network [J]. Microcomputer & its applications， 2017， 78（1）： 120?133.

[12] LI Y T， YU D C， JIN L P， et al. The design and implement of cognitive training system based on leapMotion gesture recognition [J]. Electronic design engineering， 2016， 5（2）： 55?61.

[13] ZHANG Y J， MENG X J， WANG G. Design and implementation of 3D electronic sand table system based on gesture interaction [J]. Command control & simulation， 2016， 38（2）： 356?390.endprint