一種面向艙外活動的視覺感知啟發的手勢識別方法

王 莉，馬 鐘，唐雪寒，王竹平，周革強，何雙亮

（1.西安微電子技術研究所，西安 710065；2.中國航天員科研訓練中心，北京 100194）

一種面向艙外活動的視覺感知啟發的手勢識別方法

王 莉1，馬 鐘1，唐雪寒1，王竹平1，周革強2，何雙亮2

（1.西安微電子技術研究所，西安 710065；2.中國航天員科研訓練中心，北京 100194）

針對航天員出艙作業（EVA）時的人機交互需求，結合著艙外服手套后手部動作的工效學分析，提出了一種結合眼動儀和手勢識別技術的航天員目標選取方案，使航天員真正達到“解放雙手”的目的。該方案采用眼動儀獲取航天員“感興趣目標區域”的位置信息，利用攝像頭捕獲航天員手勢動作，并基于稀疏濾波的特征提取方法和神經網絡分類器對手勢進行識別，根據預定義的目標選取指令實現交互功能。試驗結果表明，手勢識別算法的識別率可達到95%以上，為后期將該交互系統集成到航天服中提供了原型依據。

艙外活動；手勢識別；神經網絡；稀疏濾波

1 引言

按照我國載人航天的發展戰略，將建造大型長期有人照料的空間站，航天員必將開展操作更復雜、任務更精細、次數更頻繁的艙外作業，這對艙外航天服的信息管理與顯示、人機交互與控制能力提出了更高的要求。

手勢識別技術作為人機交互領域的研究熱點，目前的研究主要分為基于視覺［1-3］、基于傳感器［4-5］和基于數據手套［6］三大類的識別方法。Xu Bingyuan［7］提出了一種RGB-D（RGB image and Depth image）圖像的手勢識別方法，基于深度數據和膚色特征從背景中分離手，并采用SVM分類器識別手勢動作。Chiho Choi等［8］提出了基于深度手（deep hand）的方法，采用3D深度傳感器獲取的深度數據通過深度卷積神經網絡來估計出3D手勢。Marin、Wang chong［9-11］等人多是采用Leap Motion和Kinect深度傳感器，通過獲取手勢的深度信息來識別手勢，而Kaur、Xie Renqiang、Strezoski［12-14］等人均采用了基于神經網絡的方法來識別多種手勢類別。康金蘭等［3］研究了基于Kinect的視覺手勢識別技術，主要應用于航天虛擬組裝訓練中，該團隊后來又研究了基于Leap Motion的虛擬手交互方法［15］。Richard J.Adams等［16］設計并測試了一種適用于人機交互的艙外航天服手套，可用作艙外作業中的數據輸入設備。這些研究中，有些是需要依賴于傳感裝置，易受環境限制。

考慮到航天員穿著艙外航天服后對手部操作能力將會產生影響，本文參考文獻［17］對EVA任務中航天員手部活動范圍（ROM）的研究結果，認為航天員著艙外服手套后將很難實現復雜的手勢動作。航天員在執行艙外任務時，不可避免地需要實時信息服務系統支持并與之進行交互，目標定位與選擇是其中關鍵的一環。為此，考慮借助視線和簡單的手勢動作，研究基于視覺感知啟發的交互技術，來提升可穿戴系統的穩定性、可靠性和智能性，以及航天員出艙作業的工效。

在基于視覺的手勢識別技術研究中，引入基于大樣本的稀疏濾波提取特征的方法，并采用神經網絡分類器進行手勢分類，擬設計智能化的人機交互方案，為航天員提供選取目標時的“所感即所控”手段，使得航天員脫離傳統的觸摸、按鍵等操作方式，真正達到解放雙手的目的。

2 基于手勢識別的目標選取方案設計

2.1 系統設計框架

針對快速的目標定位與選取、為航天員提供有效便捷的信息推送等諸多需求，設計了如圖1所示的結合視線和手勢識別的人機交互系統原型。其中，眼動追蹤設備用來獲取航天員的注視點位置，手勢采集設備用來采集航天員的手勢動作，這兩類信息采集設備未來可集成到航天服頭盔中，頭盔顯示界面為航天員提供實時有效的信息支持，算法處理單元作為整個系統的核心處理單元，未來可集成到航天服中。

由于人的視線具有天然的目標選擇屬性，且航天員穿著航天服后，視線活動不受任何限制，因此，可基于眼動追蹤獲取航天員的感興趣目標；并且考慮到通過傳統的按鍵操作選取目標的方式難以滿足實時信息系統的輸入需求，可建立基于視覺機制的手勢識別系統，實現方便快捷的人機交互控制。

2.2 基于視覺的手勢識別

手勢識別模塊中，采用基于稀疏濾波的特征提取方法獲取手勢圖像的一組特征圖，將特征圖排列成行向量，作為神經網絡分類器的輸入，通過事先訓練好的分類器輸出待識別手勢的分類結果，算法流程如圖2所示。

2.2.1 基于稀疏濾波的手勢特征提取

稀疏濾波［18］是一種簡單有效的無監督特征學習算法，相比于其它算法，它只需要調節一個參數，即需要學習的特征數目。它的核心思想就是避免構建輸入數據的分布模型，而是通過優化特征分布的稀疏性得到好的特征表達。

假設采集到的手勢圖像為h×w大小的彩色圖像，采用稀疏濾波方法訓練多幅無標記的手勢圖像，得到M個n×n×3大小的稀疏濾波器組，記為F。將待分類圖像的每個通道分別與三個不同的n×n濾波器核進行卷積運算，再將三個通道結果相加，即可得到M個h×w大小的手勢特征圖。其中單通道圖像的卷積運算過程如下：對于圖像的每一個像素點，計算它的鄰域像素和濾波器核的對應元素的乘積，然后相加作為該像素的值，如圖3所示。

對單幅圖像進行卷積運算，并基于soft absolute function對卷積結果進行非線性處理，公式如式（1）所示：

其中，I表示原始圖像，F表示稀疏濾波器，IF為濾波后的圖像，ε為一個非常小的常數。則一幅手勢圖像經過上述卷積運算后將得到一組M幅手勢的特征圖，如圖4所示。

可以看出，單幅圖像提取的特征數據量非常大，為此，在進行分類之前，本文采用兩種方式進行數據降維：

1）特征選擇

對獲得的M幅特征圖進行冗余性分析，剔除相似性大的特征圖。所用方法是基于直方圖匹配的相似度測量。具體實現為：分別計算兩幅圖像的直方圖，然后計算兩個直方圖的歸一化相關系數，系數越接近于1，則兩幅特征圖相似度越大。

2）池化操作

具體實現為：將每個特征圖分為上下左右四塊大小相同的區域，計算每塊區域所有像素點的和，則可得到M個2×2的特征圖，特征維數大大降低。

2.2.2 神經網絡分類器的實現

1）生成訓練樣本集

獲得圖像的特征圖后，將其排列成行向量，作為訓練分類器的一個樣本。采集K幅不同類的手勢圖像并按照上述過程處理，得到K個手勢樣本，則樣本數據集可表示為［K×（M×2×2）］的矩陣，其中K是樣本個數，M×2×2是單個樣本的數據長度。對每個樣本所屬的手勢類別作標簽，若待識別手勢有三類，則訓練樣本的標簽可表示為［3×K］的矩陣。

2）數據預處理

在神經網絡處理圖像的問題中，常用的數據預處理操作是去均值和歸一化，去均值即對訓練的每幅圖像的特征，都減去全部訓練樣本的特征均值，使得輸入樣本各個維度的數據都中心化到0。歸一化操作是保證所有維度上的數據都在一個變化幅度上，考慮到圖像像素值的變化范圍都在［0，255］之間，數據幅度本身就是一致的，因此可不做歸一化處理。

3）訓練分類器模型參數

應用神經網絡算法對建立的手勢樣本集和樣本標簽進行訓練，獲得分類器的模型參數，單隱藏層的訓練模型如圖5所示，訓練完成后，得到模型的權重W和偏移量b。

4）手勢分類識別

提取待分類手勢圖像的特征后，輸入上述訓練好的模型中計算輸出，得出分類結果。隱藏層（Hidden Layer）輸出的計算公式如式（2）所示：

得到隱藏層結果后，依照式（4）計算輸出層（Output Layer）結果。

式中，W2∈和B2∈分別為輸出權重和偏移量，其中，t為輸出手勢類別個數，q（·）為輸出函數，這里采用softmax函數，其計算公式如式（5）所示，依據輸出向量y即可判斷手勢所屬類別。

3 試驗驗證

3.1 原理驗證硬件平臺搭建

搭建的演示系統硬件平臺如圖6所示，其中顯示器上載入一幅包含多個目標的圖像，用來模擬航天員進行目標選取的真實場景；采用TobiieyeX眼動儀來獲取航天員注視點的位置信息，該眼動儀可以實時地獲取人眼的注視點信息，將眼動儀固定到顯示器下方后，按指示對其進行校準；選用USB高清攝像頭來采集實時手勢圖像；整個算法模塊在嵌入式硬件平臺上實現。

在硬件方案設計中，后期可考慮航天服頭盔結構，將現有的眼動儀和攝像頭集成到頭盔中，來獲取注視點和手勢信息，并將嵌入式硬件處理平臺集成到航天服中，最終，將該交互系統應用于航天員艙外活動中。

3.2 軟件實現

建立的基于手勢識別的人機交互系統實現流程如圖7所示。

首先，讀入一幅包含多個目標的圖像來模擬航天員所看到的真實場景；接著，采用眼控儀獲取航天員注視點的信息來確定感興趣目標區域的位置；其次，應用基于稀疏濾波的特征提取方法和神經網絡分類器對攝像頭采集到的手勢進行識別；最后，根據預定義的目標選取指令完成交互功能，提取并顯示航天員感興趣目標區域。

手勢識別模塊中，需要事先訓練好稀疏濾波器和神經網絡分類器模型。

1）參數設置

試驗中，訓練稀疏濾波器的基本參數為：手勢樣本選取2000個480×640大小的彩色圖像，其中三類手勢樣本和一類負樣本分別為500個，濾波器為27個3×3×3大小的模板，可通過相似性度量來剔除特征圖相似性較高的濾波器核，降低計算量。

采用2.2.1節特征提取方法提取2500幅圖像的特征并降維，作為訓練神經網絡分類器的輸入。其中，訓練集樣本數為2000，驗證集樣本250個，測試集樣本250個，依照經驗設定隱藏層神經元個數為256，學習率為0.1。

2）神經網絡分類器結果

評價一種分類器是否有效的一個重要指標就是誤分率，是指錯誤分類的樣本數占總樣本數的比例，其計算公式如式（6）所示：

其中，FP是指被錯誤地標記為正元組的負元組，即為假正例的個數；FN是指被錯誤地標記為負元組的正元組，即為假負例的個數；P和N分別表示正負樣本數。

訓練過程中，訓練集和驗證集上的誤差和誤分率結果如圖8所示，可以看出，隨著訓練次數的增加，誤差和誤分率均呈收斂趨勢。

3）功能驗證

試驗中，采用守門員手套來模擬艙外航天服手套，設定握拳的手勢動作為目標選取操作，當獲取到航天員注視點位置即感興趣目標位置后，航天員完成該手勢動作，經過手勢識別模塊輸出識別結果，最終將感興趣目標區域顯示到窗口固定位置。該功能結果如圖9所示，其中左上角窗口顯示采集到的手勢圖像，右下角窗口顯示感興趣目標區域（圖9（a）），若無手勢輸入或輸入其它類手勢，則輸出窗口不輸出任何內容（圖9（b））。

用連續視頻幀測試手勢識別算法的識別率和識別速度，其中幀數為5000，手勢類別為表1中的兩類手勢和無手勢的背景圖像，可以看出，手勢識別算法的平均識別率可達到95.2%，且實時視頻測試中，處理單幀480×640彩色圖像的時間約為0.4 s。考慮到無需每幀圖像都輸出一次識別結果，針對航天員進行目標選取這種實際的應用場景，可處理多幀圖像后輸出一次識別結果，用于觸發交互指令，為此，對于使用手勢指令觸發完成交互功能的需求，該計算時間可滿足實時性的要求。

表1 手勢識別結果Table 1 Result of hand gesture recognition

4 結論

本文通過對艙外服的人機工效學分析，提出了一種基于視線和手勢的新型人機交互方法，以適應未來航天員執行復雜的出艙任務，并進行了試驗驗證。結果表明手勢識別方法具有較高的識別率，原理可行，且能夠實時在嵌入式計算平臺上運行。本文的研究成果為在新一代航天服中集成這種新型的人機交互方式提供了原型依據。

未來的工作：一方面是將眼動儀、攝像頭集成到航天服頭盔中；另一方面是將嵌入式處理單元集成到艙外航天服中，在航天服上實現該交互功能，用于輔助航天員完成艙外任務。

（References）

［1］ 江超，艾矯燕.基于OpenCV的攝像頭動態手勢軌跡識別及其應用［J］.計算機應用，2012，32（s1）：128-133.JIANG Chao，AI Jiaoyan.Dynamic gesture trajectory recognition andits application design for camera based on OpenCV［J］.Journal of Computer Applications，2012，32（s1）：128-133.（in Chinese）

［2］ 陳雅茜，歐長坤，郭瞾陽.基于單目視覺和簡單手勢的空間交互技術［J］.西南民族大學學報（自然科學版），2014，40（6）：871-876.CHEN Yaxi，OU Changkun，GUO Zhaoyang.Space interactions based on monocular vision and simple gestures［J］.Journal of Southwest University for Nationalities（Natural Science Edition）.2014，40（6）：871-876.（in Chinese）

［3］ 康金蘭，晁建剛，林萬洪，等.視覺手勢識別技術在航天虛擬訓練中的應用研究［J］.載人航天，2014（3）：219-222.KANG Jinlan，CHAO Jiangang，LIN Wanhong，et al.Research on application of visional gesture recognition technology in manned space virtual training［J］.Manned Spaceflight，2014（3）：219-222.（in Chinese）

［4］ 魯姍丹，周松斌，李昌.基于多光源紅外傳感技術的手勢識別系統［J］.自動化與信息工程，2015（2）：22-26.Lu Shandan，Zhou Songbin，Li Chang.Gesture recognition system based on multi-source ofinfrared sensing technology［J］.Automation and Information Engineering，2015（2）：22-26.（in Chinese）

［5］ 陳鵬展，羅漫，李杰.基于加速度傳感器的連續動態手勢識別［J］.傳感器與微系統，2016，35（1）：39-42.CHEN Peng-zhan，LUO Man，LI Jie.Continuous dynamic gesture recognition based on acceleration sensor［J］.Transducer and Microsystem Technologies，2016，35（1）：39-42.（in Chinese）

［6］ 周曉晶，趙正旭，樓江.基于數據手套的虛擬手勢交互系統［J］.儀表技術與傳感器，2007（10）：65-66.ZHOU Xiaojing，ZHAO Zhengxu，LOU Jiang.Interactive hand gesturing system based on data glove［J］.Instrument Technique and Sensor，2007（10）：65-66.（in Chinese）

［7］ Xu B，Zhou Z，Huang J，et al.Static hand gesture recognition based on RGB-D image and arm removal［J］.ISNN 2017，Lecture Notes in Computer Science，2017，10261：180-187.

［8］ Choi C.Deephand：Robust hand pose estimation by completing a matrix imputed with deep features［C］／／IEEE Conference on Computer Vision and Pattern Recognition.IEEE，2016.

［9］ Marin G，Dominio F，Zanuttigh P.Hand gesture recognition with jointly calibrated Leap Motion and depth sensor［J］.Multimedia Tools and Applications，2016，75（22）：14991-15015.

［10］ Marin G，Dominio F，Zanuttigh P.Hand gesture recognition with leap motion and kinect devices［C］／／IEEE International Conference on Image Processing.IEEE，2015：1565-1569.

［11］ Wang C，Liu Z，Chan S C.Superpixel-based hand gesture recognition with Kinect depth camera［J］.IEEE Transactions on Multimedia，2015，17（1）：29-39.

［12］ Kaur G，Bathla G.Hand gesture recognition based on invariant features and artificial neural network［J］.Indian Journal of Science and Technology，2016，9（43）：1-6.

［13］ Xie R，Cao J.Accelerometer-based hand gesture recognition by neural network and similarity matching［J］.IEEE Sensors Journal，2016，16（11）：4537-4545.

［14］ Strezoski G，Stojanovski D，Dimitrovski I，et al.Hand gesture recognition using deep convolutional neural networks［C］／／ICT Innovations.2016.

［15］ 胡弘，晁建剛，林萬洪，等.基于虛擬手交互的航天員虛擬裝配訓練仿真方法［J］.計算機應用，2015（s2）：200-203.HU Hong，CHAO Jiangang，LIN Wanhong，et al.Astronaut virtual assembly training simulation based on virtual hand interaction［J］.Journal of Computer Applications，2015（s2）：200-203.（in Chinese）

［16］ Adams R J，Olowin A，Krepkovich E.Glove-Enabled Computer Operations（GECO）：Design and testing of an extra-vehicular activity glove adapted for human-computer interface［C］／／International Conference on Environmental Systems.2013.

［17］ Ohara J M，Briganti M，Cleland J，et al.Extravehicular activities limitations study.Volume 2：Establishment of physiological and performance criteria for EVA gloves［R］.NASACR-172099，NAS 1.26：172099，AS-EVALS-FR-8701-VOL-2，1988.

［18］ Ngiam J，Koh P，Chen Z，et al.Sparse filtering［J］.Advances in Neural Information Processing Systems，2011：1125-1133.

A Hand Gesture Recognition Method Inspired by Visual Perception for Extravehicular Activity

WANG Li1，MA Zhong1，TANG Xuehan1，WANG Zhuping1，ZHOU Geqiang2，HE Shuangliang2
（1.Xi’an Micro-Electronics Technique Institute，Xi’an 710065，China；2.China Astronaut Research and Training Center，Beijing 100194，China）

To satisfy the needs of the human-machine interaction during the astronaut extravehicular activity（EVA），a target selection scheme for astronauts was proposed based on the hand motion ergonomic analysis of the EVA spacesuit gloves.The scheme combined with the eye tracker and the hand gesture recognition technology could realize the“hands free”interaction during EVA tasks.An eye tracker was used to determine the target of interest and a camera was used to capture the astronaut’s hand gesture.Then，a gesture recognition algorithm was developed based on the sparse filtering feature extraction and the neural network classifier to realize the interaction function according to the predefined target selection command.The experimental results showed that recognition rate was more than 95%，which can provide a prototype basis for the future integration into the spacesuit.

extravehicular activity；gesture recognition；neural network；sparse filtering

R857.3

A

1674-5825（2017）06-0805-06

2017-01-16；

2017-09-08

載人航天預先研究項目（060601）

王莉，女，碩士，助理工程師，研究方向為目標檢測與識別。E-mail：wangli009g＠163.com

（責任編輯：康金蘭）