基于計算機視覺的手勢識別人機交互技術

楊益平 閔嘯

摘要 隨著數字技術和多媒體技術的飛速發展和廣泛應用，人們開始越來越多的利用計算機進行交流，人們希望新的硬件不斷出現，希望新的計算機應用領域不斷擴展，人們原本所熟知的人機交互方式多是利用鍵盤和鼠標等輔助設備，但是人們的交流為了達到自然和迅速的效果，就不得不利用新的交流方式，基于視覺感知手勢的人機交互技術就成為了新技術當中較為重要的一類技術，通過計算機的視覺感知功能，可以將圖像轉化為數字信號，借助識別模式等理論技術，使得計算機可以將視覺感知的功能轉化為手勢的語言，并且便于計算機用戶做出必要的反應，實現人和計算機的互相交互功能。

【關鍵詞】手勢識別 人機交互 圖像識別

人機交互技術已經成為人們日常生活中應用較為廣泛的一種科技，成為了人們日常生活的關鍵組成部分。人機交互技術可以聲情并茂的告知人們采用各種語言進行交流，除了利用自然語言例如書寫和口頭敘述進行交流之外，還可以利用人體語言進行交流，常用的人體語言例如手勢和表情都可以被用來與計算機進行交流，手勢也是人們進行交流的表達方式之一。人機交互技術是指，在計算機和人類之間建立起來某種聯系，方便計算機能夠及時根據人的指令而做出來一系列的動作的一種技術，根據計算機手勢識別技術，人類可以及時的對手勢的識別做出反應，人機交互的主要途徑就是應用手勢識別，將手勢轉換成固定的圖像，然后對圖像進行識別，為了確保技術準確實現，對人的手勢進行準確識別，需要對相關識別步驟和關鍵技術節點進行深入研究。與人與人之間的交流相比，人機交互的形式顯得刻意和呆板，手勢輔助特定的表情和動作是一個穩定表達系統的關鍵組成部分，人們進行交流需要依靠動作和視覺傳達而形成的特殊語言。同時手勢還包括有一個人和人的體系語言，人體語言和書面語言和口頭語言不同，用在人機交互技術方面，手勢只是作為表達的一種手段，同時具有強大的視覺效果，可以生動形象的表達出人體語言，對視覺人機交互語言進行研究，是一個多學科交叉研究方向，非常具有挑戰性。

1 手勢識別技術概述

手勢識別技術作為人機交互技術的一種，是對人類表達方式的一種機器識別方法，操作者通過不同的手勢和計算機之間進行交流，讓計算機根據人的不同手勢做出不同的反應，因此手勢又可以分成動態手勢和靜態手勢，靜態手勢是指人的單個不發生變化的手型，通過手勢的固定，表達特殊的意思含義，靜態手勢就是通常人們所稱的姿勢。動態手勢又被稱為動作，通過動作和姿勢的不同，計算機可以做出不同的反應，執行不同的操作，為了促使上述技術能夠完美實現，需要設定手勢識別系統的不同技術指標。常見的手勢識別系統通常會具備如下幾種組成。第一，一個攝像機已獲得視頻數據資源，接著將數據視頻資源通過手勢驗證和數據流分享到檢測數據的程序里面，系統之后會根據手勢輸入的流程和交互實驗模型檢測手勢是否可用，將手勢從視頻信號之中切換回來，根據手勢模型進行手勢分析，包括特征檢驗和參數模型評估。在數據識別的過程中，會對參數模型的手勢設置進行評估，最后根據系統生成的模型進行評估，雖然手勢已經成為了一種交互的手段，需要根據生成的數據進行描述，根據描述對應用進行指令。但是手勢已經成為了已經非常新型的交互手段，通過手勢對識別的解決方案進行描述，可以實現表情識別、步態識別、指紋識別、唇讀等功能，還可以進行圖像拼接等視頻檢索功能的實現，研究基于視覺的手勢識別技術對于提升人機交互技術的潛力而言具有非常重要的價值。

2 手勢識別技術的步驟

2.1 手勢識別技術的流程

計算機手勢識別技術可以分成如下幾個流程。首先，攝像機鏡頭對用戶的身份進行識別，將視頻信號分成不同的表現形式，將識別的信號傳輸在系統當中，將不同的手勢進行分割，在進行識別程序之后開始對手勢進行分析，通過不同的手勢模型，對收勢實現識別，并作出相應的描述，計算機程序根據相應的識別建立對應的手勢模型，并作出最終的描述，最終完成整個識別的過程，上述流程的重要價值在于建模和識別的程序，通過手勢分析實現動作識別。

2.2 手勢識別系統的設計

2.2.1 通過手勢進行建模操作

手勢建模技術是通過計算機視覺實現手勢識別的重點，通過人機交互實現數據識別，主要依靠手勢建模技術，選擇合適的手勢模型，可以提高系統識別手勢的正確率，根據系統設計的目的不同對不同的模型進行建模，可以解決在人機交互模式非常復雜的情況下，通過建立精細化程度比較高的模型來實現手勢識別技術。可以選擇立體和平面兩種不同的模型設定，立體模型主要是3D模型，選擇該模型可以有網格模型、骨架模型和幾何模型等多種不同的表達模型。模型的手勢可能包括了灰度圖像模型和二維變換模型等不同的形式，圖像識別的屬性要求對于運動的圖形必須選擇直觀的表達方式，系統通過模型的選擇實現模型的統合利用。

2.2.2 對識別出的手勢進行分析

手勢分析的意義在于根據特定的手勢參數，將數據監測所得到的參數分成不同組成，將特征檢測所得到的運動特征和人手的形狀賦予運動特征進行檢測，參數估計模型則是建立在數據估算的基礎上，將數據模型建立在特征值的基礎上，參數估計主要是依據特征值來完成，參數估計是識別手勢模型的基礎。

2.2.3 通過手勢識別實現手勢分析

手勢識別是一種固定的特征量，需要依據參數估計的結果和實際檢測的結果將組合的模型綜合起來，將數據規整到數據集里面，就目前統計數據的情況看，需要在數據系統較好的情況下，利用靜態的數據結構，將系統識別的手勢固定。

3 手勢識別的實現

3.1 硬件和軟件平臺

手勢識別的硬件設備首先需要具備一臺電腦，加上一臺可以捕捉圖像的攝像頭，電腦硬件的配置盡量要高，具備適合的計算能力，網絡攝像頭需要具備圖像捕捉和跟蹤能力。同時需要具備軟件平臺，軟件開發平臺為C語言編寫的平臺，具有視覺識別系統，采用英特爾公司的開源數據庫，最終形成可以執行的腳本文件，實現所有不同手勢的識別功能，實現所有不同手勢的人機交互能力。

3.2 利用攝像頭攝入視頻

通過不同的操作系統對視頻識別軟件進行開發，使得不同攝像頭可以捕捉不同的畫面，攝像頭捕捉畫面的能力顯得格外重要，需要調用不同的函數，建立不同的顯示窗口，安裝適合的攝像頭驅動程序，在啟動了程序驅動之后，需要根據攝像頭讀取實時圖像的不同，方便攝像頭讀入不同的數據模型，程序啟動之后，網絡攝像頭需要在捕捉的實時畫面上實現攝像頭的讀取，顯示在特定的窗格中。

3.3 對讀取的手勢進行固定操作

通過不同的檢測方法可以實現手勢的固定，常見的固定方法有動態數據定位和膚色檢測等技術。運動檢測技術是指可以從一定順序變化的圖形當中，將背景圖片提取出來，背景圖片具有動態變化的特點，可能有天氣和光照等變化，使得運動檢測技術是一項非常有難點的程序設計。膚色檢測技術是指，由于運動檢測技術通常不具備良好的實行條件，不能夠對手勢進行良好的定位，因此需要引進膚色檢驗技術對手勢進行定位，通過色彩的色調、飽和度和亮度等對膚色進行檢測，由于膚色具有比較強的聚散性質，因此會和其他顏色對比明顯，可以和其他形式的顏色對比開來，同時由于光照的原因，一些計算量小的手勢往往實效性比較高。實驗數據表明，采用數據檢驗的方法可以定位很多數據的手勢，由于定位快速而且計算量比較小，可以在一定條件下實現準確計算。

3.4 手勢跟蹤技術

在根據視覺檢測的數據分析實驗中，手勢跟蹤技術是實現手勢分析的關鍵環節，實驗數據表明，根據不同的算法跟蹤手勢，可以有效地對人臉和手勢的不同進行識別，如果手勢出現了部分遮擋的情況，需要進一步對之后的手勢遮擋做出識別，通過算法的改進對攝像頭的問題進行準備，按照適當的膚色跟蹤技術，得到具體的投射視圖。

3.5 手勢分割技術

計算機收勢分割技術是指借助計算機軟件在視覺領域的應用，將數字和圖像處理技術迅速發展應用在手勢識別的領域，手勢分割技術利用的是人的手在運動的時候，計算機所采集到的數據，當計算機的攝像機所采集到的一系列圖像出現在人的手勢當中的時候，其圖像會被用來被軟件識別。如果動態的手勢圖形被算法和膚色的概率用作一系列的動態處理，將算法數據所輸入的概念轉換成一系列的形態學指標，可能導致數據模糊和膨脹，出現數據腐蝕等現象，使得輸出的圖形轉化為二維的結果。

3.6 手勢識別技術的應用

圖像經過處理之后會轉化為數值，通過將圖像變換為幾何特征的數值，可以得到表示圖像特征的幾個分量，形成手勢的一些特征指標。系統進行具體數值計算的具體方法是，由于手勢具有向量不變的特征，將數值的應用作為模板，在讀取視頻的時候，根據向量不變的屬性，將模板上的數值進行分離，距離的遠近表明數值的差異大小，通過對固定數值的識別，對計算機進行讀取操作，通過簡單的數據放縮功能，幫助圖片放縮的結果交互現實，幫助系統功能良好運轉。

4 手勢識別作為交互技術的未來發展方向

人與人之間的語言交流，借助手勢進行的只是輔助的表達，計算機視覺的手勢識別系統的構建，是一種輸入設備的構建，可以幫助人們將手勢識別當做計算機的輸入設備，縮短計算機和人之間的距離，提升計算機應用的效率，降低人類對計算機進行操作的難度。在計算機技術還不發達的年代，計算機交互技術的實現需要依靠字符和命令作為技術支持，但是當計算機技術發展到一定階段之后，需要進一步加強人與計算機之間的聯系，提升計算機操作人員利用電腦技術的便利性，手勢識別技術就在這一方面進行了突破，目前的計算機識別技術所進行的識別，仍然是一種動態的識別技術，對收勢識別所做的研究努力都是為了靜態識別技術的重構。隨著計算機科學技術的發展計算機識別和收勢識別都會隨著交互技術的發展而逐步發展壯大，交互技術很有可能成為廣泛應用的教學技術和藝術設計技術，在游戲制作等方面也有可能發揮出獨特的作用，提升了人們整體上利用手勢操作電腦的水平，能夠幫助用戶和計算機之間實現互動，幫助人們參與到游戲當中，提升游戲的體驗價值，因此，計算機手勢識別人機交互技術的應用前景非常廣闊。

5 結論

人機交互技術和計算機界面的應用走過了語言界面模式的應用，正在進入圖形界面的應用，圖形界面的時代已經到來，但是計算機圖像技術識別還沒有達到發展所需要的高度，計算機科學家都不滿足于上述現狀，都在積極研究人機交互技術，通過語言識別技術實現計算機人臉識別之后，商業模式的轉變讓人們看到了商業的曙光，在商業領域的應用前景非常廣泛，虛擬現實等技術也需要手勢識別技術的突破，在未來用戶界面技術迅速發展和人機交互實驗大發展的背景之下，繼續追求人機和諧以及多維信息空間的基于自然交互的語言風格方式顯得格外重要。為了幫助視覺手勢識別系統得到更好的應用，需要在實現了手勢識別系統設計的基礎之上，選擇合理的編程語言，提升系統軟件設計的能力，幫助用戶選擇合適的識別系統，將軟件和硬件設備相互搭配使用，建立綜合的算法，為手勢識別提供應用的途徑，提升人機交互的實際水平，帶來社會綜合領域的發展。

參考文獻

[1]陳彬彬，基于視覺的字母手勢識別技術研究及實現[D].西南交通大學，2017.

[2]杜宇.基于深度機器學習的體態與手勢感知計算關鍵技術研究[D].浙江大學，2017.

[3]易靖國，程江華，庫錫樹.視覺手勢識別綜述[J].計算機科學，2016 （S1）：103-108.

[4]郭子雷，基于計算機視覺的手勢識別系統的設計與實現[D].華中科技大學，2016.

[5]關然，徐向民，羅雅愉，苗捷，裘索.基于計算機視覺的手勢檢測識別技術[J].計算機應用與軟件，2013（01）：155-159+164.