新式交互設備在人機交互技術課程中的應用

沈瑩++張林

摘 要：人機交互是一門研究如何設計、評估和實現交互式系統及相關知識的學科。為了讓學生深入了解新式的人機交互方式，在課程實踐環節引入新式交互設備，學生對新設備表現出濃厚的興趣，利用這些設備自行設計許多新穎的應用軟件，開拓思路，增加開發經驗，提高自學新知識的能力。文章對上述課程實踐進行闡述。

關鍵詞：人機交互；人機交互設備；新型交互設備；Kinect；Leap motion

1 背 景

人機交互（human-computer interaction）是一門研究如何設計、評估和實現交互式系統及相關知識的學科[1]。人機交互是計算機學科中的傳統學科，從計算機誕生的第一天起，人們就在考慮如何設計出更好的人機交互方式。傳統的鼠標鍵盤等交互設備已經不能滿足用戶的需求，人們希望能夠高效便捷地對電腦進行操作，因此誕生了語音交互、手勢交互和動作交互等新穎的交互技術。另外人機交互也不局限于某種單一的交互方式，而是多種交互方式并存，共同完成交互任務。

作為一門專業基礎課，用戶交互技術課程在教學內容上結合軟件工程概念，目的在于培養學生理解用戶交互界面設計的原則，掌握新式用戶交互技術的原理，能夠自行設計開發基于新式交互技術的應用程序，使學生在相關行業領域中具有更高的創新性和競爭性。傳統的人機交互課程往往局限于介紹認知模型、設計界面元素等知識點，不能引導學生進行實例開發，更不要說接觸日新月異的新式交互設備。為了讓學生更加深刻地了解人機交互技術的最新進展，可以在課程中引入多種新式交互設備，包括Kinect、Leap motion、智能手表、VR設備等，并基于這些設備設計相應的實驗和項目。

2 新式交互設備

人機交互方式經歷了命令行交互階段、圖形用戶界面交互階段和自然和諧的交互階段[2]。在命令行交互階段，由于計算機價格昂貴、普及性不高，與計算機進行交互的是專業的程序員。隨著硬件成本的降低，計算機進入了千家萬戶，面向普通用戶的軟件越來越多，命令行界面也逐漸發展為圖形界面，并且界面上的交互元素種類日漸豐富和美觀。由于圖形界面易于理解，操作簡單，因此目前這種交互形式占據了主導地位，成為使用各種軟件的主要手段。

為了適應人們的娛樂、教育、購物及社交需求，許多新式交互設備開始嶄露頭角。這些設備徹底改變了傳統的人機交互概念，現在我們可以通過手勢、動作、語音等更自然的方式來操作計算機，這些提高了交互的效率，增加了交互的趣味性，最終使得人與計算機的關系變得更加緊密。新型交互設備的出現使得人機交互方式進入一個新階段，為這門學科帶來了新挑戰。

新式交互設備可以分為體感互動設備、語音交互設備、可穿戴式設備、虛擬現實設備等。每種類型的設備包含的具體產品見表1。由于分類并不是相互獨立的，因此某些設備會同時出現在不同分類中。

2.1 體感互動設備

Kinect是微軟開發的Xbox360主機的周邊設備。Kinect里安裝了3個鏡頭，中間的鏡頭是RGB彩色攝像機，用來獲取物體的彩色圖像。左邊鏡頭是紅外線CMOS 攝影機，右邊鏡頭是紅外線發射器。這3個鏡頭配合工作可以采集到視場中物體的彩色信息和深度信息。Kinect附帶的軟件可以識別使用Kinect的玩家，最多能識別6個人。除此之外，Kinect還能獲取人的全部關節（joint），從而得到玩家的骨架模型。另外，人的手部關節也一樣能被識別出來（包括所有指尖和關節），因此，Kinect也可以作為手勢識別的設備使用。

Kinect已從1.0版本升級到了2.0版本，目前主要作為參與游戲互動的工具，但是考慮到Kinect的強大功能，除游戲以外其他的應用（例如教育培訓）也在利用它完成不同的功能需求。

Leap motion是一款體感控制器。它通過紅外線追蹤手部移動，并且準確識別出手指的各個關節和骨骼位置。Leap motion與Kinect類似，但是只能進行手勢識別。通過Leap motion，用戶可以通過雙手動作來操作計算機。跟傳統的鼠標鍵盤輸入相比，Leap motion的使用顯然更加自然有趣。

2.2 語音交互設備

隨著深度學習的出現，語音識別算法的識別精度越來越高，最近在數據庫上的測試甚至超過了人類水平，因此語音識別軟件變得非常普及[3-4]。這種交互方式雖然不需要特殊的設備支持，但是仍有些新出現的語音交互設備值得關注。亞馬遜最近推出了一個名為Echo的設備，用戶可以將智能家居中的電器連上Echo，通過命令Echo完成對電器的自動化操作。另外前面介紹的Kinect除了包含深度相機外，還有一個語音識別裝置，Kinect附帶的驅動軟件能夠記錄用戶聲音并且分析用戶命令。

2.3 可穿戴式設備

由于可穿戴式設備體積小，使用簡單，功能強大，它們受到了廣大用戶的青睞。目前最熱門的產品要數智能手表，另外微軟也推出了一款用于混合現實的眼鏡Hololens。

無論是智能手表還是混合現實眼鏡，可穿戴式設備的使用還是離不開動作交互和語音交互技術，因此這種新式交互設備實際是體感互動設備和語音交互設備的混合體。

2.4 虛擬現實設備

虛擬現實設備為用戶構建出3D虛擬環境，用戶通過操作手柄與虛擬環境互動。此類設備包括虛擬頭盔、沉浸式虛擬現實系統（CAVE）等。虛擬頭盔需要戴在用戶頭部，頭盔里的目鏡為用戶投影3D虛擬環境，頭盔內的運動感知裝置捕捉用戶頭部運動，尤其是頭部轉動方向。CAVE利用立體投影構造出高級虛擬仿真環境，用戶借助虛擬現實交互設備（例如數據手套、Google Glass、位置跟蹤器等）獲得身臨其境的沉浸式感受。虛擬現實設備為用戶提供了更加逼真的使用環境，使得用戶體驗更舒適。

3 新式交互設備在課程中的應用

為了將新式交互設備引入到用戶交互技術課程中去，我們設計了3個課程實踐項目讓學生參與。整個課程采取“知識點教學+算法代碼實現+實例開發”的形式[5]。課堂教學教授學生各種交互技術的基本算法，如手勢識別算法、語音識別算法等。實驗課上教師會提供學生以上算法的代碼框架，要求學生進行代碼修改，理解不同參數的意義，觀察代碼修改引起的識別效果的變化。最后，學生分組利用Kinect和Leap motion開發包或者語音識別開發平臺進行項目實例開發，學會搭建基本環境，最終實現一個完整的系統。endprint

3.1 基于Kinect的交互式游戲開發

Kinect能夠識別用戶身體的各個關節，然后根據關節節點重構出一個虛擬人物，通過追蹤用戶的動作，使得該虛擬人物能在3D環境中完成各種任務。在本實驗中，我們首先會教授學生學會安裝和使用Kinect 2.0，并構建出3D虛擬環境及用戶的骨架模型。然后學生需要完成一個用戶與虛擬環境互動的功能，例如推箱子或者粉刷墻壁。此實驗涉及的知識點主要有Kinect的使用與編程、Unity3D編程、基于ICP算法的點集匹配等。

3.2 基于Leap motion的手勢識別系統

Leap motion是傳統交互工具例如鼠標鍵盤的替代者，只需揮動一只手指即可瀏覽網頁、閱讀文章、翻看照片，還有播放音樂。即使不使用任何畫筆或筆刷，用指尖即可以繪畫，涂鴉和設計。Leap motion安裝非常簡單，只需通過USB接入電腦。在本實驗中，學生需要安裝Leap motion的軟件開發包，成功檢測到手的形狀和位置，為不同的手勢定義對應的操作，取代鼠標和鍵盤的輸入功能。另外學生需要合理安排界面元素，使得用戶與電腦的交互能夠符合人的直覺。

3.3 基于智能手機的語音識別系統

利用谷歌語音開發包或者科大訊飛語音開發平臺開發一款基于智能手機的語音識別系統。該系統至少包含3個功能，例如撥打電話、寫短信、查詢天氣或者交通等。在本實驗中，學生需要安裝語音識別開發包，了解不同功能的接口定義，規劃需要實現的功能，合理設計交互界面，使得語音交互更加有效。此實驗涉及的知識點主要有HMM算法、GMM算法和深度學習的入門知識。

4 教學成果展示

4.1 Survival in sky

Survival in sky是一款基于Kinect和Unity3D開發的互動游戲。該游戲模擬一個駕駛員跟隨救生艙下落的場景，救生艙不斷地出現漏洞，駕駛員需要及時修補漏洞保證自身安全，否則游戲失敗（見圖1）。玩家需要利用四肢動作操縱游戲角色與虛擬環境進行交互（即補漏洞）。學生利用Unity3D軟件搭建3D虛擬場景，同時調用Kinect驅動程序識別玩家動作。

4.2 基于Leap motion的躲避游戲

學生利用C#和Leap motion驅動程序開發了一款躲避游戲，該游戲中，玩家需要操縱途中橙色點在界面中移動，每個關卡會出現不同數量的黃色點在界面上隨機移動，玩家要操縱橙色點避開黃色點。關卡級別越高，黃色點個數越多，游戲難度越大。橙色點的移動方向由Leap motion識別出的玩家手的移動方向決定。

4.3 Chatting Robot

Chatting Robot是一款基于ISO平臺的語音識別軟件。用戶可以通過鍵盤輸入或者語音輸入命令。在語音識別功能中，當用戶說完命令后，該軟件自動提交語音命令并執行。該軟件支持撥打電話、新聞查看、翻譯、天氣查詢、菜譜查詢、列車信息查詢，甚至支持針對特殊人群的功能（如返回網游信息、qq信息等）。

5 結 語

通過將新式人機交互設備引入用戶交互技術課程，我們取得了豐碩的教學成果，主要表現在學生對這門課興趣的提升以及優質項目的完成。通過學生設計的項目，我們也掌握了學生的興趣點所在，有利于下一步對實驗內容的改進。目前本課程已購買的設備包括Kinect、Leap motion、Apple Watch、暴風魔鏡等。在接下來的教學中，我們計劃繼續購買虛擬頭盔、數據手套、Hololens等設備，并且基于這些新設備再設計出更有趣的項目讓學生去實踐。

參考文獻：

[1] Hewett T T， Baecker R， Card S. ACM SIGCHI curricula for human-computer interaction [EB/OL]. [2017-04-16]. http：//citeseerx.ist.psu.edu/showciting？cid=1387837.

[2] 孟祥旭. 人機交互基礎教程[M]. 2版. 北京： 清華大學出版社， 2010.

[3] Hinton G， Deng L， Yu D， et al. Deep neural networks for acoustic modeling in speech recognition： The shared views of four research groups[J]. IEEE Signal Processing Magazine， 2012， 29（6）： 82-97.

[4] Saon G. Reaching new records in speech recognition [EB/OL]. [2017-04-16]. https：//www.ibm.com/blogs/watson/2017/03/reaching-new-records-in-speech-recognition/.

[5] 沈瑩. 用戶交互技術 [EB/OL]. [2017-04-16]. http：//sse.tongji.edu.cn/yingshen/course/HCI2017Spring/index.html.

（編輯：彭遠紅）endprint