針對可穿戴設備的虛擬鼠標

JABEEN Farzana，田琳琳，任怡，陶霖密

(1．清華大學 人機交互與媒體集成研究所，北京 100084; 2. 北京郵電大學 國際學院，北京 100876)

針對可穿戴設備的虛擬鼠標

JABEEN Farzana1，田琳琳2，任怡2，陶霖密1

(1．清華大學 人機交互與媒體集成研究所，北京 100084; 2. 北京郵電大學 國際學院，北京 100876)

人類對外界的感知和聯系一直是人類活動研究的重點。許多產品和技術都可以結合，如最近非常流行的虛擬現實，就是將虛擬現實和殘疾人的健康保障組合在一起。早期的虛擬顯示設備都帶有傳感器，但用這些傳感器進行交互對于殘疾人來說十分困難。主要原因是當用戶使用輸入設備(鍵盤、鼠標、遙控器)控制虛擬現實設備的時候，操作十分復雜，沒有外在的幫助，有運動障礙的人無法正常使用。為了解決以上問題，提出了用虛擬鼠標取代傳統鼠標，將鍵盤、鼠標、遙控器的功能三合一，以可穿戴眼鏡作為顯示的媒介設備，簡化交互過程。設計原則是通過使用一個按鍵，用戶就可以與安裝在虛擬眼鏡上的系統進行交互，同時不需要很大的手指力量和手指活動幅度。我們控制變量的方式設計對比實驗來評估該系統。該系統的后期測驗證明了提出的系統的有效性和可靠性，而且系統整體設計十分完備。

虛擬鼠標；可穿戴顯示；殘疾人；人機交互

技術和科學快速發展已經延長了人類的壽命，但是，目前仍然有一些無法治愈的疾病大大降低了老年人的質量，如肌萎縮側索硬化癥(ALS)和中風。這些疾病會對患者的運動范圍和能力造成限制，如果沒有護理員，患有這些疾病的老年人生活基本無法自理[1]。

1 問題的提出

虛擬現實(VR)，通過計算機模擬系統為用戶模擬真實的使用場景，由于其卓越的交互體驗在年輕人中廣為普及。VR的最重要的應用之一是利用計算機圖形學的虛擬現實的人機交互界面，在計算圖形技術創建的圖形的幫助下，實時處理用戶行為數據。現如今，VR技術已經在日常生活的許多方面得以應用，如醫學[2-4]、教育[5]、創造身臨其境的虛擬體驗[6]、物理現象仿真[7]、大眾娛樂[8]等。目前，VR設備正變得越來越普遍，如VR眼鏡，隨著技術的發展，這些設備的價格越來越低廉，大多數家庭都有能力購買。因此，利用虛擬現實技術，幫助患者過上正常生活很可以實現而且很有必要。同時，虛擬現實技術也為許多患者生活提供幫助，如模擬購物環境，提供模擬職業培訓，手術和治療恐懼癥等等。有些VR設備甚至可以通過一組指令讓病人能假想物體空間移動的視覺表示[9]。通過以上這些，VR技術正在逐步改善人們的生活質量。

但是目前，使用虛擬現實設備仍存在許多問題。因為人的視覺系統對運動圖像非常敏感，如果VR設備無法盡可能快生成近似光學圖案，則用戶的使用體驗非常不自然[10]。同時，虛擬現實設備硬件的反應速度不夠快，無法對用戶實事動作進行有快速反饋[11]。 VR可應用于來自運動神經損傷的人的術后恢復，在運動康復時，迫使觸覺接口和外骨骼反饋裝置一起使用[12]，但這也意味著操作這些裝置時，需要很大的肢體力量。而這是運動受限的人或者是神經受損傷的患者無法做到的[13]。

可穿戴式系統也用于幫助殘疾人。大多數的系統包括用戶在交互過程中必須用到的傳感器和一些小工具。為了達到更加便捷的效果，現在VR技術常常與可穿戴設備結合使用，但是這導致了另一個常見的問題。 圖1中的3幅圖片展示用戶與鍵盤、鼠標和虛擬現實眼鏡三者進行交互的過程。當使用者使用可穿戴設備的時候，他無法很好與其他輸入設備進行交互(鍵盤、鼠標等)，因為他們無法看到真實的場景。

同時，在使用可穿戴式系統的用戶需要一直注視在顯示屏上，導致用戶看不到輸入上按鍵的具體位置，輸入設備無法發揮作用。這是可穿戴式系統在殘疾人和老年人與外界交互時面臨的主要問題。

圖1 存在問題Fig.1 Existing problems

虛擬現實應用和可穿戴式系統在現在的年輕人中廣為使用，但對于老年人和殘疾人，他們只需要最簡單的和無傳感器的可穿戴式顯示系統來實現最基本的功能，這些最新科技的使用仍然存在問題。所以無傳感器的可穿戴式設備更適合于他們，而且價格會相對低廉，使用起來也更加便捷。

同時在使用中存在的另一問題，如圖1中最右圖片顯示，虛擬現實眼鏡的改變菜單或選項的按鈕在眼鏡的框架上，在使用過程中用戶看不見這些按鈕。這也會導致用戶必須記住不同的輸入按鈕的功能，這不符合用戶記憶最小化的交互設計原則。

基于這一需求，提出了基于可穿戴設備的虛擬鼠標，來更好地幫助行動不便者。我們的想法結合了虛擬現實和可穿戴式系統的兩種方法的優點，使用戶能與外界進行更加高效地互動。借助這個接口，殘疾人只需一個設計好的觸摸板按鍵來與設備交互，作為虛擬鼠標的硬件。選擇觸控板是因為它非常省電而且用戶手指輕微抖動即可按動按鍵。用1-bit交互系統和虛擬現實眼睛來檢查虛擬鼠標的可用性和有效性。用戶研究是根據我們提出的虛擬鼠標和遙控器進行對比，用可穿戴眼鏡顯示圖像來判斷操作準確度。

2 相關工作

許多虛擬現實和可穿戴系統的產品用于幫助行動障礙者完成他們的日常活動，提高他們的生活獨立性。一些輔助移動的虛擬現實應用專為運動障礙人群設計，幫助他們以最少的物理運動范圍探索周圍環境[14]。例如，建立自我控制輪椅的虛擬環境[15]，幫助輪椅新手們掌握控制輪椅運動的方法。還有一些應用可以幫助殘疾人進行心理輔導以及對他們進行簡單的職業培訓[16-17], 例如洗碗，培訓者可以在這個具有真實沉浸感與交互性的虛擬環境中，通過人機交互設備例如觸摸屏、虛擬鼠標和場景里的物件進行交互，體驗實時的物理反饋[18]。殘疾人可以有效地利用虛擬現實模擬技術像正常人一樣工作、生活[19]。虛擬現實可以提供關于視覺、聽覺、觸覺等感官的模擬[20]，把受影響的感官信息轉化為可被感知的信息，使得那些有感官障礙的人可以感知到他們原本無法體會的東西[21]。

想要幫助殘疾人與外部世界方便快捷地進行交互，簡單、易操作的人機交互技術尤為重要。這里介紹一下目前在殘疾人設計虛擬鼠標方面的學術研究。Howard Bruce等[22]提出了一種叫lightglove的可穿戴設備，這是一種利用光束感應手指以及傳感器檢測手部活動的腕帶式的虛擬鼠標及打字設備。用戶通過彎曲手指插入設備透出的光束來控制鼠標光標移動或者進行虛擬鍵盤輸入。S.Manivarman 等[15]提出了一個專為殘疾人設計的基于手勢的六自由度虛擬鼠標。即使用戶手指不能彎曲，也可以通過簡單的手勢來操控虛擬鼠標進行電腦活動。J. Mccomas等[23]設計了一個叫做Point-N-Click的單機虛擬鼠標，可以幫助那些手指無力無法點擊鼠標的運動障礙者操控鼠標 。Point-N-Click可支持多種鼠標系統，如頭戴式鼠標、平板PC、觸摸屏設備等等。Point-N-Click還可以幫助殘疾人進行水下康復訓練[24]。

所有上述的研究都拋棄了傳統的物理鼠標鍵盤，只利用單獨設計的虛擬鼠標以及可穿戴設備幫助殘疾人更加方便地操控電腦設備。lightglove[22]和六自由度虛擬鼠標[5,15]十分便攜和易于操作，但是這些設備都需要整只手的運動，對于我們有嚴重運動障礙的目標用戶來說操作起來還是有困難的。Point-N-Click[23]不需要太多的手部運動，但是系統略微復雜，用戶使用起來需要很長的適應期，其復雜的功能需要花費用戶更多的交互時間。

我們提出的方法最為顯著的優勢在于將用戶的手指運動縮小在更小的范圍內，加上簡單的1 bit交互系統讓用戶操作更簡單、更易上手。采用的1 bit交互系統中，每一個功能調用都只需要1 bit輸入，用戶只需要用一根手指輕微按動觸控板即可。配合使用可穿戴式顯示設備(此研究實驗階段采用無傳感器的基于安卓系統的VR眼鏡)，用戶就可以以一種簡單的方式進行人機交互。

3 1-bit虛擬鼠標

患者可在VR眼鏡的幫助下，通過虛擬鼠標使用不同的虛擬現實應用。我們提出的系統包含了硬件和軟件支持。為了展示虛擬鼠標的可用性，用1-bit交互系統進行測試，這個交互系統能提供類似社交媒體、娛樂、購物以及與護工溝通的工具，幫助用戶完成日常生活活動。

3.1 硬件支持

為了實現所提出的系統的所有功能，需要另外兩種可穿戴硬件設備，其中可穿戴顯示設備(VR眼鏡)用于顯示，觸摸板用于用戶輸入。

為了提供一個更真實的可視化虛擬世界，使用的是基于Android系統的VR眼鏡。選擇此硬件設備的原因是因為它基于Android系統，在這個平臺上安裝虛擬鼠標的應用程序比較方便。選擇的另一個硬件設備是觸摸鍵盤，此鍵盤只有一個鍵，用于用戶的遠程控制。

圖2 系統框架Fig.2 The system framework

該系統的整個過程為：在VR眼鏡上安裝交互系統，觸摸板作為用戶輸入設備，與VR眼鏡相連。當用戶需要與系統進行交互時，按壓觸摸板，即可獲得系統的反饋。輸出設備可以是多樣的，例如由軟件系統控制的揚聲器可以連接到虛擬現實眼鏡，以便每當病人作出選擇時，護工可以被及時通知到。顯示器同樣可以作為此系統的輸出設備，可將使用者的所有選擇輸出到屏幕上方便使用者及其家屬護工實時掌握。硬件的選擇是以改善和方便殘疾人和外部世界的溝通為目的。

3.2 軟件支持

軟件方面，采用1-bit交互系統，以及設計的虛擬鼠標。在設計虛擬鼠標時，考慮到目標用戶在運動能力上的限制，以及對已有物理鼠標的認知與使用習慣，決定采用輔助界面，來增強虛擬鼠標的可操作性。

圖3為1-bit交互系統中的虛擬鼠標輔助界面，在此界面中，每一個圖標對應一個特定的功能，并以一定的順序與速度交替閃爍。用戶可以在某一圖標正在閃爍時，發出1 bit選中信號，以此命令系統實現相應的功能。圖3中圓形區域內的圖標可控制鼠標光標的移動。當用戶選中其中閃爍的圖標時，這個控制鼠標光標位置的圓形輔助界面會隨著鼠標光標一起向選中的方向移動或者停止移動。當光標在移動時，示意停止的圖標會不停閃爍，直到用戶發出選中信號。選中信號發出后，鼠標光標的移動就會立即停止，4個方向圖標繼續按原來的方式輪轉閃爍。4個方向圖標輪流閃爍一周期后，若系統沒有接收到用戶的選中信號，則默認鼠標光標移動已經完成，此時輔助界面會出現包括向上翻頁，向下翻頁，刷新頁面，新增窗口，關閉窗口，返回主頁等快捷方式。這些快捷方式可以幫助用戶在不用移動鼠標光標的情況下，快速實現部分功能，有效提高系統的使用效率，節省用戶的等待時間。

圖3 虛擬鼠標Fig.3 Virtual mouse

虛擬鼠標代替傳統的物理鼠標，作為一種基本工具來支持上層交互過程。額外的主菜單按鈕，鍵盤按鍵和護理按鈕提供了功能組之間的互相切換，使用戶能夠快速定位他們需要的功能。

我們的設計涵蓋了方向控制圖標、快捷方式和主菜單按鈕的輔助界面，可以基本滿足用戶瀏覽網頁時在鼠標控制方面的需求。此外，輔助界面中光標移動的速度經過了專門設計與反復測試，保證該系統鼠標光標移動功能的精準度，效率和用戶滿意度。

使用在windows操作系統上開發的1-Bit交互系統，并與虛擬現實系統相結合。此系統包含4個主要功能，分別為網站訪問、多媒體、筆記本和醫療保健。用戶借助這個系統進行網頁瀏覽，網上購物，新聞，音樂，電影，在線課程等活動，1-bit交互系統大大豐富了用戶的日常生活。

在1-Bit交互系統中(如圖4)，每個功能都用一個圖標來表示，并且這些圖標會以一定的順序輪流閃爍。當圖標正在閃爍時，用戶可以發出選中信號，以此控制系統執行此圖標對應的功能。圖標的閃爍周期為2 s，這個時間的設定經過反復測試與實驗，保證用戶有足夠的反應時間以及合適的等待時間。

圖4 1-bit交互系統Fig.4 1-bit interactive system

用戶想要點擊某一功能圖標，需要借助觸控板來實現。VR系統中，用戶通過觸碰觸控板的觸摸按鍵來操作虛擬鼠標。

我們所使用的1-Bit 交互系統支持1-bit輸入信號，所以只需要一個外部按鍵即可與系統交互。考慮到目標用戶運動障礙的問題，設計了一個觸摸鍵盤，這個鍵盤不需要太多手指的力量，用戶只需要用一根手指觸碰觸摸板上的按鍵即可。用戶一旦觸摸按鍵，系統就會立即接收到信號并執行相應的功能。這種設備可操作性極強，即使重度殘疾人士也可以輕松使用。圖5為觸摸鍵盤。

圖5 一鍵觸控板Fig.5 One key touchpad

4 系統評價與用戶研究

我們邀請了5名ALS、中風患者和5名健康人士(4男6女，年齡在20～78歲)參與用戶研究。在使用這個系統之前，我們先為他們進行了一個30 min的演示示范。在護工的幫助下，每位患者使用了1-bit交互系統中的兩個應用。分別用包含5個功能鍵的遙控器和一鍵觸摸板控制的虛擬鼠標來測試系統。

圖6為用戶正在使用1-Bit交互系統。圖6的左邊是用戶正在使用VR鼠標。右邊是用戶正在使用制造商設計的遙控器。參加測試的用戶們在1-bit交互系統上體現了不同的功能，例如使用網頁搜索模塊進行在線購物，多媒體模塊觀看電影等。他們覺得使用遙控器來操作這個系統不是很方便，要分清遙控器的5個按鍵的功能，以及因為佩戴著VR眼鏡的緣故，要正確按下功能鍵十分困難，所以他們更傾向于使用觸控板。

圖6 用戶研究Fig.6 User study

圖7顯示了本次實驗的結果。顯示出1鍵觸摸板和遙控器的使用可行性的差異。計算了所有操作的數量以及錯誤操作的數量。使用標準偏差來計算測試的錯誤率。使用遙控器的平均準確率為15.5%，錯誤率為79.9%。而使用1比特虛擬鼠標，平均準確率為56.8%。從圖7可以得知，隨著用戶越來越熟悉這個系統，操作這個系統的準確率也會提高。然而隨著記憶的按鍵和功能按鈕越來越多，使用遙控器的操作準確率并不會提高。實驗結果表明, 1 bit虛擬鼠標與遙控器相比操作簡單，性能更優。實驗結果十分理想。

圖7 用戶使用結果Fig.7 Result of user research

要實現在虛擬世界的真實交互，為用戶提供一種可行的輸入交互十分必要。由于現有鼠標的不同控制按鈕，和遙控器的復雜功能鍵，一些殘障人士要想控制操作十分不易，所以提出了這個系統，讓VR技術以一種更好和更有效的方式來方便特殊用戶的生活。

4 結束語

對于殘疾人士來說，能與外界正常溝通交流是他們能夠獨立生活非常重要的一部分。虛擬現實應用和可穿戴系統正試圖幫助他們提高生活獨立性，改善他們的生活方式。大部分虛擬現實應用為患者提供虛擬環境，例如購物環境，手術環境，就業招聘環境，讓他們在這些虛擬場景下接受培訓或者進行心理輔導等等。可穿戴系統利用傳感等裝置為用戶提供便捷易操作的人機交互服務。目前，虛擬現實應用、可穿戴系統與殘疾人之間的交互，無論是技術操作上還是經濟上仍是一件困難的事，首先一些虛擬現實應用的輸入設備對于殘疾人來說操作起來十分困難，其次可穿戴設備由于一些傳感裝置的存在價格十分昂貴[26]。所以我們決定使用操作簡單的1-bit系統以及不含任何傳感裝置的可穿戴顯示設備。減少了傳感器的可穿戴設備大大降低了價格，同時也簡化了設備的使用方法。

基于需求分析和設計思路，本文闡述了1 bit虛擬鼠標交互系統在可穿戴顯示設備上的運用。考慮到目標用戶輸入帶寬受運動障礙的影響，只考慮用戶與系統交互最為困難的情況。借助可穿戴顯示設備(VR眼鏡)，使用1 bit的鍵盤信號作為輸入來與系統交互。只要外圍設備能夠發射或間接輸出鍵盤信號，就可以被用作這個系統的輸入設備。這個系統包含網頁瀏覽，多媒體接入，醫療保健和筆記本模塊。通過用戶研究和反復實驗，結果表明這個改進后的1-bit 交互系統可以很好地滿足目標用戶的需要，并有效改善他們的生活。

[1]KOUROUPETROGLOU G. Assistive technologies and computer access for motor disabilities[M]. Hershey PA, USA: IGI Global, 2014.

[2]CHESTNUT J A, CRUMPTON L L. Virtual reality: a training tool in the 21st century for disabled persons and medical students[C]//Proceedings of the 1997 Sixteenth Southern Biomedical Engineering Conference. Biloxi, MS: IEEE, 1997: 418-421.

[3]HOLCOMB J B, DUMIRE R D, CROMMETT J W, et al. Evaluation of trauma team performance using an advanced human patient simulator for resuscitation training[J]. The journal of trauma and acute care surgery, 2002, 52(6): 1078-1086.

[4]FENG Chuan, ROZENBLIT J W, HAMILTON A. Fuzzy logic-based performance assessment in the virtual, assistive surgical trainer (VAST)[C]//Proceedings of the 15th Annual IEEE International Conference and Workshop on the Engineering of Computer Based Systems. Belfast: IEEE, 2008: 203-209.

[5]CHUNG J M, RAMASAMY K, KOTIKALAPUDI V, et al. Virtual laboratory education for persons with vision disabilities[C]//Proceedings of the 2002 45th Midwest Symposium on Circuits and Systems. Tulsa, OK, USA: IEEE, 2002, 2: II-617-II-620.

[6]BOZGEYIKLI L, BOZGEYIKLI E, CLEVENGER M, et al. VR4VR: towards vocational rehabilitation of individuals with disabilities in immersive virtual reality environments[C]//Proceedings of the 2014 2nd Workshop on Virtual and Augmented Assistive Technology. Minneapolis, MN, USA: IEEE, 2014: 29-34.

[7]DEDE C J, SALZMAN M, LOFTIN R B. The development of a virtual world for learning newtonian mechanics[M]//BRUSILOVSKY P, KOMMERS P, STREITZ N. Multimedia, Hypermedia, and Virtual Reality Models, Systems, and Applications, Volume 1077 of the series Lecture Notes in Computer Science. Berlin Heidelberg: Springer, 1996: 87-106.

[8]ZYDA M. From visual simulation to virtual reality to games[J]. Computer, 2005, 38(9): 25-32.

[9]DRAGANOV I R, BOUMBAROV O L. Investigating oculus rift virtual reality display applicability to medical assistive system for motor disabled patients[C]//Proceedings of the 8th IEEE International Conference on Intelligent Data Acquisition and Advanced Computing Systems: Technology and Applications. Warsaw, Poland: IEEE, 2015.

[10]STANNEY K M, MOURANT R R, KENNEDY R S. Human factors issues in virtual environments: a review of the literature[J]. Presence, 1998, 7(4): 327-351.

[11]DEB S, DEB S. Single key Omni directional pointing and command system (SKOPS)——a smart on screen navigational tool for physically disabled persons[C]//Proceedings of the 2007 9th International Conference on e-Health Networking, Application and Services. Taipei, China: IEEE, 2007: 197-201.

[12]LANYI C S, TOLGYESY S M, SZUCS V, et al. Wheelchair driving simulator: computer aided training for persons with special need[C]//Proceedings of the 2015 6th IEEE International Conference on Cognitive Infocommunications. Gyor, Hungary: IEEE, 2015.

[13]陳晨, 吳建國. 基于WebRTC的殘疾人鼠標研究與實現[J]. 計算機技術與發展, 2013, 23(9): 32-35. CHEN Chen, WU Jianguo. Research and implementation of disabled mouse based on WebRTC[J]. Computer technology and development, 2013, 23(9): 32-35.

[14]ALM N, ARNOTT J L, MURRAY I R, et al. Virtual reality for putting people with disabilities in control[C]//Proceedings of 1998 IEEE International Conference on Systems, Man, and Cybernetics. San Diego, CA, USA: IEEE, 1998, 2: 1174-1179.

[15]WANG Xingfeng, QIN Kaihuai. A six-degree-of-freedom virtual mouse based on hand gestures[C]//Proceedings of 2010 International Conference on Electrical and Control Engineering. Wuhan, China: IEEE, 2010.

[16]BOZGEYIKLI E, BOZGEYIKLI L, CLEVENGER M, et al. Poster: design and development of a virtual reality system for vocational rehabilitation of individuals with disabilities[C]//Proceedings of 2014 IEEE Symposium on 3D User Interfaces. Minneapolis, Minnesota, USA: IEEE, 2014.

[17]PIOVESAN S D, WAGNER R, MEDINA R D, et al. Virtual reality system to the inclusion of people with disabilities in the work market[C]//Proceedings of International Conference on Information Technology Based Higher Education and Training. Antalya, Turkey: IEEE, 2013.

[18]KAMIETH F, DHNE P, WICHERT R, et al. Exploring the potential of virtual reality for the elderly and people with disabilities[M]//KIM J J. Virtual Reality. Open Access Publisher, 2011.

[19]LOUP-ESCANDE E, CHRISTMANN O, DAMIANO R, et al. Virtual reality learning software for individuals with intellectual disabilities: comparison between touchscreen and mouse interactions[C]//Proceedings of the 9th International Conference on Disability, Virtual Reality and Associated Technologies. Laval, France, 2012: 295-303.

[20]張占龍, 羅辭勇, 何為. 虛擬現實技術概述[J]. 計算機仿真, 2005, 22(3): 1-3, 7. ZHANG Zhanlong, LUO Ciyong, HE Wei. A survey of virtual reality technology[J]. Computer simulation, 2005, 22(3): 1-3, 7.

[21]BUDZISZEWSKI P, GRABOWSKI A, MILANOWICZ M, et al. Workstations for people with disabilities: an example of a virtual reality approach[J]. International journal of occupational safety and ergonomics, 2016, 22(3): 367-373.

[22]HOWARD B, HOWARD S. Lightglove: wrist-worn virtual typing and pointing[C]//Proceedings of the Fifth International Symposium on Wearable Computers. Zurich, Switzerland: IEEE, 2001.

[23]MCCOMAS J, PIVIK J, LAFLAMME M. Current uses of virtual reality for children with disabilities[J]. Studies in health technology and informatics, 1998, 58: 161-169.

[24]QUARLES J. Shark punch: a virtual reality game for aquatic rehabilitation[C]//Proceedings of 2015 IEEE Virtual Reality. Arles, Camargue, Provence, France: IEEE, 2015: 265-266.

[25]宮金良, 張彥斐, 周玉林, 等. 一種新型六維鼠標在虛擬現實技術中的應用[J]. 傳感器技術, 2005, 24(9): 82-84, 88. GONG Jinliang, ZHANG Yanfei, ZHOU Yulin, et al. Application of novel six dimension mouse in virtual reality technology[J]. Journal of transducer technology, 2005, 24(9): 82-84, 88.

[26]謝晶妮, 張茂軍. 虛擬現實發展趨勢展望[J]. 計算機工程, 2002, 28(7): 1-2, 19. XIE Jingni, ZHANG Maojun. Trends of virtual reality system development[J]. Computer engineering, 2002, 28(7): 1-2, 19.

JABEEN Farzana為清華大學在讀博士生，目前研究的領域為人機交互，致力于為運動障礙人士設計對外交流系統。她認為用低比特交互系統可以很好的解決殘障人士的對外溝通問題。現在的研究方向為盲人設計購物助理系統，并且已有多篇論文被國內外期刊，會議收錄。

陶霖密，男，1962年生，副教授，主要研究方向為人機交互、計算機視覺與模式識別等。承擔的項目有國家重點基金情感計算，以及與IBM、INTEL、SIEMENS的國際合作基金等重要項目。 發表論文多篇。

Virtual mouse for wearable display

JABEEN Farzana1， TIAN Linlin2， REN Yi2， TAO Linmi1

(1. Institute of HCI and Media Integration, Tsing University, Beijing 100084, China； 2. International College, Beijing University of Posts and Telecommunications, Beijing 100876, China； 3. International College, Beijing University of Posts and Telecommunications, Beijing 100876, China)

Physical and cognitive health problems have always been one of the most prominent issues related to sustainable development of human health. By embedding virtual-reality into products and technology, the virtual-reality and the health-care of the disabled were combined. However, using sensor-based virtual display device in the early stage was not easy for the disabled when using input devices (keyboard, mouse, remote controller) to control VR devices, the operation was complicated, which meant that people with dyskinesia cannot operate them without extra help. This paper proposed virtual mouse to solve these problems mentioned above with the help of wearable glasses, combining the functions of keyboard, mouse, and remote-control to simply interaction process. Using one key, users can interact with the system installed in the virtual glasses with only one finger, little finger strength is needed. Experiments were made to test the usability of the virtual mouse with wearable glasses. The experimental results demonstrate reliability and effectiveness of the proposed system, the feedback of the users shows the satisfaction and necessity of the system.

virtual mouse; wearable display; disability； human computer interaction

2016-10-26.

日期：2017-01-12.

國家自然科學基金項目(61672017)；國家“863”計劃項目(2012AA011602).

陶霖密.E-mail：linmi@mail.tsinghua.edu.cn.

10.11992/tis.201608003

http://www.cnki.net/kcms/detail/23.1538.tp.20170112.1020.002.html

TP391

A

1673-4785(2017)02-0133-07

JABEEN Farzana，田琳琳，任怡，等. 針對可穿戴設備的虛擬鼠標[J]. 智能系統學報， 2017, 12(2): 133-139.

英文引用格式：JABEEN Farzana， TIAN Linlin， REN Yi， et al. Virtual mouse for wearable display[J]. CAAI transactions on intelligent systems, 2017, 12(2): 133-139.