基于手勢交互的兒童認(rèn)知開發(fā)學(xué)習(xí)產(chǎn)品設(shè)計研究
——以“童伴”應(yīng)用為例

毛曉悅

南京藝術(shù)學(xué)院，江蘇，南京，210013

0 引言

我國國家統(tǒng)計局年度數(shù)據(jù)顯示：少兒圖書館累計發(fā)放的有效借書證、圖書館圖書流通人次、書刊文獻(xiàn)外借冊次僅2020年受疫情影響下有小幅回跌，整體在2011年至2019年呈逐年穩(wěn)步上升趨勢[1]。兒童對于學(xué)習(xí)的需求不斷增加居民的教育類消費水平也不斷提高，2016～2020年每年平均攀升2.2～3.1個指數(shù)，處于高水平穩(wěn)定增長型。相較于同期的居民消費價格指數(shù)漲幅為0.9～2.9，教育類消費增長高于整體消費水平增長[1]，能夠反映出教育消費支出在整體消費結(jié)構(gòu)中的比重變大，結(jié)構(gòu)的轉(zhuǎn)變使得兒童學(xué)習(xí)智能產(chǎn)品有更廣闊的前景。

1 手勢交互技術(shù)應(yīng)用研究

1.1 自然交互技術(shù)和手勢交互技術(shù)介紹

自然交互強調(diào)交互的自然性、非侵入性，包括視覺、觸覺、聽覺、深度感知以及其他多感官的交互方式，如手勢識別、人臉識別、眼動跟蹤、腦電圖、肌電圖等都屬于自然交互的范疇。動作的捕捉識別分為兩個大方向：通過可穿戴傳感器捕捉、通過視覺傳感器捕捉。手勢交互即使用手勢進(jìn)行人與機器間的信息交流，通過持續(xù)的跟蹤手部手勢，將其轉(zhuǎn)換成計算機語言形成指令，完成一系列的機器操作。而從追蹤到轉(zhuǎn)換的過程，稱為手勢識別[2]。手勢交互相較于我們常見的WIMP的交互范式，擁有更生活化、更情感化、易理解等優(yōu)勢。WIMP的交互范式在交互理解上已經(jīng)優(yōu)于最基礎(chǔ)的指令型交互，但是依然存在交互觸點小、對理解能力及操作專注度的較高要求、受二維操作空間的局限等問題，降低了部分人群和場景的交互體驗。隨著手勢識別技術(shù)的發(fā)展，無外接設(shè)備的加持也能達(dá)到精確追蹤22個關(guān)節(jié)點動作的效果。用戶能自然地利用手部動作表達(dá)其交互意圖，主要包括握拳、揮手、點、手掌轉(zhuǎn)動等[3]。

1.2 手勢交互技術(shù)國內(nèi)外應(yīng)用現(xiàn)狀

目前，手勢交互技術(shù)仍在研究與發(fā)展階段，如基于視覺傳感器捕捉精準(zhǔn)度等問題還仍待改善。隨著基于計算機視覺、肌電識別等技術(shù)的發(fā)展，手勢交互技術(shù)已走向?qū)嶋H應(yīng)用，在虛擬現(xiàn)實、汽車用戶界面、生物醫(yī)學(xué)、教育等領(lǐng)域中得到廣泛應(yīng)用，如在虛擬現(xiàn)實中使用手勢進(jìn)行裝配，提高交互的自然性、體驗感；在汽車用戶界面，使用手勢操作音響、溫度等車載信息，擴大了駕駛員的操作范圍，降低其部分操作負(fù)擔(dān)和專注度要求，提高駕駛安全性；生物醫(yī)學(xué)方面，可為手運動功能康復(fù)完善治療方案[5]；教育領(lǐng)域內(nèi)Nainggolan設(shè)計開發(fā)了虛擬人體骨骼實驗系統(tǒng)，學(xué)習(xí)者可以點擊骨骼學(xué)習(xí)，還可以用左手的手勢控制攝像機的移動、縮放，利用交互的自然性、直觀性和沉浸感的特點，提高學(xué)生的學(xué)習(xí)效果[4]。以上各例都能反映出手勢交互的自然性、非侵入性、體驗感、沉浸感、直觀化的特點在實際中的運用。

2 用戶與產(chǎn)品調(diào)研

2.1 用戶研究

2.1.1 兒童的定義與特征

《兒童權(quán)利公約》（聯(lián)合國）對兒童年齡的界定為18歲以下的任何人，中國少年先鋒隊的隊齡規(guī)定為6～14歲，《兒科學(xué)》（高等醫(yī)藥院教材）以0～14歲兒童為研究對象。

生理特征：在視覺尺度特征方面，兒童的視感機能對高飽和度的紅、黃、綠、藍(lán)四色感知度最高；在行為特征方面，行為舉止具有明顯的隨意性和情緒性；在認(rèn)知方面，兒童對事物的感官認(rèn)知是淺層的、表象的。但兒童對世界充滿好奇心并且不斷地進(jìn)行探索，他們喜歡通過肢體直接去感知事物，建立認(rèn)知體系[6]。

心理特征：幼兒期（0～4歲）兒童，行為來源于自然反射和人類本能，有極強的好奇心，在語言和行為上是以模仿他人為主。覺醒期（4～9歲）兒童，通過對周圍事物的觀察、模仿和學(xué)習(xí)，大致建立了對外界環(huán)境的認(rèn)知，產(chǎn)生了相應(yīng)的應(yīng)變能力。受到身邊物質(zhì)環(huán)境和社會環(huán)境的影響，兒童會積累生活經(jīng)驗，從而發(fā)展為生存技能。成熟期（9～14歲）兒童，擁有強烈的自主意識，渴望得到他人的關(guān)注和認(rèn)可，情感復(fù)雜，因此對個人空間十分注重。

2.1.2 用戶需求調(diào)研

通過問卷，對目標(biāo)用戶群體（兒童）以及消費群體（家長）進(jìn)行調(diào)研，依據(jù)調(diào)研得到以下結(jié)論：（1）對家長的調(diào)研結(jié)果顯示，家長在孩子兒童階段最重視其認(rèn)識世界的能力，對兒童使用電子設(shè)備的允許度較高，但贊成度較低。同時調(diào)研顯示，大量兒童都使用過智能學(xué)習(xí)產(chǎn)品，而增強思維能力、學(xué)習(xí)課本知識是家長最注重的功能點，對于智能識字產(chǎn)品大部分家長持有使用意向。（2）在對兒童的調(diào)研中，3/4兒童平時會閱讀，他們在生活中對生字詞好奇的比例較多，但進(jìn)行查閱的頻率較少，因受父母和兒童環(huán)境多重因素影響，大多兒童詢問父母的頻次較低，并且對大自然的接觸并不多。（3）關(guān)于手勢方面，完全不認(rèn)識手勢的兒童比例較少。

2.1.3 基于KANO模型的用戶需要層次模型

通過用戶對功能需求調(diào)查問卷的作答以及線下訪談，繪制KANO模型圖，將功能分為以下四種：（1）必備型需求，如識字功能；（2）期望型需求，如流暢的操作體驗、時間功能、手勢拍攝功能；（3）魅力型需求，如手勢交互功能、植物識別與植物交談功能、視頻通話；（4）反向型需求，如娛樂游戲。

根據(jù)查閱兒童群體特征方面的文獻(xiàn)，將研究人群定為4～9歲的覺醒期兒童。4～9歲兒童為第一研究對象，他們開始有認(rèn)識文字的需要，且通過觀察、模仿、學(xué)習(xí)建立對世界的認(rèn)知，已進(jìn)入前期運算階段，并通過事物的表象對其進(jìn)行思考。第二研究對象即為25～50歲間的監(jiān)護人。

2.2 兒童學(xué)習(xí)產(chǎn)品調(diào)研

通過利用關(guān)鍵詞對文獻(xiàn)進(jìn)行檢索，發(fā)現(xiàn)近五年內(nèi)隨著交互設(shè)計的發(fā)展與應(yīng)用，研究成果呈上升趨勢。通過歸納分析發(fā)現(xiàn)，現(xiàn)有學(xué)習(xí)產(chǎn)品存在的問題主要集中在（表1）：（1）設(shè)備上，可穿戴的設(shè)備較少；（2）場景上，部分產(chǎn)品使用場景局限于家中，通過游戲甚至是枯燥的文字介紹知識，與生活的關(guān)聯(lián)性弱；（3）內(nèi)容上，部分軟件內(nèi)容難度與兒童現(xiàn)有認(rèn)知不匹配，內(nèi)容不適合兒童現(xiàn)階段能力；（4）交互上，存在功能步驟繁瑣、交互操作復(fù)雜、交互接觸點小，界面圖形抽象等問題。

表1 現(xiàn)有兒童學(xué)習(xí)產(chǎn)品調(diào)研

3 基于手勢交互的兒童學(xué)習(xí)產(chǎn)品設(shè)計實踐

3.1 產(chǎn)品設(shè)計策略

3.1.1 解決策略

（1）自然手勢交互技術(shù)的使用。兒童認(rèn)知開發(fā)產(chǎn)品在恰當(dāng)?shù)慕换ピO(shè)計原則指導(dǎo)下對兒童的學(xué)習(xí)有促進(jìn)作用。手勢交互不僅能在用戶使用層面降低兒童的學(xué)習(xí)成本，也能在思維邏輯方面引導(dǎo)兒童建立正確的人機交互理念。交互設(shè)計不應(yīng)一味地適應(yīng)機器，應(yīng)堅持“以人為中心”“以用戶為導(dǎo)向”的設(shè)計原則，交互方式應(yīng)符合人在現(xiàn)實世界中的自然操作認(rèn)知。

（2）情感化設(shè)計。在眾多的兒童益智開發(fā)中，多為直接地對兒童進(jìn)行圖畫學(xué)習(xí)指導(dǎo)，甚至是單一的搜索、知識輸出工具。對此，可在產(chǎn)品中充分利用兒童好奇心和好探索的性格特點，引導(dǎo)兒童用手勢交互對周圍各種事物進(jìn)行觀察、思考和探究，培養(yǎng)其興趣以及對自然世界的歸屬感。

（3）生活化設(shè)計。研究發(fā)現(xiàn)，兒童在行為過程中的大腦運轉(zhuǎn)速度是最積極的，所以在行為過程中對其認(rèn)知進(jìn)行開發(fā)，能達(dá)到效果的最大化[7]。兒童的行為目的性較弱，所以兒童的學(xué)習(xí)應(yīng)貫穿于生活中。StrommenE以及AlexanderK曾通過調(diào)研發(fā)現(xiàn)，大多數(shù)兒童教育產(chǎn)品都強調(diào)教育目標(biāo)，而現(xiàn)實情況是兒童會對強學(xué)習(xí)目標(biāo)產(chǎn)生逆反心理[8]。所以兒童認(rèn)知應(yīng)源于生活、用于生活，而非“填鴨”式學(xué)習(xí)。采用OMO的模式將線上與生活緊密結(jié)合，保證兒童能在生活中正確地調(diào)用認(rèn)知。

3.1.2 用戶體驗藍(lán)圖

以《童伴》產(chǎn)品設(shè)計為主題，將兒童使用產(chǎn)品的具體使用流程和交互操作為關(guān)注點，設(shè)計圖1為用戶服務(wù)藍(lán)圖。

圖1 用戶體驗藍(lán)圖

3.2 產(chǎn)品設(shè)計方案

3.2.1 產(chǎn)品支持設(shè)備與功能信息架構(gòu)

（1）在設(shè)備方面，使用MR科技眼鏡設(shè)備，以兒童日常生活為目標(biāo)場景。設(shè)計目的是希望兒童在自然與玩樂中學(xué)習(xí)，與自然互動，良性成長。

（2）在產(chǎn)品具體功能方面：①指認(rèn)文字，產(chǎn)品以停頓時間作為約束條件，設(shè)備通過手勢捕捉、角度與距離測算，捕捉所指認(rèn)的文字，對文字做出卡通解釋與知識拓展；②同上述方法，對植物進(jìn)行識別學(xué)習(xí)，并建立指認(rèn)記錄，形成兒童自己的知識庫，對重點標(biāo)注植物、設(shè)備會在日常生活中搜尋并指示目標(biāo)物品；③手勢觸發(fā)拍攝、錄像，查看相冊。

3.2.2 產(chǎn)品手勢設(shè)計

“童伴”以MR眼鏡為設(shè)備載體，經(jīng)過設(shè)計、調(diào)研、用戶反饋，我們設(shè)計了八個交互動作，如圖2所示，依次為點選、捏合拍照、取景框錄像、打開相冊、滑動翻頁、多圖觀看、關(guān)閉相冊。

圖2 產(chǎn)品手勢設(shè)計圖（圖片來源于作者自繪）

3.2.3 產(chǎn)品界面設(shè)計

圖形用戶界面交互以高簡潔度以及畫面的直觀可讀性作為主要的設(shè)計思路。視覺界面是用戶最為直接的接觸到的顯性交互，作為一款智能兒童產(chǎn)品，根據(jù)調(diào)研以及兒童視覺尺度特征，采用主色調(diào)為明亮黃，具體界面如圖3所示。

圖3 產(chǎn)品界面設(shè)計圖

4 設(shè)計評價

4.1 用戶滿意度評價

目標(biāo)人群從GUI、交互操作、功能三個維度對其進(jìn)行滿意度評價。每項問題平均分超過7分則視為滿意（綠色），最后利用有效用戶（A～X）滿意度算出平均值則為最后的滿意度。結(jié)果顯示，兒童操作手掌翻動類的手勢需進(jìn)一步優(yōu)化，植物交流為最滿意的功能點。產(chǎn)品整體都在7分以上，滿意度較高。具體結(jié)果如圖4所示。

圖4 用戶滿意度評價（圖片來源于作者自繪）

4.2 用戶反饋

采用半結(jié)構(gòu)化訪談的研究方法，獲取目標(biāo)（消費）用戶對設(shè)計的反饋，驗證了用戶手勢交互形式的喜愛度。但對于個別手勢如打開相冊功能，發(fā)現(xiàn)誤操作和雙手操作困難的問題。消費用戶的問題點集中在兒童的學(xué)習(xí)熱度問題，可以再做探討。

5 結(jié)語

隨著信息社會的發(fā)展，兒童認(rèn)知開發(fā)類產(chǎn)品的交互方式的設(shè)計更具人文價值，其不僅與兒童的認(rèn)知開發(fā)有著強正相關(guān)性，也可以幫助兒童在智能機器時代建立起更自然的人機交互關(guān)系。這里我們從自然手勢交互出發(fā)，通過對現(xiàn)有產(chǎn)品的歸納分析以及文獻(xiàn)查閱法了解兒童的心理發(fā)育特征，提出新的兒童產(chǎn)品交互設(shè)計理念：自然手勢交互技術(shù)可以提升兒童學(xué)習(xí)產(chǎn)品的易用性和情感化，建立更人性化的人機交互習(xí)慣。本文對“童伴”兒童認(rèn)知開發(fā)類MR應(yīng)用進(jìn)行設(shè)計實踐，并完成設(shè)計評價。

交互的人性化、情感化、自然性等必然是未來兒童電子產(chǎn)品的發(fā)展趨勢。自然手勢交互技術(shù)仍在不斷地發(fā)展與完善，在設(shè)備上向更加輕量化[9]、低能耗、高靈敏性、低延遲等方向的發(fā)展，以及在交互設(shè)計上如何形成良好的交互反饋等研究的突破，都能助推自然手勢交互技術(shù)在兒童產(chǎn)品應(yīng)用中用戶體驗等方面的發(fā)展。