多模態交互視角下的學齡兒童教具設計研究

胡鴻　周洲鋒　金玉鑫

摘要：針對教學過程中因參與度低、互動性差而影響兒童學習興趣和效率的問題，運用多模態交互理論，探索強調互動與參與、更適用于兒童教學的多模態交互教具設計。根據多模態交互理論和學齡兒童的多模態交互特性，采用用戶體驗地圖挖掘學齡兒童教具設計需求，并構建適用于學齡兒童教學的多模態交互模型，總結和提煉基于多模態交互的學齡兒童教具設計方法。基于多模態交互視角搭建學齡兒童教具設計模型，并根據模型中不同層次的教具設計要素，以兒童“講故事”活動為例設計多模態參與式教具并投入教學實踐驗證。多模態交互參與式教具增添了學習過程的參與性和互動性，鍛煉了兒童的創造力、動手能力和認知水平，為提高學齡兒童學習興趣和學習效率的教具設計研究提供了新思路。

關鍵詞：多模態交互 學齡兒童 教具設計 互動與參與 產品設計

中圖分類號：TB47 文獻標識碼：A

文章編號：1003-0069（2021）06-0088-04

引言

學齡兒童在教學環境中與教具間的交互是影響兒童認知和理解的重要因素。研究證明，兒童在做重復單調、不新奇的事情時，其注意力的維持難度最大;在有吸引力的情況下，癥狀有所減輕;而在直接而連續的多感官刺激下，注意力的維持情況明顯轉好。然而，目前兒童教學中通常使用的教具存在交互形式單一、互動性差、同質化嚴重等問題，導致兒童參與感不足，進而出現走神的情況。兒童教學需要在教具和教學方式中融入更多互動性和趣味性的元素，在兒童行為、教學內容和教具間建立起多維度的聯系。本研究將多模態交互理論應用到教具設計中，在由認知、身體、環境所構成的動態統一的背景下探索更符合兒童生理和認知發展特點的多模態交互教具，寓教于樂，提升兒童的學習體驗和效率。

一、多模態交互與兒童教具設計

（—）多模態交互理論概述

多模態是融合多種表征方式于一體，通過不同的媒介和手段的運用，作用于人的感知覺通道（視覺、聽覺、觸覺、味覺、嗅覺等），以達到與外部環境進行互動的目的。隨著現代多媒體網絡和人機交互技術的飛速發展，“多模態交互”相比于傳統的交互方式，通過圖像、符號、表情、聲音、動作等多種模態信息的輸入和輸出，以更豐富的形式充分調動主體的感知覺運動通道，使主體更為沉浸地參與到當前的行為活動當中，并形成身體、認知和環境動態統一的認知結構。

（二）兒童教具發展現狀

國務院在《中國大百科全書》中將教具定義為“在教學中為學生提供的用于輔助教學和感知的模型、實物等用具?！?。按照國家教委頒布的《玩教具配備目錄》中的分類，目前兒童教具可分為體育類、構造類、角色表演類、科學啟蒙類、音樂類、美工類、圖書類、電教類和勞動工具這九大類別，其中科學啟蒙類教具在教學中應用最為廣泛。本研究選擇了一些市面上常見的傳統科學啟蒙類教具和智能科學啟蒙類教具進行分析，如圖L可以看到存在以下問題：

對于傳統科學啟蒙類教具而言，兒童在使用過程中的交互大多集中在視覺和觸覺通道，感官刺激較為單一，互動性差，兒童使用過程中也更容易因參與感不強而出現走神的情況。

而市場現有的兒童智能科學啟蒙類教具，通常有參與人數和交互形式的限制，導致兒童缺乏與同學和老師間的互動分享，不適于在課堂教學中對兒童溝通協作能力的培養：另外，部分智能教具只是將卡通造型和簡單交互技術相結合，交互形式單一，產品形態同質化，無法持續吸引兒童注意力，激發兒童的創造性?？傊?，參與度低、互動性差是目前兒童教具設計最突出的問題。

（三）多模態交互應用于兒童教具的意義

針對市面上現有兒童教具的問題，將多模態交互理論應用到兒童教具設計當中，有利于發揮兒童主體性，提升學習體驗。多模態交互強調個體的感知覺通道在學習和認知活動中的重要作用，在學習過程中，個體的感知覺通道偏好和特點決定了認知內容的不同和認知方式的差異。在多模態交互視角下，從感知覺通道出發思考兒童的感官發展和學習體驗，不僅有利于設計者根據兒童的生理特征、認知特征和認知方式等方面考慮如何發揮他們的主體性并提升學習體驗，而且有利于從相反的視角思考如何設計教學情境和教學用具，以適應兒童自身的感知覺發展特征和認知特征。

對于兒童教具設計來說，設計出符合兒童身體發展和不同感知覺運動系統偏好的產品顯得尤為重要，這不僅決定著兒童能否通過與教具間的多模態交互獲得豐富的主體性發揮和學習體驗，而且也影響著兒童的認知方式和學習效果。

二、學齡兒童的特征

根據多模態交互理論，兒童在教學情境中所進行的學習活動的方式和產生的體驗影響著兒童感知覺運動通道獲得的經驗，進而影響著認知的塑造。而對于尚處于發育階段的學齡兒童來說，其感知覺運動通道和認知發展也具有其獨特的特征。

（—）生理特征

根據著名心理學家讓·皮亞杰的認知發展理論，學齡兒童正處于具體運算階段，且已經具有了一定的邏輯能力，但具體運算仍需要事物的支持。這一階段的兒童主要通過自己的身體來探索世界，在感知覺通道方面，他們喜歡通過眼看、手摸、耳聽、鼻嗅等方式來探索事物的基本概念，且對于每種交互方式呈現出一定的偏好特點，如表1。

（二）認知特征

學齡兒童的注意力水平尚處于發展階段。研究證明，兒童在做重復性、不新奇的事情時，其注意力的維持最困難;在連續而直接的強化程序下，注意力的維持情況明顯轉好。因此，針對學齡兒童的教具設計需因材施教，通過更符合其身心特征的直覺化行為，創造更豐富、更有趣的交互形式和及時的行為反饋，以提升兒童的興趣，幫助其全身心地投入到教學互動中。

三、學齡兒童教具需求分析

（—）兒童教學流程與教具使用

本研究以北京市半步橋小學三年級兒童為調研對象，展開了實地調研和用戶訪談。半步橋小學教師教學主要使用多媒體白板等設備，通過播放視頻和口頭講解等單向、線性的授課方式將教學內容講述給兒童，具體流程如圖2。整個教學過程中，僅討論環節和點評環節涉及學生間和師生間的交互，學生學習參與感明顯不足，且教學互動性和趣味性較差，導致部分兒童出現注意力不集中的問題。

（二）學齡兒童教具需求痛點

基于實地調研結果，采用用戶體驗地圖的方式，對學齡兒童在教學過程中的主要行為與情緒進行分析，可以發現兒童在使用現有教具過程中存在功能和情感兩個層面的需求痛點，如圖3。

1.功能層面：學齡兒童在功能層面的需求主要表現為教育產品能否以合適的方式滿足兒童的身心特征及其對知識的需求。針對兒童的身體、心理及認知特征，多模態交互視角下的教育產品采取多個感知覺通道的刺激以有效提升學生的學習興趣，從而避免兒童出現走神的情況。同時，在學習模式上，加入多人協同模式，以幫助兒童鍛煉其溝通協作能力;通過趣味性的復習模式和激勵體系，也可以進一步強化兒童對于所學知識的認知和理解。

2.情感層面：由于兒童自身注意力不集中、坐立不安、性格沖動等問題的影響，兒童或因為影響課堂紀律而受到老師批評，或因為學習成績差而不易受到同學歡迎。通過在教學活動中使用教育產品，讓兒童與同學合作，與老師交流，加深兒童與老師、同學的情感聯系，既可以加強兒童對于所學知識的認知，也有助于兒童改善和老師、同學的關系，提升學習的積極性。

四、多模態交互視角下的教具設計模型

（—）學齡兒童多模態交互教具設計模型的搭建

根據兒童教具的需求分析，運用多模態交互理論，從使用教具的前、中、后三個階段的行為出發，在主體行為、認知程度與客體要素的設計間建立起一一對應的關聯，最終搭建出兒童與教具的多模態交互模型，如圖4。

在兒童使用教具過程中，其身體器官是產生多模態交互的媒介和載體，通過身體與教具間的離身交互和具身交互，大腦獲得了多模態的感官刺激，這些感官刺激經由大腦思考和內化，最終形成了穩定的認知，如圖5所示。這一流程中兒童的感官通道與客體間的交互主要分為離身交互和具身交互兩大類。離身交互主要通過信息通信技術的遙在感，使得人類意識可以與認知載體產生遙在分離，如基于圖形用戶界面的人機交互等，其交互媒介主要為視覺、聽覺和嗅覺等;而具身交互則基于具身認知理論，強調身體、認知、環境間的動態統一特性，其交互媒介主要表現為皮膚、肌肉等行為和動作器官。

（二）兒童與教具的遠距離促發要素提取

人類學家愛德華把人的感知覺器官分為距離型器官和直接型器官兩大類，其中工作范圍較為廣泛的距離型器官“眼、耳、鼻”等是兒童初步了解教具并進行深層次行為的關鍵。兒童通過距離型器官與教具進行了大量的離身交互，同時其身體所獲的多模態感官刺激通過視覺、聽覺、嗅覺通道等傳入感受器，再經由大腦進行加工和處理，以指導身體進行下一步的行為。

兒童在與教具交互過程中，往往出于好奇而將注意力轉向吸引其眼球的事物，在這一過程中，教具的形態、色彩、聲音、氣味等影響兒童第一印象和初步認知的要素，可以稱為教具的遠距離促發要素，是教具元素的第一層，對應兒童認知程度的第一層“感受”。

（三）兒童與教具的近距離行為要素提取

兒童與教具的遠距離要素進行離身交互后產生了初步的認知和了解，隨著距離的縮短，兒童與教具之間的人機互動變得更為豐富，在這一階段兒童運用皮膚組織、肌肉等直接型器官與教具進行更豐富、更直接的行為互動。這些行為主要可以分為：手部動作（包括點擊、拖拽、滑動等）、全身動作、語言交流等。通過多種交互行為的結合讓兒童全方位的參與到與教育的具身交互過程中，手、眼、腦并用，從而提升用戶使用中的體驗感和沉浸感。此時，人與物和人與人之間的交互方式以及交互行為決定了兒童在學習過程中的專注程度和接受程度，可以稱為教具的近距離行為要素，與兒童認知程度的第二層“理解”相對應;

（四）兒童與教具的內在黏性要素提取

兒童通過與教具間的離身和具身交互獲得了豐富的感官刺激，這些刺激信息經由大腦加工最終形成了認知。在這一過程中，教學模式和獎勵作為教具的內在要素，影響著兒童學習過程中的體驗和態度，是促進兒童認知形成與發展的重要手段。在教學模式方面，兒童由于自身認知水平仍處于發展當中，且學習過程中所接受的知識量大，往往需要通過復習以深入理解和運用這些知識。

因此，通過教具的輔助和引導，讓兒童對于所學知識進行復習和應用，可以達到質疑解難、深化理解的教學目標，讓知識真正為兒童所掌握;在教學獎勵方面，適當的物質獎勵和精神獎勵可以作為兒童教具的輔助手段，影響著兒童學習過程中的體驗和態度，是促進兒童道德品質形成與發展的重要手段。在兒童與教具的多模態交互模型中，教學模式和獎勵是第三層的內在黏性元素，對應兒童認知程度層次中的“內化”。

五、學齡兒童多模態參與式教具設計

通過多模態交互教具的輔助和啟發，可以使抽象的知識概念與教具之間建立起多維度的聯系，并讓兒童在與教具交互的過程中，把身體獲得的感知覺經驗逐步轉化為對于所學知識概念的認知。

以“講故事”這一教學活動為例，常規教學中“講故事”這一活動，或讓兒童閱讀圖文并茂的故事書，或觀看影視視頻，或聽有聲故事，兒童在使用這些產品時通常是使用眼、耳等單通道交互形式，所獲得的感知覺刺激較為單一，時間一長很容易出現注意力分散的情況。而兒童在使用多模態參與式教具過程中，與教具實體之間產生了一系列的雙向人機交互行為，并形成一種交互豐富、寓教于樂的多模態教學情境。主體置身于多模態教學情境之中，并通過與教具間大量的多通道交互行為獲得了豐富的感官刺激和身心體驗，同時身體與教具間互動時所獲得的感知覺經驗和運動經驗強化了認知的形成，如圖6所示。

（—）多模態教具的使用模式創新設計

為給兒童更豐富、直接的多模態刺激，本產品由智能交互屏幕和拼圖兩部分組成。其主要使用場景可分為協同創作模式和復習模式。

1.協同創作模式：協同創作模式流程如圖了。兒童可自行分工并共同完成不同的角色拼圖;完成拼圖后，將其放至教具的攝像頭前進行掃描，攝像頭會實時捕捉拼圖內容，從圖像中提取特征點，并結合圖像識別技術和AR技術，將拼圖上的平面圖像轉化為三維圖像的完整故事場景。兒童們可以用手指在三維故事場景中與喜歡的角色進行點擊、拖拽等互動行為，屏幕內的角色隨著兒童提出故事內容中不同的問題，考察兒童對知識的掌握程度。兒童回答正確角色會說“你真棒”這樣的鼓勵。如果回答有誤，兒童需要在拼圖中找到教師指定的故事場景，然后屏幕中的角色會說出正確答案。

2.復習模式：在復習模式中，兒童需要根據智能交互屏幕的語音提示，正確選擇符合條件的角色，例如聽到語音“單純的小女孩”正確選中白雪公主，產品就會說“你真棒”這樣的鼓勵，然后出現三段白雪公主的故事讓兒童選擇，如圖8。若選擇正確則可獲得一張動畫人物貼紙;若選擇錯誤，則需在拼圖中找到教師指定的內容后，在屏幕中展示正確答案，并語音鼓勵兒童“繼續加油”。通過與屏幕中的場景圖像和拼圖中的場景進行互動，以復習先前學習的知識，AR場景展示的同時也會伴隨著主題內容的語音講解，給予兒童多感官通道的體驗，進一步打造沉浸式教學場景與學習模式。

（二）多模態教具產品設計

1.遠距離促發要素設計：兒童與教育產品間的遠距離交互主要集中在產品形態及產品視聽覺反饋方面。在產品形態方面選用柔和的圓角矩形，讓產品有圓潤可愛的特點，同時增加產品的親和力;在產品色彩方面，乳白色的產品主體給人以清新，溫暖的感覺，搭配LED屏幕中豐富的色彩可以營造出更生動的學習氣氛;

在產品視覺反饋方面，屏幕中離身的動畫圖像伴隨著兒童具身的拼圖行為實現了二維到三維的轉化，這種離身的視覺反饋使兒童所獲的二維和三維視覺體驗之間建立起了新的關聯，并在兒童不斷的拼圖行為過程中得以激發和強化。

在聽覺反饋方面，兒童搭建場景內的元素伴隨著自身不同的交互行為進行不同的語音播報和交互，實時講解動畫角色的特征和相關知識，進而使兒童在不斷獲得聽覺反饋的過程中，獲得對于抽象概念的理解更深刻、更全面的具身認知。在聲音方面，語音講解使用溫柔可愛的卡通音效進行播報，避免兒童的因感到陌生而影響學習效果;同時音量也控制在50分貝以內，避免音量過大造成兒童精神不集中，進而影響學習效率。

2.近距離行為要素設計：兒童與教育產品間近距離的交互主要涉及兒童與拼圖間的實體交互以及兒童與屏幕元素間的交互。兒童與拼圖間的實體交互主要包括對拼圖的抓、捏、移動、按壓等行為，與屏幕元素間的交互則主要以點擊、滑動、拖拽等行為為主，如圖9。屏幕內的動畫形象展示效果能夠根據兒童不同的交互行為而產生不同的反饋，從而使兒童在參與場景及內容創作的同時把自身的行為與動畫場景和故事內容的創作聯系起來。這樣既加強了兒童與教育產品間的互動性，同時也把兒童的行為與所完成的動畫形象建立起聯系，使兒童先前通過距離型器官所獲的離身認知在具身交互的過程中得到進一步驗證和強化。除此之外，兒童在交互的過程中自身的距離感、方位感等日常概念也得到了相應的訓練和激發。

3.教具的內在黏性要素設計：本教育產品通過兒童較為熟悉的動畫拼圖將知識進行傳遞和呈現，并由學生在課堂上自主選擇主題角色拼圖。這種寓教于樂的教學方式將圖案拼接等知識與兒童的行為聯系起來，使兒童能夠充分調動自己的感知覺器官與教育產品進行多模態交互，集中而持續的與教育產品進行互動，促進了知識的內化和理解。同時產品的學習模式和內容本身也具有一定的挑戰和思考空間，在協同創作模式中，兒童們需要以組為單位，合作分工，共同完成場景的搭建，在游戲過程中促進兒童的溝通能力和合作能力;在復習模式中，產品的一系列激勵體系也可以進一步強化兒童對于所學知識的認知和理解。

（三）產品評價

1.用戶可用性測試：為了測試多模態教具的可行性，邀請了5名學齡兒童體驗“講故事”多模態交互教具產品原型。模擬課堂學習場景分別使用多媒體教學和多模態交互教具對兒童進行“講故事”教學，針對故事情節設計了10道難度相近的問題進行評測，以分析對比兒童在使用多媒體教學和多模態交互教具時的學習和注意力表現，測評情況，如圖10。

通過表2中的數據對比可以看出，兒童使用多模態交互教具后，對于故事情節的理解變得更為深入和準確。這些現象無論是從直接的數據角度還是間接的生活遷移角度上，都說明了兒童在使用多模態交互教具過程中得到了較好的學習效果，且專注力和參與感有所提升，但后期干預效果的維持情況還需要進一步探討。

2.專家評價：邀請了5位小學教師及5位學生家長作為專家代表來做專家評價，讓他們根據產品維度、用戶維度和能力培養維度的9個指標，對原有的多媒體白板和改良后的多模態“講故事”兒童教育產品進行綜合評價和打分，如圖11：

可以看出，與常規白板教學相比，改良后的教具設計通過產品與人間的多模態交互行為，有效提升了產品的互動性和兒童使用過程中的參與感，使之更符合兒童的身心特征，同時也使兒童的動手能力、思維能力和創作能力得到了更深層次的訓練。

結語

兒童是祖國的未來，也是我國教育教學的重點。本文通過總結學齡兒童教具現狀及問題，探討多模態交互理論在教具設計上的適用性;同時基于學齡兒童的特征分析，搭建兒童與教具的多模態交互模型，并針對教具不同層次的要素展開設計，最終有效提升了學齡兒童的課堂互動性和參與感，同時也在理論層面為研究者如何認知學齡兒童交互行為和認知活動提供了一種新的設計視角。