基于多感官體驗的VR童書設計開發(fā)策略研究

鄧婉婷 叢挺

摘 要：本文基于多感官體驗，通過分析多感官體驗與兒童閱讀之間的聯(lián)系，發(fā)現(xiàn)多感官體驗對兒童閱讀過程中的注意力、理解力、想象力以及綜合能力都發(fā)揮著重要的作用。在此基礎上，提出了VR童書通過強化多感官引導提升兒童注意力；構建讀者參與式的多元敘事提升兒童的理解力；發(fā)揮留白與感官自主調(diào)動，助力兒童想象力的自我構建以及要警惕過度重視感官刺激，防止閱讀過分娛樂化的優(yōu)化路徑。

關鍵詞：多感官體驗 VR童書 兒童閱讀 優(yōu)化路徑

兒童時期是人生發(fā)展的關鍵時期，有很多基本能力的形成都得益于兒童階段。隨著社會和家庭對兒童教育的重視，兒童教育的培育理念逐漸轉(zhuǎn)變。在為兒童選擇閱讀圖書的時候，相較于傳統(tǒng)紙質(zhì)圖書的單一灌輸，融入VR技術的兒童圖書具備沉浸性、交互性的特點更能迎合這一需求。VR技術早在2016年就開始應用在兒童圖書上，在2023年4月20日人民數(shù)據(jù)研究院發(fā)布的《中國兒童閱讀發(fā)展研究報告》中指出，兒童圖書不應只是純粹的文字載體，而應該逐步發(fā)展成具有傳播價值、影響力價值的內(nèi)容鏈條，并指出我國下一階段兒童閱讀工作的關鍵是在兒童閱讀啟蒙階段用科學的方式喚醒他們的閱讀興趣和求知欲，應借助5G、VR等技術，開發(fā)數(shù)字化作品，開創(chuàng)兒童閱讀的新局面。[1]VR童書在影響兒童閱讀方面承載著家長與社會的期望，然而目前VR童書存在質(zhì)量良莠不齊、忽視內(nèi)容過度強調(diào)VR技術等問題。如何在消費者“獵奇”消費之后，依然維持穩(wěn)定長久的消費？這引起了很多學者對VR童書發(fā)展研究的關注。在內(nèi)容方面，萬新娜從VR圖書內(nèi)容的角度指出，在數(shù)字媒介生態(tài)下VR童書的內(nèi)容價值需要重構，要將場景價值、關系價值和情感價值充分融入其中；[2]在技術方面，柯藝等學者結合兒童認知機制在技術接收的模型視角下研究VR童書的開發(fā)策略；[3]還有許多學者結合時代發(fā)展探尋VR童書新的發(fā)展點以幫助VR童書突破發(fā)展困境。本文將關注點放在VR童書給讀者帶來的閱讀體驗上，從兒童感官體驗的角度，分析兒童閱讀與多感官體驗之間的聯(lián)系，以此對VR童書的設計開發(fā)進行研究，以達到優(yōu)化VR童書的開發(fā)策略的目的，滿足家長和社會對VR童書在兒童閱讀過程中發(fā)揮積極作用的期待，為VR童書的發(fā)展探索更多可能。

一、我國VR童書的發(fā)展現(xiàn)狀

根據(jù)相關調(diào)研顯示，2022年我國圖書零售市場較2021年同比下降11.77%，少兒類圖書零售市場同比下降10.41%，下降幅度小于整體市場水平。少兒類在整體市場中的實洋比重為25.25%，相比2021年少兒類的實洋比重增加0.44個百分點。[4]從總體來看，少兒市場仍是整體市場規(guī)模最大的板塊。其中碼洋規(guī)模最大的三個細分類分別是少兒科普百科、少兒文學和少兒繪本。[5]而目前VR在童書中的應用主要分為三種：一是VR在少兒科普類圖書的應用，例如北京出版集團的“大開眼界”系列童書；二是VR在少兒奇幻類文學童書的應用，例如《西游記》VR版、《愛麗絲夢游仙境》VR版；三是VR在少兒娛樂游戲書的應用，例如斯坦·李的“兒童宇宙”系列圖書。[6]VR童書占據(jù)了少兒出版中碼洋規(guī)模最大的三個細分類別的半壁江山，可見在童書的廣闊市場中，童書出版商在VR技術作為市場引爆點上寄予了厚望。

在消費者方面，即使VR童書相對于其他童書的價格較高，也依然有很多家長關注到了VR童書在兒童教育中的潛力，他們重視兒童教育并且愿意為孩子提供更加豐富的學習體驗，有購買VR童書的意愿。并且大部分購買過VR童書的家長對其認可度較高，認為其在科普性和對激發(fā)兒童閱讀興趣方面有著重要的價值。[7]在小讀者方面，作為在數(shù)字化環(huán)境下成長的新一代兒童，他們對紙質(zhì)圖書閱讀依賴性低，對VR童書的接受程度較高，更加愿意嘗試使用VR童書。從北京少年兒童出版社出版的“大開眼界：恐龍世界大冒險”系列圖書再到中信出版社出版的《科學跑出來》VR圖書，這些高質(zhì)量的VR童書在市場上取得成功，銷量和用戶反饋都非常積極?？偟膩碚f，VR童書是具有較強的吸引力和消費潛力的。

但目前市面上VR童書質(zhì)量良莠不齊，一些童書打著VR的噱頭但書中真正能給讀者帶來VR良好體驗的內(nèi)容卻是少之又少。[8]跟風出版現(xiàn)象也屢見不鮮，內(nèi)容差異不明顯。在北京少年兒童出版社出版的“大開眼界恐龍世界大冒險”系列圖書引得廣泛關注后，以恐龍為主題的VR童書便層出不窮，套路如出一轍，缺乏創(chuàng)新。市面上兼顧內(nèi)容精良和VR技術表現(xiàn)創(chuàng)新的VR童書不多。另外，受技術限制，VR童書在真實感度和交互方面仍有很多不足，導致閱讀體驗感欠佳。除此之外，VR童書在內(nèi)容與技術之間也存在著不平衡的問題，過度強調(diào)VR技術，以VR技術為賣點，忽視VR童書內(nèi)容對兒童內(nèi)在精神價值的作用。

二、多感官體驗與兒童閱讀理論分析

隨著心理與生理學的發(fā)展，感官體驗與兒童閱讀的研究逐漸深入。多感官體驗成為兒童獲取書中信息的重要媒介，多感官體驗與兒童閱讀有著雙向的聯(lián)系。一方面多感官體驗下的閱讀模式會影響兒童的閱讀效果和兒童綜合能力的發(fā)展，另一方面受兒童自身特性影響兒童閱讀也離不開多感官體驗。

（一）多感官體驗對兒童閱讀的作用分析

隨著技術的發(fā)展，閱讀活動的形式在不斷發(fā)生變化。在造紙術發(fā)明之前，識字人數(shù)較少且讀物較少，閱讀并非易事，人們通過口耳相傳來學習。在紙張和印刷術發(fā)明之后，人們可以邊讀邊看、一目十行、隨意翻頁。而在現(xiàn)代互聯(lián)網(wǎng)相關技術的發(fā)展下，閱讀活動不僅僅是單一的文本形式，圖片、視頻、音頻都可以被融入其中。除此之外，在虛擬現(xiàn)實等數(shù)字化技術的發(fā)展下，閱讀主體可以跨越時空的限制，將身體融入書中的仿真世界中。由此可見，閱讀不僅是一個語言認知的過程，而且還是身體參與認知的過程。身體參與認知也就是在閱讀活動中不同的感官作為不同的媒介來接收信息，接收信息的媒介不同也必然影響讀者對信息的解讀，從而影響讀者的閱讀認知。

麥克盧漢提出，人類的感官經(jīng)歷了統(tǒng)合—分化—再統(tǒng)合的過程。[9]以這個觀點來看，倚重聽覺或者視覺的閱讀活動下，閱讀主體的感官是被分割的、殘缺不全的，在這種閱讀過程中，容易培養(yǎng)重視秩序的線性思維方式；而在現(xiàn)代數(shù)字化的閱讀活動下，閱讀主體的多種感官處于平衡狀態(tài)，消解讀者在閱讀過程中對一種感官的依賴，延伸了多種感官的功能，在這種閱讀過程中，容易培養(yǎng)非線性的思維方式。也就是說，不同模式下的閱讀活動喚起了人身體上的不同的獨特感官知覺比例，而任何一種感官的延伸，都對我們思考和行為的方式起著重要的作用。心理學的研究也印證了麥克盧漢這一觀點，研究指出人類大腦具有極高的可塑性，通過不斷與環(huán)境及經(jīng)驗之間的互動，大腦也會隨之改變其連結的結構，使得即使是同卵雙生子，也會因彼此的經(jīng)驗而發(fā)展出相當不同的思維、性格與行為方式。[10]因此，即使是閱讀相同內(nèi)容的書本，單一感官體驗模式與多感官體驗模式下的不同閱讀環(huán)境會使得兒童在思維偏好、行為方式和能力發(fā)展產(chǎn)生差異。

（二）多感官體驗對兒童閱讀的必要性分析

1．多感官體驗捕捉兒童注意力

心理學上認為兒童閱讀過程中多處于“無意注意力”的狀態(tài)，即兒童注意力是受到外物刺激所做出的被動反應。[11]有對學齡前兒童閱讀眼動實驗表明在閱讀過程中兒童在圖畫形象區(qū)域上的注視時間和注視次數(shù)占總注視時間和注視次數(shù)的70%左右。[12]大部分的童書都會利用圖像對兒童視覺的刺激來吸引兒童閱讀，兒童繪本尤為典型。盡管豐富的視覺效果能吸引兒童的注意力，但在獨立閱讀的情況下，學齡前兒童翻閱一本童書的時長也比較短暫。傳統(tǒng)線性的閱讀狀態(tài)下單一的視覺刺激無法讓兒童一直保持專注，因此需要在閱讀過程中調(diào)動不同的感官體驗來引導兒童將注意力放在書中的內(nèi)容上。在數(shù)字技術的應用下，VR童書為兒童打造出書中的仿真世界，兒童戴上VR眼鏡調(diào)動他們的視覺、聽覺、觸覺等感官，整個身體一起參與閱讀。在一項有聲音伴讀的閱讀環(huán)境下是否會影響兒童的眼動模式的研究中表明，在有聲伴讀的閱讀條件下，兒童注視圖書內(nèi)容的概率增加，并且該情況在年齡越低的兒童中越顯著。[13]可見在閱讀中受不同感官的刺激更容易引導兒童將注意力放在書中。

2.多感官體驗提升兒童理解力

首先，多感官體驗助力兒童信息解讀。兒童受其認知能力的影響在閱讀過程中缺乏對轉(zhuǎn)折性內(nèi)容的理解。傳統(tǒng)的童書多借助圖像來幫助兒童理解圖書內(nèi)容。但受作者主觀描述和兒童自身知識儲備有限的影響下，單一依靠圖片很難讓兒童對文字內(nèi)容產(chǎn)生直觀且立體的感受。而VR童書可以將靜態(tài)的、零散的信息借助技術轉(zhuǎn)化為相應的感官體驗。除此之外，VR童書還能依據(jù)書本內(nèi)容增添對應情感色彩的聲音。在一項有關有感情伴讀對兒童故事閱讀理解的眼動研究中表明，在有感情的伴讀下兒童會對圖文觀察得更加仔細，并且對故事的延伸維度和理解測驗得分更高。[14]兒童在對影像信息和聲音信息的解讀難度要小于文字信息，融入多感官體驗的閱讀模式契合了兒童信息解讀的方式。

其次，多感官體驗豐富童書敘事方式。傳統(tǒng)線性閱讀模式下，兒童對圖書故事理解是隨著手指翻頁閱讀書中的文字和圖片來理解故事內(nèi)容。兒童只能跟隨作者的敘事脈絡來一步一步地讀故事。而在VR童書交互式的閱讀模式下，兒童佩戴好相關設備，兒童的不同感官跨越時空的限制在VR技術構建的虛擬空間中得到延伸。在可聽、可觸、可看的虛擬現(xiàn)實空間，兒童可以沉浸式地參與故事內(nèi)容。例如遼寧科學技術出版社的VR少兒圖書《愛麗絲夢游仙境》，兒童佩戴好VR眼鏡之后，身體猶如置身書中場景，可以看到、觸碰書中人物，從故事的旁觀者變成了故事的參與者，閱讀就如游戲一樣，實現(xiàn)兒童與故事的雙向互動，突破了傳統(tǒng)閱讀模式扁平化的敘事風格，有助于兒童對故事的理解和把握。

3.多感官體驗激發(fā)兒童想象力

先驗想象論者認為想象是內(nèi)在于每個兒童頭腦中與生俱來的先天潛能。兒童在閱讀中開展想象的過程是對已有表象分析綜合的過程。[15]兒童心理認知學指出，兒童不能辨別自己的活動和對象的變化，他們把周圍的一切看成與自己有關。因此，兒童在閱讀表象分析綜合的過程中容易將自己代入，甚至會認為自己就是書中內(nèi)容的一部分。[16]他們依據(jù)自己以往的生活體驗和閱讀體驗構建聯(lián)想、發(fā)揮想象。多感官體驗的閱讀模式，能夠打造沉浸式的閱讀體驗，能更多地幫助兒童喚起有關的生活體驗，并且與書中內(nèi)容產(chǎn)生聯(lián)想，激發(fā)兒童在閱讀過程中的想象力。

三、多感官體驗下VR童書的優(yōu)化開發(fā)路徑

VR技術在童書上的應用巧妙地將靜態(tài)圖文信息轉(zhuǎn)化為動態(tài)的可看、可聽、可觸的多感官體驗，讓讀者走進書中與書中人、物互動。多感官體驗在兒童的閱讀過程中潛移默化地影響兒童的注意力、理解力和想象力，進而影響兒童的綜合能力和閱讀效果。因此利用數(shù)字技術優(yōu)化兒童閱讀VR童書的體驗和效果，需要合理利用兒童在閱讀過程中能夠調(diào)動的感知，探索VR童書的優(yōu)化路徑。通過強化多感官引導提升兒童注意力，構建讀者參與式的多元敘事提升兒童的理解力，發(fā)揮留白與感官自主調(diào)動，助力兒童想象力的自我構建，同時要警惕過度重視感官刺激，防止閱讀過分娛樂化，以此優(yōu)化VR童書的設計，增強兒童在使用VR童書閱讀時的閱讀效果并促進兒童綜合能力發(fā)展。

（一）強化多感官引導，增強兒童注意力

相比于傳統(tǒng)童書閱讀模式下兒童閱讀處于單一視角狀態(tài)，在使用VR童書的閱讀環(huán)境下，兒童佩戴上VR眼鏡處于一種全視角的狀態(tài)來閱讀，這種視角令兒童不自覺地四處張望，當視覺畫面元素分散時，兒童注意力更加無法集中或者長時間保持專注。[17]另外，當兒童佩戴VR眼鏡，進入虛擬世界時，他們的聽覺感官被無限放大，相比在現(xiàn)實世界中聽到同樣的聲音，這時他們的注意力和情緒更容易受其影響，反應也更加強烈。因此多感官體驗在VR童書的閱讀模式下對兒童注意力的引導就顯得更為重要。

在感官體驗上，首先可以利用色彩效果、動態(tài)IP形象擬人化的對話和可觸的交互式游戲進行引導。心理學研究表明，兒童在視覺上偏愛鮮艷、色彩明度和純度較高的顏色，尤其是對比明顯的顏色，有部分孩子對鮮艷顏色的偏愛程度會持續(xù)整個兒童階段。[18]因此，VR童書在視覺畫面上應將兒童受眾的生理成長條件、心理發(fā)展趨勢和認知能力作為色彩設計的重要依據(jù)。其次，根據(jù)書中內(nèi)容設計動態(tài)的IP形象，對話式地引導兒童一步一步地閱讀。例如在《身臨其“鏡”探尋神秘古跡》這本VR圖書中，設置了一個名為“伊萬”的卡通角色，采用動畫式的兒童語言，引導讀者穿越空間和時間，來到書中介紹的神秘古跡所在地展開故事。最后，交互式的游戲迎合了兒童自身游戲心理的屬性，兒童在玩互動類的游戲，手指觸碰帶來屏幕上的內(nèi)容變化會吸引他們的注意力。例如幾米的《我的全世界只有你》VR繪本在中國國際版權博覽會展示時，獲得業(yè)界一致好評。讀者戴上VR頭盔，通過VR小游戲，將故事主人公在失去了心愛的小狗后遇到五個有著不同過去記憶的人的故事相串連。讀者在VR小游戲的引導下，一點一點地看到繪本中所描繪的童話世界，一步一步走進故事中。

（二）構建讀者參與式的多元敘事，提升兒童理解力

VR童書打造的虛擬世界的閱讀空間給兒童提供了沉浸體驗的閱讀環(huán)境。心理學家契克森米哈伊（Csikszentmihalyi M）認為沉浸體驗是指人們對某一可控且富有挑戰(zhàn)性的活動表現(xiàn)出濃厚興趣，全身心投入其中而產(chǎn)生的一種愉悅、歡欣的積極情緒體驗。[19]一項有關數(shù)字閱讀下不同沉浸體驗對人閱讀理解力的研究顯示，高沉浸體驗下半數(shù)以上的被試者的閱讀理解得分在總體均值以上，閱讀效果明顯優(yōu)于低沉浸組。[20]可見，沉浸體驗式的閱讀環(huán)境是有利于讀者對書本內(nèi)容的理解的。VR技術打造可看、可聽、可觸的書中仿真世界相對紙質(zhì)童書已具有一定的沉浸度。而如何讓兒童真正從看書到走進書中，全身心參與其中，就需要讓兒童成為書中的一部分，提高閱讀沉浸體驗。

構建讀者參與式的多元敘事，讓兒童成為推動書中敘事發(fā)展的一部分，由兒童根據(jù)自己的興趣來決定閱讀進程以及如何閱讀。一方面營造了帶有游戲性質(zhì)的閱讀迎合兒童天生具有的游戲心理，另一方面減少數(shù)字閱讀環(huán)境下兒童對內(nèi)容理解不深、“淺閱讀”的情況。例如VR科普圖書“大開眼界：恐龍世界大冒險”中，怎么看、看什么全都由讀者決定，閱讀的過程變成了讀者與書本內(nèi)容的雙向互動，消解了傳統(tǒng)圖書的閱讀邊框。另外，兒童可以選擇書中角色，多視角參與書中故事，相對于傳統(tǒng)圖書只能以主角的單一視角去閱讀，能幫助兒童對書本內(nèi)容有更深的理解。

（三）發(fā)揮留白與感官自主調(diào)動，助力兒童想象力的自我構建

隨著兒童年齡的增長，他們開始構建自我主動性，即能夠?qū)Ξ嬅嬷械挠跋襁M行鑒別或者命名，指著圖片中一定的物體命名或?qū)λM行一定的程度上的描述。[21]具有一定閱讀能力的兒童，會對文字性的內(nèi)容經(jīng)過大腦的加工改造展開形象化的描述，這也是兒童發(fā)揮想象力的時刻。VR童書打造的沉浸式的閱讀環(huán)境能夠幫助兒童喚起頭腦中已有事物的表象記憶，幫助兒童發(fā)揮想象。但是在一定程度上，VR技術將書中內(nèi)容轉(zhuǎn)化為動態(tài)、直觀的視覺效果也限制了兒童對腦海中已有事物記憶與書中現(xiàn)有表象事物的聯(lián)想以及對其進行加工改造、創(chuàng)造新的形象的活動。因此需要對VR童書的多感官體驗進行適度留白。而感官信息上適度的留白并不會使兒童因為缺少這一部分的感官信息而大幅缺失相應的體驗。例如在沉浸的狀態(tài)下，當我們聽到海浪的聲音，能在腦海里構建一幅海邊的圖像。視覺感官信息上的留白，可以通過在聽覺感官信息的刺激下產(chǎn)生相應具有自由意志的視覺感官體驗。留白與感官之間的自主調(diào)動，給讀者提供了更多加入自己想象的機會。對視覺、聽覺等感官信息上的留白更是一舉兩得，一方面它幫助兒童發(fā)揮想象力，另一方面對兒童的身心健康也是一種保護。適當?shù)牧舭?，可以對感官起到放松舒緩的作用?/p>

根據(jù)兒童閱讀階段對兒童讀者進行智能分級，提高兒童感官體驗的同時滿足兒童閱讀需求。對于不具備較高文字鑒賞能力的兒童，他們閱讀的基本需求就是讀懂簡單的語言文字和趣味化的書本內(nèi)容。[22]但這并不意味著VR童書打造的虛擬空間的內(nèi)容就是要一眼能被兒童完全看懂的。美國著名兒童心理學家佛羅倫薩·薩拉·古納夫（F.L.Goodenough）認為抽象形象和抽象色彩占據(jù)兒童關注點的很大部分。視覺上保留一定抽象性，在視覺感官體驗上適當留白，給兒童預留想象空間，這更符合兒童的視覺審美和感知行為。而對于具備較高文字鑒賞能力的兒童，他們的閱讀需求不僅是讀懂內(nèi)容，可能還需要深入了解書中的思想感情、傳達的道理以及在閱讀的基礎上發(fā)散自己的思維等。因此一些感官體驗可以相對克制，合理使用其他感官彌補其留白。例如《兒童詩詞大繪》AR與VR互動版，每個人對古詩中的意境在理解和構想上存在著一千個讀者就有一千個哈姆雷特的情況，將古詩學習融合文字、音樂、情境、解讀、互動于一體，這對在古詩詞文化積累相對薄弱的兒童來說，既能引起他們的學習興趣，又能激發(fā)自我對詩詞文化意境的構建。

（四）警惕過度重視感官刺激，防止閱讀過分娛樂化

VR童書為兒童閱讀打開了全新的大門，它對兒童來說是獲取知識、豐富自我、自我發(fā)展的重要工具。多感官體驗在VR童書為兒童打造閱讀環(huán)境、知識獲取、閱讀意義生成、自我能力發(fā)展等方面發(fā)揮著不可忽視的作用。但過分追求VR設備給兒童帶來的感官刺激，忽視與圖書本身的聯(lián)通，會偏離VR童書是借助VR技術幫助兒童進行求知、閱讀的本意。再加上目前VR設備與圖書觀感的割裂，大多VR童書的使用方式都是通過使用手機APP掃描書中指定內(nèi)容，然后戴上VR眼鏡便可獨立使用，紙質(zhì)書上的內(nèi)容更加容易被兒童忽視。對兒童來說，他們對于閱讀的敬畏心理會逐漸冷淡，追求感官愉悅反而會逐漸成為兒童閱讀VR童書的心理狀態(tài)。[23]長此以往VR童書的閱讀將給兒童帶來過度娛樂化、游戲化的閱讀異化危機。

VR童書的優(yōu)化始終要堅持童書對于兒童閱讀的內(nèi)在精神價值的作用。如果VR童書一味強調(diào)完美虛擬世界的體驗，以技術為賣點，那么VR童書只作為一種工具被使用，閱讀自身作為一種滿足兒童的內(nèi)在精神需要的生活價值就會淡化。另外，完美的虛擬世界體驗對兒童存在迷失自我的風險。而兒童在心智尚未發(fā)育成熟的情況下，年齡越小的兒童，越容易將世界看成以自我為中心的整體，難以將自我與周圍世界區(qū)分開來。VR童書打造的多感官的體驗，可能讓兒童在虛擬世界中無法自拔，甚至無法將它與現(xiàn)實世界區(qū)分，導致迷失自身真實存在。這顯然與VR童書給兒童提供的價值初衷是相悖的。目前受VR技術的限制，VR童書的感官體驗大多停留在視覺、聽覺、觸覺上的體驗，在嗅覺和味覺上的體驗還是少之又少的。目前VR技術能提供的感官體驗還不夠精良。VR童書的優(yōu)化離不開未來VR技術的發(fā)展前進，但為兒童打造完美的全方位感官體驗的虛擬空間并不能成為VR童書優(yōu)化的終極目標，良好的多感官閱讀體驗能夠提高兒童閱讀效果，輔助童書、將童書對兒童內(nèi)在精神價值引領的作用發(fā)揮到最大化才應該是VR童書優(yōu)化所追求的目標。

四、結語

數(shù)字時代，家庭和社會在VR童書對兒童閱讀影響寄以愿望，VR童書需要對其設計開發(fā)進行優(yōu)化以滿足家庭和社會的期待，同時尋找新的增長點突破現(xiàn)在的發(fā)展困境。本文關注VR童書打造的多感官的閱讀體驗，分析多感官體驗與兒童閱讀之間的聯(lián)系，發(fā)現(xiàn)多感官體驗在兒童閱讀中對他們的注意力、理解力和想象力等都發(fā)揮著重要的作用。在此基礎上，提出了VR童書優(yōu)化設計開發(fā)的可行性建議。

（作者單位系上海理工大學出版印刷與藝術設計學院）