沉浸視域下兒童數字繪本交互設計研究

內容摘要：互聯網普及的智能時代，新的數字生存方式和思維模式全面改寫了新一代數字“原住民”的閱讀活動，傳統兒童繪本已無法滿足他們對沉浸式閱讀的需求。數字繪本這一新形態重塑了兒童繪本的敘事模式、閱讀方式、閱讀空間等，為讀者帶來了沉浸式、多模態、三維立體的閱讀體驗。以兒童數字繪本為研究對象開展兒童數字繪本的交互設計特征分析，從多方面闡釋如何提升兒童數字繪本沉浸體驗，為面向未來的兒童數字閱讀提供參考。

關鍵詞：兒童數字繪本；交互設計；沉浸體驗

課題：北京印刷學院科研重點項目“網絡文化對高校青年群體生活方式的影響研究”（編號：Ed202217）；北京印刷學院橫向課題“基于虛擬現實技術的沉浸式交互影像展示設計與研究”（編號：HXDK2023094）

DOI：10.3969/j.issn.2095-0330.2024.05.009

數字時代的到來，閱讀這一傳播文化、傳承文明的主要途徑呈現出全新的數字化形態，數字繪本應運而生。伴隨著各類不斷更新的技術在媒介傳播中相繼登場與離場，如何真正吸引讀者的注意力，是當下閱讀面臨的挑戰。在數字閱讀需求增加的趨勢下，數字繪本作為面向兒童的重要傳播媒介，已經成為目前兒童閱讀的主流媒介之一。本文旨在分析沉浸式兒童繪本的交互特征，把握兒童數字繪本交互體驗的設計定位和方向，為兒童閱讀提供更好的數字繪本設計。

一、數字繪本和沉浸閱讀的內涵及發展趨勢

（一）新媒體時代的數字繪本

數字繪本（digital picture book）是用數字化形式呈現的繪本。其以文本、插圖、聲音和互動功能來構建故事，讀者可通過觸摸屏技術來獲得故事內容。原研哉在《設計中的設計》一書中提到，數字技術的發展已經改變了信息傳播的方式，紙質書籍不再是主要的媒介形式。新媒體時代兒童閱讀的主要媒介將延伸到手機、平板電腦等數字終端設備上。

當下的數字繪本主要是指具有豐富視聽觸覺效果及交互特性的數字應用程序。隨著互聯網的發展，被稱為“數字原住民”（digital natives）的新一代數字公民對閱讀的體驗需求迅速增加。基于智能設備，以虛擬現實、增強現實、混合現實技術等技術出現的數字閱讀形態，為數字繪本提供了更多的創作可能。數字繪本以更加豐富的信息量、更有趣味的交互元素，實現了兒童讀者從紙質閱讀到數字閱讀的改變和跨越。與傳統紙質繪本相比，數字繪本的互動優勢明顯，更能夠滿足當代兒童的閱讀興趣與習慣。與兒童電子游戲相比，兒童繪本的文學內涵和哲理意義更能體現兒童閱讀的價值，使兒童在娛樂中陶冶情操、在游戲中啟迪智慧。憑借內容創新和技術優勢，數字繪本在數字出版時代引領兒童閱讀的方向。目前兒童數字繪本還有較大的發展空間。國內市場上部分數字繪本僅將傳統紙質繪本進行了數字化處理，僅以動畫、游戲等視音頻形式增加繪本交互性，交互形式過于單一，交互體驗建構仍處在初級階段。

（二）沉浸的含義與沉浸式閱讀

“沉浸”一詞有兩重含義，一是指浸泡、浸入水中；二是指主體完全處于某種境界或思想活動中，重在表達“主體認知在意識空間中的沉浸”之義。美國著名心理學家米哈里·契克森米哈（Mihaly Csikszentmihalyi）提出沉浸理論，他認為，沉浸是指人們在參與某件事情或某項活動時，完全投入其中且注意力高度集中，從而達到的一種精神狀態。“沉浸”體驗的生成無法脫離場景和時空，尤其是技術沉浸，這種沉浸感的營造受技術參數的影響較大；精神上或行動上的主動性和全身心投入，即心理沉浸則是產生沉浸感的重要因素。在對沉浸類型進行的探討中，有一種觀點認為，沉浸按照層次可以分為空間沉浸、時間沉浸和情感沉浸。這對沉浸式閱讀體驗的構建有一定啟發。當讀者在閱讀中能實現身體在閱讀環境中的沉浸、注意力在閱讀時長上的集中、情感在故事角色中的共鳴，他們的閱讀效果和閱讀體驗將得到極大的提升。

沉浸式閱讀是沉浸概念在閱讀領域的應用。隨著媒介技術的發展，閱讀方式和閱讀行為也發生了巨大變化。“手不釋卷”“廢寢忘食”等詞描繪了傳統的沉浸式閱讀。與傳統閱讀的沉浸感相比，以虛擬現實技術為代表的新技術帶來了更加直觀、立體的視覺體驗，將讀者帶入更廣闊的沉浸閱讀空間。元宇宙的構建為沉浸閱讀體驗帶來了新的實踐場域。但伴隨媒介和技術的發展，網絡閱讀或手機閱讀的“徘徊式”“瀏覽式”跳讀，使“沉浸”不易實現，這就需要探索適合當下傳播環境和傳播對象的新型沉浸式閱讀方式，重新聚焦于讀者的注意力、提升讀者的閱讀體驗。

（三）技術賦能下的數字繪本發展趨勢

兒童繪本在17世紀發源于歐洲，在英美等國得到充分發展。隨著數字時代的到來，繪本的發展生態在移動技術、人工智能、虛擬現實、數字孿生等技術的作用下被重塑。交互式學習、數字化視角成為發達國家兒童早期教育的核心，針對兒童的數字繪本也以豐富的技術形式呈現出跨越式變革和發展。美國權威讀物《從A到Z》（Reading A to Z ）的互動繪本形式將繪本與小程序和數字影像相結合，通過聲音、影像、互動游戲等在兒童的英語分級閱讀中增加樂趣。索尼聯手英國知名作家J.K.羅琳（J.K. Rowling）打造的首部增強現實圖書《奇幻之書》（Wonderbook ）采用AR技術將圖書與游戲融合，讀者可以通過手柄操縱數字畫面，這賦予了讀者全新的閱讀體驗。

我國繪本起步較晚。隨著近年來我國的教育逐漸走向國際化和現代化，越來越多的出版機構從傳統出版轉向數字出版，將增強現實 、虛擬現實等技術應用于少兒圖書。2016年山東教育出版社出版的《恐龍大世界》是國內第一部應用虛擬現實技術的科普繪本。兒童數字繪本逐漸受到市場關注，但國內數字繪本原創力相對較弱，內容制作標準有待統一，兒童數字繪本市場發展還處于探索期。

不可否認的是，從電子繪本到交互式繪本、HTML5（Hypertext Markup Language 5，超文本標記語言5）繪本、增強現實繪本，再到虛擬現實繪本，它們無一不是技術革新的產物。數字技術促進了兒童繪本的發展。隨著技術的發展，數字繪本的創作、設計、出版等將不斷被重新定義。當下的數字繪本發展既面臨機遇又面臨挑戰，對兒童繪本的交互特征進行分析，把握未來設計定位和方向，顯得尤為重要和迫切。

二、兒童數字繪本交互設計的特征和問題

（一）兒童數字繪本的人群畫像

數字繪本是高度數字化、智能化時代的產物，數字化時代出生的孩子的成長環境與數字技術、人工智能息息相關。未來學家、人口統計學家馬克·麥克林登（Mark McCrindle）把出生于2010年之后的人稱為“α世代”（generation alpha）。獲取數字技術、使用智能產品是他們的生活方式。他們中的大多數具備數字化生存技能和素養。深受多感官多渠道的信息浸染，α世代的閱讀行為呈現出碎片化、交互性、移動性等明顯特征，他們對沉浸體驗的要求更高，他們更傾向于閱讀數字繪本而不是傳統圖書。

麥克林登估計，全球每周約有250萬“α世代”的嬰兒降生。未來他們將是最有創造力和智慧的一代。“α世代”的成長伴隨著數字技術更迭與媒介形態變化。數字繪本的主要讀者群體是以“α世代”為代表的人群。閱讀數字繪本需要具備一定的操作能力和理解認知能力。本文所探討的設計策略適用于面向6—14歲兒童用戶群體的數字繪本。

（二）兒童數字繪本交互設計的特征分析

1. 兒童數字繪本的沉浸式交互敘事特征

傳統的兒童繪本大多以經典的線性結構展開敘事。媒介的變化導致了敘事方式的改變，交互敘事的概念被應用于數字繪本的開發和創作中，以增強繪本閱讀的沉浸體驗。跨媒介敘事學研究者瑪麗-勞爾·瑞安（Marie-Laure Ryan）在對交互敘事的研究中提出，非線性敘事是一種讓用戶參與到線性故事的創作中來的一種交互式數字敘事模式。這是新媒體時代通過人機互動等方式在數字化媒介中展開的一種新型敘事方式。國內外設計師目前在兒童數字繪本的設計中比較重視用戶體驗，在這類繪本應用程序中，故事和用戶之間有著非常密切的聯系。繪本為用戶提供豐富的交互選擇，用戶可以在一定程度上決定敘事中發生了什么。

在《我的土地：故事時間》（The Land ofMe： Story Time ）繪本（如圖1所示）中，用戶可以在3個主角、3個主題和3種結局中進行選擇。盡管用有限的元素構建敘事似乎能鼓勵用戶遵循有限的情節線探索情節，但這個數字繪本嘗試讓用戶發展新的情節。墻上看起來像粉筆畫的界面能引起用戶對敘事虛構性的關注，黑板的形象讓用戶沉浸于故事場景中。此外，彈出式的評論也鼓勵用戶超越規定的情節來創造自己的故事。

2.兒童數字繪本的視聽觸多模態特征

在電腦上運行的早期電子書中，“熱點”（hotspots）最初表示聲音、動畫、視頻和其他功能被激活的區域，或有導航功能的區域。如今，在移動交互設備普及的場景下，熱點被理解為“屏幕上的特定區域，讀者在閱讀過程中可以通過觸摸、滑動或擠壓設備表面上的這個特定區域來激發聲音、動畫甚至內容”。兒童數字繪本中的熱點與聲音、視覺和觸覺等多種模態相關。多模態交互模式下多種感官融合，計算機利用多通道響應輸入，充分模擬人與人之間的交互方式。

數字繪本《最遠有多遠》（H o w F a r I sUp？ ）是視聽觸多模態在故事中交互并存的典型代表。繪本界面（如圖2所示）不僅以文字展示了有關太空的知識，還有旁白跟蹤情節在太空中的進展。界面上還寫著：起來，過去的云。小讀者還能夠通過點擊、滑動、涂抹、敲打等動作參與故事情節。有研究表明，當這幾種模態充分結合起來時，兒童的注意力會被動畫視覺效果所吸引，當音頻旁白描述圖像的各方面內容時，兒童往往會“更頻繁、更長時間地關注”相應的視覺細節。這種多感官調動的模式使孩子專注于敘事內容，在不知不覺中與故事融為一體。未來通過新技術增強沉浸體驗將是數字繪本發展的重要方向。

3. 兒童數字繪本的三維立體場景沉浸體驗特征

虛擬現實技術將技術、藝術與計算機硬件相結合創造出真實的沉浸式三維立體環境。用戶在虛擬空間中通過三維用戶界面進行內容的獲取、交互和體驗。這個三維閱讀空間的建立能為讀者帶來圖文共生、聲畫合一的享受，使讀者獲得虛實融合的沉浸式故事體驗。童話故事《賣火柴的小女孩》以虛擬現實版繪本《火柴》（Allumette ）亮相，以扣人心弦的劇情和唯美的場景建造獲得VIVEPORT （提供虛擬現實內容和體驗的應用程序商店）開發者大獎體驗類第一名。《火柴》繪本（如圖3所示）巧妙借用了童話劇情，場景中藍天、云海、船只、拱橋等童話元素精致唯美地呈現，讓讀者沉浸于其中，走入繪本并與角色展開互動。熟悉的劇情、沉浸的場景引起讀者的共鳴，引發讀者深層的情感體驗。

伴隨著元宇宙時代的開啟，三維閱讀空間將是未來數字繪本閱讀的新場景。在元宇宙技術賦能下，兒童讀者不僅能獲得虛實融合的沉浸式故事體驗，更能以元宇宙創建的數字身份進入繪本的故事世界，以虛擬數字人的形態徜徉于更舒適、自然的交互空間內，獲得虛擬世界的沉浸體驗。

（三）兒童數字繪本交互設計存在的問題

兒童數字繪本的交互熱點設計缺乏規劃。一些繪本的設計者對多媒體和交互資源的設計不加區分。兒童數字繪本中的互動區域設計不當會對讀者造成不必要的刺激，從而導致閱讀障礙，影響讀者對故事的理解，分散讀者注意力，破壞讀者的沉浸式閱讀體驗。一項針對6—8歲獲得相應識字技能的兒童展開的調查發現，在由兒童父母陪伴進行的數字繪本閱讀活動中，孩子和他們的父母通常都無法識別和找到應用程序中交互區域的圖標按鈕。因此在熱點設計上，圖標的內容、圖標的視覺符號以及熱點圖標在屏幕上的位置都需要精心規劃。

三、兒童數字繪本交互設計策略

兒童數字繪本在內容設計上應有效組合界面交互內容，支持兒童讀者開展積極的閱讀活動。如今的數字繪本以交互式內容為特色，將圖像、動畫、文字、旁白、音樂等元素有機融合。有觀察發現，當繪本信息以圖像和聲音形式呈現時，讀者對信息能有更深入的了解。當屏幕上的文字被朗讀時，兒童讀者會將注意力集中在聲音、圖像上，而忽略文字信息，所以存在重復信息時，文字就會變得多余。數字繪本交互設計應使多維度的交互元素相互支撐、互補，呈現數字繪本元素的豐富性。

（一）運用敘事策略引導沉浸式劇情

數字化文化產品影響到數字時代兒童讀者日常生活的方方面面。兒童數字繪本迅速流行，躋身最受歡迎的應用程序之列。創作者需要充分運用敘事策略使用戶獲得沉浸式體驗，以多元的敘事元素激發兒童的好奇心，以“身臨其境”的劇情代入感激發兒童的參與意識和探索欲。

作為重要的視聽元素，聲音對數字繪本沉浸感的營造是非常有幫助的。聲音元素能夠為文字添加新的含義，可以強化場景的情感渲染，提供合適的背景氛圍。例如，在數字繪本《彼得兔》（PeterRabbit ）中，讀者可以隨著聲音片段展開閱讀，當彼得遇到麥格雷戈先生時，故事場景中出現了戲劇性的音樂聲。在另一個場景中，當彼得哭泣時，繪本會輕柔地播放悲傷的音樂，然后音樂漸漸消失在抽泣聲中。數字繪本用聲音元素強化了讀者的沉浸閱讀感受，營造了親臨其境的沉浸氛圍。

為兒童用戶提供劇情定制的參與感，也是數字繪本交互設計的有效策略。使用戶參與劇情發展能快速建立起用戶和故事之間的情感共鳴。數字繪本《小紅帽》（如圖4所示）中，小紅帽和冒充祖母的狼之間的對話情節，必須通過用戶與繪本的交互來實現，當用戶點擊小紅帽或狼時，對話會顯示出來。狼吃掉小紅帽的情節也是通過用戶的“點擊”來完成，用戶的參與直接導致小紅帽被吃掉的劇情發生，這一交互操作在技術上并不復雜，但卻直接體現了用戶和繪本創作者之間的共同創作關系，用戶已經與劇情融為一體。

（二）發揮技術潛力提升閱讀體驗

增強兒童讀者的閱讀體驗是從一個新角度提升沉浸體驗的方法。目前智能手機中配備了大量的傳感器，如陀螺儀、光線傳感器、距離傳感器、重力感應器、磁力計等。這些傳感器是智能設備硬件的重要組成部分，能幫助用戶調動數字繪本的多重交互方式。例如當數字繪本《嗚嗚小屋》（Wuwuamp;co. ）水平放置時，就像一本書，當它直立時，就成了一扇通向世界的窗戶（如圖5所示）。還有數字繪本《愛麗絲》，讀者可通過左右晃動 iPad 使畫面中的懷表產生運動。

目前數字繪本中的大部分感官體驗是以視覺、聽覺、觸覺為主。現在已有研究人員在VR（虛擬現實）項目中開發了一種新型觸覺設備，其向用戶皮膚輸送小劑量、安全的液體刺激劑，用戶皮膚上的受體吸收這些刺激劑后會產生明顯的觸覺感受，這種通過化學物質產生的觸覺被稱為化學觸覺。通過這種新型觸覺設備，用戶可以感受到在以往的閱讀中無法感受到的刺痛、麻木、溫暖、寒冷等。參與者表示，這些帶有化學觸覺的體驗比沒有化學觸覺的體驗更有沉浸感。隨著技術的發展，融合嗅覺、味覺等其他感官體驗的沉浸式閱讀將被更多讀者和用戶所期待。

（三）營造自然、主動、本能的沉浸體驗空間

新的閱讀場景中的三維立體空間是全新的交互體驗空間，有限的屏幕界面轉化為立體界面，空間延伸也給予用戶更加豐富的想象空間。在以往的交互界面中形成的定式思維與行為習慣隨之發生改變，人機交互領域的心智模式能優化沉浸體驗。

心智模式也被稱為“心智模型”，其概念有著悠久的歷史，可以追溯到1943年心理學家肯尼斯·克雷克（Kenneth Craik）的研究。人們常常通過它來理解周圍世界、與周圍世界進行互動。在虛擬社會構建過程中，閱讀場景的變化是顛覆性的。三維立體場景中全景空間的信息設計，在視覺表現和交互體驗方面趨于無界面，物理按鈕和復雜的操作面板將被聲控、眼動、身體動作等交互行為替代。因此在選用虛擬現實等技術手段進行全感知閱讀空間設計的過程中，創作者要考慮綜合使用多種呈現方式，打破二維界面的設計思路，以接近人類本能的設計構建良好的用戶體驗空間，以適應未來的沉浸式媒介。在設計中還應考慮兒童受眾的認知程度，建立友好型交互空間，降低體驗中的認知負擔。諸如此類的優化不僅能提升閱讀沉浸感，也能使用戶在閱讀活動中獲得好的情感體驗。

四、結語

信息時代的數字繪本為兒童讀者帶來了新的閱讀體驗。本文對沉浸理論進行了闡述和解讀，以兒童數字繪本為案例，對其交互設計的特征進行了分析，并指出數字繪本交互設計中存在的問題。在上述分析基礎上，提出了兒童數字繪本交互設計的策略。

在數字技術飛速發展的時代背景下，面對兒童讀者日益增長的沉浸閱讀需求，兒童數字繪本在內容創作和交互設計上還有很大的提升空間。要根據不同年齡階段兒童的閱讀特點，設計出符合兒童讀者認知特點、激發兒童讀者主體意識的優秀數字繪本。

（作者鄧逸鈺系北京印刷學院新媒體學院講師；王垚系中國傳媒大學動畫與數字藝術學院副教授）