身體在場與認知延伸：具身認知視角下的數字繪本數字敘事創新

【摘 要】數字繪本隨著數字閱讀的普及逐漸興起，但其沿用傳統敘事方式，缺乏對身體感知與交互的考慮，不利于其固有敘事性特點的發揮且影響讀者的閱讀體驗。為此，從具身認知視角出發，分析并歸納國內外數字繪本的數字敘事現狀與困境，將有助于解決相關問題。在此基礎上，從認知的涉身性、體驗性、環境嵌入性三個方面提出數字繪本的數字敘事路徑優化策略，以滿足讀者的沉浸式體驗與認知需求，為我國數字繪本的設計和服務提供借鑒。

【關" 鍵" 詞】數字繪本；數字閱讀；數字敘事；具身認知

【作者單位】袁小群，武漢大學語義出版與知識服務重點實驗室；李奕蓉，武漢大學語義出版與知識服務重點實驗室。

【基金項目】2021年度國家社會科學基金重大項目“虛擬現實媒介敘事研究”（21amp;ZD326）階段性成果；2024年度國家社會科學基金后期資助項目“數智賦能出版知識服務研究”（24FTQB004）階段性成果。

【中圖分類號】G239.21 【文獻標識碼】A 【DOI】10.16491/j.cnki.cn45-1216/g2.2025.08.010

隨著數智技術深度賦能，傳統出版逐步向數字化轉型，繪本也逐漸走向數字化。數字繪本將傳統繪本元素轉換為數字形式，讀者可通過終端設備進行閱讀。相較于紙質繪本，其強化了敘事功能、交互互動和情感體驗，有助于提高閱讀的趣味性和沉浸度，引發了國內外學者的廣泛關注。Wei等人比較了不同種類繪本的主要吸引因素［1］，Jie等人從動態與靜態、互動與非互動兩個維度將數字繪本分成了四種類型［2］，Joni等人探討了互動數字繪本對小學生創造力的影響［3］。雖然數字繪本發展迅速，但仍存在內容與技術分離、電子屏幕消解讀者感知體驗、線性敘事限制讀者認知等問題［4-5］。研究者從讀者的心理感知和閱讀注意力角度出發，探討數字繪本的情感設計、敘事機制等，以期提升數字繪本的閱讀體驗。這些研究忽略了讀者閱讀的身體沉浸，難以解決數字繪本的現存問題。事實上，人們對閱讀的理解逐漸從簡單的信息傳遞活動轉向具身的認知活動［6］。

隨著VR/AR、數字孿生、全息技術的日漸成熟和數字移動設備的不斷發展，繪本閱讀將趨向更加沉浸的具身閱讀方式，數字繪本的數字敘事體驗離不開身體參與、認知體驗和情感傳遞［7］。具身認知理論強調身體在認知過程的關鍵作用，這與數字繪本的數字敘事趨向相契合，為解決新環境下的數字繪本數字敘事困境提供了新的理論基礎。鑒于此，本文在分析數字繪本的數字敘事現狀和困境的基礎上，從具身認知視角出發，探析更契合閱讀發展趨勢的數字繪本數字敘事路徑，以期為我國數字繪本的設計和服務提供借鑒。

一、理論耦合：具身認知與數字敘事的協同邏輯

認知科學認為認知與身體是分離的，認知是發生在大腦中單獨的符號計算過程，身體僅作為外部刺激的提供者。然而這種認知的計算隱喻無法解釋客觀世界如何轉化為符號形式，隨著計算隱喻局限性的加深，認知科學開始重視具身化的觀念。海德格爾提出人對世界的認知源于身體與世界互動的過程［8］。梅洛-龐蒂強調身體與世界是一個統一的系統，身體是人與世界的唯一關聯［9］。上述觀點啟發并形成了具身認知理論。

具身認知理論的核心觀點是身體在認知過程中發揮關鍵作用，認知通過身體的體驗及其活動方式形成，具有涉身性、體驗性和環境嵌入性［8］。涉身性指認知的內容源于身體，認知進行的方式和步驟也受到身體的限制。體驗性指認知形成于身體對外界環境中事物的接觸和感知，如“寒冷”“炎熱”即身體的體驗。環境嵌入性則指認知的內容和過程離不開身體，而身體是嵌入環境的，認知過程是內部動作和外部操作統一的過程，需利用大腦中儲存的信息和外部環境中存在的信息。

數字閱讀是一種通過有機整合文字、音視頻、圖片等多種信息，從而讓用戶擁有更為豐富的閱讀體驗的閱讀方式。但傳統的紙本閱讀仍然受到讀者青睞，其展現的頑強生命力指引著人們改變對閱讀的理解：閱讀并不是簡單的信息傳遞活動，而是身體、環境、思維和閱讀文本之間交互作用的具身認知過程［6］。學者們開始研究閱讀的具身性，如認為閱讀過程中讀者的大腦與外部信息進行互動，可能通過模擬行為的方式增強理解和記憶［8］。從數字閱讀的演進來看，數字移動設備的普及和VR等技術的應用為實現身心共同參與的具身閱讀方式提供了技術支撐，數字閱讀正逐漸從電子化走向智能化階段，閱讀的具身性將不斷增強。在此背景下，將具身認知理論融入數字繪本的數字敘事研究是適應數字閱讀發展趨勢的有效途徑。

筆者從具身認知的涉身性、體驗性和環境嵌入性三個角度探討數字繪本的敘事，旨在彌補數字繪本對身體感知與交互的弱化。探析更契合數字閱讀發展趨勢的數字繪本數字敘事路徑，有助于提升數字繪本的敘事能力，進而提升用戶的閱讀體驗，對優化數字繪本的生產和服務、提升讀者的閱讀體驗具有重要的實踐價值。

二、生態圖景：具身認知視角下數字繪本的數字敘事現狀及困境

數字閱讀的普及帶來了數字繪本的興起，其以多模態、交互性吸引了眾多讀者。盡管數字繪本具備突破傳統敘事方式的潛力，但面對讀者日益增加的沉浸式體驗需求，其目前的數字敘事實踐仍面臨諸多問題。

1．現狀解構：媒介形態、結構特征與模式創新

國內外的數字敘事研究自20世紀90年代逐漸興起，其中以瑪麗-勞爾·瑞安的數字敘事理論框架最具代表性［10］。下文以瑪麗-勞爾·瑞安的數字敘事理論為框架，從敘事媒介、敘事結構和敘事模式三個方面介紹數字繪本的數字敘事現狀，如圖1所示。

（1）敘事媒介：從靜態圖文到多模態交互的演進

瑞安將敘事媒介分為傳播媒介和表達媒介，前者指信息傳播的渠道，后者指塑造和表達信息的方式［10］。本文主要關注表達媒介，即塑造繪本敘事內容的文字、圖像、聲音等元素。傳統繪本以圖片和文字為全部的敘事媒介，數字繪本則通過文字、圖像、音頻、動畫等多模態的敘事媒介來吸引讀者。目前大部分數字繪本采用音畫融合敘事，繪本中的圖像畫面和音頻互相協調配合，共同表現，突出敘事主題。

在圖像方面，得益于數字技術和設備的進步，數字繪本能夠更生動地呈現圖像的色彩、精度和細節。此外，大部分數字繪本都能完成動態敘事，包括畫面切換、局部圖像的變換等。在音頻方面，數字繪本普遍添加了背景音樂、故事旁白和角色對話等音頻，以增強繪本內容與用戶的沉浸互動。如繪本《冠軍艾格》除了繪本主體的圖像，還在不同的場景中使用不同的背景音樂和人聲旁白，以增強讀者交互時的沉浸感。

（2）敘事結構：超文本敘事的空間轉向

與書籍等出版物的敘事結構相似，數字繪本的敘事結構可分為線性敘事和非線性敘事。線性敘事強調情節的完整性、因果性、連貫性和時空的統一性，前后情節嚴格按照時間順序組織。非線性敘事則包含斷裂、省略、閃回等元素，是一種不完整、不連續的敘事，具有情節細碎、時空混亂、結局開放等特點。

數字繪本的可交互性給非線性敘事創造了更多可能，使非線性敘事轉向了彈性、開放的網狀超文本敘事結構。讀者可以通過人機交互參與敘事，決定情節的發展方向和結局。在閱讀H5繪本《跟著阿貓去冒險》的過程中，讀者做出不同的選擇，都會進入不同的冒險故事，繪本的敘事情節具有時空上的多種可能性，結局也是開放、不確定的。這種非線性敘事可以增強讀者的參與感和探索欲。

（3）敘事模式：復合敘事模式的迭代

瑞安將敘事模式定義為從心理喚起界定敘事性認知建構的獨特方式，提出外部式、講述式、模擬式等多種敘事模式［11］。目前數字繪本的數字敘事以講述式、模仿式、參與式和模擬式為主。

隨著音頻成為數字繪本常見的敘事媒介，講述式也成為數字繪本的主要敘事模式之一，其通常通過刻錄的敘述性音頻講述繪本故事。模仿式敘事側重于展現人物及事件，如數字繪本《大衛，不可以》通過母子二人的動作和對話畫面完成敘事，沒有敘述者形象，但讀者在閱讀過程中仍然受到作者的引導，形成對行為規范和親情的認知。數字繪本的可交互性使參與式敘事大大增加，讀者通過話語層的參與和故事層的參與決定敘事情節的呈現秩序，或者改變敘事情節和結局。如繪本《慢先生Mr.Robot》通過讀者選擇的初始癥狀觸發不同的診斷結果，即敘事結局。模擬式則是數字媒介特有的敘事模式，讀者的交互不直接影響敘事情節的發展，而是在已有的參數和規則下行動。例如在閱讀APP繪本《紫禁城祥瑞》的過程中，讀者可以通過形狀大小這一固定元素和犄角、鱗片、尾巴等變量元素的組合來模擬設計出不同的龍。

2．現實困境：具身認知視角下的敘事癥結

具身認知理論認為認知過程根植于身體的體驗，這一視角為數字繪本的數字敘事研究提供了新的切入點。下文從具身認知強調的認知的涉身性、體驗性、環境嵌入性三個方面分析目前數字繪本的數字敘事困境及其產生的原因。

（1）身體限制：電子屏幕對具身參與的消解

實驗表明，閱讀傳統繪本時，讀者的注意集中程度普遍高于閱讀電子繪本，回答問題的正確率更高［12］。在讀者的閱讀過程中，手、精細動作和身體姿勢等都對認知的形成有一定的貢獻，不同的身體器官也對認知的形成有不同的作用。數字繪本的一個主要特征是通過數字設備閱讀，繪本敘事的傳播媒介從紙張、布料、木片等多樣化的物理媒介轉化為單一的電子屏幕，缺乏多樣化的物理觸感，忽視了身體動作的多樣性和復雜性，限制了讀者的身體參與，窄化了讀者的認知渠道，導致讀者認知的被動和表面化。

（2）感知窄化：視聽主導下的通道壓縮

人類通過多維度的器官體驗、感受和理解事物，多模態體驗相互補充、滲透，共同實現敘事主題和目的，更符合人對事物的認知規律。數字繪本使用圖像、音頻、視頻等敘事媒介表達敘事內容，主要通過視覺、聽覺體驗讓讀者完成認知建構，勢必會導致讀者過于依賴視聽覺刺激，缺少其他感官體驗。一方面，數字繪本無法向讀者提供直接的嗅覺與味覺體驗，無法真正呈現身體感知，讀者難以形成嗅覺和味覺上的認知。另一方面，數字繪本提供的觸覺體驗僅限于讀者交互時對電子屏幕、鼠標等設備的觸摸，無法為讀者提供翻頁、折疊等物理互動帶來的觸覺體驗，不能讓讀者對敘事內容中的事物形成觸覺感知和深層認知。

（3）情境割裂：虛擬環境中的情感認知障礙

在認知過程中，人類將環境中的信息納入認知加工活動中，利用外部環境信息減少認知任務本來需要的步驟，讓認知變得更輕松。這種外部環境不僅包括物質世界本身，也包括認知主體周邊的其他個體所形成的人際環境。如“情境認知繪本”系列呈現城市、農場、機場等全景式的生活場景，閱讀過程中兒童讀者可將繪本的敘事場景與真實環境對應，家長伴讀時的互動與模擬也可以促進讀者的認知理解。而數字繪本通過虛擬場景呈現敘事，借助圖像、聲音和動畫等敘事媒介模擬現實環境，或者創造現實不存在的想象情境。盡管講述式和模仿式敘事增強了敘事的趣味性和易讀性，但讀者在閱讀過程中被限制在電子屏幕內，人機互動代替了人際互動，讀者難以將真實環境與虛擬故事世界有效融合，無法實現虛擬故事世界與真實世界的交互，影響讀者完成內容理解和情感認知。

三、突圍路徑：數字敘事系統的具身化重構

從具身認知視角出發，當前數字繪本的數字敘事主要面臨身體限制、感知窄化、情境割裂三個方面的困境。為提升讀者的閱讀體驗、改善讀者的閱讀認知，筆者基于具身認知的核心概念，針對目前數字繪本的數字敘事困境提出數字繪本的數字敘事優化策略。

1．身體介入：具身交互的敘事設計

身體不僅是認知的載體，也是讀者參與敘事的主體。要突破讀者的身體限制，就需要超越簡單的點擊、滑動等表層交互，將讀者的身體視角、動作、姿態等深度融入敘事邏輯與進程，實現從身體操作界面到身體驅動敘事的躍升。

（1）第一人稱敘事框架搭建

在數字敘事中采用第一人稱敘事視角替代全知視角，形成具身化的敘事視角。第一人稱敘事視角能讓讀者化身為繪本故事世界中的角色參與故事世界，在閱讀過程中探索完整的敘事情節，體驗角色的情感和經歷。這不僅能讓讀者扮演繪本中的角色，還可以通過角色創建系統（如選擇外貌、初始特質）和動態情感反饋機制（角色表情、動作隨著角色的行為與環境變化）等設計強化讀者與角色之間的情感聯結與身份認同。如繪本《跟著阿貓去冒險》采用貓的第一視角進行數字敘事，讓讀者在每個新場景中選擇行動。讀者在閱讀繪本時將自己代入貓的視角，可以強化情感共鳴，產生角色認同感，更加投入敘事情節中。在虛擬世界中，讀者通過角色的視角與故事世界進行互動。通過模擬現實中的行為動作，如行走、奔跑、對話、尋找等，讀者能夠獲得具身化的視聽體驗，產生身臨其境的代入感，增強身體在場感［13］。讀者也可以利用運動傳感器、空間定位技術或VR手柄，將頭部的轉動、身體的移動、手勢直接映射為在虛擬空間中的探索行為，通過真實的身體運動感知敘事空間，驅動情節發展。

（2）故事層的具身參與設計

增加敘事中的故事層參與可以讓讀者主動完成敘事內容的創造，強化讀者與虛擬繪本世界之間的聯系。增加敘事中的故事層參與的關鍵在于增加人機交互設計，使讀者通過選擇經歷完整的敘事情節，感受到自己的行為能真正影響故事的發展方向。如數字繪本《慢先生》讓讀者選擇“癥狀”并使讀者代入虛擬世界中的角色，成為故事的主角，最后的“診斷”和“處方”對應讀者的選擇。故事層參與能夠突出讀者參與的重要性，提升讀者閱讀時的主動性和積極性，激發讀者的想象力和創造力。在故事層參與中，讀者的身體動作不僅用于選擇預設選項，還應成為影響敘事走向的實時變量。例如：在體育主題繪本中，將讀者模擬投籃動作的力量和角度與球是否入筐及角色反應關聯；在音樂主題繪本中，將讀者揮舞手臂的幅度和節奏與樂器的演奏效果及相關的劇情發展關聯。故事層參與的具身設計能夠強化讀者的身體參與感，給予讀者更真實的閱讀體驗。

2．感官喚醒：多通道敘事體驗建構

要突破數字繪本視聽主導的局限，關鍵在于構建能夠有效調動多種感官體驗的感知通道，利用技術手段模擬或直接呈現近似真實的感官體驗，為具身認知提供豐富、立體的信息來源。

（1）多感官感知協同設計

在具身認知視角下，身體的各種感官是認知過程的起點，人通過感官體驗明確自身的存在和環境中其他事物的存在［7］。實現具身閱讀的關鍵是設計能夠積極調動視覺、聽覺、觸覺等感官的敘事內容，構建多感官體驗通道，使讀者在閱讀中獲取不同層次的認知。在視覺設計上，利用高清、仿真的圖像視覺效果，輔以動畫等動態元素設計，激發讀者對現實的聯想，增強敘事的吸引力。在聽覺設計上，注重環境音效的使用，結合立體聲等技術，增強敘事氛圍，利用AI技術捕捉和復刻人類的節奏、語調等聲音元素，模擬情緒，給讀者提供更逼真的聽覺體驗。在觸覺設計上，增強拖拽、點擊、滑動等觸摸互動與敘事的關聯性，提供不同的觸摸反饋（如振動、刺激音效），增強讀者的互動體驗。雖然直接提供嗅覺和味覺體驗仍具挑戰，但可通過仿真的視覺描述（如細膩的紋理特寫）、逼真的環境音效（如做飯的煎炸聲）、相關的觸覺反饋（模擬食物彈性的觸控反饋）等激活讀者的嗅覺、味覺記憶與想象，實現“通感”效果。此外，確保不同感官通道傳遞的信息在情緒、節奏、強度上一致且相互強化也很重要。例如，在雷鳴電閃的場景，刺眼的閃電（視覺）、轟鳴的雷聲（聽覺）、設備強烈的震動（觸覺）需同步發生，營造強烈的臨場感，避免感官信息沖突導致認知失調。

（2）傳感器的具身化應用

為實現多感官體驗通道，設計者在開展敘事設計時需要考慮設計在硬件和技術上的可實施性，利用智能技術和終端傳感器最大限度地為讀者提供真實或仿真的感官體驗。比如智能手機中一般配備光線、重力、加速度等多種傳感器。不同的傳感器能夠讓讀者產生不同的感官體驗，如在數字繪本《神奇飛書》中，設計者可通過麥克風捕捉讀者的聲音，進而通過分析聲音的音量、頻率和強度檢測讀者的“吹氣”動作，設計出能夠通過吹氣動作吹動屏幕中的書頁的程序，使讀者在繪本構建的虛擬世界中揚起颶風。更進一步，設計者可通過可穿戴設備實時監測讀者的生理信號（如心率、皮膚電、腦電波等），結合人工智能等智能技術，根據讀者的生物反饋動態調整敘事節奏，為讀者提供個性化的情感反饋。當檢測到讀者困惑（如皺眉、心率變化）時，系統程序可為讀者提供更多提示或放慢敘事節奏；當檢測到讀者感到無聊（如注意力分散的腦電圖模式）時，系統程序可引入新情節或新元素。

3．場域再造：沉浸式敘事空間建設

針對虛擬環境與真實環境割裂的問題，需要打破電子屏幕的物理界限與心理界限，構建能連接虛擬敘事世界與讀者真實社會環境的“混合現實”場域，強化繪本中的社會性互動，滿足具身認知對環境嵌入性和人際互動的要求。

（1）打造多樣化、社會化的敘事情境

設計者可刻畫不同民族、性別、年齡、文化背景的角色，設計不同的地點、時間，模擬多樣化、真實化的社會環境，讓讀者在虛擬世界中體驗多元的社會互動和情感共鳴。以讀者與角色間的參與互動替代講述式敘事，形成社會化的敘事情境，滿足具身認知中的人際互動需求，彌補背景環境的單調，形成完整的敘事空間。如數字繪本《我愛動物園》通過讀者與繪本中人物的互動，讓讀者在不同的場景中進行對話交互，人物與場景音樂配合還原現實環境，使讀者獲得真實的情境認知體驗。此外，VR等技術為打造更真實的社會化的敘事情境提供了進一步的技術支撐。通過構建支持多人同步在線的VR繪本世界，讀者可以在共享的虛擬繪本環境中通過各自的化身一起探索虛擬世界或與虛擬角色互動，甚至協作完成推動敘事發展的任務。家長或同伴的虛擬化身能夠增強閱讀時的人際互動和情感聯結，彌補人機互動的不足，強化社會臨場感。

（2）數智技術驅動的沉浸式敘事

AR和VR技術可以為數字繪本提供全新的沉浸體驗。AR能夠將虛擬物體與現實環境融合，讓讀者在真實環境中閱讀敘事內容并與之交互。VR則是一種可以創建和體驗虛擬世界的計算機系統，讀者可以通過手柄、交互體感服裝等裝置，感受震動、電擊等更多體驗，延伸身體在場。具身認知強調身臨其境是認知形成不可或缺的要素，AR/VR將繪本的虛擬世界與真實世界相連，可為讀者的認知提供沉浸式的敘事空間。如AR圖書MagicBook可以讓讀者在AR顯示器上看到疊加在真實圖書上的虛擬內容，讓讀者在真實的環境中閱讀數字化的敘事內容，滿足認知的環境嵌入。同時，人工智能的飛速發展為融合虛擬世界與現實生活帶來了新的可能。利用AI，系統程序可以結合讀者真實的環境信息（時間、地點、天氣、周圍物體）和當前的活動狀態，為讀者生成或推薦與真實情境高度相關的微型敘事或互動內容，實現敘事情境與現實生活的無縫連接，為讀者提供完全的沉浸式閱讀。

四、結語

數字時代下，讀者的閱讀從簡單的信息獲取轉向豐富、沉浸的體驗感知，繪本的數字敘事重點由文本設計轉向沉浸體驗，具身認知理論為數字繪本的數字敘事研究提供了新的研究視角。本文以數字繪本為研究對象，以具身認知理論為理論基礎，從認知的涉身性、體驗性和環境嵌入性三個角度分析了目前數字繪本的數字敘事困境，提出相應的數字敘事路徑優化策略，為設計和生產高附加值、多功能的新型數字繪本提供參考。隨著數字技術和智能設備的不斷進步，AR/VR、人工智能、仿生腦等前沿技術將推動互聯網向元宇宙發展。通過先進的傳感技術和仿真算法，讓讀者在虛擬環境中開展身體活動，是進一步增強讀者具身沉浸閱讀的有效途徑，數字繪本將迎來更大的發展空間和更多的創新可能。

｜參考文獻｜

［1］WEI C C，MA M Y. Designing attractive children's picture books：evaluating the attractiveness factors of various picture book formats［J］. The design journal，2020（2）：287-308.

［2］BAI Jie，ZHANG Hui，CHEN Qian，et al. Technical supports and emotional design in digital picture books for children：A review［J］. Procedia computer science，2022：174-180.

［3］JONI TZUCHEN TANG，LAN W C，DE JUN MO. Exploring the effects of interactive digital picture books on elementary students' creativity［J］. Thinking skills and creativity，2025（9）：10186.

［4］張盼盼. 基于兒童認知模式的數字繪本出版研究［J］. 出版科學，2021（4）：23-31.

［5］彭雨. 兒童閱讀App的互動性敘事與兒童主體性建構［J］. 四川師范大學學報（社會科學版），2024（5）：133-141.

［6］王穎吉. 媒介、知覺與閱讀：具身認知的考察路徑與邏輯［J］. 學術研究，2020（2）：45-51.

［7］李重，張宇. 認知、身體和閱讀：出版業未來發展可能性芻議［J］. 現代出版，2023（1）：94-104.

［8］葉浩生. 具身認知：認知心理學的新取向［J］. 心理科學進展，2010（5）：705-710.

［9］梅洛-龐蒂. 知覺現象學［M］. 楊大春，張堯均，關群德，譯. 北京：商務印書館，2021.

［10］張新軍. 數字時代的敘事學：瑪麗-拉爾·瑞安敘事學理論研究［M］. 成都：四川大學出版社，2017.

［11］瑞安. 故事的變身［M］. 張新軍，譯. 南京：譯林出版社，2014.

［12］TIEN-LING YEH，CHUN-CHING CHEN. A study of e-picture books and traditional picture books on children's reading attention［C］//Advances in Physical Ergonomics and Human Factors. RAVINDRA GOONETILLEKE，WALDEMAR KARWOWSKI. Proceedings of the AHFE 2016 international conference on physical ergonomics and human factors. Cham：Springer，2016.

［13］馬方楠，方睿. 擴展現實科普童書的互動數字敘事策略［J］. 出版科學，2023（6）：18-25.