基于AR技術的科普繪本多感官體驗設計

摘要：AR科普繪本以視聽交互構建沉浸體驗，以觸控交互構建互動體驗，以媒介交互構建聯覺體驗，以此調動兒童視覺、聽覺、觸覺、味覺、嗅覺五感體驗和動作、情感等行為體驗。AR科普繪本的創作需要緊隨媒介交互的時代，提升知識性、科學性、趣味性、啟發性、智能性和藝術性，為兒童營造更真實和全面的多感官整合體驗。AR科普繪本的多感官體驗設計主要可以歸納為視聽交互構建的沉浸體驗、觸控交互構建的互動體驗和媒介交互構建的聯覺體驗。

關鍵詞：AR技術;科普繪本;多感官體驗;媒介交互

AR（Augmented Reality）即增強現實，是將計算機系統提供的信息應用到真實世界，并將計算機生成的虛擬物體、場景或系統提示信息疊加到真實場景中，即時混合真實與虛擬影像，從而實現對現實的增強的技術。AR技術的三維空間展示功能，實時與高互動特點能將抽象的信息可視化、形象化，為受眾搭建一個自主探索的內容空間。在這個空間中，信息傳播由文字符號、視頻傳遞演變成多媒體傳遞、場景體驗，突破了單一感官參與的限制，實現了多感官參與和聯動體驗。科普繪本是以繪本形式呈現的科普讀物，其主要讀者為兒童，內容涉及自然科學、實用技術、社會科學、人文科學等諸多領域，旨在普及科學知識、傳播科學思想、培養科學精神。

一、AR技術在科普繪本中的應用現狀

隨著虛擬仿真、人工智能等新媒體科技的發展，數字出版與傳統出版相結合已成為圖書出版的一個新的方向。AR技術日漸應用于科普繪本中，將傳統的靜態閱讀變為融視覺、聽覺、觸覺等多感官體驗于一體的動態閱讀，更加多元的呈現方式帶給了兒童更豐富新奇的體驗。從2016年開始，AR科普繪本開始在各大電商平臺大規模上市，在近三年的童書暢銷榜上都位居前列，呈現出良好的發展態勢。

目前AR技術在科普繪本中的應用主要是借助計算機程序，將紙質繪本中的部分內容立體化和游戲化，以構建真實感和互動性。讀者需要先使用手機或平板電腦掃描紙質繪本中提供的二維碼下載相關APP，再通過APP打開手機或平板電腦的攝像頭，對照紙質繪本中融入AR元素的圖形進行識別，進入AR場景，體驗AR帶來的增強現實效果和互動效果。目前AR科普繪本中的的AR體驗可歸納為兩種形式，第一種形式是借助AR技術實現靜態與動態的融合。通過程序掃描書中的圖片，使相關的節目視頻疊加在繪本上播放，兒童可以同時體驗靜態的紙質繪本內容與動態的視頻節目內容。第二種形式是借助AR技術實現平面與空間的融合。通過攝像頭將預先設計好的三維立體虛擬形象疊加到紙質繪本上，使二維平面的形態變得直觀與真實，兒童還可以通過觸控手機或平板電腦屏幕進行更深層次和更復雜的互動。

二、科普繪本融合AR技術的優勢

科普繪本的主要讀者是處于形象思維階段的兒童，AR技術將虛擬信息疊加到紙質繪本中，使科普信息可視化，加強科普繪本的科學性和知識性;通過游戲、音頻、視頻等數字化內容與兒童進行多樣互動，能增加閱讀的趣味性和啟發性;多種媒介帶來的多感官整合體驗，能提升體驗的智能性和藝術性。

（一）立體呈現科普信息，加強科學性和知識性

以文字和圖畫為主的紙質科普繪本受媒介限制，兒童只能通過靜態的平面圖畫理解文字內容，對于科學概念和抽象信息難以有形象化呈現。AR技術將科普信息可視化，通過動態和立體的形象讓科學概念和抽象信息“活”起來，呈現出更直觀化和形象化的特征，加強科普繪本的科學性和知識性。

AR技術立體呈現的科普信息是對紙質繪本內容的增值，更符合兒童的認知特點和信息接收能力，能強化兒童對圖像和文字信息相關性的記憶，更直觀地理解科學知識。直觀化和形象化的特征能使兒童以立體和全面的視角，感性地認識客觀世界的構造和內在規律，同時也能積極調動兒童的抽象學習和認知參與能力。

（二）與兒童的多樣互動，增加趣味性和啟發性

作為主要讀者為兒童的科普讀物，科普繪本要求以趣味性增加閱讀興趣。AR技術提供的互動元素、游戲環節、音頻、視頻等數字內容全方位拓寬了紙質繪本的平面、單一的呈現形式，這種具有新穎性和科技感的圖文交互形式，能為兒童提供更多樣化的互動，增加科普繪本的趣味性和啟發性。

AR技術是一種新型的人機交互技術，使閱讀不再是單方面的信息接收，而是人與書之間的互動。兒童在虛實結合的三維場景和互動場景中，通過視聽、觸控進行互動，能提升兒童接受信息的主動性和專注度，啟發兒童進行更深入學習和主動探索。

（三）多感官整合體驗，提升智能性和藝術性

科普繪本的創作要求兼顧科學性、趣味性和藝術性，需要將知識、情境、故事、美感、趣味整合為一體，不能因內容過于枯燥導致兒童限于被動閱讀和理解障礙之中，也不能因為過于注重有趣和美感而忽視科學的嚴肅性。相比于紙質繪本借助文字、圖形、形態、材質進行的信息傳達，AR科普繪本借助多媒體進行的信息傳達更貼近兒童心理，能調動兒童的多感官參與，提升科普繪本的智能性和藝術性。

AR技術不僅是一種新媒體技術，也是一種新的信息傳播方式，能賦予科普繪本多元敘事功能。將科普繪本的科學性、趣味性、藝術性緊密結合，使知識、情境、故事、美感、趣味多感官通道整合，使兒童產生強烈的在場感，在感官體驗和行為體驗上更加人性化，激發兒童的多維感知。

三、AR科普繪本的多感官體驗設計

人類的感官系統是一個相互作用和聯系的整體，人們利用多種感官來接收和反饋信息。多感官體驗可分為基于視覺、聽覺、觸覺、嗅覺、味覺的五感體驗和基于動作、情感等反應的行為體驗。AR科普繪本的多感官體驗設計主要可以歸納為視聽交互構建的沉浸體驗、觸控交互構建的互動體驗和媒介交互構建的聯覺體驗。

（一）視聽交互與沉浸體驗

AR科普繪本通過紙質繪本和AR數字內容的同時呈現，利用視覺、聽覺兩方面的感官通道同時加工信息，對紙質繪本和數字內容信息進行整合，以視聽交互的方式為兒童搭建一個自主探索內容的空間，來構建沉浸式閱讀體驗。紙質繪本的文字內容、插畫設計、科普信息可視化設計、圖文版式、色彩等平面視覺內容，以APP形式呈現的包括界面設計、三維形態、音效、音頻信息、視頻信息等AR數字內容，使二維平面與全方位的視聽空間融合，使科普繪本的科學性和知識性得到更好的呈現。在兒童閱讀的過程中，共同調動兒童的視覺、聽覺感官，讓兒童產生身臨其境的沉浸感。

2016年2月電子工業出版社出版的AR科普繪本《消失的世界》（如圖1），APP設計風格與紙質繪本的風格一致，首先在情境的構建上，強化了科普繪本的史前神秘氛圍。AR頁面上的史前生物會通過APP，在手機或平板電腦上伴隨著神秘的音效、炫目的光線立刻被激活成三維形態，使兒童眼前一亮。營造神秘氛圍的音樂和相關生物的音頻解說使科普知識在兒童眼前直觀演繹，節奏、氛圍、時空感讓兒童沉浸其中，獲得輕松愉悅的視覺和聽覺體驗，在無形中形成對科普知識的認知。

（二）觸控交互與互動體驗

AR科普繪本通過AR技術實現觸控交互，調動兒童與繪本、APP進行互動，將被動閱讀轉變為主動體驗，使兒童不再是閱讀過程中的旁觀者，而是積極主動的參與者。紙質繪本是通過紙張質感、印刷工藝、立體結構等表現形式，來調動兒童的觸覺感知和互動行為，AR科普繪本是在紙質繪本的基礎上，通過AR技術增加了AR數字互動內容，以在沉浸式的場景下構建多感官參與式的互動體驗，虛實結合與即時互動的特點使科普繪本的趣味性和啟發性得以加強。對三維形態設置的放大、縮小、旋轉、音效等APP觸控操作，專為兒童打造的APP互動小游戲等，使兒童不再被動地接受科普信息，而是突破紙質繪本的限制，與虛擬形態進行實時互動，在感受游戲樂趣的同時主動吸取知識，啟發兒童的主動探索精神。

2018年6月化學工業出版社出版的AR科普繪本《恐龍立體書》（如圖2），是一本AR互動立體書，融合了AR互動探索、立體書的形式和趣味知識卡片游戲。紙質繪本的封面設計上利用印刷工藝效果呈現了恐龍表皮的質感，吸引兒童去動手觸摸。內頁的每一個頁面都設置了立體、抽拉、翻頁等互動小機關，通過翻頁的動作，兒童能夠體驗到頁面從平面到立體的過程，也能通過抽拉、翻頁等動作獲得更多關于恐龍的知識。AR數字內容通過APP掃描趣味知識卡片來呈現，可以對恐龍進行放大、縮小、旋轉，也可以與恐龍合影，還可以通過答題的形式讓不同的恐龍進行對戰。在人機互動的模式下，從單一的靜態閱讀轉變為動靜結合的體驗，激發了兒童進行互動的興趣。

（三）媒介交互與聯覺體驗

AR技術不僅僅是一種增強現實的工具，而且是一種嶄新的敘事方式。AR科普繪本是傳統媒介和數字媒介的交互，將傳統的線性敘事方式轉化為互動數字敘事，使閱讀不再停留于翻閱的過程，而是將科普繪本塑造成了一個多模態時空系統。傳統媒介和數字媒介的交互，將科普繪本通過超文本內容、互動故事、共時性敘事和具有敘事性的游戲進行呈現，允許兒童通過角色扮演、人機對話等方式參與敘事，將兒童的感知得以充分調動，讓兒童的視覺、聽覺、觸覺、味覺、嗅覺在同一空間下相互作用，形成一種多感官整合的聯覺體驗。

從不同的感官通道體驗的信息，并不是互不相關的元素，聯覺會將不同感官通道的信息相互溝通，有效融合為統一、連貫的感知。這個過程就是多感官整合的過程，聯覺就是多感官整合的心理現象。媒介交互通過互動數字敘事首先調動兒童視覺、聽覺、觸覺感官的直接參與，兒童在對視覺、聽覺、觸覺等感官信息接收的過程中會產生聯覺，在視聽交互和觸控交互構建的沉浸、互動體驗中感知到心理上的嗅覺、味覺等感官體驗、行為體驗、情感體驗。

2018年3月電子工業出版社出版的《未來機械世界》（如圖3），AR數字內容并不是錦上添花式的增強現實內容，而是有著與紙質繪本相互補充的內容，承擔著敘事功能。當打開繪本和APP時，傳統媒介和數字媒介交互呈現著大開本的設計、未來感的音效。首先為兒童構建了具有未來感的場景，不知不覺調動了兒童的好奇心，引導兒童繼續探索。APP分為“開啟機甲紀元”“召集機甲生物”“我的機甲戰隊”三部分，打開扉頁就會激活故事視頻“開啟機甲紀元”，使兒童產生強烈的代入感，視聽交互產生的聯覺讓兒童似乎能夠感知到未來機械世界的氣息。打開內頁，用“召集機甲生物”掃描頁面上的機甲生物，能看到在頁面上游動的、破壞紙面的機甲生物，有攻擊和防御能力的機甲生物。多種形式的增強現實與兒童互動，能調動兒童的虛擬嗅覺、味覺，使兒童仿佛聞到了機甲生物的味道，還可以對機甲生物拍照進行分享。機甲生物召集完成后，可以在“我的機甲戰隊”中進行回顧，完成一個完整的科普知識學習過程。傳統媒介和數字媒介的交互將科普知識、故事、情境、游戲、學習反饋等交互呈現，使科普繪本和AR技術真正有效融合成一個整體，通過聯覺讓兒童調動全方面的多感官體驗。

四、結語

科普繪本融合AR技術，改變了傳統閱讀通過視覺獲取信息的單一方式，將閱讀的概念從靜態轉向動態、從平面轉向空間、從閱讀轉向體驗。AR技術的應用契合兒童的認知特點，對于提升科普繪本的科學性、知識性、趣味性、啟發性、智能性和藝術性方面具有優勢。AR技術能通過視聽交互、觸控交互、媒介交互構建沉浸體驗、互動體驗、聯覺體驗，在多感官整合體驗中使閱讀更具人性化。當前的AR科普繪本還需要堅持內容為王，在文本創作上堅持科學性、趣味性、藝術性的平衡，在技術融合上向深層次和多元化方向發展，不能只是將AR技術在科普繪本上進行簡單疊加，而是要使AR技術與科普繪本的內容進行深度融合并優化體驗性設計，才能吸引兒童的注意力進行有效閱讀，達到傳播科普知識的目的。

參考文獻：

[1]徐翔，王麗，翁瑾.AR/VR技術與信息傳播模式重構[J].出版廣角，2018（19）：65-67.

[2]馬俊鋒，高宏斌.數字時代科普圖書的界定分類及統計研究概況[J].科普研究，2017（5）：43-49+57+108-109.

[3]陳蓓.“出版+AR”：智媒時代兒童圖書出版的優化策略[J].出版廣角，2019（2）：62-64.

[4]詹秦川，趙洋.AR技術與傳統紙媒的交互融合設計研究[J].包裝工程，2018（6）：139-144.

作者簡介：張慧娟，武漢設計工程學院藝術設計學院副教授。研究方向：視覺傳達設計。

編輯：宋國棟