沉浸的故事：增強現實技術有聲書的內容創新

安徽大學新聞傳播學院 童 云

全民閱讀被列為我國“國民經濟和社會發展第十三個五年規劃”的重大工程之一，并提升到國家戰略高度。國家廣播電視總局（原國家新聞出版廣電總局）發布的《新聞出版廣播影視“十三五”發展規劃》提出要打造有聲讀物精品出版工程，加強有聲讀物精品的創作生產。中國新聞出版研究院發布的《2015～2016中國數字出版產業年度報告》提出，出版業需要注重內容創新，運用先進技術，對內容進行解構重組；加強產品創新，著力加強產品的可視化、多維化創新。

一、增強現實技術有聲讀物的概念

有聲書（Audio Books，Talking Books or Narrated Books），即有聲故事、“聽書”，指以實物存儲或數字存儲形式公開發行和銷售的有聲出版物。有聲書包括小說、評書、散文、詩歌、故事、外語、知識教育等有聲語言產品和服務，其中有文字依據的語音內容不低于51%。聲音具有極強的可嵌入性，可以與畫面結合制作影視作品，與人工智能結合產生語音交互應用，與虛擬或增強現實技術結合可以創造一個向現實空間延伸的故事世界。

有聲書成為繼電子書后增長最快的出版物。美國出版商協會發布的主流出版單位銷售數據顯示，2016年美國電子書收入同比下降15.6%，但有聲書收入同比增長25.8%，銷售額達21億美元。中國的有聲書市場在2000年后發展迅速，聽書網站和手機客戶端、微信公眾號等為有聲書提供了傳播渠道。聽書網站有天方聽書網、聽中國、酷聽網、暢想聽吧、惠天聽書網等；手機客戶端有“懶人聽書”“喜馬拉雅FM”“荔枝FM”“蜻蜓.fm”“考拉FM”“酷我聽書”“聽書閣”“天天評書”等；廣播電臺手機客戶端中也包含有聲書內容，如“中國廣播”“聽聽FM”“阿基米德FM”“達耳聞”“大藍鯨”等；自媒體微信公眾號如“青音”“凱叔講故事”等。

虛擬現實技術（Virtual Reality Technique，簡稱VR）是以計算機技術為核心，結合相關科技，生成與一定范圍真實環境在視覺、聽覺、觸感等方面高度近似的數字化環境。增強現實技術（Augmented Reality Technique，簡稱AR）是在虛擬現實基礎上發展起來的新技術，是將計算機生成的虛擬物體、場景或系統提示信息疊加到真實場景中，從而實現對現實的“增強”，增加用戶對現實世界的感知。由于用戶與真實世界的聯系并未被切斷，交互方式也就顯得更加自然。

增強現實技術的有聲讀物（以下簡稱AR有聲書）是指在傳統紙質圖書的基礎上，將計算機制作的視頻、音頻、三維動畫、虛擬模型、虛擬場景或系統提示信息疊加到真實環境中，實時交互，增強讀者對閱讀內容的感知和理解。AR有聲書是一種有聲版增強現實圖書，是聲音藝術與增強現實技術結合，在靜態平面圖書上創作的動態、立體、交互性可視化讀物。圖書由平面媒介變為空間媒介，由平面閱讀延伸到空間閱讀，具有立體感、動態性、交互性、沉浸感、構想性、娛樂性特點。

二、《消失的世界》—一項AR有聲書實驗

《消失的世界》是中國科學技術大學新媒體研究院周榮庭教授帶領師生團隊，以法國兒童科普作家亨利·德斯梅（Henry Desmet）作品《消失的大陸》為藍本而打造的增強現實有聲讀本。亨利·德斯梅在豐富的科普資料基礎上，以生物誕生時間為順序、以講故事的方式介紹遠古滅絕的生物，為孩子們創作了一本奇幻瑰麗的繪本。研發團隊從2015年10月開始，歷經2個月的開發，用計算機3D建模方法還原古生物外形，將語音、音樂、音效、動態視頻和虛擬模型嵌入繪本，聘請南京古生物地質博物館專家對3D形態進行專業指導。讀者用手機掃描封面二維碼下載“科學薈”客戶端，對準書中有標識的地方掃一掃，就能讓古生物活起來，圖書變成可以看、可以聽、可以玩、可以拍照的神奇繪本，不但增長知識，還培養孩子的學習興趣。

研發團隊經過21天的策劃和籌備，在“浮世云書”眾籌出版平臺上以986元的價格售賣，讀者參與眾籌的同時也參與到創作過程中。2016年初，《消失的世界》上市不到2個月便售罄，并再次印刷。這本AR繪本深受讀者好評，獲得中國科協主辦、果殼網承辦的高科技創意大賽一等獎。

三、增強現實技術有聲讀物的內容要素分析

（一）虛實疊加的故事場景

目前，基于智能手機的增強現實出版物正迅速發展。AR有聲書將計算機制作的動態模型疊加到現實中，虛擬立體影像與真實生活環境交融，形成虛實疊加場景。AR系統的基本技術包括顯示技術、三維注冊技術、交互技術以及虛實場景之間的融合技術。其中三維注冊是指系統實時、精準計算攝像機相對于真實世界的位置和姿態，以便將虛擬場景正確地安置到它應處的位置，這是AR系統的關鍵技術。在技術支持下，增強現實的目標是給用戶提供更豐富有效的增強信息，以提高用戶對世界的認知能力。

AR有聲書復原消失數億年的恐龍時代，再現太空星云、星球、黑洞，模擬火箭、飛船升空場景，超越人體自身視聽極限，增添無限遐想。《消失的世界》AR有聲書將始祖鳥、冠龍、蛇頸龍、劍齒虎、大角鹿、渡渡鳥、巨脈蜻蜓等約30種已經滅絕的動物模型嵌入書中，掃描圖書就能使它們來到讀者身邊，栩栩如生，令人著迷。

（二）嵌入交融的聲音元素

有聲書在20世紀30年代誕生之初的服務對象是視障人群，歐美國家早期的有聲書庫主要面向圖書館和學校。在教育領域，有聲讀物能夠幫助低齡兒童增加閱讀量，提升理解力和語言應用能力；有聲書深受老年群體的喜愛，可以減輕視力負擔，伴隨性閱讀讓人感到輕松愉悅。在移動互聯時代，更多熱衷于聲音的人們在開車、健身、行走途中聽書，有聲故事用聲音敘述情節、描述細節、塑造形象、勾畫場景、營造意境，使聽者產生想象的空間。有聲書在收聽的情感性、娛樂性、知識性、伴隨性等方面優勢明顯。

AR有聲書是聲音與增強現實空間交融的藝術。聲音嵌入故事模塊，讀者點擊模塊，自主選擇即將播出的內容。如《消失的世界》中掃描圖片出現大角鹿模型，它一會兒低頭吃草，一會兒行走奔跑。讀者一邊觀看3D動畫，一邊聆聽語音解說：“它也被叫做愛爾蘭麋鹿或泥炭沼澤鹿。它頭上的角超過3.5米長，重40多千克……在一年中，大角鹿只有半年是有角的，它的角只有在交配季節才會生長。”生動有趣的講述，輕松的音樂配合動態虛擬影像，如同走進立體的電影，沉浸在遠古時代。語音解說讓孩子們在沒有家長的陪伴下也可以獨自探索遠古大陸，了解滅絕動物的生活習性、滅絕原因及過程，激發他們學習的興趣和對大自然的熱愛與保護意識。

AR有聲故事的音樂和音效根據內容、情感、意境進行設計，如在《消失的世界》中古生物出現的剎那，用光束配合音樂和音效來吸引人們走進故事。

（三）沉浸交互的用戶體驗

AR有聲書的沉浸體驗可從以下三方面獲得：一是虛實交融，計算機模型疊加到真實場景，讀者在視覺上感到虛擬模型是現實世界的一部分，看到一個動態、立體的世界；二是參與互動，人與書中造型互動，參與內容生成，敘事由平面走向空間；三是以人為主，人機交互，讀者自主選擇敘事模塊中的任何部分，主動去聆聽、觀察、操作，增強對書中內容的理解。

以《消失的世界》為例，其將3D動物模型疊加到讀者所在的現實生活，讀者可用手指將動物放大、拖動，改變它的形態和大小，還可以把它們疊放到草坪、教室、桌面、掌心等真實場景中，讓動物們與讀者合影，這種隨心所欲的交互行為其樂無窮。

讀者是創作主體，從旁觀者變為參與者，參與故事的書寫，與故事融為一體，這極大地激發了讀者的想象力和創造力。AR有聲故事具有趣味性、逼真性和游戲性，讓讀者通過360度視角觀察，點擊觸發事件，收聽語音講解，并設有互動環節或游戲，強化敘事參與感，調動多感官體驗。在群體交互中，讀者還能與其他人共享虛擬環境，交互操作和演練。

《消失的世界》研發團隊還制作了AR卡牌“遠古對決”“物競人擇”和知識問答卡，卡牌與繪本關聯，是對AR繪本的補充，豐富了閱讀形式，由幾位玩家一起游戲。如“物競人擇”有46張動物卡牌，可2～4人參與，卡牌上記載每種動物的基本信息，由玩家進行提問競賽，贏得最多動物卡牌的玩家為勝。

數字媒體產品為用戶提供了個性化的內容體驗，引發用戶心理情感上的認同，體驗具有真實感，有效提高了用戶的忠誠度。交互式體驗讓讀者沉浸于虛實融合的世界，寓教于樂，增強閱讀樂趣，提高了學習效率。

四、增強現實技術有聲讀物的市場應用

AR有聲書在教育、科普、體育、醫療、旅游、建筑、房產、職業訓練等諸多領域應用廣泛。AR有聲故事目前多以科普、探險、挑戰、戰爭類型為主。AR場景中的每個故事模塊都能促使讀者去互動，讀者帶著好奇心，主動填補模塊與模塊之間的故事縫隙，去感知、觸碰、體驗和創造。在實驗教育、游戲教學、情境教學和殘障人士學習等相關教育領域，AR有聲書有廣闊的應用前景。旅游景區制作的AR有聲書可擔當導游，代替形象宣傳片；文化古跡和古董藝術品的增強現實應用，能給游客提供各種數據資料。AR醫學教材模擬人體系統，直觀展示人體的結構，幫助學生自主學習和訓練。

總之，AR有聲書是增強現實技術對圖書出版領域的變革。目前由于成本高、價格高、技術含量高等原因，AR有聲書剛剛起步。在媒體融合時代，AR有聲書對于視聽媒介產業發展將是一片可以探索的藍海。聲音藝術與新技術結合，必將產生更多的內容創新形態，值得繼續探索。

1. Martin-Gutierrez，Jorge，Luis，Saorin，Jose，Contero，Manuel：Design and validation of an augmented book for spatial abilities development in engineering students，COMPUTERS & GRAPHICS-UK，2010，34(1)。

2.中國數字出版產業年度報告課題組張立、王飚、李廣宇：《“十二五”收官之年的中國數字出版——2015～2016中國數字出版產業年度報告主報告(摘要)》，《出版發行研究》，2016年第8期。

3.周榮庭：《運營數字媒體》，科學出版社，2012年版，第35～40頁。

4.鮑金潔、周榮庭：《眾籌出版的運作模式和實踐策略研究——以〈消失的世界〉AR科普繪本為例》，《科技與出版》，2016年第8期。

5.楊麗娟、陳鵬、張鵬：《基于智能手機的增強現實技術綜述》，《軟件導刊》，2016年第3期。

6.趙沁平：《虛擬現實綜述》，《中國科學（F輯∶信息科學）》，2009年第1期。