混合現實（MR）出版的理論與實踐探索

【摘 要】 作為MR出版的應用代表和探路者，MR“魔法報刊”在我國多地已經完成實驗室研發，并投入實際應用。基于混合現實場景技術的MR出版具有三大形態特征：場景化、融媒體和交互性。這三大形態特征均源于混合現實技術的特征。MR“魔法報刊”的出版制作可以概括為平臺化的六大保障和技術流程的七個環節。

【關 鍵 詞】MR出版；“魔法報刊”；技術流程

【作者單位】張雷，河北大學新聞傳播學院。

【中圖分類號】G230 【文獻標識碼】A

近年來，在虛擬現實領域出現了一個新的方向，即混合現實（Mixed Reality，MR）。該技術是由“智能硬件之父”多倫多大學教授Steve Mann提出的介導現實發展而來的。早在20世紀七八十年代，為了增強自身視覺效果，讓眼睛在任何情境下都能夠看到周圍環境，Steve Mann設計出可穿戴智能硬件，這被看作是MR技術探索的起步。

一、MR出版，以新的方式體驗不同的世界

按照多倫多大學工業工程系保羅·米爾格拉姆提出的“現虛擬連續體”概念，混合現實（Mixed Reality，MR）、虛擬現實（Virtual Reality，VR）、增強現實（Augmented Reality，AR）和增強虛擬現實（Augmented Virtuality ，AV）都是場景科技的具體體現，它們之間既存在聯系，又有區別。

簡單來說，VR的視覺呈現方式是阻斷人眼與現實世界的連接，通過設備實時渲染的畫面營造出一個全新的世界。AR是通過計算機系統提供的信息增加用戶對現實世界感知的技術，將虛擬的信息運用到真實世界，并將計算機生成的虛擬物體、場景或系統提示信息疊加到真實場景中，從而實現對現實的增強。MR則是對VR、AR的集成應用和提升，它通過將真實環境和虛擬環境相融合的技術，通過實景與虛景的結合，構造用戶所需的高臨場感多維場景體驗。根據Steve Mann的理論，智能硬件最后都會從AR技術逐步向MR技術過渡。

新技術與出版的融合不斷改變著傳統出版的形態和內涵，MR代表了場景科技下一步的發展方向。在數字出版方興未艾之際，以虛擬現實（VR）、增強現實（AR）和混合現實（MR）為代表的場景技術的崛起又為傳統出版和新興出版融合發展提供了新的技術和平臺支撐。于是，MR出版，也就是混合場景技術出版應運而生。

在電影《哈利·波特》中，魔法世界有一份“活”的《預言家日報》，報上的人物能直接與閱讀者進行視頻對話。在現實世界里，借助MR技術，報紙、雜志和圖書等平面媒體上的內容也能轉變為活動的視覺圖像展現在讀者眼前。作為MR出版的應用代表和探路者，MR“魔法報刊”在我國多地已經完成實驗室研發，并投入實際應用。2016年5月14日，第十二屆中國（深圳）國際文化產業博覽交易會烏魯木齊館，《新疆經濟報》與新疆云聯智慧網絡有限公司聯合制作的“概念版魔法報紙”正式亮相，它將虛擬現實（VR）、增強虛擬現實（AR）技術引入傳統紙媒，讓人可以借助手機和智媒互動，身臨其境認識并體驗新事物。2016年9月，《新疆經濟報》推出了第一張正式應用版的“魔法報紙”——《新疆經濟報亞歐博覽會特刊》，將MR出版從實驗室研發推進到實際應用。

國內其他紙媒，如《深圳晚報》《洛陽晚報》《華西都市報》《成都商報》《文匯報》等，同樣也推出過基于MR技術的動態新聞，力求在有限的敘事場域中無限延展讀者的認知空間。在國外，美國的《紐約時報》《華爾街日報》《洛杉磯時報》，英國的《金融時報》，日本的《東京新聞》《每日新聞》等紙媒，都陸續在傳統新聞報道中運用MR技術，使報紙可以動起來，響起來。此外，復旦大學已經推出了“復旦印象”新媒體客戶端，主要通過MR技術使靜態圖片在手機屏幕上呈現動態效果和互動內容，實現像哈利·波特魔法報紙一樣的鮮活效果，并進一步拓展，將豐富的文化內容、實時的互動服務運用在校園報刊、海報、一卡通、展覽、建筑、超市和校史讀物等多個場景。出版對新技術的應用從未停止，從印刷術、電報、電話、廣播和電視一直到互聯網、移動互聯網和虛擬現實，出版與各種最新技術的融合造就了當今世界豐富多彩的出版圖景。

波普爾“三個世界”理論中，存在三個世界，即物理世界（簡稱“世界1”）、精神世界（簡稱“世界2”）和客觀知識世界（簡稱“世界3”）。而所謂的“世界4”或“第四世界”，則是指20世紀70年代后，人類借助電腦網絡、電子通信、虛擬技術和豐富的想象力將光、電、色、能、數字與信息集于一體，對宇宙萬物和人類的政治經濟、日常生活模擬縮合，構建起的一個新天地。它是對賽博空間、虛擬現實、網絡世界和信息社會等新實體的綜合。“世界4”與波普爾的“世界3”相比，突出展示了人的主體性、超現實性、虛擬性和想象性。如今，MR把真實和虛擬世界融為一體，創設出一個現實和數字化物體共存并能實時交流的場景世界，這又是一個嶄新的世界，我們不妨把其稱之為“世界5”。當我們處于現實和數字化世界交叉地帶的虛擬、增強和混合現實場景之中，我們認知、感受和體驗世界的方式也發生了新的變化。

二、MR出版的三大形態特征

MR出版是將混合現實技術，即MR運用于出版的采集、制作、呈現和傳播所產生的新的出版形式。MR出版讓我們以新的方式認知體驗一個與以往不同的世界。

基于混合現實場景技術的MR出版具有三大形態特征：場景化、融媒體和交互性。這三大形態特征均源于混合現實技術的特征。混合現實具有增強現實的虛擬融合、實時交互以及三維注冊的特征，較之虛擬現實系統，混合現實在真實性和交互性上具有更好的效果，超越了增強現實系統所具有的功能。混合現實的最顯著特征是虛實的無縫融合，即為虛擬環境與真實環境之間的鴻溝搭建穿越的橋梁。

1.MR出版具有明顯的場景化特征，實現了出版認知的高維性，顯著提升了出版報道的廣度和深度

MR出版不僅可以近乎完美且生動地復現出版事件的現場和全貌，而且可以讓用戶借助VR、AR和AV設備，親身進入具體情境，在全景呈現的大場景中把握出版事件的來龍去脈，從任意視角捕捉各類細節。受眾希望了解更多深層次內容時，只需要在移動終端上點開APP，掃描或識別一下，海量的背景信息、深度內容便會以文字、圖像和音視頻等多種形式被喚起，以此增強用戶的現實體驗，延伸其感官功能和認知空間。endprint

2.MR出版具有顯著的融媒體特征，打通了紙媒、電媒和網媒，實現了多種傳播方式的大集成

“魔法報刊”是典型的MR出版應用方式，它以MR融媒體運行機制為保障，以紙媒為直觀呈現載體和入口，以混合現實場景技術為深度閱讀體驗支撐，借助普及化的智能手機應用，改變傳統紙媒體承載、傳播信息的方式，實現從二維到多維、單向到交互閱讀體驗方式的變革。

MR出版的運行不僅打通了平面媒體、音視頻和虛實場景之間的界限，還將進一步驅動傳統媒體機構迅速建立起中央廚房式的融媒體平臺，推動傳統出版業與新興高科技產業之間的跨界融合。借助MR出版，當你在看一張電影海報時，它可以直接變成電影預告片呈現在你的眼前；當你在雜志上看到一款喜歡的汽車，它會變成一輛3D汽車，躍然紙上。

3.MR出版具有強烈的交互性特征，打通了人的視覺、聽覺和觸覺，實現了感官體驗、人體行為和大腦思維的同步沉浸

通過MR出版，用戶可以同時與虛擬環境、真實環境進行協同交互，同時系統也為用戶與虛擬環境之間的交互提供更加直觀、自然的溝通途徑。虛擬環境與真實環境的實時同步也使人們可以在真實環境中真切地感受來自虛擬環境的一切模擬或幻想的事物，從而更加容易進入角色，增強使用的趣味性。

MR出版力求通過為用戶提供視覺、聽覺和觸覺等多種直觀而自然的實時感知交互的方式與手段，實現沉浸性（Immersion）、交互性（Interactivity）和想象性（Imagination）。不僅如此，MR出版同時又給虛擬現實的3I特征附加了新的內涵。在MR出版的混合現實系統中，用戶沉浸的空間不是虛擬現實系統的計算機建立的三維虛擬環境，而是一個虛實交融、混為一體的環境。交互則指用戶通過自身的感覺器官，使用專用的設備來對虛實混合環境中的物體進行觀察和操作。想象則不是用戶對虛擬環境的憑空想象，而是虛實映襯，更具感官真實感。

三、MR出版制作平臺的六大保障

MR出版是當下尖端技術在出版上的應用，包含了融媒體、大數據、場景科技、全景影像、穿戴設備、無人機、電子槍和VR狗等。這些新技術的應用將出版帶進了一個超時空的魔法時代。同時，MR出版借助虛實界科技等混合現實系統，將人類置身于一個亦真亦幻的環境里，使其把真實環境所產生的知覺與計算機生成的信息進行融合，同時采用自然的方式提供給用戶，實現用戶與虛實混合環境的有效、系統交互。MR出版制作需要借助六大保障才能順利得以實現。

1.MR出版需要借助四位一體的新型MR出版制作平臺

這個新型的平臺以場景技術為支撐，以融媒體平臺為運行保障，以大數據處理為基本能力，以全景影像采集加工為呈現基礎。技術、平臺、鏈接和載體是MR出版的核心。

2.MR出版制作需要一個精銳的執行團隊

MR出版制作團隊主要有以下人員組成：（1）創意策劃人員，負責團隊總指揮，負責方案設計，扮演產品經理的角色；（2）統籌管理人員，負責流程管理、環節統籌和資源調配；（3）內容采集制作人員，負責文字、影像和數據的采集加工；（4）技術保障人員，負責場景技術的支撐、網絡鏈接的生成和數據存儲的保障；（5）視覺設計人員，負責各個介質的視覺設計和合成測試；（6）傳播交互渠道負責人，負責傳播統籌和用戶互動。

3.MR出版制作需要大數據采集與內容生產同步進行

MR出版制作時，制作人員不僅要采集文字、圖片和視頻，還要采集場景、數據；不僅要出版書面的文字圖像，還要呈現該出版物的場景、背景和人物的詳細情況。

2014年，全國兩會上，人民網記者戴上了谷歌眼鏡來幫助自己完成采訪工作。谷歌眼鏡具有拍照、錄音、攝像和傳輸功能，可以便利地實現前方采訪與后方編輯的實時連接。2016年全國兩會上， 六個由GoPro拼接而成的360度全景相機極大地拓展了拍攝空間，無死角地記錄兩會現場的每個細節。此外，Insta360全景相機首次亮相兩會現場，這款設備只有一個看似普通的鏡頭，卻可以捕捉高清晰度、超廣角圖像，并且可以實現實時傳輸。觀眾只要轉動手機或在手機屏幕中拖拽，即可選擇任意視角觀看兩會的現場情況。這些新技術的應用為MR出版提供了新的內容和數據采集手段。

4.MR出版制作需要數據與場景制作同步

MR出版制作要考慮沉浸感、交互性和多感知性三個方面，并最終達到較好的構想性。在出版素材和數據采集的基礎上，MR技術人員進行場景制作、數據挖掘和數據合成，把以往的編輯部變成了大數據工廠。

一個理想的MR出版制作模式是在巨大的出版生產操作空間中，腦指揮中心位于這個平臺的中央位置，其他各廣播、電視、網絡、手機和紙媒等業務部門環繞周圍，多媒體記者采寫的圖、文、音頻和視頻等出版素材分別歸到各自系統，由指揮中心確定稿件的出版價值，并最終決定以一種還是幾種媒體形式呈現的方式，轉而分發給各自下線業務部門，并分別在下線部門的廣播、網絡、電視、手機和紙媒等介質平臺上對外發布。

例如，《人民日報》在融媒體運行中，借助被稱為“中央廚房”的全媒體平臺，整合采編資源，打通報紙、雜志、網站、微博和微信等平臺，實現各平臺內容無縫對接。此外，還有很多媒體打造了H5平臺，即集合文字、圖片、音樂、視頻和鏈接等多種形式的展示頁面，通過豐富的控件、靈活的動畫特效、強大的交互應用和數據分析等功能，融入圖片、音頻和游戲等元素，呈現豐富多樣的頁面動態效果，給用戶帶來社交、分享等各種形式的交互體驗。

5.MR出版傳播需要場景呈現與用戶互動同步

MR出版的傳播伴隨著場景的呈現、大數據的還原，同時也伴隨著用戶的互動與反饋。MR出版傳播通過參與者與虛擬環境的相互作用，并借助用戶對所接觸事物的感知和認知能力，以全方位地獲取環境所蘊含的各種空間信息、邏輯信息和物理信息，進而使用戶獲得身臨其境的沉浸感和人機互動的趣味性，并幫助啟發參與者的思維，達到對時空環境的現實構想。endprint

目前，MR的顯示方式主要分為四大類別：普通監視器、頭盔顯示器、手持顯示器和空間顯示器。當前，MR顯示的可行方式是以手持式移動設備終端（如智能手機）為顯示工具，并采用視頻透過式技術，將圖像信息疊加到真實環境中去。手持式移動設備終端顯示的優點是可以利用便攜的終端設備，例如，人人都有的智能手機，實現增強現實效果。

在各種虛擬現實三維顯示系統中，單通道立體投影系統是一種低成本、操作簡便、占用空間較小和具有極高性價比的小型半沉浸式虛擬現實顯示系統，除了被廣泛運用于高等院校和科研院所的虛擬現實實驗室中，也具有普通家庭應用的廣泛前景。

6.MR出版需要用戶交互與用戶體驗同步

出版是人類認知世界、表現和傳播新事物的系統行為。目前，混合現實系統的研究和應用主要偏重于增強現實領域，并且主要在視覺上進行虛實的融合，即在已有的真實環境基礎上，為用戶提供復合的視覺效果，以擴展人類認知世界的能力。MR出版不僅為人類認知世界提供了新的武器，更為呈現新生事物、傳播新生事物提供了前所未有的新載體和新體驗。借助AR技術，MR出版用戶不僅可以沉浸在出版現場中，還能以多種方式參與出版生產。用戶可以基于實地掃描現實物體，隨意為其添加增強信息圖層，并與他人共享。

MR時代，用戶不僅是出版的受眾，更成為內容的產銷者。MR出版將借助大場景的虛擬環境與真實空間相融合，增強真實感，提高交互性，使用戶能夠真正融入虛擬環境中，如同面對眼前真實的物體一樣，對虛擬物體進行觀察和直接、自然地交互。

四、MR出版流程的七個環節

MR出版就是運用混合現實技術進行制作、傳播和交互的出版模式。MR出版以四大新興技術為支撐，即MR場景技術、融媒體平臺、大數據處理和全景影像。因此，它是出版的未來形態，具有三大形態特征：場景化、融媒體和交互性。

MR出版的制作實際上就是對場景技術、融媒體平臺、大數據處理和全景影像的融合運用，其流程則可以用“五化”來概括：內容場景化、場景數據化、數據可視化、傳播交互化和交互體驗化。

作為MR出版的代表，MR“魔法報刊”的技術流程，分為七個環節（見圖1）：（1）基于混合現實場景技術與平臺系統；（2）建立具體的MR場景應用并生成網絡鏈接；（3）提取MR場景素材，進行平面印刷讀物的視覺策劃與設計；（4）打通平面印刷讀物掃描區域與MR系統的鏈接；（5）平面印刷讀物與MR鏈接的合成、測試及優化；（6）平面印刷讀物的印制；（7）借助智能終端應用軟件的呈現及互動。

MR“魔法報刊”制作是一種運用混合現實場景（MR）技術對傳統平面印刷讀物進行改造的方式（新概念報刊），它在外形上采用的是傳統平面印刷讀物的四色雙面印刷。不同之處在于，它在圖片中加入了增強現實（AR）場景網絡鏈接和虛擬現實（VR）場景網絡鏈接，一方面由于減少文字量，使得平面印刷讀物美觀、簡潔和具視覺沖擊力的特征得到加強；另一方面由于加入增強現實場景鏈接、虛擬現實場景鏈接，使交互閱讀和沉浸式體驗得到加強。該方式使得平面印刷讀物的閱讀區分成了兩部分：一部分是視覺閱讀區，另一部分是掃描區。

該方式的設計生產流程不同于傳統平面印刷讀物，采用了新型MR報紙的設計流程，除了傳統報紙的內容策劃、視覺設計、版式編排和出版印刷流程，增加了MR場景制作、網絡鏈接掃描區設計和鏈接合成測試環節。該方式的技術支撐平臺不同于傳統平面印刷讀物，采用了新型MR場景技術支撐平臺，除了有傳統平面印刷讀物的采編技術平臺、出版技術平臺，還增加了MR技術平臺、策劃創意平臺和統籌運行平臺，實現了新技術、新創意和新管理平臺的改進與融合。該方式的信息承載和傳播方式不同于傳統紙媒，采用了新型MR平面印刷讀物的信息承載和傳播方式，利用紙質平面載體，承載和傳播文字、圖片信息，增加了利用網絡鏈接和智能終端掃描的音視頻、虛擬現實場景和增強現實場景，使得信息承載的內容、形式實現了突破。該方式的閱讀體驗和交互方式不同于傳統平面印刷讀物，采用了新型MR平面印刷讀物的閱讀和交互方式，在傳統平面印刷讀物的瀏覽式閱讀、欣賞性閱讀之外，增加了借助智能終端體驗式、交互式深入閱讀的功能。

MR“魔法報刊”在示范應用（見圖2、圖3）中設置了七個掃描區，其中兩個“AR掃描區”、五個“VR掃描區”。用戶使用iPhone手機或iPad平板電腦，下載“虛實界科技”應用程序，打開程序，對準AR掃描區，即可在屏幕上看到增強現實場景。

MR出版是場景時代、大數據時代和融媒體時代三期疊加背景下，出版與前沿技術融合的產物，也可以被稱作融媒體、大數據時代的場景出版。MR出版把人帶進一個新奇的世界，而這個世界正是人用智慧和技術創造出來的。endprint