面向元宇宙圖書館的增強現實系統設計研究

王效岳，高 旭，白如江

引言

自2021 年始,來自產業界與學術界的“元宇宙已來”的聲音越加明顯,Facebook、谷歌、華為等科技頭部公司紛紛深入其中開展智慧服務與元宇宙的聯動布局。 元宇宙作為一個新興概念,其不僅被視為互聯網 Web3.0 的啟動版本[1],也被作為智慧化服務的新基建進行產業模式革新與實踐。 從智慧圖書館的發展脈絡看,元宇宙技術試圖通過增強現實系統功能設計達成館舍空間的高度映射,實體空間、虛擬空間與物理空間緊密融合,旨在形成現實空間的虛擬衍生與虛擬空間的現實關照[2]。 因此,元宇宙圖書館在該意義上可以視為智慧圖書館的階段性發展形態。 從智慧圖書館的社會職能來說,智慧圖書館是社會信息化的基礎與核心功能參照,它是智慧社會與智慧城市建設的重要組成部分,當前乃至未來正在形成跨領域元數據高度協作的“元模式”,因此,從該意義上來說,元宇宙圖書館則是智慧圖書館在社會職能上的“更加社會化”的體現。 元宇宙圖書館不僅需要承接智慧圖書館對知識資源的挖掘功能,還需借助增強現實元宇宙內核功能對海量知識進行感知、開發、加工和利用。 元宇宙增強現實功能提高了信息系統的視覺效果和用戶體驗,增強現實技術在圖書館智慧化管理與運營中的作用也愈加突出,是智慧圖書館與智慧信息可視化技術的前沿研究熱點,在教育、醫療、交通、圖書出版等領域有著樂觀的應用前景,本文結合元宇宙圖書館的特點和業務需求,詳細設計了增強現實的系統功能,并對增強現實在元宇宙圖書館中的應用進行了探索。

一、增強現實及其應用

(一)增強現實概述

增強現實(Augmented Reality,簡稱AR)的概念是由美國波音公司的Caudell T 較早提出并經過虛擬現實的概念創新與實踐應用而最終確定下來的[3-5],它將計算機構造的虛擬空間和真實世界疊加融合并借助各種顯示設備(如電子屏幕、移動智能終端設備、投影設備、智能穿戴設備等)進行“虛擬—現實”的交互式可視化展示,強化用戶對現實物理空間與環境的智能觸達,增強對真實世界的關鍵信息與元素的表征[6]。

增強現實技術有三個重要特性,即真實性、交互性和實用性。 真實性是因為增強現實是以真實世界和環境為基礎的。 交互性主要是指人機交互,主要體現用戶和增強現實系統具有交互過程,通過交互,用戶可以獲得所需的最佳信息。 實用性是指增強現實系統能夠和實際應用相結合,能夠促進行業和社會經濟的發展,具有較高的實用價值。 這三個重要特性恰恰是智慧圖書館向更加智慧與更加落地的場景應用轉變所需要的,智慧圖書館建設的核心訴求是使各種館藏資源在虛擬域與現實域中得到更大程度的有效利用,將大規模數據資源細粒度匹配用戶個性化需求,未來智慧圖書館發展模式也將更加注重用戶感知體驗,切入精準知識需求,承載更多的新時代社會職能,因此相應地需要圖書館管理人員與用戶之間形成智慧交互體驗模式。 隨著元宇宙理論與技術的不斷成熟,未來智慧圖書館發展將可能更多地聚焦元宇宙圖書館的系統功能設計與模型構建之上,而增強現實技術作為建設智慧圖書館的重要智能技術,需要詳細設計其系統功能,并將其切入元宇宙圖書館的場景應用當中。

(二)增強現實技術在圖書館形態中的應用進展

增強現實技術在國內外圖書館形態中的應用呈現出由淺入深、由點到面的規模場景化態勢。目前圖書館形態主要包括智慧圖書館與元宇宙圖書館。 隨著智慧技術與智慧場景的集成融合,日益豐富的智慧圖書館生態孕育產生了新興元宇宙狀態,而作為新型交互式技術,增強現實正在調動現實自然人的環境感知與感官感知的互動平衡體驗,并由此產生空間交互的沉浸感,從而推動了圖書館形態由智慧圖書館向元宇宙圖書館交叉融合。 2020 年《國際十大戰略技術趨勢》報告將增強現實技術放在產業創新與科技創新部署的高度,《中國圖書館學會“十四五”發展規劃綱要(2021—2025 年)》也明確闡釋了增強現實技術在圖書館生態轉型發展中正在起到信息加持與創新驅動作用[7]。

具體而言,國內外圖書館智慧化服務實踐中普遍借助增強現實技術應用于圖書館資源導航、資源定位、圖書智能布排、館藏資源重組以及特色資源展示與推廣活動等方面,并嘗試性布局智慧空間與虛擬空間重組與再造的元宇宙業務探索與應用。 圖書館資源導航定位與智能布排尤其借助增強現實技術實現質的提升,基于位置空間的AR 服務模式被廣泛應用,通過位置特征標識算法連接圖書館資源數據庫,將地理空間與地圖模型進行可視化上傳,并且可以通過RFID(Radio Frequency Identification)標簽進行智能識別,一是可以協助用戶快速鎖定所需文本或書籍等知識載體,另一方面可以提升圖書館工作人員的工作效率,增加智能化工作體驗[8]。 比如芬蘭奧盧大學制作的Smartlibrary 可以借助增強搜索引擎賦予圖書資源的“大腦智慧”響應以幫助用戶尋找書籍,美國北卡羅來納州立大學設立WolfWalk 項目實現校內人物與場景智能匹配[9],美國邁阿密大學圖書館的排架應用ShelvAR 將目標書籍Tag 碼上傳到感知數據庫中,實現跨空間的移動終端自動感知定位目標書籍的功能[10]。 在館藏資源重組方面,增強現實技術將文獻資源進行存儲形式的擴展與整合,形成視頻、圖片、音頻等多種形式的資源展示模式,比如英國曼徹斯特大學與約翰·里蘭茲圖書館合作的SCARLET 項目通過增強移動視覺搜索技術實現“iPad 掃描書籍能夠放大圖書文本、圖像以及關聯內容推薦”功能[11],美國賓漢姆頓大學圖書館開發的“奇妙AR 圖書”系統借助增強三維動畫和AR 技術,將圖書故事與虛擬數字人形象融入到現實場景,實現感官增強與閱讀增強[12]。 AR 特色資源導航系統照進現實,并實現了館內與館外的多源信息匹配[13],由此可見增強現實技術在圖書館具體形態中的應用日益廣泛。

二、元宇宙圖書館及其特點

(一)元宇宙圖書館的內涵

元宇宙的概念最早可見于科幻小說Snow Crash 中有關“Metaverse”的描述,小說敘事設定了人類通過增強現實技術實現虛擬數字人的靈境空間創造“人生新經歷”。 維基百科對元宇宙的定義是“一個集體虛擬共享空間,由虛擬增強的物理現實和物理持久的虛擬空間融合而創造,包括所有虛擬世界、增強現實和互聯網的總和”[14]。Roblox 公司率先歸納了元宇宙的八個特征:可創設虛擬數字人形象的身份特征(Identity),可跨領域社會交互的朋友特征(Friends),聯動虛擬空間與現實空間的沉浸感特征(Immersive),即時即用與即到的終端化出入的隨地性特征(Anywhere),感知生活和娛樂的多樣化與交叉性的多元化特征(Variety),借助5G、邊緣計算、區塊鏈等技術的感知低延遲特征(Low Friction),虛擬用戶原創付費與現實價值增值的經濟特征(Economy),兼顧互聯網弊端消解與倫理監督的文明化特征(Civility)[15]。 元宇宙還初步具備了產業鏈與科技創新鏈聯動的開發生產功能特征,正如研發工具商Beamable 公司所概括的包括體驗(Experience)、發現(Discovery)、創作者經濟(Creator Economy)、空間計算(Spatial Computing)、去中心化(Decentralization)、人機交互(Human Interface)、基礎設施(Infrastructure)等產業功能價值特征[16]。

近年來,國內外圖書館生態發展呈現出元宇宙智慧化態勢。 元宇宙圖書館形態是智慧圖書館發展的必經階段與必然產物。 元宇宙圖書館形態是智慧圖書館借助新型智慧集成技術(如大數據技術、人工智能技術等融合會聚)所實現的虛擬服務的智慧化模式與方案,智慧讀者服務與圖書資源服務通過智能化、物聯化的運營與管理組織方式,將圖書館業務流程各項功能模塊進行“虛實”協同工作,從而借助數字鏡像實現圖書館管理與服務在“現實—數字—虛擬”層面的空間擴容與智慧交互。 從本質需求來看,元宇宙圖書館是將最新的信息技術和人類對圖書館的需求充分融合的一種新的發展模式,經過圖書館信息島(Cybrary City)、虛擬圖書館以及“第二人生”的智慧化應用,逐漸延伸到智慧空間再造與虛實交融的元圖書館探索階段[17],隨著國家圖書館跨域全體系建設規劃的提出,虛實融合的知識組織、管理與服務生態體系逐漸成為基于讀者用戶知識細粒度多維感知需求的圖書館元宇宙探索新路徑[18]。筆者認為,通過增強現實技術與工具實現用戶虛擬感知、機器多元協作以及虛實環境感知閉環構造是元宇宙的核心發力點,智慧圖書館的未來發展也在一定程度上自然地轉向元宇宙模式布局探索進程當中,并試圖尋求智慧圖書館與元宇宙的理論與實踐融合,即元宇宙圖書館生態模式。

綜上所述,元宇宙圖書館的核心訴求是依托最新信息集成技術并借助于增強現實系統設計促進智慧圖書館各個要素的互聯互通,實現圖書館資源高效整合、運行低碳環保、服務方便快捷,以智慧化服務為目的,將技術理性、工具理性與價值理性應用于圖書館元宇宙生態中,達到現實空間與虛擬空間、現實資源與虛擬資源、現實自然人與虛擬數字人緊密互聯的、以人為本的新型圖書館[19]。

(二) 元宇宙圖書館的特點

元宇宙圖書館注重智慧圖書館基礎架構上的數據處理、技術重構、虛實融合、機制認證以及內容生產,分別體現在以云計算與人工智能算力提升為核心數據處理基礎設施搭建、以現實自然人為本質驅動的人機交互技術重構、以環境感知與空間再造為體驗訴求的空間計算與虛實交融、以去中心化為主要價值觀的數字資產與價值界定認證機制以及以虛擬數字人創設分發為表現形式的內容生產等。 結合前文所述元宇宙特性,筆者認為元宇宙圖書館具有以下特點。

1.人文關懷

元宇宙圖書館需要承接智慧圖書館面向現實自然人的個性化需求的努力方向,充分體現以人為本的時代特征。 該特征主要體現為對圖書館管理人員和圖書館用戶的全方位多角度關懷。 其一,對圖書館管理人員的關懷。 元宇宙圖書館使用最新信息技術及設備,并建立智慧型圖書館管理和服務機制,減輕圖書館管理人員的業務負擔,使圖書館管理人員有更多時間和精力投入到圖書館智慧服務中。 其二,對圖書館用戶的關懷。 智慧化圖書館管理模式下,圖書館管理更加注重用戶體驗,為用戶提供更為便捷的知識和信息服務,尤其是增強現實注重用戶身心與思維的碰撞體驗,通過直觀的視覺效果為用戶提供可視化信息服務,體現了以人為本的理念。

2.智慧感知

元宇宙圖書館搭建全域智慧感知體系,通過“現實自然人—虛擬數字人—人機交互—環境感知”的全方位、多維度、立體層的智慧元結構搭建,彌補現階段智慧圖書館生態在全域感知中的短板。 智慧感知也是依靠互聯網和物聯網,通過元宇宙圖書館的感知功能,全面實現圖書館中人、物與各種數字資源的智慧感應,精準標注圖書館空間環境中的多層次元素并實現動態捕捉,將人、機、物以及文獻資源進行業務流程重構,將增強現實技術的以點帶面傳感功能發揮出來,并依靠其基于人工智能技術的目標圖像智能識別功能自動感知并獲取環境信息,實現自動提供圖書排架、圖書館導航、環境立體感知、應急安全管理等智能功能,體現了全域智慧感知的特點。

3.虛實映射

元宇宙圖書館借助虛擬現實技術、大數據集成技術、擴展現實技術、人機交互與接口技術、數字孿生以及區塊鏈技術等進行虛實空間、虛實映像、虛實靈境以及虛實元素的融合映射,打造出極具沉浸式體驗感的靈境世界。 主要體現在“現實世界中的虛擬服務”與“虛擬世界中的現實感知”兩個層面。具體來講,現實中的虛擬服務承接智慧圖書館在虛擬服務理論與技術實踐中的優良基礎,并借助虛擬數字模型與虛擬視覺觀感進行現實物理空間內的感官體驗,通過照影與仿真推演技術構建虛擬現實系統；而虛擬中的現實感知則是聚焦增強現實集成系統在VR、XR、AR 技術中實現物理場景的虛擬延伸,即在現實自然人轉化為虛擬數字人的世界中進行全域空間感知,具備了沉浸式無意識瞬間的真實感與真實世界的感官體驗。 虛實映射可以突破時間與空間限制,能夠提升圖書館知識和信息的交流與共享,實現二維到三維形式的知識展示與元素感知,并逐漸應用于智能工作與學習的開放式情景空間產品設計與學術研究中。

4. 智能管控

元宇宙圖書館可以依靠增強現實的虛擬數字仿真推演模型進行全域“人—物—機”的內容使用管控與“館員—問題—用戶”的服務創新管控。采用基于代理Libagent 的移動AR 增強現實圖書館管理系統模型并將圖書館空間中的人、機、物及其相關要素輸入其中,通過圖書館業務流程生命全周期與服務多層次的現實跟蹤與虛擬仿真,形成基于增強現實系統的元宇宙圖書館智能管控體系,從而實現圖書館的館藏資源建設、精準智慧服務、細粒度知識服務、在場感營造與后勤應急管理協調等協同交互的虛實映射管控效果。 另外,依靠增強現實的虛擬數字仿真推演還可以預判性地發現圖書館發展過程中的宏觀與微觀問題,潛在風險與機制沖突,管理障礙與漏洞等問題,做到管控過程中的“醒早看遠”。

三、以元宇宙圖書館為應用場景的增強現實系統設計

(一)元宇宙圖書館增強現實技術架構

1. 技術架構

依據元宇宙的技術底座(數據環境、虛實映射、信息處理、機制認證以及內容分發)相應布局元宇宙圖書館增強現實功能,主要為數據環境應用(5G 環境下的速率、頻效與算力)、虛實擴展映射(虛擬現實VR、增強現實AR、融合現實MR)、數據激活處理(云計算與人工智能)、機制認證(去中心化與共識共享機制)以及內容分發(虛擬數字人與數字孿生)。 未來圖書館現實增強業務需求主要包括環境感知增強、場景體驗增強、信息元素增強、機制規則增強與內容可視化增強等主要技術業務。 依據元宇宙技術底座所提供的技術支持,智慧匹配圖書館現實增強技術需求,相應設計元宇宙圖書館增強現實技術架構,具體如圖1 所示。

2.技術模塊說明

元宇宙圖書館的增強現實技術架構包含八個具體模塊,分別是采集設備模塊、標識碼識別模塊、圖像識別模塊、圖像跟蹤模塊、多層圖像動態融合模塊、增強現實空間搭建模塊以及環境渲染模塊。 具體原理如下。

(1)采集設備模塊。 主要是固定終端設備或移動設備進行圖書館各組成要素形態與內容信息的采集,設備一般包含加速度計、藍牙接收器、電子掃描器、陀螺儀、指南針、攝像頭、GPS 系統和Wi-Fi 等定位組件,實現精準高效的設備采集工作,同時該模塊還包含跨平臺封裝計算機、iOS 和Android 等多種系統載體。

(2)標識碼識別模塊。 主要通過特定標識碼實現傳感器掃描與確認過程的架構,比如專屬二維碼、條形碼以及動態碼等,比較典型的應用案例是奧盧大學圖書館SmartLibrary 元宇宙項目,該項目中采用加密與風控加成的RFID 標簽作為圖書資源精準識別的標識碼,利用該技術對圖書館文獻資源進行標注與定位,可以迅速且精準地通過無線WiFi 技術實現即時傳遞與實時跟蹤,結合增強現實技術構建的虛擬元宇宙進行現實增強模擬,以優化現實自然人讀者的閱讀體驗。

(3)目標元素識別模塊。 主要通過配置識別目標圖中的各類元素(讀者畫像、用戶畫像、設施畫像、環境畫像等)的動態演化態勢與相應特征,對該目標圖進行識別和檢測。 比如虛擬數字人文活動作為元宇宙圖書館的經典業務之一,其所蘊含的諸多數字元素(古籍文字、朝代紀元、人物故事、遷徙軌跡等)都可以實現快速精確的目標元素識別并上傳到目標圖中。

(4)圖像識別模塊。 主要是在前述目標元素識別模塊的基礎上進行增強現實,分別從動態轉化和圖像構造這兩個層面來實現該模塊。 前述目標元素構成靜態的目標圖或者目標圖譜,利用增強現實中的激活處理技術和區塊鏈技術進行元素動態圖譜與演進構建,借助AR Studio 技術形成連續動態圖像,從而實現好看又好用的元宇宙圖書館目標圖像。

(5)圖像跟蹤模塊。 主要采用基于位置移動的AR 服務程式,通過硬件定位功能和人工智能視覺定位技術實現目標圖像的跟蹤,既可以做到沉浸式觀感體驗升級,又可以隨時檢查圖像損壞或圖像漏洞等問題。

(6)多層圖像動態融合模塊。 該模塊主要是采用多線程協作機制實現多個目標圖和目標圖像的演化跟蹤,借助確保圖書館用戶獲得多層次立體觀感體驗。

(7)增強現實空間搭建模塊。 主要利用數字孿生技術實現現實和虛擬的復制與映射。 首先借助虛擬數字模型與虛擬視覺觀感進行現實物理空間虛擬模型構建,再利用數字孿生技術建立真實物理空間的全真動態模擬孿生體,將現實空間中的更細粒度的人、物等元素借由傳感器映射到元宇宙孿生體上,從而實現增強現實空間搭建。

(8)環境渲染模塊。 在增強現實空間中放入諸如虛擬人、虛擬物種、虛擬產品、虛擬講座、虛擬圖書等全鏈路元宇宙生態鏈條,輔之以動態調整反饋機制,為現實給自然人讀者和館員帶來最前沿的元宇宙技術應用支持與創新體驗。

(二)元宇宙圖書館增強現實系統設計基礎原理

元宇宙圖書館增強現實系統設計基礎原理為系統構建提供理論與原則指導,主要包括:識別匹配原理、融合交互程式,具體如圖2 所示。 識別匹配原理包含圖像采集、圖像識別和圖像匹配,圖像采集原理主要是借助圖像采集設備和軟件有效地識別圖書館靜態圖像或動態場景圖,利用增強程序進行圖像特征元素提取,進而將識別特征結果傳遞給圖像匹配程序,圖像匹配程序從圖書館館藏資源里按照識別特征進行檢索,查找和圖像特征一致或相似的資源,同時將這些資源提供給融合交互程式。 融合交互程式包括虛實多位圖像合成、多維圖像映射和多層人機交互三部分程式,虛實圖像合成將圖書館館藏資源中需要顯示的圖像或知識與真實場景合成目標圖像,通過圖像投影程序,將目標圖投影在顯示設備上,形成增強現實場景,通過人機交互程序和圖書館管理員及其他用戶進行各種交互操作。

圖2 元宇宙圖書館增強現實系統設計原理

(三)元宇宙圖書館增強現實系統框架設計

增強現實元宇宙技術底座的融合集成式輔助技術,對于“元宇宙＋X”模式的運行與擴展作用重大。 在智慧圖書館走向數據驅動與數智融匯的后信息時代,元宇宙生態的完善路徑則對應著增強現實在數據、智慧以及全域感知的體系構建。 智慧圖書館的持續向好發展有賴于其經典的館員服務業務提升與用戶知識服務業務優化,這兩者之間存在交互與感知的天然紐帶,而實現紐帶作用則更加需要增強現實對于虛實交融的根本技術加持和價值理念推動。 要實現“館員—交互感知—用戶”的圖書館智慧服務結構與業務流程,應主要聚焦增強現實的系統性功能原理及其相應的系統框架設計,保證元宇宙圖書館系統高效平穩運行。 元宇宙圖書館增強現實系統框架主要基于數據環境層、物理感知層、人機交互層、智能管控層以及增強現實應用層5 個模塊,具體如圖3 所示。

圖3 元宇宙圖書館增強現實系統設計框架

(1)數據環境層。 數據環境層是整個元宇宙圖書館增強現實系統設計的基礎。 在現實物理圖書館空間與環境中將人(讀者、館員、管理人員、知識創造者、傳播者、使用者等)、館藏資源(關聯資源、網絡資源、知識資源等)以及環境要素(物理空間、教育空間、閱讀環境以及社交娛樂環境等)產生的數據與相應的環境進行關聯與確定,并將數據環境信息進行專門存儲,采用增強現實識別匹配原理進行數據環境降噪與增強。

(2)物理感知層。 利用感知設備、數字工具以及分析軟件進行“人—機”融合交互程式化處理,形成圖書館元宇宙的基礎數據全鏈條協同元宇宙信息,并逐漸取代實體數據環境信息。 主要依托的物理感知中心、設備或工具有:AioT(人工智能物聯網)、云計算中心、邊緣計算中心、云化架構等。

(3)人機交互層。 將圖書館人員構成按照現實需求進行重組聚類,形成現實自然人與虛擬數字人。 將圖書館機器設備按照軟件應用和硬件支持兩部分進行,并形成實體設備資產和虛擬設備資產。 其中,現實自然人主要聚焦知識服務的需求端和制造端,并由文獻資源展示、資源館藏咨詢等業務進行維護與跟蹤；虛擬數字人則是通過人工智能人像抽取、圖像識別以及3D 渲染技術進行現實自然人形象和情感表達的再加工,主要由虛擬數字咨詢、元宇宙空間導覽、移動視覺搜索(MVS)以及移動增強現實(MAR)等業務進行維護和跟蹤[20]。 此外,人機交互層主要通過智慧感知與智慧感應技術進行設備與業務的功能實現,并由此形成包括味覺、觸覺以及聽覺和心靈的多維度綜合立體人機交互效果。

(4)智能管控層。 該層聚焦元宇宙倫理治理與圖書館文化關懷職能,旨在將實體政府、文化平臺、智庫平臺以及研究機構乃至高校進行元宇宙智能規約,有助于實現智慧圖書館不容易實現的問題預判、矛盾排查、業務布排、智能監控以及應急管理等,從而在元宇宙生態健康發展與圖書館問題規制的雙重規約下進行智慧治理。

(5)增強現實應用層。 該層主要以“元宇宙＋圖書館”作為應用場景,將增強現實外延擴展到傳統智慧圖書館的社會服務功能上來,比如在圖書館較具代表性的閱讀場景、學習場景以及主題展覽場景等進行增強現實的技術、工具以及倫理的應用與傳播,從而對于構造真正的元宇宙圖書館全仿真虛擬空間提供全方位增強現實的基礎依托。

四、結語

元宇宙時代或許越來越近,元宇宙產業與框架仍處在初期探索階段,但增強現實技術卻已經深度融入我們的工作和生活。 面對未來智慧圖書館在館舍升級、空間再造、虛實融合、集成管理以及業務重構等方面提出的戰略要求,我們理應保持前沿技術跟蹤、問題漏洞排查、知識產權保護以及體系敏捷治理等方面的探索熱情,而增強現實不僅局限于技術層面的系統功能與應用,它作為一種知識資源組織利用與共享的有效手段,將伴隨著元宇宙產業在未來圖書館生態的布局過程中發揮出更有價值的作用,從而繼續幫助智慧圖書館乃至元宇宙圖書館為更多的讀者提供更加多樣與多元的精準知識服務與社會職能重構。