聲景觀虛擬仿真資產管理
——以SketchUp平臺作為中間件

馬少典 童 雷

北京電影學院聲音學院,北京 100088

1 聲景觀虛擬仿真的技術發展

近年來,以虛擬現實 (VR)和增強現實 (AR)為基礎的虛擬建模仿真技術越來越多地應用于影視拍攝的虛擬預演、大型文藝活動的場景仿真以及建筑空間的方案設計等領域,改變了過去主要基于靜態圖紙推演的設計方式。將虛擬仿真技術引入建筑空間的規劃與設計過程,能夠輔助評價與決策,為設計方案提供有益的參考。空間聲景觀的虛擬仿真是上述設計手段的重要組成部分。

基于三維模型的虛擬仿真依賴于模型信息的準確記錄,目前比較主流的有BIM(建筑信息模型)技術和GIS(地理信息系統)技術。籠統地說,GIS技術往往用于室外大面積地理空間的調查統計,生成的數據模型對于建筑物細節的描述較少,而BIM技術更適合建筑物及其室內空間相關的模型數據。基于GIS(地理信息系統)技術的聲景觀信息采集技術,近年來有多位研究者結合實際的工程案例,初步總結了基本的實踐方法。虛擬仿真相關技術已經越來越多地參與到聲景觀調研的實踐環節,歐美國家在這方面的研究積累已有超過十年的時間。西班牙龐培法布拉大學的音樂科技小組 (Music Technology Group Universitat Pompeu Fabra)早在2011年就發表了關于虛擬聲景觀合成的研究成果,文章闡述了用于記錄聲景觀地理信息的 “聲音地圖”文件,并介紹了面向聲景觀數字合成的基礎參數結構。該項目使用衛星地圖Google Earth提供的地理位置標記功能,支持導出KML格式的地理信息數據文件。該技術用于聲景觀數據的管理,普及程度較高,被世界范圍內許多聲景觀研究項目采用。2015年扈軍的博士論文則以西湖景區的聲景觀調研作為背景,詳細介紹了GIS數據從采集直到后期處理各階段的實踐過程。該論文比較系統地呈現了GIS技術介入聲景觀調研的工作方法,尤其是對調查區域的劃分和采樣點的選擇策略,值得參考。雖然研究的主體聚焦于聲景圖相關的數據處理與聲景圖的繪制,但文章中初步提出了虛擬現實技術在聲景觀調研中的應用,具有一定參考價值。2016年凱瑟琳 (Catherine Lavandier)等人介紹了基于地理數據模型的聲景圖生成方法。研究著眼于城市聲景觀中交通、人聲以及鳥鳴聲等多種元素的分布密度規律,并探討了聲景觀空間密度的可視化,在此基礎上,研究了場景愉悅度指數的預測模型。該研究從數據可視化與參數預測的角度,探討了地理信息模型與聲景觀規劃預測之間的關聯。2019年桑得羅 (Sandro Sacchelli)等人展示了一套基于虛擬現實 (VR)技術與土地信息系統 (Land Information System,LIS)的聲景觀采集、評估實踐案例,旨在借助上述多種技術輔助文化生態景觀的評估和管理。但是對于聲景觀的資產數據記錄以及信息管理方案,文中并未提及具體細節。同年,馬卡斯 (Berger Markus)等人利用虛擬現實 (VR)技術,探索了第一人稱視角下城市聲環境的仿真系統方案。重點研究了大尺度空間環境中沉浸式視覺與聽覺要素的耦合程度,并對不同密度的采樣數據結果進行了對比。雖然主要以交通噪聲作為研究對象,但該研究將GIS信息系統中常用的City GML格式文件導入Unity3D游戲引擎,進而實現城市聲環境虛擬仿真建模,這樣的技術路線具有獨創性。2021年由Joo Young Hong等世界多位聲景觀研究學者聯合發表的論文 《基于增強現實系統自然聲補充的戶外聲景觀調研評價方法研究》將增強現實(AR)技術應用于戶外聲景觀調研,系統性地介紹了項目所運用的架構方案、場地分析方法、數據的采集方法以及處理方法。

值得注意的是,建筑物室內空間也同樣存在著豐富的聲景觀。開展建筑室內空間的聲景觀設計,尤其是在博物館、圖書館、餐廳等公共空間開展聲景觀的設計研究,具有廣闊的研究與應用價值。將GIS技術運用于室外開放性空間的聲景觀研究成果豐富,但該技術現階段無法適用于建筑室內空間小尺度的聲景觀調研。而將BIM技術的思想方法運用建筑室內空間聲景觀研究與設計的案例相對較少,特別是聲景觀的重建與生成領域,目前還處于探索階段。在BIM技術的支持下,開展聲景觀的采集與資產管理方法的研究,具有獨特的價值。

2 SketchUp平臺作為聲景觀資產管理的中間件

聲景觀調研資料和實地采集的錄音素材,是虛擬仿真場景中的重要資產。在筆者撰寫的另一篇文章 《面向虛擬聲景觀重建的素材采集方法研究》中總結了聲景觀素材采集與管理的基本工序框架,如圖1所示。尤其是在數字孿生城市這樣的大規模虛擬仿真項目中,為了實現聲景觀的虛擬重建,需要記錄的資產信息類型種類繁雜。因此更加需要選擇一種簡便易行的信息記錄工具,并根據聲景觀調研的特點進一步完善工具的功能,作為連接現場采集記錄與虛擬仿真引擎之間的信息管理中介。有了這樣的中間媒介,現場采集人員無需花費大量精力用于學習虛幻引擎的資產管理和腳本編寫的具體方法,就可以快速投入工作,形成完整且符合使用規范的資產信息,供應給后續的建模環節。我們將這樣的中介工具稱為聲景觀虛擬仿真的中間件。

圖1 虛擬聲景觀重建流程框架

Sketch Up是一款主流的三維模型建模軟件,在建筑原型設計、風景園林規劃、機械與產品設計等領域有著廣泛的應用,諸如Unreal Engine和Unity3D等主流游戲引擎平臺對Sketch Up模型文件的兼容也日趨穩定。Sketch Up軟件的產品定位是為用戶提供快速、簡便的三維模型創建功能,因此軟件的體積較為輕量化,且用戶的操作方式相較其他三維建模軟件更加直觀,能夠讓用戶在很短時間內展示出概略的三維設計構想。該軟件同時也支持控制臺中的腳本控制,開放了基于Ruby語言的API接口,支持開源插件的拓展。此外,Sketch Up具備靈活高效的多用戶協作功能,能夠將大規模復雜場景下的工作任務拆分給多個用戶協作完成。上述這些特點是Sketch Up平臺的基本特點,也是它的重要優勢。依據這些特性,Sketch Up非常適合作為聲景觀資產的采集的輔助工具,完成空間音頻素材以及各類屬性信息的記錄整合工作。筆者選取Sketch Up作為中間件,記錄素材采集過程相關的各類資產信息。

3 利用SketchUp平臺記錄采集話筒的空間信息

依據虛幻引擎對三維聲格式的支持情況,綜合考慮適用于聲景觀設計的空間音頻錄制與重放技術,現階段記錄聲景觀整體聲場的素材采集宜以一階Ambisonics話筒制式 為 主。由 Ambisonics格式錄制的空間音頻文件在重放時需要明確錄制時選用的聲道順序格式以及話筒指向的姿態。作為三維建模平臺,Sketch Up能夠非常便捷地改變三維物體在模型中的擺放位置。素材采集話筒所處的空間位置由三維模型的 (X,Y,Z)直角坐標系表示,而話筒軸的指向由 (Rotx,Roty,Rotz)旋轉角度表示 (例如Rotx表示以X軸為旋轉軸的旋轉,用角度值表示)。記錄方法非常直觀,利用Sketch Up基礎的模型編輯功能,可將話筒模型 (或簡化模型)擺放到三維場景模型中對應的空間位置和指向,以此記錄實地采集所在的空間位置和話筒的空間位置信息。Sketch-Up模型完成后,導入DataSmith,就能自動轉換為虛幻引擎所使用的坐標體系。虛幻引擎 (UE)提供了數字資產的調用接口模塊,在面對較大規模的聲景觀素材導入處理任務時,能夠大幅度提高工作效率。如圖2所示,虛幻引擎中空間音頻素材的重放可以通過調用Blueprint中的 “Play Sound at Location”模塊實現。

圖2 “Play Sound at Location”模塊

除了采用手工編輯的方法記錄話筒的空間位置與姿態之外,還可以考慮搭建基于傳感器的話筒姿態追蹤系統。該系統的基本原理是讀取位置或加速度傳感器的數據,將數值標準化轉換后,傳入Sketch Up開源的API接口模塊Geom下的標準構造類Transformation(幾何變形)。利用改構造類下屬的Translation與Rotate等方法,刷新模型的幾何位置信息。姿態識別控制系統的基本原理如圖3所示。據資料顯示,在一項名為 “虛擬3D設備接口”(Virtual 3D Device Port)的原型實驗項目中,開發者成功實現了姿態傳感器與Sketch Up模型之間的交互控制。實現原理如下:加速度傳感器固定在話筒上,識別姿態相關參數Aarduino控制器發送到指定的端口,再由Ruby腳本偵聽相應的端口,從而讀取Arduino與Sketch Up之間的串口通信。將讀取到的對應參數傳遞到Sketch Up的物理仿真插件Sketchy Physics Inspector模塊的對應變量中,最后由該仿真插件實時更新被監測話筒的位置與姿態信息。該技術可有效服務于復雜場景中大規模聲景觀采集過程的位置與角度信息記錄工作,提高采集與建模全流程的工作效率。

圖3 傳感器控制Sketch Up模型姿態的系統原理圖

4 利用Sketch Up平臺記錄資產屬性

4.1 Sketch Up平臺對IFC標準的支持

參數生成的方法越來越多地應用于城市規劃與建筑設計,虛擬場景建模的范疇已經不局限于對建筑模型幾何尺寸、表面材質等視覺層次的表現,近年來的虛擬場景建模廣泛融合了模型的參數信息。虛幻引擎內置的DataSmith導入機制也為諸如Sketch、Revit等三維建模軟件的文件數據以及IFC、FBX等三維格式的數據交換提供了便利。上述多種類型的屬性信息,是虛擬仿真場景中的重要資產。他們對于聲景觀素材采集與管理全周期中的各個環節,有著重要的參考意義。

IFC是工業基礎分類 (Industry Foundation Classes)的縮寫,是描述建筑結構物模型信息的工業標準。BIM技術的實現,需要一套跨平臺可交換的數據格式。而IFC標準是BIM業界公認度較高的一種數據格式,自1996年發布1.0版本后,多年來不斷地迭代更新。根據IFC的官方組織buildingsmart發布的文檔,IFC 4.3已于2021年6月更新到了rc4版本。但目前主流BIM平臺軟件兼容程度最好的版本仍是2005年頒布的IFC 2X3 TC。IFC采用了開源的文件格式,支持SPF、ifc XML以及ifcZIP等多種不同的文件格式,并以ASCII編碼形式存儲,因此用戶可以自然直觀地讀解文件的內容,修改與維護也比較直觀。依托IFC分類標準,在BIM模型中,每個獨立的構件或模型對象都可以擁有可識別且全局唯一的身份編碼,模型對象附帶的分類信息以及相關的屬性信息也將完整地記錄在模型數據文件中。

4.2 SketchUp平臺基于IFC的對象屬性拓展

當前,隨著BIM技術在建筑模型數據管理的應用逐漸成熟,Sketch Up平臺面向BIM技術的發展趨勢,嵌入了以IFC為內核的模型實體分類 (Entity C lassification)功能。同時也出現了以IFC Manager為代表的IFC分類管理插件。用戶可以利用該管理模塊提供的屬性拓展窗口,將素材資產的相關信息作為元數據寫入Sketch Up模型文件中。模型元數據經過Datasmith的導入操作,成為虛幻引擎中靜態網絡 (Static Mesh)類對象 (Actor)的用戶定義屬性。Sketch Up默認采用ISO/PAS 16739:2005即IFC 2X3 TC中規定的方法進行實體分類。雖然該標準是目前普及度最高、兼容性最強的IFC基礎分類標準,但缺點也比較明顯:IFC 2X3 TC標準中出現的一部分與建筑聲學測量相關的預定義參數,例如傳感器實體 (IfcSensor)、聲學測量值(IfcSound Value)、聲功率測量值 (IfcSound Power-Measure)以及聲壓級測量值 (IfcSoundPower Measure)等,這些參數尚未集成在一個功能性明確的分類領域內,導致IFC 2X3的分類體系不能很好地適應未來面向虛擬仿真環境聲景觀重建與生成的數據需要。盡管Sketch Up內部提供了簡單的模型屬性拓展,但拓展出的屬性不能很好地服務于聲景觀素材采集以及更寬泛的聲景觀調研工作。因此,有必要在原有分類規則的基礎上,新增適用于聲景觀調研的對象分類,并拓展模型屬性。圖4展示了實體信息(Entity Info)模塊,其中的高級屬性(Advanced Attributes)一欄顯示了由Sketch-Up2019版提供的默認屬性字段。

圖4 Sketch Up實體屬性信息窗口

根據筆者的試驗,由建筑師Jan Brouwer開發的Sketch Up拓展插件IFC Manager,能夠支持拓展屬性的自主定義。使用方法是在插件運行后,點擊話筒模型實體并調出其組件屬性窗口,就可以手動添加該類型的實體的屬性。在聲景觀調研工作啟動前,編輯好各類型的話筒模型的原型,在使用過程中復制最初設置好的原型,即可完整地保留最初設計好的屬性集結構。前文提到的聲景觀調研所關注的各種類型的屬性均可利用類似的原理進行拓展。為演示屬性拓展的基本方法,筆者在表示Ambisonics話筒的模型實體AMB_Mic拓展定義了名為Channel_Type和DATE兩個屬性字段。如圖5最右側的窗口所示,該屬性的單元類型為文本(Text),具體的顯示規則為 “可從列表中選擇”,最后制訂了列表的鍵值選項。實際使用時,得益于事先定義好的屬性結構,可以快速開展聲景觀素材屬性的記錄工作。

圖5 IFC Manager插件屬性信息設置窗口

另一種屬性拓展的方法是由用戶自主定義IFC的模型分類模式 (Classification Schema)。Sketch-Up所支持的分類模式文件為XSD(XML Schemas Definition)文件,它是對XML文件格式的預定義。利用專門的XSD編輯環境,可對XSD文件進行優化改造。IFC文件分類模式的拓展方法一般分為:基于IfcProxy的派生類型拓展、新增實體類型與屬性集拓展三類。

面向聲景觀調研的需求,IFC分類模式的拓展技術還需要更多篇幅深入討論,此處僅演示一種簡要的實現方法:筆者選取IFC 2x3的標準XSD作為原型,采用了新增派生實體的方法,在分類模式原型已有類型IfcSpace的基礎上,拓展出了自定義類型 “_ifc_soundspot”。在該類型增加了表示素材文件名稱和錄音話筒制式的兩個屬性 “File_Name”和 “Mic_Type”,數據類型分別為字符串和枚舉類型 “_ifc Mic TypeEnum”。在XSD文件中,枚舉類型 “_ifc Mic TypeEnum”的定義需要先于使用它的屬性字段,本例選取了幾種常見的話筒制式縮寫作為枚舉類型的可選項。對該枚舉類型的定義語句如下:

新拓展出的XSD文件命名為 “Schema_ex_demo01”,導入Sketch Up的分類模式管理器后,即可在實體信息窗口的 “Type”一欄按照新拓展的分類模式 “Schema_ex_demo01”中選擇剛剛拓展的 “_ifc_soundspot”類型。用戶可在插件窗口找到并編輯 “File_Name”和 “Mic_Type”兩個屬性。由此,實現了對模型信息數據結構的拓展使用。XSD的編輯環境以及加載XSD后在Sketch Up中看到的拓展屬性編輯窗口,如圖6所示。

圖6 XSD分類結構模式文件的拓展定義

按照筆者介紹的數據結構拓展方法,Sketch Up作為聲景觀調研以及資產管理的中間件,可以完成聲景觀資產屬性的記錄與整合工作。

4.3 SketchUp與虛幻引擎的數據交換問題

目前虛幻引擎的DataSmith機制已經具備了Sketch、Revit等三維模型工程文件以及IFC、FBX等模型數據格式的導入功能,在導入過程中會自動對模型的幾何坐標系和計量單位進行匹配轉換。經過測試,對于素材采集點坐標和采集姿態的導入準確,精度能夠滿足虛擬聲景觀重建的要求。與模型對象相關的基礎分類信息以及基本屬性,能夠準確導入到虛幻引擎中。后續作為資產信息,可以直接在虛幻引擎內依據不同的場景需要高效地調用各素材采集點所對應的聲景觀素材資產。Skech Up原生支持IFC 2X3分類模式,在此分類模式下選擇模型實體類型后,就可以寫入其他的高級屬性數據(Advanced Attribues)。用戶可以將模型的屬性數據導出為IFC格式文件,依賴于DataSmith機制轉換為元數據,進而成為虛幻引擎中資產對象的 “資產用戶數據”(Asset User Data),如圖7所示。

圖7 虛幻引擎的資產數據窗口

目前數據交換環節存在的限制在于Sketch Up平臺導出的IFC文件的數據結構僅包含IFC 2X3版本的標準分類目錄及其對應的屬性集,而由用戶自定義拓展的XSD所攜帶的自定義屬性字段及其數值無法成功地嵌入導出的IFC格式文件中,由此導致數據無法完整傳遞到虛幻引擎中。

現階段的適應性解決方案是利用虛幻引擎專門為Sketch Up平臺開發的模型文件的格式轉換與導出插件Datasmith Exporter for Sketch Up。該插件的作用是將Sketch Up三維模型數據轉化為虛幻引擎中的場景存儲在 “*.udatasmith”格式文件當中,該格式文件可由XML文件編輯器打開。用戶自主定義的拓展屬性能夠以元數據 (Metadata)的形式存儲。這些元數據信息作為獨立的Xml元素,存儲在整個文件的尾部 (圖8)。與擺放在模型中的話筒位置相對應,每條元數據擁有獨立的身份標識。將這些元素導出為Xml文件,在虛幻引擎建模階段,配合使用藍圖 (Blueprint)腳本所提供的各種元數據解析調用模塊,即可實現資產屬性的綜合利用。Sketch Up平臺在未來將會不斷升級對新版IFC標準以及用戶自定義拓展屬性的導出功能,作為中間件的模型數據文件將會與虛幻引擎之間實現高效的數據交換。

圖8 udatasmith文件中的元數據

5 總結與展望

筆者首先分析了近年來虛擬仿真技術融入聲景學調研的發展趨勢,研究了近年具有代表性的研究案例。以虛擬仿真模型中的聲景觀資產采集與管理為研究背景,依據虛擬聲景觀建模的工作流程,提出了聲景觀建模中間件的適配與優化問題。將Sketch Up軟件平臺作為聲景觀調研與建模的中間件,目的在于輔助聲景觀素材快速采集與重建流程中的信息采集與管理,節約人員和管理成本,提高工作效率。文章給出了基于Sketch Up平臺記錄聲景觀資產信息的完整解決方案,初步設計了話筒位置信息的記錄方法,重點探索了Sketch Up平臺基于IFC分類模式的對象屬性拓展方法。

筆者初步提出了基于IFC數據格式的屬性拓展方案,但IFC分類模式的拓展涉及到的技術細節龐雜,仍然具有較大的探索空間,計劃未來撰寫專門的文章深入討論。此外,本文分析了當前資產管理中間件與游戲引擎平臺之間在數據交換環節存在的局限性,為后續優化研究工作找到了優化改進的方向。因此,下一階段的研究將會更深入地結合游戲引擎中聲景觀重建與生成的實施過程,進一步優化聲景觀資產信息的管理方法。?