視聽覺融合下的“參與式建筑”研究

范成佳

湖南師范大學美術學院 湖南 長沙 410012

1 概述

情感表達=55%面部表情+38%聲音+7%其它，語音信號及面部表情是人類傳遞信息及表達情感的主要模態，即聽覺模態與視覺模態。視聽覺雙模態融合下，以格式塔完形心理學及卷積神經網絡（CNN）信息識別處理模式與擴展現實（XR）技術為依托，對空間虛實融合斷裂問題及完形心理學視角下空間不連貫體驗彌合進行分析，探究雙模態下信息處理及識別較之于單模態下識別性能優劣，基于此基礎上，分析研究其對于“參與式建筑”未來發展的影響。

2 視聽覺融合下的信息甄別及處理

2.1 視聽覺一致性融合

情感心理學研究表明信息傳遞及情感表達多半通過面部表情完成，其余則主要依靠聽覺進行，聲音通常被用來強化信息主題性或起到視覺輔助功能。同一對象同時輸出視覺及聽覺信息時傳播速度不同，則其到達人眼及人耳時間不同，人腦在處理此類信息時自動進行信息時間同步性校正，予人視知覺同步性錯覺。

2.2 信息傳遞及處理

視覺聽覺系統傳遞及處理信息進行分層處理，光電信號及聲波信號由感受器轉換為電信號，后經下丘腦及側膝體傳至大腦皮層或初級聽皮層，各種細胞協同合作及大量神經元細胞組合構成視聽覺感知系統。人腦基于記憶及反饋機制，對于視聽覺系統所獲得信息進行識別處理，判斷實時情感狀態。

情感隨時間變化，大腦對于動態信息處理機能至關重要。視覺系統因“視覺暫留效應”，可觀察到動態視覺信息，聽覺系統聲波連續刺激及聽覺神經傳導通路延時性同樣存在時序性表現。大腦連續不斷通過視覺聽覺系統接收信息，進行判別，接收下一信息前調整反饋先前判別，循環往復，得出結論。

3 基于CNN及XR技術下的三維空間信息整合

3.1 XR及CNN技術

XR （擴展現實技術）指通過計算機技術創建一個虛實融合的人機交互環境，其包括 VR、AR、MR、HR等多種形式。卷積神經網絡（CNN），深度前饋人工神經網絡，三維卷積神經網絡則常用于醫學圖像及視頻類數據識別。

3.2 XR&CNN

三維卷積神經網絡冗余參數數量較小，基于多時序影像的研究與發展具備更多優勢。稠密三維語義建圖，以結構化語義信息數字化重構現實世界，其對于其應用領域包括了機器人感知和基于視覺交互（XR）相應的經典實現，利用經典計算機視及部分卷積神經網絡（CNNs）作為分類的輔助感知理解。

3.3 三維場景空間語義信息融合

三維場景下的信息整合，全局化對于空間幾何信息的提取及感知場景的語義信息提取，實現局部視圖深度圖及完整視圖結合的完整場景構建，并對三維空間構建進行優化及修正。

3.4 深度神經網絡語義信息整合下的參與式建筑

3.4.1 參與式場景搭建

深度神經網絡（CNN）語義信息整合下的參與式建筑場景搭建，視聽覺融合，基于模型進行測算整合，用以判斷主體即時情感狀態及意向選擇。

3.4.2 參與式住宅設計

甲乙方合作式住宅設計，因知識背景等差異性存在，二者意見無法短期達成一致。基于共識區域及矛盾區域通過視聽覺信息整合分析搭建平臺對于提高溝通效率十分重要。擴展現實的參與式設計平臺ModRuleke即可滿足以上需求，基于WebGl 構架下的物聯網三維可視化平臺，可為用戶生成各種個性化選項。

4 基于格式塔心理學下的交互模式分析

4.1 格式塔心理學完形認知原理

格式塔心理學（完形心理學），考夫卡等學者認為人類對于某事物的視覺整體感知不是各部分簡單聯合，是由視覺認知的經驗組成的整體。主體通過視覺感知外物后進行視覺形象再組織，使其具備完整性及有序性。

4.2 完形心理學與交互設計

4.2.1 虛實融合空間體驗斷裂

個人終端沉浸式體驗常“大尺度低密度”，如CAVE 沉浸體驗，虛擬攝影機需與觀眾視角進行配合，計算機需在主體改變運動狀態時進行三維場景的刷新與優化，間隔若變化不當則會“出戲”，同樣若大尺度空間，數字影響投影覆蓋比例與體驗節奏搭配不當，同樣會導致體驗連貫性被打斷。

4.2.2 格式塔彈性“粘合”不連貫體驗

阿恩海姆提出視知覺形式的“力”貫穿其美學思想，在進行虛擬場景搭建時，主體的知覺力，可彌合不連貫體驗，將斷裂的元素有序組織，構建“完形”格式塔。[7]格式塔理論多二維平面對于“力”進行討論，因空間三維性質，其定位定向與體驗感知更為重要。聽覺信息對于參與式建筑空間定向感知起到重大作用，眼動信息也能不同程度地加強耳間時間差與聲級差分辨，從而提高聽覺空間信息分辨率。“視知覺”“聽知覺”結合的參與式建筑場景搭建及場景體驗更具完整性。

5 視覺聽覺雙模態下的融合銜接

5.1 RECOLA數據集視聽覺融合

視覺及聽覺融合模型性能驗證，RECOLA數據集進行試驗，基于 Arousal 及Valence 維度，利用原信號及圖像，不進行人工提取幾何紋理及特征，消除因特征識別對結果的影響。（圖1）

圖1 聲音特征提取模型及RECOLA 數據集圖像模型結構

5.2 視聽覺獲取信息融合渠道對比

完形心理學基于心理學及人類視覺特性角度對空間體驗進行分析，提出在進行虛擬場景搭建時主體知覺力可彌合不連貫體驗，構建“完形”格式塔。卷積神經網絡（CNN）及擴展現實（XR）技術則基于人類視覺及聽覺系統捕捉信息原理，進行信息整合處理，模擬主體角度進行情感即時判斷識別，提升其舒適度及易操作性，彌合虛實空間斷裂，且后者雙模態下對主體情感意向判斷識別準確率更高。

6 結語

未來“參與式建筑”沉浸式的理想場景體驗會更完善，數據及算法支撐下情感識別及判斷模式可作為輔助工具提升生活舒適性及便捷性，單方面唯數據論，提倡數據中心主義，會導致思維及標準的固定化，在設計領域積極開發應用新技術的同時，注重個性化、實用性及直接性表現，重視主體與對象直接溝通。