以情緒為導向的聲音視覺化設計模型研究

摘要：在現代數字技術發展背景下，計算機可以依據音樂結構特征進行視覺化產出，但實現效果容易千篇一律，會削弱聲音的情感表現力和視聽的通感效應。文章主要從心理情緒反應的角度出發，探究聲音的情緒體驗轉化為視覺圖形的設計思路。首先分析視聽特征與情感的關聯性，將視覺語義的三個層級作為視聽設計模型的底層框架。再設定和心理效應有關的兩項視聽實驗，以驗證可以將情緒作為媒介進行聲音與視覺的轉譯，同時通過收集心理實驗評估的數據結果，來明確不同情緒方向的視覺傾向，用以構建模型的底層視覺特征。后續結合符號學理論，從符號三分法的角度分析對象身份，解析某些對象身份會讓人產生對應類型的情緒體驗，由此設定模型的中層邏輯特征。最后由對象的意義分析和視聽產出的綜合表現，對人的感官產生刺激，在心理層面形成聲音視覺化作品的情感語義，以達到模型的高層的抽象屬性?？傮w模型從原始的視覺特征架構出對象身份，再由對象意義推導出高層的情感語義，相互關聯，層層推進，形成以情緒為導向的視聽設計模型。模型從心理情緒角度出發，體驗更加人性化，能夠將人對聲樂的理解更好地表達出來，以此讓聲音視覺化產生的視覺作品更具感染力，達到視聽通感的跨感官體驗效果。

關鍵詞：聲音；視覺；心理效應；情緒體驗；視聽氛圍

中圖分類號：TP391.4；TN912.3 文獻標識碼：A 文章編號：1004-9436（2023）06-00-03

聲音與視覺由于信息層級的差異，因此難以在物理性質上直接對應互通，且基礎的視聽要素與更高層的視聽特征之間存在隔閡。本文嘗試從心理學的角度出發，利用實驗收集不同視覺特征的情緒反應，并從符號學角度解析構建的圖像意義，從而建立視聽設計模型。

1 視聽特征與情感關聯分析

通過分析聲音與視覺的基本特征，了解情感相關性較強的特征和相互之間的導向關系，建立模型基礎的邏輯框架，提取合適的屬性特征作為實驗變量。

1.1 聲音特征與情感關聯

聲音的三要素為音高、響度和音色。音高由物體振動的頻率決定，響度指聲音的強弱，音色由不同聲源產生的泛音引起。在現實世界，越小的物體在共振時產生的頻率就越高，形狀大小能與頻率映射。同樣，聲音的振幅通常會映射到圖像的亮度，因為振幅和亮度分別是在聲音和視覺領域測量刺激強度的物理概念［1］。可見音高與響度在視覺化的邏輯上相對簡單，更多的是物理經驗帶來的結果，通常采用一組映射維度即可。而音色是更復雜的現象，難以使用單一維度變化來對應視覺元素的轉換。音色的差異往往能引起不同的心理反應，如動聽的交響樂來自多種音色的配合。兩者的構成都十分復雜多變，一些研究也指出音色與情感的關系更加密切。

1.2 視覺特征與情感關聯

埃金斯和格雷厄姆第一次完整提出了關于圖像的三層語義模型［2］。第一層是視覺的原始特征，如顏色、紋理和形狀；第二層是圖像的邏輯特征，即顯示構成對象的身份；第三層是抽象屬性，即所構建畫面的高層意義。

從結構分析來說，底層視覺特征包括色彩、紋理及形狀等靜態視覺特征，現代圖像動效帶來的綜合心理反應也常常被納入其中。中層邏輯特征根據底層視覺特征推導而出，即構成對象的語義。這種語義身份可能是文化積累、人為規定或現實生活體驗的結果。相對于底層特征的視覺基礎要素描述，中層特征主要是對圖像的架構、內容等的相應描述。高層抽象屬性是對圖像進行更復雜的推導得出的語義，其中情感語義是最高層語義。情感是一種較為抽象的語義，高層抽象屬性描述的是圖像所包含的語義內容，以及心理活動綜合產生的情感表達。

可見聲音特征中音色與情感的關聯性較強，而視覺上的情感傳達需要通過基礎視覺的構建，組成對象語義，再由此導向更高層的情感語義。可將視覺的情緒傳達過程的三個層級作為模型基本框架，逐步構建聲音情緒與其之間的關系。

2 底層視覺特征設定與實驗過程

規劃兩個實驗證明心理的情緒效應能作為聽覺與視覺的中間橋梁，表明聲音、情緒、視覺三者之間的互通性。再依據上述分析的底層視覺特征，進行各類情緒下的視覺心理實驗，推導情緒變化下的視覺傾向。

2.1 視聽心理實驗

聲音樣本的構建選取了大鋼琴、雙簧管、吉他和鐘琴這四種不同類型的樂器演奏同一段旋律，得出四段基礎的聲音片段，為原聲組。再使用失真效果器與混響效果器對聲音進行二次處理，得出另外八段聲音片段，分別為失真組與混響組。再選取符合失真和混響效果的風格板，用于對應視覺效果的選擇。采用效價-喚醒二維模型，即有愉悅度與激活度這兩個維度，有利于聽覺與視覺兩個感官刺激下的情緒記錄和實驗數據對比，更加直觀地看到數據的集中區域。評估方法選取自我評測模型的情緒量表，其中優勢度在評估中影響較弱，故不采用。

實驗對象皆為音樂愛好者，男女人數均衡，年齡為20～28歲，視覺聽力正常。原聲組問卷要求被試在空白區域繪制聲音感知下認為的顏色輪廓，失真組和混響組則依據聽后感受選擇量表內容和風格圖片。實驗回收有效數據50份。

在數據轉化后的情感模型中可以看出音色改變后的情緒趨勢。在失真組中，四類聲音樣本情緒大多處于低愉悅度、高激活度的狀態，被試的情緒體驗多為焦慮不安。而在混響組中，被試所記錄的情緒體驗多是高愉悅度、低激活度的狀態，情緒體驗多為輕松寧靜。在對應視覺層面，根據風格板的選取比例可認為失真音色的視覺表現為粗糙且混亂的趨勢，混響音色的視覺表現為扁平且模糊的趨勢。依據被試繪制原聲組的顏色和輪廓印象，總結出四段聲音的基礎形狀為藍色圓形、橙色三角形、冷綠色圓角矩形和黃色散點形，用于測試視覺特征變化所產生的情緒傾向。

設定的基礎形狀依據不同音色產出的視覺風格進行調整，將失真組圖形紋理設定為顆粒感不斷增加且跳動閃爍，外輪廓逐漸混亂無序，總體呈現出嘈雜的視覺狀態；混響組圖形設定類似漣漪的效果，且逐漸模糊，呈現舒緩朦朧的視覺效果。結果可見，失真組的情感模型圖與嘈雜圖形組的情感模型圖有較明顯的重合趨勢，混響組的情感模型圖與漣漪圖形組的情感模型有較明顯的重合趨勢。再將8個動態圖形按各自效果分成兩組，交叉疊加兩類聲音樣本，形成四段視頻，詢問被試哪一段視頻更符合氛圍感受。有86%的被試認為由實驗推導出的音畫對應視頻更符合情緒氛圍。

可認為此圖形動態與紋理質感變化能夠激發對應聲音樣本的相同情緒趨向，并能夠驗證視聽共同影響下的情緒感知具有良好的互通性，可以作為視聽模型建立的底層邏輯。

2.2 情緒與視覺感知實驗

驗證情緒可以作為媒介后，實驗二從情緒與感知的角度出發，探索不同情緒中顏色、紋理、形狀和動效這四項特征的變化趨勢。

顏色傾向調研采用實用顏色坐標系統顏色體系，為了減少被試接收過多信息造成感知混亂，以心理四基色為基礎，將相似色相范圍合并，構成8個色相，3個明度層級與3個純度等級的色環，用熱點圖的方式調研。紋理部分選取10張不同質感的紋理圖片，以粗糙度和柔軟度從低到高的規律劃分，在實驗中以單選題的形式出現。動態中最主要的要素是速度、形變和位置，在這三方面設定不同語義的形容詞來描述運動趨勢，因動態趨勢可以疊加，所以采用多選題。因聲源種類繁多，所以形狀部分難以用調研確認，但形狀可以從聲源特征和聲音聯想的角度設定。

實驗問卷的發布以網絡傳播為主，共收集有效問卷151份。從色輪的熱點圖分布可以看出，愉快興奮情緒聯想下的原始點集中在暖色部分，尤其以高純度的黃、橙、紅色附近為主；焦慮憤怒情緒下的原始點集中于紅、紫紅、紫色等色相區域，且明度較低色塊的原始點有明顯增加；低落悲傷情緒下的原始點集中于藍色部分，以低飽和度色塊為主；輕松寧靜情緒下的原始點集中于黃綠與綠色區域，以偏高明度低飽和度色塊部分為主。

紋理部分，愉悅興奮的情緒狀態下選擇偏柔軟且平滑的質地最多；焦慮憤怒的狀態下選擇重量感較強且粗糙的紋理質感最多；而低落悲傷的結果相對復雜，平滑質感的選擇較多，但粗糙巖石質感及水波的質感選擇數也較高，可見平滑到粗糙的特征皆有，推測是低落與悲傷的情感程度不一帶來的紋理差異，可以視具體情緒程度改變質感；輕松寧靜的情緒聯想下選擇重量感較輕且平滑柔和的紋理質感最多。

在動態語義的選擇上，對三個方向的高頻形容詞作出總結，可歸納出愉悅興奮的情緒下動效呈現較雀躍的姿態；而焦慮憤怒狀態下，元素相對位置的變化較大，給人一種不安穩與沖擊暴力感；低落悲傷的狀態下，總體是一種緩慢黏稠的動態效果，空間帶有阻力感；而輕松寧靜的情緒總體是較為緩和穩定的動態效果。

實驗以情緒為中介，進行了底層視覺特征邏輯上的探索，得出了視覺變量的趨勢，為模型的架構做了鋪墊。

3 中層邏輯特征設定思路

視覺特征在實驗中構建了表現趨勢，但能構成的對象選擇較多，表現手法也層出不窮，在此從皮爾斯符號學的角度進行語義上的分類推導，用于模型中層的構建。

中層圖像的設定過程和內容的選取也是一種符號化的過程，即將圖像作為情緒的符號代表。皮爾斯符號學將符號劃分為三分構造，即再現體、對象和解釋項。三元結構更具有動態性和普適性。且皮爾斯對符號的分類提出了三種方法，其中最常說的是再現體與對象的關系，分別為像似符、指示符和規約符。像似符的邏輯即相似，如物理感官上的相似，或同構意義上的相似。指示符是與對象有實際關系或者因果關聯的，人們可以直接通過現實世界的對象關系來認識。規約符的構成，主要是被要求這樣理解或者被規定為這樣使用，不需要考慮這些動機是否合乎人們的先天習慣，有利于表達抽象多元的意義［3］。根據這三類符號關系，結合文化語境與生活環境，可以推導出不同情緒類別下常用的意象。

愉快興奮等正向情緒的發生多和良好的體驗相關，以及文化中象征正面情緒的事物，如節日禮花。而處于焦慮與憤怒情緒下時，會產生心跳加速、語氣急促等生理反應，常用火光、雷電等符號表達這類情緒。低落悲傷通常是情感受到傷害或在意的事物受到損壞時產生的消極情緒，多采用破碎物品等符號表達。而人處在一種平靜舒適的環境中時，易產生輕松的情緒體驗，如風和日麗的午后。以上意象的分析選取從符號學角度去闡述和思考，依據文化經驗累積下特定圖像反饋的情緒去選?。灰部梢朗挛镆蚬P系產生的情緒去選取圖像；還可自主設定本無特殊意義的圖像用于當下的情景中，配合視覺特征賦予情緒體驗。

值得注意的是，同一事物在不同狀態下會產生不一樣的視覺情緒，如枝頭雀躍的小鳥和受傷落地的小鳥，傳達的氛圍完全不同，這需要明確創作目的，用底層特征展現出區別。上述作為構建對象身份的思路分析，可在視覺特征導向邏輯特征時作為參考。

4 高層抽象屬性導出與視聽設計模型構建

情感抽象屬性是綜合了視覺特征和對象意義，以及視聽刺激感官后產生復雜的心理體驗形成的，前兩個層級的構建為情感語義確立了指向性。整體視聽設計模型從底層的構建開始，依據聲音音色特征、象征意義和情緒偏好等因素，選取基礎的視覺變量，整合設計。進而由視覺元素導向邏輯特征，組合構建出圖像，形成對象語義。不同的圖像意義在符號學的語境下，以及畫面與音樂結合的綜合表達下，傳達出更具有氛圍渲染力的音樂視覺化作品。

在實際運用中，創作作品可以先明確想要渲染的視聽氛圍，設計合理的視覺特征，選取合適的情緒色彩、紋理質感與整體的動態效果，并確認好聲源的輪廓，由此遞進到具體圖像。圖像造型的構成可以傳遞對象身份，用以喚醒并導向情緒體驗，配合音樂的綜合演繹，產生良好的情緒體驗和在特定環境下傳達的情緒。分析作品時，先從解析底層的原始視覺特征出發，再看視覺特征建構了什么樣的中層畫面圖像，是對于生活事物的相似再現，或形成了一個因果邏輯關系，還是在這個特定情景下被象征為某個意義。最后依據前兩層級推導出的綜合效果，分析視聽作品所傳達的意義及自身感受到的后續體驗。

從設計者的角度來看，整體模型的架構是三層遞進導向的關系；而從觀者角度來說，呈現作品是一個整體并完成了的，將直接透過視覺音樂完成抽象屬性的情感體驗。設計模型三個層級不能完全獨立看待，其是層層遞進、相互關聯影響的，只有明確這一思路，才能創作出更具有情緒氛圍的聲音視覺化作品。

5 結語

本文通過對聲音和視覺特征的分析，提出了以情緒為導向的聲音視覺化設計思路，運用心理實驗構建底層視覺特征，并從符號學角度解析了中層對象語義的構建，再由畫面身份得出更高層的情感語義。該模型更貼合人類實際心理活動及情感表現，為增添視聽作品情緒氛圍的設計方法提供了思路參考。

參考文獻：

［1］ 蘭迪·瓊斯，本·內維爾.視覺音樂的創作方法［J］.計算機音樂學報，2005，29（4）：56.

［2］ 埃金斯，格雷厄姆.基于內容的圖像檢索：聯合信息系統委員會技術應用項目報告［EB/OL］.研究之門，https：//www.researchgate.net/publication/238702983，2023-03-14.

［3］ 查爾斯·桑德斯·皮爾斯.皮爾斯：論符號［M］.成都：四川大學出版社，2014：51-60.

作者簡介：陳羽宣（1998—），女，湖南株洲人，碩士在讀，研究方向：視覺傳達與信息設計。

朱文濤（1980—），男，江蘇蘇州人，博士，副教授，研究方向：設計價值與方法論。