因子分析法建構音樂“意象圖式”的設計研究

朱文濤，殷俊

因子分析法建構音樂“意象圖式”的設計研究

朱文濤，殷俊

（江南大學，江蘇 無錫 214122）

研究因子分析法構建音樂“意象圖式”的可行性，為提升視聽溝通提供一種通用的設計方法。以Bossa Nova音樂視覺設計為例，通過設計調查，將音樂的聽覺感受轉換成語意描述和圖像描述，提取其中的圖式因子，再結合因子分析法構建這種音樂風格的視覺意象圖式，最后通過設計不同傾向性的方案，驗證其合理性。將因子分析法構建的意象圖式應用到設計方案中，能夠讓人們在聽音樂的情況下準確選擇出視覺設計方案和音樂聽覺的匹配程度。意象圖式作為一種潛在的結構性認知，能夠通過因子分析法準確構建；將因子分析法構建的意象圖式應用到視聽設計實踐中，能夠提升提設計過程中感官跨模轉換的準確性和包容性，進而增強設計方案與群體感知的匹配程度。

因子分析；音樂視覺；意象圖式；波薩諾瓦

隨著新媒介的發展，多感官之間的交互轉化日趨廣泛[1]，早在2000年，意大利著名動態藝術團體The Group T的成員喬萬尼·安切斯基（Giovanni Anceschi）就在米蘭理工大學開展設計課程，研究如何激活跨感官形成認知優勢[2]。然而，每個人的感知經驗都不相同，如何面對更多受眾形成跨感官的認知與傳達？這可能也是一個通用設計的問題[3]。在2020年東京奧運會的開幕式上，爵士鋼琴家上原廣美展現了高超又有活力的音樂技藝，卻有很多普通觀眾抱怨無法理解這種融合爵士樂（Jazz fusion），音樂家夸張的動作和妝容也沒能讓普通觀眾建立對音樂風格的理解與認同。這讓我們想到風格獨特的音樂是否也可以通過視覺意象讓普通受眾獲得跨感官的認知。

“意象圖式”（Image Schema）就是一種天然具備跨感官優勢的研究工具，它其實是人們所有感官經驗下對事物整體認知的一種分類框架[4]。而通過對某種感官“意象圖式”的建構，有助于轉為更廣泛理解與傳達的視覺形象。“意象圖式”的概念最早可以追溯到康德所定義為“原發想象”（productive imagination）的規則[5]。美國認知哲學家馬克·約翰遜(M.Johnson)在其專著《心智中的身體》中對“意象圖式”概念進行詳細解釋，其關鍵在于人類感知過程的兩個特征：反復出現的某種感性經驗；經驗之間具有內在結構[6]。這個術語在阿恩海姆(Rudolf Arnheim)的視覺思維中也經常使用。早在20世紀90年代，“意象圖式”就作為一種研究工具被引入設計領域，探知交互界面中的感知行為[7]。音樂視覺化是跨感官設計中的研究重點，“意象圖式”可以作為一種音樂轉化視覺的輔助設計工具，不僅提供了訓練感知表達能力的方法，而且能夠不局限于視聽的個體化表達，喚起更多受眾視聽感知的共鳴，推廣應用到更多跨媒體設計領域。

“意象圖式”的特點在于共同經驗的抽象結果，這就需要更多樣本與量化方法介入，才能合理進行建構。本文以一種新派爵士樂波薩諾瓦（Bossa Nova）為例，探索如何通過質性與量化結合的因子分析法建構音樂“意象圖式”，并推演出相應視覺設計方案來檢驗其合理性。

1 音樂視聽“意象圖式”的研究思路

1.1 跨感官“意象圖式”

在感受音樂過程中，人們普遍都會形成一系列跨感官的意象經驗，例如人們對和諧音程的聽覺經驗的描述，可能是甜蜜、清新、平穩、微風等，這些“意象”描繪是個人化且豐富的。但“意象圖式”反映的是意象的重復出現與抽象結構，當某些感受描述反復出現，且在視覺上有某種內在結構，比如甜蜜、朦朧與浪漫的描述反復出現，并形成合理的視覺組合關系，我們將其視為某種“意象圖式”。

蒙德里安最后的作品《百老匯爵士樂》，色彩明亮，通過抽象線框和躍動色塊，營造出搖擺不定、生機活潑、現代工業的感受[8]，塑造人們對于爵士樂在視覺認知上的共同經驗，可以理解為早期爵士樂的“意象圖式”。隨著數字技術的發展，音樂轉化為音頻信息，隨機與視覺建立映射，這又常常會缺乏音樂感知經驗和情感的表達[9]。讓音樂的視覺符合受眾的集體經驗與共同感受，并形成生動的核心語意，可能是打動人們情感的關鍵。

1.2 研究方法和對象

本文嘗試采用因子分析法，更為準確地分析人們聆聽音樂的意象經驗。這是將信息重疊、復雜的變量歸結為少數幾個綜合因子的一種統計分析方法。基本思路是通過對音樂感受語意和視覺的感性描述樣本進行相關性的分析和計算，最終歸納為幾個“意象因子”，通過“意象因子”構建某種音樂的意象圖式。

本文以Bossa Nova音樂為例進行分析，有兩個原因：其一，這種新派爵士樂獨成一格，輕松柔和，有著獨特的切分節奏，具有較高識別性，容易被聽眾歸納和劃分；其二，這也是一種獨特語意的拉丁音樂，有著南美文化背景，經常作為各種電影場景的配樂，能夠讓聽眾產生豐富的感官聯想[10]。以其獨特性為范例，可以進一步推導其他音樂風格的“意象圖式”與設計應用。

1.3 實驗思路與步驟

音樂“意象圖式”研究采用實驗方法，目的在于對音樂感受樣本中的潛在“意象因子”（公因子）進行提取與分析，并通過設計應用加以驗證。分為三個步驟（見圖1）：

1）材料獲取。讓調查對象在感受音樂過程中，對音樂畫面進行語意描述，在配樂電影中選擇符合語意的圖像。將采集的語意詞匯和圖像匯總后進行篩選，提取復現頻率最高的詞匯與圖像作為因子分析的主要材料。

2）因子分析。根據詞匯的語意差異和五級粒度量表，讓調查對象依據音樂感受對篩選后詞匯與圖像進行匹配得到平均得分，再使用因子分析法對得分進行分析，提取潛在公因子，歸納圖像和語意詞匯，從而構建音樂的意象圖式。

3）應用與驗證。對某一歌曲信息內容進行分析，根據意象圖式，呈現音樂信息的差異視覺方案，最后通過實驗對方案進行對比評價，以此判斷其意象圖式的合理性與有效性。

圖1 研究方法框架

2 音樂“意象圖式”的建構

2.1 樣本詞匯和圖像的篩選

對34名職業背景為視覺設計師、交互設計師、美術教師、音樂教師的對象進行訪談，他們均為長期欣賞音樂的愛好者。在訪談過程中，調查對象需要聽3首波薩諾瓦風格的音樂，受訪者根據音樂的聽覺感受對意象中的畫面進行描述，例如：“在一個夏天的傍晚，微風吹拂，兩個人依偎在天臺”，再以形容詞的方式總結其中的視覺感受，從而獲得音樂感受的語意詞匯。

這些詞匯屬于個人對音樂的經驗認知，音樂的感受除了個體經驗外，更多來自共識的經驗積累，人們往往在音畫或視聽作品中獲得這樣的經驗。因而，讓實驗對象主要在10部Bossa Nova配樂的電影中截取合適自己語意描述的3幅畫面，從而完成對音樂感受的視覺描述。最終一共獲得音樂感受描述的102張圖像和239個詞匯，作為因子提取的來源。

由于獲取的圖像和詞匯數量較多，內部缺乏一致性，需要對詞匯和圖像進行再次篩選。通過刪除情節畫面、相似形態畫面、語意或風格明顯異常樣本，再對圖像以隨機的方式進行選擇，得到具有相對一致性的21個圖像樣本集，如表1所示。參考頻率從高到低選擇具有相對一致性的11個關鍵詞匯，分別為輕松的、浪漫的、朦朧的、象征的、柔軟的、曖昧的、愜意的、優雅的、平和的、含蓄的、模糊的。

表1 圖像樣本集

Tab.1 Image sample set

2.2 詞匯與圖像關系的建立

在語匯提取和圖像篩選之后，兩者之間的關系結構被打亂，無法形成對應，所以需要進一步對語意與圖像進行匹配，通過量化方式構建兩者關系。首先，將關鍵詞匯與其反義詞匯形成對立詞組：輕松的-緊張的、浪漫的-現實的、朦朧的-明晰的、象征的-自然的、柔軟的-硬朗的、曖昧的-直白的、愜意的-痛苦的、優雅的-粗獷的、平和的-激烈的、含蓄的-奔放的、模糊的-醒目的[11]。

結合里克特量表[12]，將詞組通過予以差異映射成規范的5級粒度量表，當數值越大，則圖像越接近音樂視覺意象感受。例如“輕松-緊張”的5級粒度劃分為非常緊張、緊張、一般、輕松、非常輕松，其對應的分數從1到5逐級遞增[13]。

再次通過實驗將詞匯量表與圖像樣本進行匹配。實驗對象根據音樂感受，使用11個詞匯量表對21個圖像進行評分，得到圖像語意平均得分（見圖2）。

為了確認數據有效合理，將對其進行檢測。通過統計分析軟件對得分數據進行信度（克隆巴赫信度）和效度檢驗（KMO和巴特利特效度）。通過檢驗，克隆巴赫系數為0.86，大于0.7，KMO取樣適切性數為0.728，大于0.6，巴特利特球形檢驗的值小于0.05，說明數據適合進行一步分析[14-15]。

2.3 音樂意象的因子分析

雖然得到每個圖像和語意程度的對應，但不同對象提供的圖像與音樂感受存在偏差，而且每個圖像和語意之間的關系結構仍然是零散的，因此，需要進一步量化分析，提取音樂、圖像與語意之間相關性的公因子，對語意和圖像進行分類和篩選。

根據樣本的均值得分，通過主成分分析法計算其方差解釋（見表2），將語意詞匯歸為三類。其中，三類的方差貢獻率分別為40.78%、33.86%、16.15%，總方差貢獻率為90.79%，說明第一類是音樂視覺感受主要影響因素，其次是第二類和第三類，分類對原始解釋的信息損失較少[16]。

圖2 圖像的語意評分

表2 方差貢獻率

Tab.2 Variance contribution rate

根據計算成分矩陣和圖像的公因子得分，最終得到三種公因子對應的語意和圖像（見表3）。第一種因子：語意描述為愜意的、輕松的、平和的、曖昧的，對應的圖像是2、5、7；第二種因子：語意描述為含蓄的、朦朧的、模糊的、柔軟的，對應圖像是1、19；第三種因子語意描述為浪漫的、優雅的、象征的，對應圖像是4、13。

通過對“公因子”的語意和圖像進行直觀分析，可以發現，第一類因子主要和視覺內容隱喻的情緒有關，可以歸納為“情緒意象”因子。第二類因子主要與視覺元素結構的清晰度和色彩的對比度有關，可以歸納為“形式意象”因子，第三類因子和畫面整體風格類型有關，可以歸納為“類型意象”因子。Bossa Nova音樂的“意象圖式”由這三種因子構成，各個語意在歸類的情緒、形式和類型上對圖像進行釋義與描述。

經過分類后可以看的，語意描述仍較冗余，例如“愜意的”和“輕松的”語意相似，且屬于同一意象的描述，所以將同一類型語意接近的語意詞匯進行合并，最終得出7個代表性的語意詞匯的描述：輕松的、平和的、曖昧的、朦朧的、柔軟的、浪漫的、象征的。結合上述的分析，總結出相對直觀和完整的波薩諾瓦音樂的視覺意象圖式，如表5所示。

表3 旋轉后的成分矩陣

Tab.3 Rotated component matrix

表4 因子得分

Tab.4 Factor score

表5 Bossa Nova音樂的意象圖式

Tab.5 Image schema of Bossa Nova music

3 意象圖式的應用與驗證

3.1 音樂的“意象圖式”到視覺方案

雖然得到了波薩諾瓦音樂的視覺“意象圖式”，但圖式是否合理及如何應用還需得到進一步論證。根據上文的分析結果，對《來自伊帕內瑪的女孩》（The Girl from Ipanema, Single Version）這首歌曲進行視覺方案的設計創作。

這首歌創作于1962年，是Bossa Nova音樂的代表作，為三段曲式，有著典型的切分節奏與和聲，配器包括木吉他、鋼琴、薩克斯、貝斯、閉镲。音樂講述的是在巴西依帕內瑪海灘與一位女孩偶遇的故事[17]，提供了具體的視覺內容與敘事信息，視覺內容包括沙灘、海洋、女孩、男孩、太陽、吉他、薩克斯、音符、基督像、海岬、帆船等。音樂的前奏、主歌、間奏、副歌、尾奏分別對應相遇和幻想的敘事。根據Bossa Nova音樂的意象圖式，結合音樂的三段曲式結構，創作三幅音樂感受的畫面，作為視覺音樂方案1（見表5）。

“情緒意象”因子的語意描述為輕松的、平和的、曖昧的，對應的視覺圖像有花絮、海灘和人物，分別是自然空間環境和人物關系的描述，暗示著所在的環境氛圍引起人們的經驗情緒。因而在音樂視覺的三個畫面中，重點突出沙灘、海洋、海峽等環境內容，通過遠景空間感營造平和的氛圍，以自然環境中的身體隱喻輕松的感受，并以兩性關系描繪曖昧情緒。

“形式意象”因子的語意描述為朦朧的、柔軟的，對應圖像為光暈與女性輪廓，構圖較為松散，細節模糊處理，強調圓潤曲線，質感柔和，色域較小，對比度不高。因而，三個視覺畫面都降低了整體的清晰度、顏色飽和度、對比度，以暖色為主，弱化形象的內在細節，減少畫面的結構框架，筆觸柔軟模糊，形象概括化處理。

“類型意象”因子的語意描述為浪漫的、象征的，對應圖像為超現實的形象符號與優美的女性化表達。因而，三個視覺畫面都注重女性氣質表達，盡量減少形式內容的沖突與男性化的力量感，在第三個畫面通過兩性形象與薩克斯、耶穌像、音符等形態的自由組合，呈現各種象征的想象。

3.2 驗證與評價

通過“意象圖式”形成的音樂視覺化方案是否更符合人們的音樂感受？這需要進一步的驗證。根據相同的音樂內容，以意象因子的反向操作設計另外三個不同視覺方案，作為對照檢驗，見表6。

在音樂視覺方案2中，因子2和因子3為反向處理，因而在形式處理十分硬朗，輪廓細節清晰，色彩對比度強，以自然主義的方式處理現實的人物和景物。

在音樂視覺方案3中，因子1和因子2為反向處理，因而在畫面情緒上表達出緊張和激烈，在形式上也表現出尖銳和鋒利，因子3是正向的，所以畫面風格仍是具有想象力和女性傾向的。

在音樂視覺方案4中，三種因子都是反向處理，所以畫面表現出緊張和激烈的情緒，對比強烈和硬朗的形式表達，消除畫面中的想象空間和女性氣質。

為了保證方案在跨感官條件下有效，將實驗對象82人分為兩組，每組41人，進行分組對照實驗：第一組不聽音樂選擇圖像與音樂標題的符合程度，第二組同時感受畫面與音樂，根據直觀感受選擇方案與標題的匹配程度。

最終結果表明（見圖3），第一組四個方案的符合程度是：方案2>方案3>方案4>方案1，在沒有音樂感受的情況下，對象選擇的傾向性不明顯，方案1最不符合，而寫實程度較高的方案2最受歡迎；第二組符合程度的順序是：方案1>方案2>方案3>方案4，選擇的符合程度傾向性明顯，符合因子影響的比例，方案1的符合比例達到92.11%。

表6 音樂視覺方案

Tab.6 Music visual scheme

圖3 音樂視覺方案評價結果

通過實驗，驗證了依據“意象因子”創作的方案1最符合人們對于音樂的感受，從而進一步驗證“意象圖式”和設計方法的合理與有效性。

4 結語

本文對波薩諾瓦音樂“意象圖式”的建構僅僅是個案范例，目的是論證這種方法可以成為一種“通用性”的跨感官研究工具，為設計決策提供參考。通過本文的研究，基于因子分析法的音樂“意象圖式”可以遵循以下方法路徑進行構建：通過受眾的轉換聽覺感受獲取語意描述和圖像描述；使用語意差異評價圖像，建立數據關系；檢驗數據關系的信度和效度；使用因子分析法對語意進行降維并計算圖像的因子得分；根據語意描述的維度和圖像的因子得分，選擇出具有代表性的詞匯和圖像。

本文將感性的感官認知進行量化分析作為設計思路的參考，旨在提升跨感官設計在情感傳達上的有效性，從而激起更多受眾的共鳴和認同，為拓展視覺設計方法提供了新思路。但是，研究還存在兩個主要的不足：其一，音樂“意象圖式”的構建方法比較煩瑣，在實際的應用中會影響設計的效率；其二，方法研究選用的音樂類型是知覺特征明顯的波薩諾瓦節奏型音樂，驗證的歌曲是該類型的代表曲《來自伊帕內瑪的女孩》，對“意象圖式”構建具有明顯的引導性，如果是針對知覺特征不明顯的音樂，“意象圖式”的構建可能會不準確，無法為設計師的決策提供參考。因此，音樂“意象圖式”構建的便捷性、準確性和廣泛性還值得進一步探討，也是后續研究的方向。

[1] 金思雨, 覃京燕. 基于計算機圖像風格遷移的音樂可視化智能設計研究[J]. 包裝工程, 2020, 41(16): 193-198.

JIN Si-yu, QIN Jing-yan. Music Visualization Intelligent Design Based on Image Style Migration[J]. Packaging Engineering, 2020, 41(16): 193-198.

[2] ANCESCHI G, RICCò D. Research of Communication Design: A Synesthetic Approach[J]. Proceedings of the 《Design Plus Research》International Conference, 2000: 1-7.

[3] 姜萊, 于震, 王鵬飛, 等. 音頻驅動跨模態視覺生成算法綜述[J/OL]. 圖學學報, 2022: 1-9. (2022-01-04). https://kns.cnki.net/kcms/detail/10.1034.T.20211231.1911.006.html.

JIANG Lai, YU Zhen, WANG Peng-fei, et al. Literature Survey on Audio Driven Cross-Modal Visual Generation Algorithms[J/OL]. Journal of Graphics, 2022: 1-9. (2022-01-04). https://kns.cnki.net/kcms/detail/10.1034. T.20211231.1911.006.html.

[4] 雷曉東. 概念流利與圖式理論[J]. 山西師大學報(社會科學版), 2010, 37(S3): 150-152.

LEI Xiao-dong. Conceptual Fluency and Schema Theory[J]. Journal of Shanxi Normal University (Social Science Edition), 2010, 37(S3): 150-152.

[5] 徐永順. 基于意象圖式的多域異構數據可視化設計研究[D]. 無錫: 江南大學, 2019.

XU Yong-shun. Research on Visualization Design of Multi-Domain Heterogeneous Data Based on Image Schema[D]. Wuxi: Jiangnan University, 2019.

[6] JOHNSON M. The body in the mind: the bodily basis of meaning, imagination, and reason[M]. Chicago: University of Chicago Press, 1987

[7] HURTIENNE J, . Physical Gestures for Abstract Concepts: Inclusive Design with Primary Metaphors[J]. Interacting With Computers, 2010, 22(6): 475-484.

[8] 耿凌艷. 音樂可視化設計中的映射探究——以Thayer情緒模式與伊頓色彩理論的對應關系為例[J]. 裝飾, 2017(7): 103-105.

GENG Ling-yan. Study on the Mapping of Musical Visualization: Illustrated by the Case of Thayer's Mood Model and Itten's Color Theory[J]. Art & Design, 2017(7): 103-105.

[9] 賈國軍. 論蒙德里安油畫的設計藝術[J]. 裝飾, 2005(10): 89.

JIA Guo-jun. On the Design Art of Mondrian's Oil Paintings[J]. Art & Design, 2005(10): 89.

[10] 王天嬌. 新派爵士樂波薩諾瓦(Bossa Nova)風格的創作特征研究[D]. 長春: 東北師范大學, 2016.

WANG Tian-jiao. The Characteristic Research of New Jazz Bossa Nova[D]. Changchun: Northeast Normal University, 2016.

[11] 汪玉金, 謝誠, 余蓓蓓, 等. 屬性語義與圖譜語義融合增強的零次學習圖像識別[J]. 圖學學報, 2021, 42(6): 899-907.

WANG Yu-jin, XIE Cheng, YU Bei-bei, et al. Attribute and Graph Semantic Reinforcement Based Zero-Shot Learning for Image Recognition[J]. Journal of Graphics, 2021, 42(6): 899-907.

[12] MUTHéN B, KAPLAN D. A Comparison of some Methodologies for the Factor Analysis of Non-Normal Likert Variables[J]. British Journal of Mathematical and Statistical Psychology, 1985, 38(2): 171-189.

[13] 辜俊麗, 宋端樹, 崔天琦, 等. 基于AHP與TRIZ的殘障人輪椅設計[J]. 包裝工程, 2019, 40(24): 187-193.

GU Jun-li, SONG Duan-shu, CUI Tian-qi, et al. Design of Wheelchair for the Disabled Based on AHP and TRIZ [J]. Packaging Engineering, 2019, 40(24): 187-193.

[14] KAISER H F. The Varimax Criterion for Analytic Rotation in Factor Analysis[J]. Psychometrika, 1958, 23(3): 187-200.

[15] 張芳蘭, 劉龍吉, 姚宛彤. 面向關鍵用戶需求的踝足矯形器定制化設計方法[J]. 圖學學報, 2021, 42(5): 841-848.

ZHANG Fang-lan, LIU Long-ji, YAO Wan-tong. Customized Design Method of Ankle-Foot Orthosis Oriented to the Needs of Key Users[J]. Journal of Graphics, 2021, 42(5): 841-848.

[16] 甘翔, 高文華, 張瑞秋. 基于因子分析法的圖標設計評價方法[J]. 圖學學報, 2018, 39(4): 706-710.

GAN Xiang, GAO Wen-hua, ZHANG Rui-qiu. An Icon Design Evaluation Method Based on Factor Analysis Method[J]. Journal of Graphics, 2018, 39(4): 706-710.

[17] REILY S A. Tom Jobim and the Bossa Nova Era[J]. Popular Music, 1996, 15(1): 1-16.

Design and Research on the Construction of Music "Image Schema" by Factor Analysis

ZHU Wen-tao, YIN Jun

(Jiangnan University, Jiangsu Wuxi 214122, China)

The paper aims to study the feasibility of factor analysis to construct music "image schema", and provide a general design method for improving audio-visual communication. Bossa Nova's music visual design is taken as an example. With design interviews, the auditory sense of music is transformed into semantic description and image description. Schema factors are extracted, and then combined with factor analysis to construct the visual image schema of this musical style. Finally, different schemes are designed to verify the rationality of the image schema. As a potential structural cognition, the image schema can be accurately constructed by factor analysis. The application of the image schema constructed by factor analysis to the practice of audio-visual design can improve the accuracy and inclusiveness of sensory cross-mode conversion in the design process, thereby enhancing the matching degree between the design scheme and the perception of the group.

factor analysis; music visualization; image schema; Bossa Nova

TB472

A

1001-3563(2022)24-0159-08

10.19554/j.cnki.1001-3563.2022.24.018

2022–07–03

教育部人文社科青年基金項目《音樂視覺化：“藝術聯覺”觀念與設計方法譜系》（18YJC760157）

朱文濤（1980—），男，博士，副教授，主要研究方向為視覺設計的文化與觀念史、新媒體環境下的視覺設計理論與方法。

責任編輯：馬夢遙