音樂影視情緒視頻素材庫(kù)的編制與評(píng)定

徐志斌 鄒嵐卿

（寧波大學(xué)音樂學(xué)院，浙江 寧波 315000）

引言

心理實(shí)驗(yàn)成為研究情緒的主要手段，情緒素材庫(kù)的建設(shè)就顯得尤為重要。通過心理行為實(shí)驗(yàn)，建立一個(gè)符合中國(guó)人審美習(xí)慣的音樂與影視人物表情視頻相結(jié)合的情緒素材庫(kù)，補(bǔ)充國(guó)內(nèi)現(xiàn)有的情緒素材庫(kù)，為情緒、音樂審美教育等心理實(shí)驗(yàn)研究提供實(shí)驗(yàn)素材和工具。

情緒離散理論認(rèn)為人的各種情緒由幾種基本情緒構(gòu)成，其他情緒都是由不同的基本情緒組合形成。Ekman 將情感劃分為7 種基本情緒，即高興、悲傷、厭惡、輕蔑、憤怒、恐懼和驚奇，復(fù)合情緒由基本情緒進(jìn)行不同的組合后產(chǎn)生，且具有文化特異性，但復(fù)合情緒很難全面反映人類的各種復(fù)雜情緒。

情緒維度理論認(rèn)為所有情緒都可以被映射到一個(gè)連續(xù)的情緒空間模型中，Thayer 通過喚醒度和效價(jià)兩個(gè)維度來量化情緒測(cè)量模型，得到國(guó)內(nèi)外廣泛的認(rèn)可，運(yùn)用正性和負(fù)性的效價(jià)和激發(fā)情緒強(qiáng)弱的喚醒度的二維情緒模型對(duì)情緒的情態(tài)進(jìn)行評(píng)價(jià)。

離散情緒數(shù)據(jù)庫(kù)在國(guó)內(nèi)外有奈梅亨面孔、Nim Stim、日本女性面部表情、中國(guó)情緒影像和中國(guó)情緒面孔系統(tǒng)情緒庫(kù)等。一般規(guī)模較小，普遍缺乏稍微復(fù)雜的情緒實(shí)驗(yàn)材料。

維度情緒數(shù)據(jù)庫(kù)有情緒影像、中國(guó)情緒影像、國(guó)際情緒圖片情緒庫(kù)等。量化被試感知材料中的情緒為實(shí)數(shù)值。影像情緒數(shù)據(jù)庫(kù)以及聲音情緒數(shù)據(jù)庫(kù)多運(yùn)用情緒維度模型進(jìn)行評(píng)定，為維度情緒數(shù)據(jù)庫(kù)。

本研究的素材內(nèi)容是音樂素材和影像人物素材的結(jié)合，依照維度情緒庫(kù)建設(shè)的理論與路線圖進(jìn)行，建立適用于中國(guó)人審美觀的音樂影視情緒視頻素材庫(kù)。

根據(jù)刺激通道類型，情緒素材庫(kù)還可以分為視覺通道刺激、聽覺通道刺激、視聽雙通道刺激素材庫(kù)。如視覺通道刺激素材庫(kù)通過圖片刺激情緒而建立，根據(jù)內(nèi)容分為面孔表情、微表情和圖片素材庫(kù)。面孔表情數(shù)據(jù)庫(kù)有日本女性面部表情、卡羅林斯卡定向情緒面孔、加利福尼亞面部表情、自然可見與紅外人臉表情數(shù)據(jù)庫(kù)等，通過評(píng)分者對(duì)圖片進(jìn)行情緒類別的判定和情緒強(qiáng)烈程度的自我報(bào)告進(jìn)行9 點(diǎn)量表評(píng)分。微表情素材庫(kù)有中國(guó)科學(xué)院微表情、中國(guó)科學(xué)院微表情Ⅱ、中國(guó)科學(xué)院宏表情和微表情等。這三個(gè)數(shù)據(jù)庫(kù)的建立都是在良好環(huán)境的實(shí)驗(yàn)室中獲取樣本，采用自我報(bào)告的方式進(jìn)行實(shí)驗(yàn)數(shù)據(jù)收集。圖片素材庫(kù)有國(guó)際情緒圖片庫(kù)、中國(guó)情緒圖片庫(kù)、中國(guó)肢體情緒材料庫(kù)等。

聽覺通道刺激素材庫(kù)是通過聲音刺激情緒而建立的素材庫(kù)，目前有中國(guó)情感數(shù)碼聲音系統(tǒng)和中國(guó)情緒音樂材料庫(kù)。

視聽覺雙通道刺激素材庫(kù)是通過影視素材刺激情緒而建立的素材庫(kù)，目前有情緒影像、中國(guó)情緒影像材料數(shù)據(jù)庫(kù)。使用自我報(bào)告的5 點(diǎn)量表、正性負(fù)性情緒量表及分化情緒量表進(jìn)行自我評(píng)定。

綜上所述，通過影視和音樂素材結(jié)合的視聽雙通道情緒素材庫(kù)暫未建立。本研究試圖通過自我報(bào)告量表對(duì)被試的情緒進(jìn)行評(píng)定，建立音樂影視情緒視頻素材庫(kù)。

一、實(shí)驗(yàn)材料設(shè)計(jì)

由于“西學(xué)東漸”的影響，我國(guó)當(dāng)代的音樂教育主要是以西方音樂體系而建立。音樂素材選擇西方古典音樂片段，均來源于互聯(lián)網(wǎng)絡(luò)，采用音樂會(huì)視頻。收集195 個(gè)正性和負(fù)性的情緒視頻片段。通過會(huì)聲會(huì)影視頻編輯軟件分離原畫面，保留音頻素材。利用GOLDWAVE 聲音處理軟件編輯音樂刺激素材的聲音參數(shù)，為MP4 格式，平均時(shí)長(zhǎng)18s（范圍：12～30s），皆為16BT 立體聲，采樣率24kHz，比特率為100—200kbps，平均響度均標(biāo)準(zhǔn)化為—7dB，同時(shí)淡出1s。

課題組成員依據(jù)音質(zhì)的好壞、情緒激發(fā)強(qiáng)度、熟悉程度進(jìn)行篩選，共選出101 個(gè)音樂演奏片段（46 條正性、55 負(fù)性）作為實(shí)驗(yàn)素材。

根據(jù)個(gè)體對(duì)與自己同一種族的面部表情識(shí)別更準(zhǔn)確的表情識(shí)別的跨文化研究成果，選擇東亞人臉情緒面孔的影視片段。素材來源于互聯(lián)網(wǎng)絡(luò)，選擇了來自東亞地區(qū)的商業(yè)影視片，內(nèi)容包括親情、愛情、戰(zhàn)爭(zhēng)等，主要突出人物面部表情。為避免熟悉程度，選擇冷門生僻的181 段正性和負(fù)性情緒影視視頻。時(shí)間長(zhǎng)短介于11～35秒，平均時(shí)長(zhǎng)22.38s。利用會(huì)聲會(huì)影編輯，去字幕和水印和靜音處理。課題組成員依據(jù)視頻的清晰程度、情緒激發(fā)是否明確以及熟悉程度進(jìn)行篩選，選出95 個(gè)視頻片段（47 條正性、48 條負(fù)性）作為實(shí)驗(yàn)素材。

征集被試50人，分成音樂音頻組和無(wú)聲影視兩組，其中音樂視頻組25 人（音樂專業(yè)10人，非音樂專業(yè)15 人），無(wú)聲影視組為25 人（音樂專業(yè)11 視頻，非音樂專業(yè)14 人視頻）。對(duì)音樂音頻和無(wú)聲視頻通過效價(jià)的九點(diǎn)評(píng)分量表進(jìn)行效價(jià)和喚醒度評(píng)價(jià)，效價(jià)從消極到積極為1 到9分，喚醒度從低到高為1—9 分。剔除喚醒度小于4 分和效價(jià)小于6 分的正性音頻、大于4 分的負(fù)性音頻素材。共選出正性音樂音頻20 條、負(fù)性音樂音頻21 條、正性與負(fù)性影視視頻各25 條。

以效價(jià)為依據(jù)，按照情緒一致的原則，綜合素材的時(shí)間長(zhǎng)短，將正負(fù)性音樂音頻與無(wú)聲視頻進(jìn)行搭配組合。通過會(huì)聲會(huì)影剪輯成20 條正性、21 條負(fù)性音樂影視情緒視頻素材。

二、實(shí)驗(yàn)設(shè)計(jì)

參加本實(shí)驗(yàn)的有：高校音樂專業(yè)在校生18人，非音樂專業(yè)在校生20人，10 男28女，平均年齡20歲，視聽正常，無(wú)疾病。右利手，矯正視力2.0 以上。采用效價(jià)和喚醒度二維情緒模型作為評(píng)價(jià)工具，被試進(jìn)行自我報(bào)告。使用9×9 網(wǎng)格。見圖1。

圖1

通過E—prime3.0 軟件編輯和播放，電腦屏幕隨機(jī)呈現(xiàn)正負(fù)性音樂影視情緒視頻素材，用耳機(jī)聽音樂。實(shí)驗(yàn)前告知被試根據(jù)即時(shí)感受打分，在二維情緒模型圖上用鼠標(biāo)點(diǎn)擊相應(yīng)的位置，不支持長(zhǎng)時(shí)間思考。各素材間隔2 秒鐘。實(shí)驗(yàn)前，工作人員講解二維情緒模型的含義，并給予被試3 個(gè)實(shí)驗(yàn)素材熟悉進(jìn)行練習(xí)。實(shí)驗(yàn)結(jié)果數(shù)據(jù)通過E—Prime 軟件收集。見圖2。

圖2

使用SPSS23 版本，對(duì)評(píng)價(jià)結(jié)果從信度、效價(jià)、喚醒度三個(gè)方面進(jìn)行相關(guān)性、方差和t 檢驗(yàn)等統(tǒng)計(jì)分析。計(jì)算實(shí)驗(yàn)數(shù)據(jù)的克隆巴赫α 系數(shù)，評(píng)定素材間情緒的一致性，確保數(shù)據(jù)真實(shí)有效。對(duì)正負(fù)性音樂影視情緒視頻素材的效價(jià)、喚醒度使用方差分析。情緒類型是被試內(nèi)變量，性別和專業(yè)是被試間變量。探究不同性別、專業(yè)與非專業(yè)學(xué)生對(duì)相同音樂影視情緒視頻素材的情緒反應(yīng)有何不同。

三、實(shí)驗(yàn)結(jié)果

（一）信度（一致性）

信度是指研究中測(cè)量結(jié)果的一致性程度，判斷一項(xiàng)心理研究是否有效的主要依據(jù)。克隆巴赫α 系數(shù)被使用最廣泛。使用SPSS23 軟件計(jì)算實(shí)驗(yàn)結(jié)果的克隆巴赫α 系數(shù)，對(duì)于負(fù)性情緒，每種情緒的20 個(gè)影像片段的一致性在0.875 以上；對(duì)于正性情緒，每種情緒的20 個(gè)影像片段的一致性在0.898以上。實(shí)驗(yàn)結(jié)果表明，實(shí)驗(yàn)素材信度高，被試態(tài)度認(rèn)真，素材之間評(píng)分一致性較高，結(jié)果可信。

（二）效價(jià)與喚醒度

效價(jià)是指情緒的類型，分為正性和負(fù)性，喚醒度指的是機(jī)體情感狀態(tài)激活的程度，表示情緒程度的強(qiáng)弱。保留的20條正性效價(jià)平均值＞7.5，21 條負(fù)性效價(jià)平均值＜3.3，屬于正負(fù)性情緒范疇。素材的喚醒強(qiáng)度都在4 分以上，且多數(shù)素材能激發(fā)平均值在6 分以上，說明所有素材均能喚醒足夠強(qiáng)烈的情緒體驗(yàn)，有效激發(fā)個(gè)體情緒。

（三）性別差異分析

對(duì)于p 值檢驗(yàn)設(shè)定顯著性要達(dá)到p ＜0.05 的結(jié)果，才具有統(tǒng)計(jì)學(xué)意義。負(fù)性素材效價(jià)的性別主效應(yīng)顯著，t（36）=—2.19，p＜0.05。正性素材效價(jià)、喚醒度和負(fù)性素材喚醒度的性別差異都不顯著。負(fù)性素材效價(jià)男性的均值要低于女性，不同于以往女性更加感性的說法，相同的負(fù)性素材男性會(huì)認(rèn)為更加消極，見表1。

表1 男女生評(píng)定結(jié)果相關(guān)性及差異

（四）其他差異分析

負(fù)性素材喚醒度的專業(yè)主效應(yīng)非常顯著t（36）=3.25，p＜0.05，負(fù)性素材效價(jià)、正性素材效價(jià)和喚醒度的專業(yè)主效應(yīng)不顯著。音樂專業(yè)學(xué)生對(duì)負(fù)性刺激的喚醒度（M=6.29，SD=0.89）顯著高于非專業(yè)學(xué)生（M=5.49，SD=0.56）。見表2。

表2 專業(yè)組別結(jié)果相關(guān)性及差異

除了負(fù)性喚醒度的專業(yè)效價(jià)顯著，可看出素材對(duì)于專業(yè)與非專業(yè)情緒激發(fā)有不同處之外，是否經(jīng)過音樂專業(yè)學(xué)習(xí)對(duì)音樂影視情緒視頻的情緒感知影響總體來說不明顯。

四、討論

本研究目的是編制一個(gè)具有相當(dāng)情緒準(zhǔn)確性和高度一致性的音樂影視情緒視頻素材庫(kù)，并在保證音樂完整性的前提下盡量縮短素材所持續(xù)的時(shí)間，最終篩選出41 個(gè)滿足條件的素材，持續(xù)時(shí)間在11—20 秒之間，保證音樂影視情緒視頻素材庫(kù)的實(shí)用性。計(jì)算本研究的正負(fù)性素材的α 系數(shù)均大于0.8，實(shí)驗(yàn)結(jié)果真實(shí)可靠。保留的20 條正性效價(jià)平均值＞7.5，21 條負(fù)性效價(jià)平均值＜3.3。所有素材的喚醒強(qiáng)度均在4 分以上，說明所有素材均能喚醒足夠強(qiáng)烈的正負(fù)性情緒體驗(yàn)，對(duì)現(xiàn)有的情緒激發(fā)素材庫(kù)起到補(bǔ)充作用。

正性、負(fù)性影視人物視頻素材畫面都以人物面部表情為主，正性畫面場(chǎng)景中包括勝利、娛樂旅游、美麗風(fēng)光、可愛兒童、聚會(huì)場(chǎng)景、親情友情、愛情等；負(fù)性畫面場(chǎng)景中包括事故、醫(yī)療、尸體、哭泣、傷殘、血淋等；保留下來的25 條負(fù)性無(wú)聲視頻素材中以醫(yī)療場(chǎng)景為背景的最多，推測(cè)是因?yàn)獒t(yī)療背景給人留下了生死離別的刻板印象，從而更加容易激發(fā)人悲傷的情緒。

素材庫(kù)中效價(jià)最高/低素材的音頻素材中，效價(jià)較高的正性素材音頻選段速度均為快速，發(fā)音點(diǎn)較多且節(jié)奏型更加密集的特點(diǎn)，而負(fù)性素材音頻相對(duì)來說速度更慢。可見，慢速而節(jié)奏感較弱的音樂素材更易于激發(fā)產(chǎn)生負(fù)性情緒，而快速、節(jié)奏感較強(qiáng)的音樂素材容易產(chǎn)生正性情緒。

保留的素材中正性音頻均為大調(diào)式，負(fù)性音頻大多為小調(diào)式。這也從某種程度上證明了大調(diào)明亮大氣、和諧，而小調(diào)陰柔細(xì)膩，在音色上更加暗淡感性的認(rèn)識(shí)。正性音頻常出現(xiàn)大三和弦和屬七和弦，大三和弦通常帶給人積極的感覺，可以表現(xiàn)高興、喜悅的情緒，表現(xiàn)勝利的景象。配器上，效價(jià)高的正性音頻中均使用了打擊樂器組的樂器，負(fù)性素材中則較少出現(xiàn)。推測(cè)這可能是因?yàn)榇驌魳菲饕羯髁粒?jié)奏感和韻律感歡快的特點(diǎn)，更能凸顯音樂中表達(dá)的生命力和激情，正性素材加入打擊樂器的部分，能營(yíng)造出熱鬧的氛圍感。

本實(shí)驗(yàn)，評(píng)分的性別差異顯著，男性負(fù)性效價(jià)均值低于女性。關(guān)于情緒體驗(yàn)的性別差異研究結(jié)論中，有的差異顯著，有的發(fā)現(xiàn)不存在性別差異，更有研究則得出女性的情緒體驗(yàn)更為強(qiáng)烈的結(jié)果，與本此實(shí)驗(yàn)結(jié)果相悖，可能與本次實(shí)驗(yàn)選擇的素材和情緒激發(fā)方式有關(guān)，因此關(guān)于情緒的激發(fā)與性別之間的關(guān)系還需要更進(jìn)一步的研究。

非專業(yè)被試的負(fù)性情緒的喚醒度總體高于非專業(yè)被試，差異顯著，而其他方面差異都不顯著，我們推測(cè)可能情緒的激發(fā)更多只是大腦的基礎(chǔ)功能，激發(fā)音樂情緒過程對(duì)音樂文化經(jīng)驗(yàn)和學(xué)習(xí)的要求較低。

本研究用音樂和影視視頻結(jié)合作為情緒激發(fā)素材來建立的情緒素材庫(kù)，數(shù)據(jù)上有極高的準(zhǔn)確率，參考價(jià)值高，為情緒心理、音樂審美教育心理等科學(xué)實(shí)驗(yàn)研究提供研究工具與素材。該素材庫(kù)建立成功后對(duì)建立情緒激發(fā)素材庫(kù)的理論體系構(gòu)建也有參考意義。