人工智能音樂的“音樂人格”

陳益敏 張焜 劉聆風(fēng)

【摘要】二十一世紀(jì)，人工智能在音樂領(lǐng)域潛力無窮，但其仍存在局限性，如何提升人工智能音樂情感性成為焦點。音樂創(chuàng)作的本質(zhì)就是音樂情感地表達，量化的研究有助于實現(xiàn)音樂的動態(tài)性，在語言計算模型中對音樂情感單獨標(biāo)注有助于彌補人工智能在海量數(shù)據(jù)學(xué)習(xí)中所丟失的動態(tài)性。

【關(guān)鍵詞】深度學(xué)習(xí)；人工神經(jīng)網(wǎng)絡(luò)；量化研究；動態(tài)性；情感標(biāo)注

【中圖分類號】J60 【文獻標(biāo)識碼】A 【文章編號】1007-4198（2021）03-130-03

【本文著錄格式】陳益敏，張焜，劉聆風(fēng).人工智能音樂的“音樂人格”——賦予音樂創(chuàng)作的動態(tài)性以增進音樂的情感性[J].中國民族博覽，2021，02（03）：130-132.

引言

二十一世紀(jì)，人工智能技術(shù)在音樂領(lǐng)域應(yīng)用并快速發(fā)展，其在音樂創(chuàng)作、音樂教育和音樂保護領(lǐng)域都有交叉融合的趨勢?；赝斯ぶ悄芤魳钒l(fā)展史，AI最早應(yīng)用于作曲領(lǐng)域，其起源于算法作曲，并走向以馬爾科夫鏈、神經(jīng)網(wǎng)絡(luò)、遺傳算法等多種人工智能算法為基礎(chǔ)的AI作曲[1]，到如今深度學(xué)習(xí)作曲成為主流。

語音合成、音視頻與圖像識別、交互技術(shù)等一系列AI技術(shù)，推動了音樂創(chuàng)作模式、流媒體個性化定制以及音響設(shè)備制作等方面的革新。[2]但這一應(yīng)用領(lǐng)域仍有深度發(fā)展?jié)摿Α，F(xiàn)有AI創(chuàng)作的音樂雖然技術(shù)成熟，卻缺乏一定的情感傳達能力。因此對于如何提升人工智能音樂情感性這一議題，本文提出了一種理論闡釋和解決方法，并提供了它可能的技術(shù)實現(xiàn)方案。

一、人工智能音樂的技術(shù)指南

人工智能音樂形成和發(fā)展的基礎(chǔ)，是人工智能技術(shù)的發(fā)展。

人工智能的基礎(chǔ)是深度學(xué)習(xí)，即一種連接型表征學(xué)習(xí)方法，其中的模型由一連串模塊組構(gòu)成，每個模塊可看作神經(jīng)元組成的不同拓撲結(jié)構(gòu)，訓(xùn)練后的拓撲結(jié)構(gòu)分別拿出來都可以作為獨立的特征提取器。

深度學(xué)習(xí)的結(jié)構(gòu)是構(gòu)造感知機模型，意在模仿神經(jīng)元工作的工作原理。人腦結(jié)構(gòu)的運轉(zhuǎn)有大量神經(jīng)元的協(xié)作，AI的模仿亦是如此。按照不同的拓撲結(jié)構(gòu)，人工神經(jīng)網(wǎng)絡(luò)通過設(shè)計不同網(wǎng)絡(luò)結(jié)構(gòu)，來解決不同問題。其中最基礎(chǔ)的網(wǎng)絡(luò)結(jié)構(gòu)就是全連接網(wǎng)絡(luò)，在此基礎(chǔ)上發(fā)展出卷積網(wǎng)絡(luò)和LSTM記憶網(wǎng)絡(luò)。卷積網(wǎng)絡(luò)模擬視神經(jīng)系統(tǒng)，LSTM記憶網(wǎng)絡(luò)對某一時刻t的網(wǎng)絡(luò)信息進行處理，遺忘，接受更新，決策鋪入，通過精心設(shè)計的稱作“門”的結(jié)構(gòu)來去除或增加信息到細胞狀態(tài)的能力。[3]人工智能根據(jù)用戶需求，將圖像或語音信號由輸入層輸入，進行傳遞計算，最后由輸出層得到相應(yīng)的結(jié)果，這一過程也被稱為前向傳播。神經(jīng)網(wǎng)絡(luò)的訓(xùn)練目標(biāo)是達到模型輸出等于理想輸出，通過誤差函數(shù)，尋找參數(shù)使函數(shù)差值最小。但有時最終的理想輸出亦不明確，因此要引入生成式對抗網(wǎng)絡(luò)，其框架內(nèi)分為兩個模塊：訓(xùn)練判別網(wǎng)絡(luò)和訓(xùn)練生成模型。通過兩個模塊相互博弈學(xué)習(xí)產(chǎn)生優(yōu)質(zhì)的輸出。強化學(xué)習(xí)作為機器學(xué)習(xí)的范式和方法論之一，則使模型參數(shù)愈加適應(yīng)環(huán)境。[4]

二、人工智能音樂進步的音樂基礎(chǔ)

人工智能音樂雖前景可觀，但我們?nèi)砸P(guān)注其局限性：人工智能音樂情感性的缺乏。從音樂學(xué)的角度，筆者認為，音樂創(chuàng)作本身是音樂情感表達的技術(shù)基礎(chǔ)。提升人工智能音樂情感性，需要從音樂創(chuàng)作角度提供人工智能音樂的進步空間。

（一）音樂的情感的發(fā)生

情感隸屬認知科學(xué)范疇，當(dāng)它附著在音樂這一藝術(shù)領(lǐng)域時，則必須有行為主體（人）在此起到交互作用。音樂的情感性主要涉及兩個行為主體，一類是表現(xiàn)音樂的人（如作曲家），另一類是聆聽、鑒賞音樂的人，即通俗意義上的聽眾。其中交互的鏈條是從作曲家出發(fā)，經(jīng)由音樂這一客體傳達到聽眾身上。那么音樂中的情感的傳導(dǎo)機制究竟如何呢？

1.“作曲家-音樂”中的情感傳導(dǎo)

作曲家、音樂批評家科恩曾提出，音樂是一種言說，依靠著完整的音樂人格發(fā)聲，而這個“人格”正是作曲家意志的投射。[5]音樂表現(xiàn)的是由作曲家的部分意志演化而來的音樂人格，在人文化的語境中，它必然是作曲家情感的寓藏。[5]因此在音樂交互鏈上，音樂人格來自作曲家的人格，而音樂中的情感首先是來自作曲家的情感。

2.“音樂—聽眾”中的情感傳導(dǎo)

情感被作曲家以豐富的創(chuàng)作與音樂所粘合后需傳遞給聽眾。音樂交互鏈的第二個進程，便是聽眾的音樂感知活動和情感共鳴活動。

廣泛的音樂情緒研究認為音樂能夠引發(fā)聽眾的情緒活動。[9]音樂情感反應(yīng)的神經(jīng)機制的研究顯示，音樂會促使腦釋放神經(jīng)遞質(zhì)（包括血清素、多巴胺等），并可激發(fā)負責(zé)情緒、獎賞與動機的腦區(qū)。[8]可見，“音樂—聽眾”中的情感傳導(dǎo)通路是成立的。

對于音樂情緒主體，性別、年齡、有否音樂訓(xùn)練等影響聆聽音樂時的相關(guān)腦區(qū)激活程度。[8] Juslin在2010年提出的音樂線索一致性中分析，其程度會受到音樂線索、呈現(xiàn)效果、聽眾特點和背景因素地影響，[10]但對于其中的詳盡機制沒有完整的理論體系。較為著名的Juslin和V？stfj？ll的六個心理機制理論和 Kone？ni的中介說[9]，亦缺乏實證研究。但已見得，這種共鳴離不開主客體因素的共同影響。

（二）音樂思維

音樂創(chuàng)作的腦功能機制是音樂思維的生理基礎(chǔ)。[6-7]《音樂教育神經(jīng)科學(xué)》一書指出，“音樂創(chuàng)作需要整合聽覺動作/聲音與運動行為并匹配動作與聲音的初級皮層以外的腦區(qū)（額下回、前運動區(qū)與頂上回），這一腦區(qū)所屬的神經(jīng)網(wǎng)絡(luò)尤其在音樂作曲和音樂技能學(xué)習(xí)過程中發(fā)揮重要作用?！盵7]可見，音樂訓(xùn)練中特定行為運動（如彈鋼琴的手指運動）和有意義的聲音辨別的獨立訓(xùn)練和有機結(jié)合形成了音樂家與非音樂家之間的腦差異，亦是音樂創(chuàng)作、音樂思維的基礎(chǔ)。[7]

同時，音樂思維的個人訓(xùn)練離不開結(jié)構(gòu)思維的培養(yǎng)，依靠整體分析去把握要素分析。音色思維、和聲思維與復(fù)調(diào)思維，是對于音樂創(chuàng)作要素地把握。感性基礎(chǔ)和知性認識、建立在邏輯思維基礎(chǔ)上把握意象特征的自主行為，亦是音樂思維形成的重要要素。掌握每個要素的認識后，亦需融入到對結(jié)構(gòu)地把握中去。[6]

（三）音樂創(chuàng)作與音樂情感[6]

認識音樂思維后，音樂創(chuàng)作具體的行為模式和其中的情感傳導(dǎo)機制則不難了解。

音樂創(chuàng)作，即在把握聽知覺訓(xùn)練和藝術(shù)知覺訓(xùn)練后，形成的非自覺意識和自覺意識的統(tǒng)一，音樂技能與音樂教養(yǎng)的統(tǒng)一，在以音樂要素（和聲、音色、織體等）思維為基礎(chǔ)的音樂結(jié)構(gòu)思維下進行音樂元素建構(gòu)的行為。此音樂構(gòu)建過程中往往同時形成情感模型的構(gòu)建。其建立一方面來自邏輯（自覺），通過對已知的包含特定情感特征的和弦、音色、調(diào)性等的確立和規(guī)劃，來達成結(jié)構(gòu)性的、自主性的情感確立，這種情感的創(chuàng)造力在一定程度上是建立在相應(yīng)的音樂創(chuàng)作經(jīng)驗、寫作知識和生活意象結(jié)構(gòu)之上的，但又具有原理上的確定性。另一方面則來自非自覺，其也是建立在一定的音樂基礎(chǔ)之上，但更多的是不需要建構(gòu)情況下的音樂元素與生活意象的自然組合，具有流動性，表現(xiàn)時間進程，有時還因“動作思維”而激發(fā)。

（四）音樂動態(tài)性與音樂情感

最后，我們提出本文最重要的概念：音樂動態(tài)性。經(jīng)過音樂創(chuàng)作與音樂情感的關(guān)系探討后，我們提出了音樂創(chuàng)作中情感傳導(dǎo)的建構(gòu)（非自覺）-流動（自覺）平衡理論。而音樂動態(tài)性則是在理論中的平衡區(qū)域。

將音樂賦予動態(tài)性，通俗來說就是在進行音樂情感內(nèi)涵賦予時，除了建立基本的情感模型外，在時間進程中給與音樂元素充分的流動性，使音樂元素在“前理解”的基礎(chǔ)上自然進入模型。這樣創(chuàng)造出來的音樂既具有情感的整體性，又充滿個性化的靈動感。

由前述可以推出，創(chuàng)造音樂動態(tài)性的關(guān)鍵點有三：其一是音樂情感模型，即結(jié)構(gòu)思維的構(gòu)建；二是豐富的前理解，即樂感、非自覺意識地形成；其三，便是時間進程地把握，構(gòu)建動態(tài)序列的分布。抓住這三個要素，則音樂動態(tài)性基本形成，音樂的情感性也就此完善。

三、以人工智能實現(xiàn)音樂創(chuàng)作的動態(tài)性[11-16]

分別了解人工智能和音樂情感基礎(chǔ)后，現(xiàn)在我們可以把人工智能音樂的情感性提升落實到創(chuàng)造人工智能動態(tài)性上來，而關(guān)鍵便是抓住以上三點。

音樂創(chuàng)作的動態(tài)性的根基在于結(jié)構(gòu)思維的構(gòu)建，在于音樂情感的模型化。

對此，人工智能音樂利用音樂規(guī)律給人工智能制定算法規(guī)則，通過吸納海量從曲式、調(diào)式、意境等不同方面的音樂建立數(shù)據(jù)庫，進行深度學(xué)習(xí)，在分析、概括其原曲的規(guī)則、結(jié)構(gòu)等各項要素，解讀出原曲的情感表達后，重新根據(jù)指令操作生成音樂。

而樂感、非自覺意識地形成則是人工智能音樂形成動態(tài)性、邁入情感化的門檻。

首先，樂感地形成需要良好的情感空間的構(gòu)造。人工智能音樂創(chuàng)作的傳統(tǒng)訓(xùn)練方式具有數(shù)據(jù)依賴性，并沒有將音樂情感單獨標(biāo)注，而是與曲式、調(diào)式、意境等音樂元素在通過信號流傳輸后，被共同提取為特征流進入特征空間進行學(xué)習(xí)。音樂情感被削弱，從而減少了音樂動態(tài)性的創(chuàng)造。

在音樂心理學(xué)中，心理模糊性是人腦反映客觀差異的中介過渡性以及所致的不確定性的量化，是理解人與音樂交互過程中產(chǎn)生音樂情感的心理過程的重要因素。由于音樂情感在大眾的理解中具有的相通性，個人主觀因素的存在不會影響音樂情感量化后在音樂創(chuàng)作中的再輸出。 通過模糊隸屬函數(shù)形成基于語義相似關(guān)系的語言計算模型，借助語言值產(chǎn)生對音樂情感的良好表達。通過前期基于語義相似關(guān)系的語言計算模型對音樂情感的單獨標(biāo)注，音樂動態(tài)性地表達將得到豐富。

其次，人工智能音樂前理解地形成，則需要借助音樂主旋律的識別記憶，以進行情感分類判別。人工智能在學(xué)習(xí)訓(xùn)練時，定位主旋律軌道并提取相應(yīng)樂段是判斷其風(fēng)格并歸類的重要因素，結(jié)合音程特征的統(tǒng)計與分析，制定主音軌自動判別算法。該算法的本質(zhì)是分類函數(shù)的應(yīng)用，在這里我們以BP算法，即前向反饋神經(jīng)網(wǎng)絡(luò)模型為核心，根據(jù)實際的訓(xùn)練樣本與檢驗樣本數(shù)量稍稍加以改動，以此得到高擬合度的分類判別。

最后，時間進程地把握、構(gòu)建動態(tài)序列的分布則是音樂動態(tài)性的核心。對已經(jīng)攫取的主旋律音軌，確定其中的主題旋律，是給人工智能通過數(shù)據(jù)庫訓(xùn)練再創(chuàng)作的關(guān)鍵，主題旋律往往具有的高重復(fù)性特征，能夠讓計算機通過字符串連接的操作手段提取主題旋律，但通過矩陣的方式檢測分割片段的運算會占據(jù)計算機大量內(nèi)存，降低了人工智能自我處理的時間效率。因此我們在字符串連接方式上做出優(yōu)化，分割片段不再以音符為最小單位，而是以小節(jié)為最小單位，小節(jié)相較音符，在旋律上表達更為宏觀，每一小節(jié)不僅蘊含了音符的時間信息，也包含了不能從單音符分析提取出的節(jié)拍信息，增強了音樂的流動性。

總結(jié)來說，音樂特征檢索與識別的多重算法結(jié)合音樂情感量化研究中構(gòu)建的模型，形成了以音樂作品輸入信號流為分割，情感標(biāo)注和特征提取并行分類處理的模型運行過程，面向音樂創(chuàng)作的動態(tài)性，情感流和特征流的信號被分別進入情感空間和特征空間，最終進入模型的樣本空間進行深度學(xué)習(xí)。作為廣泛應(yīng)用于機器翻譯、對話生成和編解碼領(lǐng)域的結(jié)構(gòu)，LSTM長短期記憶神經(jīng)網(wǎng)絡(luò)對人類邏輯思維的表征有著明顯的優(yōu)勢，人工智能音樂的學(xué)習(xí)包含了大量經(jīng)量化后的主觀因素，以LSTM作為訓(xùn)練模型將有助于音樂動態(tài)性的生成訓(xùn)練，之后通過機器學(xué)習(xí)將離散序列平滑完整的拼接，最終形成滿足動態(tài)特征的音樂序列，實現(xiàn)人工智能音樂創(chuàng)作的動態(tài)性。

四、結(jié)論

音樂融匯藝術(shù)與科學(xué)，因此技術(shù)支撐其在數(shù)字化時代更好地探索和發(fā)展。動態(tài)性是音樂的脈搏、情感性是音樂的本質(zhì)，二者描摹著人工智能音樂人格的外在色彩。算法是人工智能的血脈、模型是人工智能的骨架，二者探索著人工智能音樂人格的內(nèi)在特征。本文分別從音樂基礎(chǔ)和人工智能技術(shù)對人工智能音樂發(fā)展展開論述，并結(jié)合二者，試驗性地提出了實現(xiàn)音樂創(chuàng)作動態(tài)性在人工智能模型與算法上的需求與演化。目前的時代仍是弱人工智能時代，相信未來，當(dāng)AI走向強水平，人工智能音樂情感局限將得以瓦解。

參考文獻：

[1]周莉，鄧陽.人工智能作曲發(fā)展的現(xiàn)狀和趨勢探究[J].藝術(shù)探索，2018，32（5）：107-111.

[2]王鉉，雷沁穎.人工智能對中國音樂產(chǎn)業(yè)鏈的滲透與革新[J].現(xiàn)代傳播，2019（12）：131-134.

[3] 吳兵兵.基于詞向量和LSTM的漢語零指代消解研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2016.

[4] 趙德宇.關(guān)于深度強化學(xué)習(xí)的應(yīng)用研究[J].中國新通信，2019（15）：227-228.

[5][美]愛德華·T·科恩，何弦，譯，楊燕迪，校.作曲家的人格聲音[M].上海：華東師范大學(xué)出版社，2011.

[6]林華.音樂家是如何“思維”的[M].上海：上海音樂出版社，2018.

[7]浦江.全認知情感理論——一種新的心智計算模型[J].計算機科學(xué)，2014，41（7）：15-24.

[8][美]弗朗西絲·H·勞舍爾，[德]維爾弗里德·格魯恩，南云等譯.音樂教育神經(jīng)科學(xué)[M].上海：上海教育出版社，2020.

[9]陳凱珊，蘭文杰.音樂情緒內(nèi)涵及音樂與情緒的關(guān)系探析[J].肇慶學(xué)院學(xué)報，2013（1）：55-59.

[10]羅琳.音樂情緒識別誘發(fā)的因素[J].赤子，2017（27）：213-214.

[11]李洪偉.音樂情感的腦電信號分析技術(shù)及神經(jīng)機制研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2018.

[12]崔佳.試論“人工智能技術(shù)”（ai）在賦格創(chuàng)作中的應(yīng)用[J].齊魯藝苑，2019（1）：25-29.

[13]劉濤.音樂情感認知模型與交互技術(shù)研究[D].杭州：浙江大學(xué)，2006.

[14]邵桂蘭，王建高.論音樂創(chuàng)作動機的復(fù)雜性及其多維結(jié)構(gòu)[J].交響（西安音樂學(xué)院學(xué)報），2001，20（1）：37-39.

[15]陳世哲.淺談人工智能技術(shù)在音樂創(chuàng)作中的應(yīng)用[J].音樂探索，2020（1）：125-132.

[16]朱晨陽.動態(tài)色彩與音樂情感表達的互動關(guān)系[J].音樂傳播，2016（4）：106-108.

作者簡介：陳益敏（2000-），女，漢族，浙江省杭州人，本科，溫州大學(xué)商學(xué)院，研究方向為金融工程；張焜（2000-），男，漢族，山西省太原人，本科，諾丁漢大學(xué)馬來西亞分校，研究方向為計算機科學(xué)與人工智能；劉聆風(fēng)（2001-），女，漢族，安徽合肥人，本科，佐治亞理工學(xué)院，研究方向為數(shù)學(xué)。