智能技術與音樂藝術的融合創新

隨著人工智能技術進入第三次發展浪潮，計算機擁有了學習的能力，進而分析、處理聲音與音樂信息提供了新方法。同時，新時代音樂藝術也為技術的發展帶來挑戰，不僅需要技術提供客觀的量化分析，還需要借助技術理解藝術審美，提供創新方法。音樂學科與智能技術的結合有助于推動聲音與音樂技術的多元化發展，但由于學科背景與研究方向分散，本領域研究無法形成合力，缺乏廣泛關注與發展動力。

為了促進多方學者對話，合作解決當前問題，共商未來發展方向，全國聲音與音樂技術會議（Conference on Sound and Music Technology，CSMT）立足聲音與音樂技術這一跨學科交叉領域，匯集各相關領域的前沿成果，提供跨學科交流平臺。首屆中國聲音與音樂計算研討會（CSMCW）于2013年召開，后于2016年更名為全國聲音與音樂技術會議（CSMT），迄今已成功舉辦九屆，規模與影響力不斷擴大。①

2022年6月10日至12日，第九屆全國聲音與音樂技術會議（Conference on Sound and Music Technology，CSMT）于線上成功舉辦。本次會議由上海計算機音樂協會、北京聲學學會、上海市計算機學會、上海市人工智能學會主辦，由浙江大學、浙江音樂學院、數字音樂智能處理技術文化和旅游部重點實驗室和“設計+X”創新創業教育改革虛擬教研室②聯合承辦。會議圍繞藝術、技術、商業等多學科視角展開，涉及計算機聽覺、音樂創作與交互、音樂技術創新創業等議題，并專門為跨學科交流開設學科融合論壇，開展多項專題討論，激發多方觀點的交融與碰撞。此外，會議還設置了音頻領域國際頂級期刊會議論文展、聲音裝置與音樂作品征集活動，關注國際前沿科研成果及應用實踐。

一、技術精專與藝術綻放

本次會議的報告內容大致分為音頻分析與處理技術、數字時代下的音樂創作與呈現、學科融合與創新視角三個核心主題。

1.音頻分析與處理技術

在音頻分析任務中，音樂音頻具有一定的特殊性，它既包含音符等符號信息，也包含風格、情感等非符號信息。日本Alpha Theta公司的吳益明博士分享報告《基于概率模型的自動音樂解析技術概述》，提出人類能夠同時使用“扒譜”與“腦補”技能以提高音樂識別的準確性，音樂解析技術也應統一識別與生成這一雙向過程，優化符號體系、融入先驗知識，突破現有局限。畢業于倫敦瑪麗女王大學數字音樂中心的趙玉東博士在報告《基于短時音頻特征的小提琴家風格建模與識別》中，提出一種基于揉弦技法、音色響度、演奏節奏等短時特征的音頻分析方法，用于對不同小提琴演奏家的個人風格進行分析與建模，為音樂理解、風格遷移、樂器表演等領域提供了新的智能分析方法。

隨著元宇宙概念的普及，3D虛擬環境中的聲音體驗需求向音頻技術提出了更高的要求。中國數字音視頻編解碼技術標準工作組（AVS）音頻組組長、清華大學教授竇唯蓓介紹了AVS標準的制定過程、現行AVS2標準的技術特點與優勢，以及AVS3標準和VR音頻標準的研究進展，展示了新的應用場景下音頻編解碼技術的演變與升級。北京真力音響有限公司技術總監馮漢英在報告《個性化HRTF的圖像化獲取》中闡述了在通過耳機仿真音箱監聽環境進行音頻質量主觀評估的過程中，個性化HRTF信息的重要性，并介紹了個性化HRTF圖像的采集、生成、渲染以及設備適配的方法。

2.數字時代下的音樂創作與呈現

數字技術的引入為音樂的創作與傳播提供了更多方法與工具，也豐富了音樂創意的表現維度與形式。英國德蒙福特大學首席研究員李·蘭迪（Leigh" Landy）教授以“用聲音創作音樂”為主題，分析了音樂技術、采樣文化以及跨領域合作對音樂創作領域的幫助以及相關教學項目（EARS2③）與工具（Compose with Sounds軟件④）。他認為音樂不排斥技術，新形式音樂需要技術的支持，使更多人對此感興趣并參與進來。

浙江音樂學院萬方老師的報告《將聲音動機發展為交互表演的旅程》介紹了數字驅動樂器的結構，及其可變的數據映射方式，并結合《花旦的呢喃》《交疊的弦》《源》等個人作品，闡釋了如何以聲音動機為基礎發展數字音樂交互表演，進而解釋了數字樂器的交互形式如何影響音樂作品的創作與表演方式。浙江音樂學院王新宇副教授分享報告《數字智能化時代的音樂空間表現》，強調了音樂空間的表現是音樂創作的重要部分。報告從空間對象的類型、具身認知、主觀投射等角度，結合音樂空間組織的經典案例，探討了數字智能化時代音樂空間創作的藝術理念、核心技術、關鍵問題以及前景展望。

技術變革沖擊著人們的音樂審美，新的場景改變了用戶對音樂的需求和音樂創作者的生存環境。上海豆熊音樂工作室的劉博元在報告《解開商業編曲中的吸引力密碼》中基于豐富的真實案例，探討了復雜多變的行業環境中音樂創作者如何利用心理學技巧與用戶進行有效溝通，如何在商業價值與自我價值中尋找平衡，實現自我發展的良性循環。

3.學科融合與創新視角

現代音樂創作是技術工具、音樂原理與藝術感知的融合。新時代音樂創作者需要建立更系統的知識體系，掌握更靈活的學習與實踐方法。星海音樂學院陶陌教授在報告《科技對音樂的影響》中，分享了現代科技手段在音樂創作和音樂演繹中的應用。他指出，采樣、合成、算法作曲、聲音空間設計等技術為音樂的創作與演繹提供了更加豐富的素材與更加便捷的途徑。

美國俄勒岡大學交互音樂技術中心的杰弗里·斯托萊特（Jeffrey Stolet）教授遠程分享報告《聚焦音樂科技學科建設》，探討了數字音樂中科技的重要性，以及音樂科技學科的建設方向。他認為，如今的人與音樂都在終身進化，技術與交互的創新能不斷幫助我們理解和體驗音樂；傳統音樂學科具有的成熟體系可以服務于新音樂學科的探索；數據聲音化、聲音設計、交互作曲將是音樂科技學科值得研究的方向。

音樂與技術的學科融合啟示我們，解決綜合性問題需要不同學科背景、能力構成的人才共同合作。清華大學未來實驗室主任徐迎慶教授的報告《學科交叉與設計創新》介紹了該實驗室在多學科融合領域的研究進展，強調了多學科交叉合作對于解決機器人設計、人機交互等跨學科問題的重要意義，并展示了機器人民族樂隊、陶瓷生物互動展覽、聽障人群觸覺音樂感知界面等研究與實踐成果。

智能技術與音樂藝術為雙方提供了新的發展思路，既提高了技術進一步精深的可能性，也促進了音樂藝術學科與時俱進的發展。

二、學科融合與創新

多學科融合是聲音與音樂技術領域的重要特點，因此本次會議特增設了“學科融合論壇專題討論”，以“音樂與技術的對話”為核心，連接計算機與音樂學、音樂教育、音樂表演、音樂聲學等音樂細分領域，并涉及心理學、醫學、設計學、藝術管理、創新創業等相關學科，邀請各界專家學者開展專題討論，促進各學科交流與合作。

1.計算機與音樂相關學科

計算機與音樂學科板塊包括“音樂聲學+計算機”“音樂教育+計算機”“音樂表演+計算機”及“音樂學+計算機”四個專題。

“音樂聲學+計算機”專題由中央音樂學院李子晉教授主持。中國傳媒大學的劉京宇博士與中央音樂學院的徐申陽博士對音色感知建模及樂器音色分析兩個主題進行分享。中央音樂學院嗓音研究中心主任韓麗艷、復旦大學教授李偉、中國音樂學院教授付曉東等專家共同探討了計算機技術在幫助藝術工作者理解樂器聲學原理、分析樂器音色等方面的作用及展望。

“音樂教育+計算機”專題由中央民族大學牛小鳳副教授主持。中央民族大學作曲理論團隊及復旦大學音樂人工智能團隊進行分享。中國人民大學劉永謀教授、中央音樂學院裴聿茹副教授、四川音樂學院扈濱副教授等專家參與討論。裴聿茹提出計算機技術能夠很好地輔助視唱練耳能力評價與教學，劉永謀則強調技術發展需關注教學實踐中的真實需求。

“音樂表演+計算機”專題由西交利物浦大學李圣辰博士主持。西交利物浦大學、倫敦瑪麗皇后學院的研究團隊分享了歌聲分析、音樂表示、演奏風格遷移、演奏分析等研究成果。上海音樂學院楊健教授、倫敦瑪麗皇后學院趙玉東博士、新西蘭音樂學院楊波博士等專家就人的感知經驗如何融入技術、技術指標如何為音樂表演服務及人工智能的可解釋性等問題展開討論。

“音樂學+計算機”專題由中央音樂學院黃宗權教授主持。中國音樂學院、中央音樂學院、復旦大學、四川音樂學院的研究團隊對計算美學、計算機輔助音樂研究、民樂轉錄等主題進行分享。中央音樂學院何寬釗教授、中國人民大學劉永謀教授等專家參與討論。討論指出，技術的參與引發了人們對美學理論以及藝術哲學的思考，音樂創作的目標及相關藝術概念需要被重新定義。

2.相關技術的跨學科應用

跨學科應用板塊包括“音樂+心理學+計算機”“一般音頻+計算機”及“藝術管理+計算機”“音樂設計+創新創業”四個專題。

“音樂+心理學+計算機”專題由上海師范大學周臨舒副教授主持。中央音樂學院周墨南博士對相關研究背景進行分享。福建師范大學侯建成教授提議關注教育神經科學，從神經層面探究音樂教育中的心理學問題。中央音樂學院音樂治療專業蔣雯老師提出，情感計算可用于心理治療，為來訪者提供個性化的治療音樂。

“一般音頻+計算機”專題由北京理工大學錢昆教授和中國礦業大學王志華博士主持。華南理工大學孟慶林副教授分享了人工耳蝸的相關研究與啟示。北京理工大學朱立賢博士與邱萬勇博士分享了計算機聽覺、聯邦學習在醫療領域的應用。日本東京大學宋美舒博士提出了一種動態約束方式，以解決語音表達多任務學習中的不確定性加權損失。

“藝術管理+計算機”專題由天津音樂學院許多副教授主持。許多從藝術管理的概念出發，闡述了計算機技術在藝術創作、藝術培養、藝術活動運營、文化傳播等環節中的作用。復旦大學戴偉輝教授以神經管理與潛意識感知為落點，探討了藝術價值創造的腦機制問題。香港中文大學（深圳）校長顧問杜子德老師認為，技術能幫助藝術管理者更客觀、高效地了解受眾與市場。

“音樂設計+創新創業”專題由浙江大學張克俊教授主持。網易云音樂音視頻實驗室負責人劉華平、字節跳動研究科學家孔秋強參與討論。討論從音樂設計與探索、音樂產業發展因素、音樂產業需求三個角度，分析了當前音樂產業的整體環境、商業模式、人才需求、技術發展、應用場景等情況，探討了當下音樂行業潛在的創新創業機會。

三、接軌國際前沿動態

為促進聲音與音樂技術領域學者的進步，本次會議特設置了音頻領域國際頂級期刊會議論文展，展出10篇由國內年輕學者發表于國際音樂信息檢索會議（ISMIR）、心理學前沿（Frontiers in Psychology）、ACM多媒體檢索會議（ACM International Conference on Multimedia Retrieval）等國際頂級音頻領域會議、期刊的論文，并邀請論文作者進行分享。論文主題涵蓋音樂表演評價、音樂特征分析與提取、音樂情感與跨文化、音樂理解與生成等領域。這不僅擴大了國內學者的學術視野，也展示了部分國內學者的優秀工作，樹立了自信心。

四、科技的內核與藝術的呈現

聲音裝置與音樂作品征集是本次CSMT的重要活動之一，征集聲音技術成果展示、聲音音樂裝置、交互式聲音設計三類作品，旨在鼓勵科技與藝術的跨界融合，展示技術在藝術表達中的作用。

活動征集作品共35件，評選出一等獎作品3件，二等獎作品6件，三等獎作品9件。浙江大學呂冰潔、楊瑩春、馮佑瑋共同完成的作品《古箏音樂色彩感覺》通過“意象”連接古箏音樂與色彩，并以名曲《高山流水》為例展現出水墨色彩與古曲意境的融合。清華大學王韞作品《Vortex_陶瓷觸覺音樂播放器》將陶瓷、燈光與古曲《春江花月夜》結合，通過聽覺、觸覺、本體感覺聯合，創造多模態的音樂體驗。中國音樂學院馬仕驊的交互式視聽作品《被折疊的星空》用星空的陣列表現聲音變化，形成層次豐富的視聽感受。本次活動增加了藝術家以科學技術作為手段創作作品的動力，推動了科技和藝術的融合。

結 語

隨著對聲音與音樂技術探索的不斷深入，我們發現，跨學科的交流合作已成為這一領域的重要形式。在解決綜合性應用問題、優化解決方案、創作新時代藝術作品等各項工作中，跨學科交叉團隊都體現出了強大的創新能力和實踐優勢。

在本次會議中，我們看到了技術手段對于音樂創作、音樂教育、音樂傳播、聲音識別、聲音體驗的協助作用；也看到了音樂理論、心理學原理、創作經驗、商業分析等學科知識的融入，不僅提升了技術的有效性與準確性，還能從實踐與社會需求角度規范技術的發展方向，將技術創新轉化為實際價值。我們希望以會議為平臺，以聲音與音樂技術為切入點，促進各學科、各領域、各行業之間的資源共享與交流合作，整合學科優勢，積極探索、突破限制，實現聲音技術領域的持續發展與各學科的共同進步。

① http：//www.csmcw-csmt.cn/

② http：//www.next.zju.edu.cn/

③ https：//www.dmu.ac.uk/research/research-faculties-and-institutes/technology/mtirc/projects.aspx

④ http：//www.cws.dmu.ac.uk

吳宋若瑤 浙江大學在讀博士生

張克俊 浙江大學教授

（責任編輯" 榮英濤）