AI助推古琴譜升維高維樂譜

孫洋 王利 張輝

一、引言

眾所周知，音樂學內涵仍待進一步挖掘，至少在人工智能時代，使用機器學習的方式來處理樂譜學問題是一種完全值得嘗試的方向。在人工智能技術輔助下，運用圖像識別技術和聲音識別技術分別采集典型的古典樂譜的信息，比如律呂字譜、工尺譜、宮商字譜、古琴減字譜等記譜法，這些是中國古代音樂特有的記譜法，但無法與當今數字簡譜、五線譜等通用。古典樂譜只規定了節拍的起始位置，并未對音符的具體時值進行分配，這是解讀古典樂譜的最大難點。用五線譜記錄音樂作品時，會出現很多不便利、模糊不清的狀況，而二維譜的出現從根本上解決了這些問題。

本文以《長相思》《釵頭鳳》《廣陵散》等古琴譜為例，把古琴譜應用計算機程序自動翻譯成二維譜，并提出一種基于機器學習的節奏調整模型。通過研究如何借助圖像識別技術，建立機器學習算法的古琴譜自動翻譯系統，從而把古琴譜應用機器自動翻譯成高維樂譜——二維譜。由于目前在世界范圍內的各種記錄音樂的譜系中，以高維樂譜記錄音樂信息的功能最為強大，且科學性強，能基本做到不丟失信息，尤其是易于機器識別而成為人機共識的音樂語言，所以在此直接考慮AI將古琴譜自動翻譯成二維譜，以對古琴藝術的推廣和傳承產生更好的推動作用。

二、深度學習下AI自動翻譯古琴譜流程

深度學習技術大幅度促進了人工智能的應用和發展，利用圖像處理與圖像識別技術，基于深度學習的智能計算方法，設計和開發樂譜識別與整理系統，可實現傳統古樂譜向數字樂譜、古典樂譜向高維樂譜的轉換。對于古典樂譜的翻譯者，比如古琴譜的翻譯，在進行音時值翻譯時，一般是依據自身的創作經驗和對樂曲的理解找到比較符合樂理和人們欣賞習慣的信息。但是，這種樂譜的翻譯與整理過程，受到其自身文化水平、對歷史時期的情感、對樂器的感觀等各種因素的制約，個人主觀性過強，很可能使樂譜不適合大眾的觀感要求，甚至違反古樂譜本質的音樂特征。本文采用圖像識別技術采集古琴譜的信息，并且依據古琴的特點、樂曲的歷史背景、演奏的背景等，制定相應的規則，利用深度學習技術，生成數字樂譜。基于本文系統的古樂譜音時值的翻譯過程如下：

結合上述對古典樂譜的音高和音長特征的訓練和學習，依據二維譜的記譜法最終可以輸出對應古琴譜的二維譜升維流程如下：

圖1 基于樂音識別技術的音時值翻譯流程

圖2 對應古琴譜的二維譜升維流程

三、智能化優選最佳譜系

早期的古琴譜是由更早的文字譜寫成，其后，減字譜逐步替代了傳統的文字譜。由于減字譜沒有標注時值信息，演奏者只能依據譜子所表示的指法直接彈奏，不同的演奏家可以任意發揮，同一曲譜風格各異，但是也造成不同的人對曲譜的理解各異，傳承與古琴教育與其他樂器相比，難度更大，目前已有許多學者開始從數字化、人工智能等方面研究如何保留傳承千年的古琴曲。

1.樂譜圖像預處理。已經收集到的古樂譜圖像，并不是理想的黑白兩色圖片，包括很多干擾，比如圖像的噪點、底色、人為的墨點、破損、手寫特有的連筆等，這些就要求進入系統前對圖像進行預處理。首要完成圖像的灰度變換和二值化，特別是對于符號、文字圖像，可以大幅度減少圖像的復雜性，方便完成文字符號識別。其次，手寫古樂譜有著手寫文字的各種特點，如連筆、同一筆畫的不同寫法、文字的重疊與覆蓋，增加了識別的難度。利用圖像分割、腐蝕等技術，將圖像中的文字個體分離出來，提取出單個字符，提高識別的準確度。

2.建立古樂譜、古漢字字符識別庫，建立樂譜翻譯規則庫。古樂譜，如減字譜等，都來源于中國古代漢字，根據樂譜中每個字符的特征進行拆解，分析完整字符與字符組件的聯系，建立可用的古琴譜字符識別庫。依據古樂譜的時代背景、大眾欣賞習慣、傳承下來的樂譜的演奏技法等，確定古琴譜的音高和時值，并融合現代五線譜、簡譜、二維譜以及高維樂譜的創作規則，制定古琴譜與現代樂譜的對應關系，建立古琴譜翻譯規則庫。以字符庫和樂譜翻譯規則為基礎，組成本文系統的訓練數據庫。

3.綜合前述各節的技術實現過程，減字譜算法執行流程如圖3所示：

圖3 古琴譜的算法執行流程圖

4.古琴譜的機器識別系統，以OpenCV開源圖像處理、識別庫為基礎，設計相應的樂譜識別軟件系統。其工作過程如圖4所示：

圖4 機器識別工作過程

為做演奏記錄，古代中國音樂人尋找了多種途徑，創造了多種樂譜。近幾年，開發出能基本保全信息的高維樂譜——二維譜就顯得尤為重要，實現古琴譜到二維譜的直接翻譯。圖5、7、9是民間經驗式簡譜和古琴譜的對譯結果，而圖6、8、10是深度學習下AI輸出的二維譜。除了直觀、簡約、信息豐富外，更重要的是人機共識，可由智能機器直接演奏，由此為未來音樂藝術拓展出更廣闊的空間。

圖5 簡譜和古琴譜的經驗式對譯結果——釵頭鳳圖6 深度學習下AI輸出的二維譜——釵頭鳳圖7 簡譜和古琴譜的經驗式對譯結果——長相思

圖8 深度學習下AI輸出的二維譜——長相思圖9 簡譜和古琴譜的經驗式對譯結果——廣陵散圖10 深度學習下AI輸出的二維譜——廣陵散

四、結語

中國的古典音樂，歷史悠久，仍然得以流傳至今。一種藝術形式幾千年來隨著歷史的長河不斷融匯、演變和發展，在舊有的形式上創造出新的形式和內容。古琴即是中國最古老的一種高雅的樂器，以靜與雅為特征，從名曲角度談古琴，介紹歷史淵源和鑒賞方法，傳播和弘揚古琴藝術——雅正中和的高古之音。作為彈撥樂，不能說古琴能適應所有的曲牌，而是會有選擇的，這有利于保留和繼承傳統并弘揚光大。

中國的古琴歷經千年的發展與演化，已經成為世界非物質文化遺產，包括了古琴琴身制造工藝、琴譜和演奏技法等多個方面。由于古琴譜演奏過程難以規范化、字符不通用等原因，使傳統樂譜的大眾化之路和當前信息化時代的數字化之路增加了難度。藝術是超越藝術本身的，得心中意象，求弦外之音、詩外之言及畫外之意。音樂是抽象的，琴音繞梁。琴聲又是具象的，引人入勝。中國文化如同高山流水，水有源，源遠流長。認識琴曲的機會，從古琴樂的形神兼備到游神而得于弦外，感受中華文化的博大精深。

注：本文系項目批準號為18ZD23的國家社科基金藝術學重大招標項目“大數據時代高維藝術理論與實踐研究”的研究成果。

參考文獻：

[1]張輝等：《高維藝術學概論》，科學出版社，2019年12月。

[2] 張輝等：《高維樂譜學導論》，科學出版社，2019年12月。

[3] 張輝等：《音樂作品二維圖譜分析法創設與運用》，科學出版社，2019年12月。

[4] 孫洋等：《高維藝術理論與實踐》，中國社會科學出版社，2019年10月。

[5] 張輝：《3D樂譜會否掀起音樂革命》，《人民日報》2020年7月。

[6] 高一凡等：《AI背景下蛋白質序列音樂研究》，《藝術教育》2019年第6期。

[7] 陳宇綜等：《數據驅動下蛋白質繪畫對微觀藝術的勾勒》，《藝術教育》2019年第6期。

[8] 王旭等：《用二維圖模編輯法創作鋼琴小品〈滑梯〉》，《藝術教育》2019年第5期。

[9] 王旭等：《用圖模編輯法創作星際之旅主題歌曲〈快讓我觸摸〉》，《藝術教育》2019年第4期。

[10]孫洋等：《歌曲鋼琴伴奏中的圖?；鈽嫛?，《藝術教育》2019年第4期。

[11]張輝等：《以高維樂譜為載體的新作曲技術開發思想綜述》，《藝術教育》2019年第3期。

[12]王利等：《AI自動翻譯“減字譜”——以〈流水〉和〈不染〉為例》，《藝術教育》2019年第3期。

[13]張輝等：《貝多芬鋼琴奏鳴曲主題的二維圖譜分析》，《藝術教育》2019年第2期。

[14]劉乃歌等：《AI自動翻譯南音——以古典名曲〈夫為功名〉為例》，《藝術教育》2019年第2期。

[15]孫洋等：《復調音樂分析中二維譜的優勢體現》，《藝術教育》2019年第1期。

[16]杜慶東等：《深度學習下AI自動翻譯樂律全書——以鄉飲詩樂譜為例》，《藝術教育》2019年第1期。

[17]3D樂譜支持下音色可視化調節器，發明專利申請號：202010515837.5;

[18]3D樂譜建構方法，發明專利申請號：202010318807.5;

[19]音樂創作的圖模編輯方法，中國著作權保護登記號：國作登字-201-L-00754662;

[20]音樂作品二維圖譜分析法，中國著作權保護登記號：國作登字-2018-L-00674103。

孫 洋 沈陽師范大學音樂學院教師

王 利 大連理工大學控制理論與控制工程專業工學

博士、東北大學信息學院博士后、沈陽師范大

學教師

張 輝 內蒙古民族大學特聘教授、博士生導師