“和聲學”智能交互式教學軟件的技術實現

朱媛媛

(江蘇師范大學 音樂學院，江蘇 徐州 221116)

當前，“新型冠狀肺炎”疫情仍然存在不確定性，網絡遠程教學依然是高校重要的教學手段之一.雖然國家免費開放了很多優質在線課程和虛擬仿真實驗教學資源，但高校音樂專業理論的課程資源卻較少，根本無法滿足部分音樂理論課程的教學需要.同時，國內也沒有針對高校音樂理論課程的智能教學軟件和系統平臺.

“和聲學”是音樂專業的基礎主干理論課程.根據互聯網數據，截至2020年底，開設音樂學專業的高校有402所，其中開設音樂教育專業的有 258 所(含大專)，這些高校均設立了與“和聲學”相關的理論課程.“樂理”“復調”“作曲”都涉及“和聲(和弦)”的寫作.當前，“和聲學”教學通常是由教師結合課件在黑板上進行和聲寫作演示，并講解演算方法，難以在學生大腦中形成和聲音響的聽覺聯想.因此，大多數學生并沒有音樂記憶和感受，也無法形成和聲思維習慣.“和聲學”作業的批改耗時耗力，教師不可能對每名學生的作業逐一檢查，從而導致學生書面練習的效果不佳.由于缺少針對性的教學軟件，在遠程教學模式下，教學過程也十分困難.

智能教學系統的研究國內起步較晚，相關成果多涉及常規學科課程[1-5].人工智能技術在音樂教育中的研究大多限于概念層面[6-8]和以多媒體數據庫為基礎的教學系統研究[9]，針對高校“和聲學”課程的智能教學系統仍是空白.由于缺乏專業的教學系統，教師只能用從國外引進的五線譜打譜軟件，如Sibelius、Overture和Finale等，為學生進行教學演示，但這些軟件不具備對和聲(和弦)進行分析檢測的功能，無法對和聲功能(和弦)標記，也沒有針對和聲寫作結果進行判定的功能.

為解決音樂專業“和聲學”課程遠程教學中存在的問題，本文基于自有專利技術[10]和自主研發的仿真和聲寫作技術、寫作結果智能判定技術，對智能交互式“和聲學”教學軟件的技術實現進行闡述.

1 “和聲學”智能交互式教學軟件

1.1 技術路線

1)在“和聲學”課程的遠程教學中，利用仿真和聲寫作技術在屏幕上模擬書寫和聲進行的五線譜.在教學演示和學生端的習題寫作時，教師端利用音頻播放技術將和聲寫作過程和實際音響效果同步展示，加強學生的音樂感受，并獲得完整的音樂記憶.

2)和聲智能分析檢測判定技術根據軟件中各技術模塊的智能演算，對學生寫作的和弦進行智能分析檢測及判定，并選擇性地根據指令對錯誤進行提示說明.

3)在教師端口對學生的寫作成績進行數據統計，以便教師及時調整教學方案，實現教學效果數據化管理，從而有效提高“和聲學”課程的遠程教學質量，實現良好的教學效果.

1.2 技術原理

智能交互式教學軟件的關鍵技術是對和聲進行智能分析檢測判定，它是基于自有的發明專利技術創建，通過深度學習算法對和弦中可能出現的聲部交叉和弦排列問題進行判斷和分類，針對出現密度排列問題的和弦進行錯誤信息標注，并給出修正意見.具體步驟如下：

第1步使用卷積神經網絡對和弦音進行特征提取，使用主成分分析法對神經元網絡提取的特征維度信息進行壓縮.最后，通過支持向量機(support vector machine,SVM)對壓縮后的和弦音特征進行分類，從而對和弦是否出現錯誤以及錯誤類型進行分類和判定.

損失函數由檢測邊框坐標誤差、每個子圖的滑動窗口置信度誤差以及分類誤差來決定，檢測邊框坐標誤差函數Lcoord、置信度誤差函數Lconf、分類誤差函數Lclass及總誤差函數Ltotal分別定義為

Ltotal=Lcoord+Lconf+Lclass,

第4步基于和弦的排列法規則計算出上方3個相鄰聲部之間的像素間距，并換算為音程度數，進而對已書寫和弦的排列進行檢測判定，判斷樂譜中和弦上方3個聲部的排列是否正確.

第5步對不符合規則的和弦給予標注，并對其錯誤的原因以及如何修改給出指示說明.

1.3 人機交互界面

智能交互式教學軟件分為教師端軟件和學生端軟件.教師端軟件安裝至教學一體機、智能手機或平板電腦(安卓系統);學生端軟件安裝至智能手機或平板電腦(安卓系統).軟件包括控制器、人機交互界面和本地教學資源庫.控制器根據使用者在手寫輸入屏、人機交互界面中的選擇進行相應操作,人機交互界面共3個.

第1個界面的教師端和學生端不同：教師端界面包含“開始上課”“查看學生作業”及“載入課程”3個入口；學生端界面包含“新建作業”“提交作業”及“載入作業”3個入口.第2個界面是用戶操作區域，該區域用于填寫課程題目、學生或教師姓名，設定五線譜即將使用的拍號、調號、是否弱起等.第3個界面是四部和聲寫作界面(圖1).通過左側操作面板可以對寫作聲部以及各種時值的音符和休止符進行選擇；點擊和弦下方的字母或羅馬數字，出現藍、紅色和弦名稱面板，可對和弦功能名稱進行標記；單個音符可通過拖動實現改變音高或刪除；拖動樂譜上方的指針可選定音樂播放的起始點;操作面板中還含有“連線”、“音值組合”、播放寫作內容以及切換音符和休止符等按鍵;小節線上方的灰點用來設置小節線的類型.

圖1 四部和聲寫作界面Fig.1 Writing interface of four part harmony

五線譜寫作頁面左側的菜單區域可以窗口化，并且可以拖動到任意位置，以減少教師在線下教學時來回走動.點擊“菜單”鍵，導出交互式教學軟件中的“課堂互動”功能，教師與學生、學生與學生之間可以交流和互動，教師還可以查看學生的提問，并可以發送文字、圖片或五線譜寫作的頁面.“菜單”鍵可以導出設置樂譜每行的小節數、樂譜頁面的縮放、清空所有寫作內容等.寫作的內容會被自動保存，在寫作的同時，使用者可以回到初始界面，點擊“載入課程”或“載入作業”訪問本地教學資源庫，方便且快捷地調看之前書寫的內容，從而有利于學生進行復習.寫作完成后，點擊“檢查”按鈕，可對已寫作的和弦音、和弦名稱、符干的方向，以及斯波索賓《和聲學教程》中的寫作規則——和弦重復音、和弦排列、“和聲進行”的公式、“聲部進行”[11]等進行智能分析檢測，并對檢測結果進行智能判定.如判定為全部正確,則頁面下方出現“恭喜全對”字樣，可點擊“播”按鈕播放全部寫作內容.如判定為寫作錯誤，則錯誤的和弦上方會出現“紅色圓點”，點擊“紅色圓點”，可查看文字說明.學生可根據提示，對和聲進行修改并檢測.學生端口可將寫作結果上傳至自適應評價系統，由教師端口審核.

1.4 技術模塊

相關技術及模塊見圖2.

1)和聲寫作技術

音符寫作基礎素材模塊:包含可設定拍號、調號、譜號及各種譜表的五線譜界面，可設定音符的音高、時值、符干的音符元素,可設定休止符、變音記號、連音線、小節線等寫作元素.利用基礎寫作元素可在五線譜頁面上書寫和弦、旋律、“和聲進行”等樂譜.

a.和聲寫作技術 b.和聲智能分析檢測判定技術圖2 “和聲學”智能交互式教學軟件技術模塊Fig.2 Technical module of the intelligent interactive teaching software of "harmonics"

和弦排列模塊：使已寫作的單個和弦縱向對齊，小節內和弦均勻分布，各聲部音符時值對應排放，并根據各和弦音縱向關系建立音程數據庫.

和弦名稱寫作模塊:由英文字母、阿拉伯數字和羅馬數字組成的和弦名稱數據庫，對每個和弦進行名稱標示.

公式模塊:對大于或等于兩個連續的和弦名稱形成公式，建立“和聲進行”公式、“終止樂句”公式等所有正確和禁止使用的和聲公式數據庫.

“聲部進行”寫作模塊：對四部和聲的4個聲部選擇、設定，從而確定聲部的種類、音符符干的方向.

2)和聲智能分析檢測判定技術

和弦音、和弦名稱檢測模塊：根據設定的拍號、調號、譜號，對已書寫和弦中各音符的音高、時值、符干方向進行檢測，并對和弦的重復音以及每個和弦標注的名稱進行檢測.

和弦排列法檢測模塊：根據和聲寫作技術中和聲排列模塊的音程數據庫，對已書寫和弦的排列法進行檢測.

公式檢測模塊：根據和聲寫作技術中公式模塊的和聲公式數據庫，對已寫作“和聲進行”的公式進行檢測.

“聲部進行”檢測模塊：對四部和聲中每個單聲部的運動(保持不動、級進、平穩的進行、跳進)進行檢測,并對4個聲部進行方向,如同向進行、反向進行、斜向進行等的相互關系檢測,以及檢測是否存在聲部交叉、四部同向、平行五度、平行八度等禁止使用的“聲部進行”.

和聲寫作智能判定與標注模塊：對上述4個子模塊的檢測進行智能判定，判定為寫作錯誤的和弦上方標注“紅色圓點”.

3)音頻播放技術：在寫作和聲的過程中，利用音符傳感器對寫出的每一個和弦音進行鋼琴音色的同步演奏播放，并且在完成一個和弦后，對全部和弦音進行混聲播放.

4)和聲寫作結果分析說明技術：對標注“紅色圓點”錯誤的和弦進行分析說明.

2 教學軟件關鍵技術實施

智能交互式教學軟件學生端口的技術實現可分為3大步驟.

1)轉換步驟S1:接收樂譜序列數據，并將其轉換為四部和聲和弦進行數據，具體包括：

a)接收樂譜序列數據，通過時值比對的方法，遍歷出4個時值相等的音符數據，構成1個四部和聲和弦數據；

b)繼續遍歷直到構成多個四部和聲和弦數據；

c)將四部和聲和弦數據按構成順序排列，獲取四部和聲和弦進行數據.

2)判定步驟S2:基于四部和聲和弦進行數據，進行至少1個或多個判定，包括和弦完整性判定、和弦原位判定、和弦重復音判定、和弦功能名稱判定、和弦排列法判定、聲部交叉判定、和弦進行功能判定、和弦進行聲部超越判定以及和弦進行方向判定.例如，和弦排列法的判定可以為遍歷四部和聲和弦進行數據，對每個和弦中相鄰聲部的和弦音數據進行判定.上方三聲部(高音、中音及次中音聲部)中，相鄰聲部音符的音高距離是3度或4度，屬于密集排列，相鄰聲部音符的音高距離是5度、6度或8度，屬于開放排列.

3)顯示步驟S3：基于判定結果，通過對應關系確定樂譜序列數據中對應的音符數據，并將判定結果附加給音符數據，供樂譜顯示模塊在顯示音符的同時顯示對應的錯誤.

教學軟件教師端口增加了步驟S4：基于判定結果，獲取學生的“和聲學”成績.

3 教學軟件評價

“和聲學”智能交互式教學軟件使用Kotlin語言開發，在Android平臺上運行.該軟件可應用于高校音樂專業“和聲學”課程教學，具有初始界面入口、設置、樂譜頁面縮放、五線譜小節數設置、四部和聲仿真寫作、智能分析檢測與判定、課堂互動、音樂播放、保存與載入等功能.本教學軟件2021年通過了中國賽寶實驗室在功能性、信息安全性、可靠性、易用性、可移植性等方面的測試[12].

該教學軟件的優點在于：1)易學易用.在手機或平板電腦安裝后，經過教師10 min左右的講解，學生就能學會.2)有很強的實用性.在寫作過程中，學生可以利用音符傳感器對完成的每一個和弦音進行鋼琴音色同步演奏播放，并可以對指定的樂譜進行混聲播放，從而感受自己寫作的音樂和每個和弦的音響聽覺效果.3)對學習效果和學習興趣有很大幫助.在和聲智能分析檢測判定功能的輔助下，學生能夠高效地完成和聲習題.

對該教學軟件進行了兩個學期的試用和教學實驗，實驗對象為江蘇師范大學2019、2020級音樂教育和音樂表演專業的學生，共計230人，與2018級學生的期末考試成績對比發現，學生的卷面平均分提高了14.12分.

4 結語

為解決高校音樂專業基礎理論課程“和聲學”在遠程教學中存在的問題，筆者基于自有專利技術和自主研發的仿真和聲寫作技術、寫作智能判定技術，設計和開發了“和聲學”智能交互式教學軟件.該軟件將和聲寫作過程和音響效果同步展示，使學生獲得完整的音樂記憶，能夠培養學生的音樂感受能力，從而使學生形成良好的和聲思維習慣，提升學生學習音樂理論過程中的情境性;建立了智能交互式“和聲學”教學及自適應評價系統，通過交互式的教師端口和學生端口實現教學效果數據化管理，使“和聲學”課程遠程教學更加完善.利用該軟件還可實現教學效果數據化管理，解決遠程教學中存在的問題，提高教學質量和學生的學習效果.通過與江蘇省軟件企業開展產學研合作，本文的主要技術已開發完成，于2020年9月在江蘇師范大學音樂學院建立了“音樂智能教學實驗中心”，并搭建“和聲學”智能交互式教學系統平臺.

遠程智能交互式教學軟件的基礎框架和相關技術不僅可以應用于“和聲學”遠程教學中，還可以應用在其他音樂專業理論課程，如“樂理”“復調”“作曲”“即興伴奏”等的教學中，并可以針對這些課程的特點進行更深入的研究.