鋼琴自動彈奏機械手系統及其控制算法設計

2023-03-26 12:16:28魏新宇

景德鎮學院學報 2023年6期

魏新宇

摘要：在機器人控制理論和鋼琴演奏技法的基礎上，文章提出了一種通過在機械控制、電磁控制、軟件控制等層面對鋼琴自動彈奏系統進行綜合設計優化的方法，并設計了一種基于可控力度的琴鍵擊錘系統，以實現鋼琴的機器人自動彈奏。研究結果表明，在應用機械手彈奏系統時，50名音樂學院鋼琴專業本科四年級學生中，有26人認為該機器人的演奏技法達到或者超過了他們的技法掌握程度，占總數的52%。另外，音樂廳邀請的50位專業資深鋼琴教師中，有22人表示該機器人的演奏水平達到了商業演出標準，占總數的44%。雖然該機器人在情感表達上尚有不足，但已經得到了較大比例聽眾的認可。

關鍵詞：自動控制;機器人鋼琴;自動彈奏;力度控制;主觀評價

中圖分類號：J624.1 文獻標識碼：A 文章編號：2095-9699（2023）06-0032-06

早期電子音樂來自MIDI合成技術（MusicalInstrument Digital Interface），該技術通過電子合成音源，控制揚聲器同時發出多個頻率聲音，擬聲合成相應的音樂旋律。后期MIDI合成技術通過不斷發展，在前者的基礎之上可以進行不同力度、揉弦等樂器演奏技巧的音樂表達效果高保真還原。但是MIDI合成技術最大的短板是其沒有原始音源設備，在極端演奏條件下其合成音源的保真度依然不盡如人意，并且無法達到真實樂器的低頻共鳴帶來的重低音效果，也無法表現出不同樂器因為共鳴腔結構微小差異而帶來的聽覺感官差異。所以音樂從事人員和研究人員找到了新的解決問題思路，即使用機械手系統直接彈奏樂器，且該思路已經成為當前電子擬聲音樂的研究重點[1]。

杭小羽等[2]研究人員以兒童鋼琴學習為主要研究對象，分析個性化教學對兒童鋼琴學習欲望的作用，明確個性化教學價值，提高兒童鋼琴學習效果;余嘉安等[3]研究人員基于人工智能時代背景下，合理應用人工智能技術，創新高校鋼琴教學模式，優化教學流程，提高教學效果;楊小影等[4]研究人員通過“智能+鋼琴”教育構想，使用全新設計的機械手硬件系統，配合相關算法，實現了對人手演奏的相關觸感、力度及常見彈奏技法的模擬，改變了早期研究中只可對節奏進行有效控制的系統缺陷，使機械手的鋼琴彈奏效果更接近人手，且因為機械手為每個琴鍵均配置對應擊錘，有效拓展了人手手指數量的限制。

從鋼琴演奏模式分析，其屬于按鍵式擊弦樂器，且有弱音（落下弱音板）、延音（抬起切音板）等功能模式。受限于手指生理構造限制，人手演奏時手指的岔開距離限制了和弦音的表達方式，在彈奏大跨度四聯和弦音時，局限性即被表現出來。使用機械手系統可以為每個琴鍵布置專用擊錘，且對鋼琴的多個功能踏板布置按壓裝置，這就讓鋼琴的實際表現能力得到有效提升。文章重點研究琴鍵擊錘的機械控制模式和音樂解碼模式，以進一步提升鋼琴彈奏機器人的實際演奏效果。

1 琴鍵擊錘的機械控制模式設計

從機械原理分析，鋼琴琴鍵按下時，并非直接作用于琴弦，而是根據按下力度和時間，由打弦機判斷控制擊弦錘和止音器對琴弦作出相應操作。打弦機由一系列連桿滑塊機構構成，不同品牌和價位的鋼琴，打弦機結構有所差異，但基本保證按下琴鍵時，止音器抬起，擊弦錘落下并迅速復位，抬起琴鍵時，止音器復位。該機械手操作一個外部擊錘以不同的彈奏手法擊發琴鍵，觸動打弦機操作。此時應該嚴格控制機械手擊錘按下的力度和抬起的時間[5]。上述機械手琴鍵擊錘與打弦機的聯合控制模式，如圖1所示。

圖1中，機械手控制模組共有2套結構，當提鍵電磁組通電時，琴鍵擊錘被提起，彈簧片蓄力，當其斷電時，琴鍵擊錘在彈簧片的蓄力釋放作用下落下，敲擊琴鍵。根據彈簧片的預應力狀態不同，琴鍵擊錘敲擊琴鍵后，可能因彈簧片地正校核而直接彈起，也可能因為彈簧片地過校核而始終按壓琴鍵并等待提鍵電磁組的下一次通電作用。彈簧片的預緊力通過承力支點后部的力度電磁組吸引彈簧片尾端的力度永磁體來實現。早期的鋼琴彈奏機器人，使用螺桿定位法控制擊錘彈簧片的預緊力，但其受制于步進電機的轉速而有較大的力度調整延遲時間，演奏需要快速調整力度時，此模式無法提供快速響應功能[6]，所以，該設計將螺桿系統轉為力度電磁組系統，該系統采用給不同電磁組通電的方式，快速調整彈簧片力度，使其的響應速度高于人手的響應速度。上述機械手控制機構中最復雜的部分為力度電磁組部分，其結構圖局部放大后，如圖2所示。

圖2中，共給出7種不同力度，其中±0、-1、-2控制了琴鍵擊錘的彈性抬起過程;1、2、3、4控制了琴鍵擊錘的持續按壓過程。7個電磁裝置呈扇形安裝在一個回轉機構上，該回轉機構在步進電機的控制下，可以做出小角度回轉，以實現對按鍵力度的高精度微調[7]。上述琴鍵擊錘的力度電磁組功能定義，如表1所示。

表1中，通過按鍵力度步進電機進行精確定位，在對應的力度電磁組中選擇某個電磁閥通電實現對按鍵擊錘彈簧片力度永磁體的吸引并設定按鍵力度。松開提鍵電磁組后，實現琴鍵激發，同時控制提鍵電磁組的復電時間，控制琴鍵提起。

2 機械手的電控模式設計

該機械手的核心控制目標是控制88個琴鍵上配置的88個琴鍵擊錘。常規的鋼琴配置，分為88鍵、85鍵、83鍵、65鍵、92鍵等，其中88鍵布局（含52個白鍵和36個黑鍵）是最為常見的鋼琴鍵盤布局[8]。該研究針對88鍵布局進行電控模式設計。根據前文分析，為了實現對琴鍵擊錘的控制，每個琴鍵擊錘的機械手控制模組中共包含8個電磁鐵閥組（7個力度閥和1個提鍵閥）和1個步進電機。電磁控制閥通過1個數據位控制，步進電機通過4個數據位控制，控制過程共使用12個數據位[9]，控制系統詳見圖3。

圖3中，步進電機控制器中的控制模塊包括電磁控制閥（每個琴鍵擊錘配置8 個，共704個）和解碼模塊（每個琴鍵擊錘配置1 個，共88個）。

（1）電磁控制閥設計思路。電磁控制閥的核心控制思路是通過大容量電容器控制電磁繞組的瞬時力度。首先晶閘管接收控制信號后，將電磁控制閥釋放。在釋放過程中，電容器的充電狀態不應中斷。

此時，Dt-IN 的高電平為+3.3 V，VCC保持+12V 供電，GND給出±0 V 參照零電勢。當晶閘管激發時，VCC和電容器同時向電磁繞組輸出電量，控制閥連通從電磁繞組尾端接地到電容器負極側接地的回路。在回路上布置一個保護電阻器，保護電阻和電磁繞組的阻抗同時提供電磁吸合回路負荷。此時，從Dt-IN 到VCC 的單向二極管并不導通，但可以為其下方的反向晶閘管主回路提供保護電流回路，防止較大功率和雜波將晶閘管擊穿。此時電容器作為高頻雜波的濾波電容[10]。

綜上，該電磁控制閥的核心作用是當Dt-IN輸入一個+3.3 V 高電平時，Dt-OUT輸出一個+12 V 高電平;當Dt-IN 恢復±0 V 或-3.3 V 低電平時，Dt-OUT 處于開路浮空狀態。該模式實現了對復雜電磁閥組的高速模式切換控制，且保持了系統的可靠性和安全性。

（2）解碼模塊設計思路。解碼模塊接收一組8位的地址碼、1位的觸發碼和16位的數據碼。當8位地址碼與跳線配置結構一致時，對狀態鎖存器寫入信息。當觸發碼置于高電平時，執行鎖存器動作。解碼模塊的核心設計思路是接收中央控制器發出的琴鍵擊錘信號并將其翻譯為控制器可識別的電控信號[11]。

因為每個琴鍵擊錘的控制信號均較為復雜，傳統模式下，每個琴鍵擊錘都應有獨立的嵌入算力進行單獨控制，但此舉容易因為時鐘偏差而造成節奏偏差。所以，該解碼器的控制時鐘應與中央控制器保持一致。

（3）接地線分層。為了增加控制精度，該系統的接地分為：做功接地，提供所有電磁繞組的0～+12V 做功電流的接地回饋;信號接地，提供0～+3.3V 控制信號的接地回饋，該信號接地與中央控制器嵌入算力系統的GND引腳相連，確保其信號地0電勢與中央控制器0電勢相等;安全接地，提供控制系統外殼的安全接地，確保內部電磁屏蔽環境，為整個系統運行提供可靠性保障措施[12]。不同線路板之間的接地耦合模式，通過杜邦線連接實現。

3 軟件控制模式設計

3.1 系統控制模式

該系統軟件控制的核心目標是將樂譜信息翻譯成硬件系統可以識別的控制信號，即對樂譜中每個音符進行分解[13]，形成如下表2所示的數據結構。

在表2中，每行可執行命令都包含96字節的有效信息。每個命令分段之間使用4 bit的分隔符（H1001）進行分隔，命令前使用8 bit的起始符（H10101100），命令后使用8 bit 的終止符（H00111010）。因此，每行命令的最終存儲占用量為144 bit。由于每條命令只能實現一次琴鍵抬起或者落下，實際控制中，每一次按鍵需要兩條命令組合完成。因此，在實際操作中，每次按鍵需要占用288 bit的存儲空間。按照常規的16樂句（64小節）樂譜計算，常規演奏條件下，按鍵次數可以達到3000～7000次。當這個樂譜被編譯為可執行文件后，長度約為108 KByte～252 KByte。為了充分發揮機器人演奏的自由度，在“炫技”的條件下，每16樂句的按鍵次數可能超過20 000次，此時，可執行文件的長度約為720 KByte。這些數據量都在嵌入系統的控制范圍內[14]。

在表2中，除了時間戳和校驗分段外，其他控制分段的定義如下：

（1）動作琴鍵序號，控制該命令對應的琴鍵。在常規操作下，同一節拍下可能同時觸發3～8個琴鍵，每個琴鍵有不同的觸發力度和按壓延遲，以實現兩聲部和弦控制。所有指令會被硬件部分的解碼模塊鎖定在鎖存器中，在時鐘計數模塊的觸發下，這些指令會同時向執行機構釋放電信號。

（2）力度控制和輔助力度控制，用于控制彈簧片的張緊力度。在常規演奏下，輔助力度控制的步進電機動作并不頻繁。這個控制過程也會在鎖存器觸發的情況下進行。

（3）激發狀態，控制提鍵電磁閥組。例如，當需要大力度彈性重擊琴鍵時，提鍵電磁閥會在釋放瞬間同時加電。這樣，即使落下的擊錘被彈簧片的高蓄力按下，也可以在觸發琴鍵的同時被收回。在常規控制模式下，特別是在輕微力度控制下，提鍵電磁閥組，一般可以在兩個節拍中間或者下一次觸發之前進行提鍵操作。

（4）命令種類與校驗碼聯合控制命令的完整性。其中校驗碼運行在物理層，控制所有數據位的奇偶性;而命令種類運行在邏輯層，判斷上述命令中的命令構成是否與命令種類給出的代碼一致。

3.2 系統控制算法設計

綜合上述分析，在系統控制算法的設計中，該系統控制算法的神經網絡共有12個雙精度浮點變量（Double格式）輸入，6個雙精度浮點變量和1個邏輯型變量（Logical格式）輸出，其數據流結構如圖4所示。

圖 4中，該神經網絡計算模塊在本質上是一個由外圍變量控制的6列并行神經網絡系統。外圍控制變量為當前鋼琴機械手控制中心點坐標及其目標坐標。6列并行神經網絡的目標是從6個鋼琴按鍵轉動角度計算目標轉動角度。而判斷模塊數據取自干預變量的降維模塊輸出量和6列并行神經網絡模塊的輸出量。最終，輸出一個二值化的Logical變量Check。

該過程無須考慮數據損失，僅做出數據合法性判斷。考慮到系統運行效率，其隱藏層也應盡可能簡化，將隱藏層設計為2層，分別為7節點和3節點。考慮到數據降維需求，將7個輸入變量降維到1個輸出變量。

4 演奏效果評價

研究者邀請了50名音樂學院鋼琴專業的四年級本科生和50名鋼琴專業的資深老師，來實驗室內感受該機器人的演奏過程。演奏的曲目包括《小夜曲》《天鵝湖》《命運》和《土耳其進行曲》等，這些樂曲都有不同的表現手法。演奏現場設在學校的排練中心樂池，這里具有音樂欣賞的基礎隔音和混響環境[15]。演奏過程中并未使用電子擴音設備，而是使用立式鋼琴直接原聲演奏。研究者要求上述100名鋼琴專業的評委根據他們的主觀感受給出評價，滿分10分，最差0分。評價結果如表3所示。

在表3中可以看到，《小夜曲》和《天鵝湖》等樂譜的情感表達技巧相對簡單;《命運》的情感表達則需要提供更多的大力度演奏，但同時也需要考慮到鋼琴本身的表現能力;《土耳其進行曲》中快節奏樂句較多，對機器人的高速動作控制能力要求較強。在實際的主觀感受中，兩組評價者均認為機器人在演奏《小夜曲》和《天鵝湖》等樂譜時的表達能力超過在演奏《命運》和《土耳其進行曲》等樂譜時的表達能力。

同時，在額外的調查中，50名音樂學院鋼琴專業的四年級本科生中，有26人（占52%）認為該機器人的演奏技法達到或者超過他們自己的技法掌握程度。而在被邀請的50名專業資深鋼琴教師中，有22人（占44%）表示該機器人的演奏水平達到了商業演出的標準。這些調查結果表明，盡管機器人演奏在情感表達上尚不健全，但已經可以得到較大比例聽眾的認可。

5 結論

該研究的核心創新點在于對鋼琴演奏機器人的機械手控制系統進行了機械控制、電磁控制和軟件控制層面的綜合設計，使其在鋼琴演奏過程中的表現技法更為豐富，有效提升了鋼琴演奏機器人演奏音樂的現場表現程度。由于研究條件的限制，本研究僅涉及了鋼琴演奏機器人的機械和機械控制部分，僅從硬件控制角度進行鋼琴彈奏機器人的控制升級，未涉及人工智能樂譜識別等人工智能功能。在后續的研究中，研究者將通過軟件優化等技術路徑，進一步提升機器人演奏的技法表達和感情的詮釋能力，使其演奏效果得到進一步提升。

參考文獻：

[1]人工智能解放雙手，科技助力藝術傳播[J].鋼琴藝術，2021（1）：61-62.

[2]杭小羽.個性化教學對兒童鋼琴學習動機的激發[J].北方音樂，2020（21）：142-144.

[3]余嘉安.人工智能時代下高校鋼琴集體課教學創新研究[J].黃河之聲，2020（19）：118-119.

[4]楊小影.冷楚楚.“智能+鋼琴教育”初步構想淺析[J].音樂探索，2020（4）：82-86.

[5]陳勝國，孔家星.智能化時代音樂教育面臨的挑戰與對策[J].藝術評鑒，2020（15）：102-104.

[6]李澤慧，李季.基于用戶體驗的智能鋼琴在線教學產品設計策略研究：以KLSW 智能鋼琴為例[J].銅陵學院學報，2020，19（4）：82-87.

[7]林寬雨.越來越“聰明”的機器人[J].小雪花（小學生成長指南），2018（Z2）：10-13.

[8]張初一.人工智能時代，機器人鋼琴家給你好聽的！[N].中國藝術報，2018-05-07（4）.

[9]宋致.2017世界機器人大會：機器人的大狂歡[J].科學啟蒙，2017（12）：53，1-2.

[10]趙悅.一種鋼琴演奏機器人[J].機械制造與自動化，2017，46（2）：143-145.

[11]黃承承.鋼琴演奏自動評估系統開發與設計[J].自動化技術與應用，2020，39（9）：151-154.