虛擬現實技術在鋼琴教學中的應用研究綜述

肖睿 劉笑妤 王延松

【摘要】 在傳統的器樂教學中，學生個人練習質量的高低很大程度上決定了學習的效果。大部分學生在練習時沒有辦法得到教師的指導，所得到的即時反饋有限，因此練習效果也難以保證。運用虛擬現實技術將復雜的鋼琴練習任務轉化為通關游戲，使學生佩戴頭戴顯示器在視覺上監控自己的練習，不僅可以激發學生的練琴興趣與動機，使他們從練琴中獲得游戲的樂趣，也可以提高學生的讀譜能力和演奏技巧。本文立足于虛擬現實工具發展的實際情況，以國外最新研究成果為基礎，對虛擬現實技術在鋼琴中的應用進行深入研究。其次，通過文獻分析，對人機交互過程做一個簡要的說明，最后補充幾點反思和對未來發展的期許。

【關鍵詞】 虛擬現實技術;鋼琴教學;音樂教育;人機交互

【中圖分類號】G623 ? ? ? ? ?【文獻標識碼】A ? ? ? ? ?【文章編號】2096-8264（2020）16-0071-02

基金項目：2019年陜西省社會實踐一流本科課程——音樂筑夢紅軍小學，陜教高辦〔2020〕2號。

一、前言

虛擬現實技術已成功地應用于醫學訓練、軍用飛機導航、娛樂以及教育領域。該技術的主要優點是可以在物理對象（如儀器）和使用者之間產生感知和認知的交叉。本論文試圖通過研究國外虛擬現實技術，探索新的音樂教育模式，以鋼琴教學為例，討論提高學習者學習體驗和動機的方法與實施過程。

二、虛擬現實技術在鋼琴教學中的應用

Shacklock采訪一位經驗豐富的音樂老師時發現，初學者遇到的主要困難之一是將樂譜轉換成鍵盤上的實體鍵。Dirkse指出，這一基本技能可能需要幾個月的時間來培養，然而大多數復習系統都不能解決學生缺乏興趣和動力的問題。這個問題對于那些通過學校課程或父母而不是自己意愿來接觸音樂教育的孩子來說尤其重要。虛擬現實技術能夠在樂器（鍵盤）、指令（音符）和音樂（聲音）之間創建感知和認知聯系。視覺效果和物理按鍵之間的聯系可以使用戶快速演奏特定的曲調，因此有可能改善學習體驗并增加動機。筆者查閱文獻后發現，很多優秀的計算機音樂教育系統已經被開發出來。

其中，鋼琴教學系統包括Piano Tutor、PianoFORTE 、AR Piano Tutor和Piano AR。其他樂器教學方面的應用也已面世，特別是小提琴輔導軟件Digital Violin Tutor，使用了虛擬現實技術和可視化概念來創建手指動作和音符之間的認知聯系。Piano Tutor是由Dannenberg等人與兩位音樂教師一起合作開發的系統。該應用程序使用標準的MIDI接口將鋼琴連接到計算機，以獲取演奏數據。MIDI之所以被選中，是因為它傳遞了大量與演奏相關的信息，包括演奏音符的速度、力度，包括踏板使用的信息。同時，Dannenberg等人開發了一個專家系統，對用戶的表現提供反饋。指令和分數會顯示在用戶面前的電腦屏幕上。用戶的表現主要根據音高、音長和節奏的準確性來評分。專家系統引導用戶逐個改正出現的錯誤。

Smoliar等人開發了PianoFORTE，這款工具側重于音樂的解釋而非基本技能的教學。Smoliar指出，音樂既不是印在紙上的音符，也不是執行電腦指令的運動技能。音樂是一種藝術形式，而電腦無法教授或分析情感方面的內容。該系統引入了更高級的分析功能，如發音的準確性和和弦的同步。該功能清晰地描述了每個音符是如何演奏的。例如，斷奏表示一個音符與相鄰的音符是分開的，而連奏表示音符之間平穩過渡，沒有停頓。同步性是指一個和弦中的音符是否同時演奏，相同長度的音符是否均勻演奏。這些特征構成了高級音樂表演能力的基礎。在使用的技術方面，PianoFORTE使用了與Piano Tutor類似的硬件設置。Huang提出了一個更近期的系統，該系統通過采用快速準確的無標記跟蹤來改進AR Piano Tutor系統的硬件設置。視覺界面的主要創新是使用虛擬手指，用簡單的圓柱體來表示手的位置和要彈奏的鍵。

三、虛擬現實鋼琴教學系統人機交互過程

（一）目標受眾。教學對象大多是初學者，目標是學習基本音符和演奏技巧。

（二）興趣來源。這個系統最重要的目標是要培養學生的積極性和興趣，只有這樣才能增加練習時間，從而提高學習效果。Percival等人在音樂以外的領域引用了幾個成功的教育游戲，認為僅僅通過將一項復雜的任務以游戲的形式分步呈現，就能給用戶更多堅持下去的動力。游戲領域的其他概念也可以改編進去，例如用虛擬“徽章”和“獎杯”來獎勵成就。

（三）硬件設置。硬件設置包括一個電子鍵盤、一個帶攝像頭的頭戴顯示器和一臺計算機。用戶頭戴顯示器坐在鍵盤前，鍵盤通過MIDI接口連接到計算機，頭戴顯示器通過USB接口連接到計算機。設備前的攝像頭捕捉到的視頻必須投射到顯示器上，以創建增強現實效果。

（四）儀器的選擇。頭戴顯示器可用于結合真實和虛擬對象，以實現身臨其境的體驗。目前的頭戴顯示器主要有兩種類：光學設備和錄像設備。光學設備允許用戶看到現實世界并支持虛擬對象顯示在半透明屏上，而錄像設備使用攝像頭捕捉真實世界的圖片，與虛擬對象一起整體顯示在一個不透明屏上。在實際應用中，光學設備因其較低的延遲和更直接的與現實世界對象的交互而更受歡迎。

從各種可用的音樂接口中，MIDI接口最為適合。它提供豐富、準確的數字信息，可以直接由計算機使用，而不需要進行模擬輸入所需的信號處理。同時，MIDI也有一個成熟的行業標準。

（五）虛擬現實界面中的交互。創建虛擬現實界面需要四個步驟：（1）捕獲用戶可以看到的圖像;（2）分析目標圖像;（3）在映像上疊加虛擬對象;（4）向用戶顯示合成圖像。

在鋼琴教學系統中，每個音符都表示為對應鍵上的線段，其線段的長度表示音符的持續時間。音符以穩定的節奏接近AR視圖中的鍵。當音符到達鍵盤時，按下相應的鍵。同樣地，當音符的結尾到達鍵盤時，鍵應該被釋放。線段繪制在增強現實視圖中鍵盤上方的虛擬層，與此同時，分值跟蹤算法會在每個音符被演奏時跟蹤書面上的音符，得分顯示在臨近的音符上方。

音樂樂譜和虛擬音符是從存儲的MIDI文件中加載的。這個MIDI文件成為確定用戶演奏質量的參考模型。用戶要有一個他們想要練習曲目的電子版本，可以通過下載，也可以通過錄制導師的彈奏而獲得。MIDI文件包含每個音符的計時，在犯錯的情況下保持穩定的節奏是音樂家需要的技能，系統會嚴格執行這些計時。然而，用戶可以根據自己的能力手動調整樂曲的速度。用更多的時間來閱讀樂譜，使一段不熟悉的音樂更容易被理解。慢速練習是提高音樂流暢性的常用技巧。這個功能鼓勵用戶遵循有效的學習規律來掌握一段音樂。

還有一種音符學習模式，它在每個音符到達時暫停，并等待用戶按下鍵，然后繼續下一個音符。這消除了用戶提前閱讀和準備未來音符的壓力。通過允許用戶一步步地瀏覽音符，習慣手和手指的動作，慢慢地建立以合適的速度彈奏音符所需的靈活性。

（六）演奏分析和反饋。反饋是非常重要的一個環節，它允許用戶從錯誤中學習，并為未來的練習設定目標。系統向用戶提供關于基本技能的反饋，即音符、音高、音長和節奏，實現這一點的方法是使用疊加圖像來點亮琴鍵。通過在增強現實視圖中對音符可視化進行顏色編碼，可以實時反饋音符演奏的準確性，如圖1所示。顏色不像是大小和形狀，不占用額外的屏幕空間，所以顏色是用于表示這些信息最合適的視覺屬性。

在演奏測試的最后，會給出最終的反饋，總結有多少音符被彈錯或漏掉了。這可以使用戶將反饋與其預期的標準進行比較，為后續的練習設置目標。

四、虛擬現實技術在鋼琴教學中應用的局限性及發展趨勢

（一）局限性。從界面設計的角度來評價，虛擬現實技術系統的不足之處可能有以下幾點：第一，樂譜的展示可能會讓人分心。同時關注書面符號和虛擬音符確實很難做到，許多用戶只是想根據VR視圖中指定的鍵來彈鋼琴，而不是學習閱讀音符;第二，追上逼近的音符是一件令人生畏的事，而尋找音符和強迫計時的壓力有可能會讓學習者錯過了更多的音符。

從游戲心理學的角度來評價，在設計時可能還需要注意以下幾點：第一，游戲廣度。游戲應該滿足多種基本的人類需求，如自尊需求、認知需求、自我實現和超越（幫助他人的需求）。游戲廣度可以通過在鋼琴練習中給予更多的反饋來提高，比如表揚、鼓勵和糾正、有社會交往（結對練習或小組練習）、增加難度級別（添加時間限制、障礙、隨機事件）等;第二，模仿。游戲應該讓玩家不斷學習。這一點可以通過對音樂作品的難度進行排序、增加要求等方式來實現;第三，情感影響。提高情感影響的常見方法是視覺和聲音效果和獎勵（高分榜、虛擬徽章等）。

（二）發展趨勢。首先，未來必要的發展可能要包括手指動力學和演奏清晰度等問題的分析。第二，更全面的反饋總結。將使學習者看清自身問題，從而使學習目標更加明確。第三，分數跟蹤系統也可以繼續改進。此外，還需要進行正式的用戶研究，以確定虛擬現實鋼琴教學系統與人類鋼琴教師使用傳統顯示器的電腦化教學工具相比，可用性、有效性和應用效果究竟如何。

五、結論

通過以上文獻綜述得出，國外對于虛擬現實技術在鋼琴教學領域已有一些相應的軟件設計與硬件實現。虛擬現實系統應用到音樂教育中，以游戲的方式出現，不僅能夠培養學生對鋼琴和其他樂器學習的興趣，同時激勵學生去自主練習和改進。

作者簡介：

肖睿，女，陜西西安人，西安音樂學院碩士研究生，主要從事音樂教育學理論與實踐等方向的研究。