三維動畫與虛擬樂器（VSTi）的聯動系統的設計與應用
——以中國傳統樂器二胡為例

（韓國祥明大學 03016）

在第四次文化產業革命的背景下，5G技術也正在全球范圍迅速的普及。全球的各個領域的都在結合的新媒體技術共同發展，以便更好地讓大眾傳播與應用。音樂產品是一個既融合了科學技術又具有大眾娛樂性質的藝術領域的代表之一。如何更好的讓音樂產品既能滿足大眾音樂消費者的感官需求，又能通過技術手段讓音樂產品制作者更方便地制作好適應市場的音樂產品的雙向問題，是我們需要研究和發展的方向。三維動畫是介于二維平面設計和真實場景之間的應用產物，三維動畫的不僅有優于二維平面動畫的真實感，又相較與真實場景存在更多的便捷行和可變性。現代社會，不僅把三維動畫應用在地圖，家具選購等軟件上，2018年起也有很多在音樂演奏會上應用成功的案例。

一、三維動畫與虛擬樂器的聯動設計與應用的發展趨勢與應用價值

（一）促進音樂產品的多元化

大眾音樂的音樂產品占有絕大多數的消費群體，而對傳統文化和音樂的關注度還是需要更多的提高和保護，如果可以使用三維動畫人物來演奏傳統音樂的形式，就更能夠通過新型的年輕人更容易接受的音樂產品形式，引起他們對傳統音樂和傳統樂器的興趣，這不僅可以促進傳統音樂文化的產品的消費，也可以讓傳統音樂文化更好的傳播和保護。

（二）增強音樂教育軟件的交互性

以前的音樂教育軟件，更多的是利用錄制好的視頻和講解來傳播音樂知識和演奏技巧，但是在現代的多媒體環境下的音樂教育軟件更側重交互體驗，不僅可以可以通過三維的動畫視頻來360度觀察演奏的動作形態，也可以讓學習者輸入旋律與和弦來生成學習者即時所需要的三維動畫的演奏表演。這些都是傳統式的真人錄像的音樂教育軟件不能完成的。

（三）更廣泛地應用在舞臺藝術中

把三維動畫視頻來應用在舞臺藝術上是一種新型的舞臺形式，從2018年開始逐漸有通過增強現實技術把三維動畫應用在演唱會上的成功案例，更好的吸引了年輕人對音樂舞臺的興趣。不僅是流行音樂演唱會上，也可以使用在更具藝術性的交互式音樂的演奏會上，通過即時的MIDI（樂器數字接口）或感應控制器來同時演奏音頻與視頻。

（四）加強音樂制作人對虛擬樂器使用時的真實體驗感

音樂學者或者音樂制作人中也不乏對某一些樂器的認知不足的情況。能夠通過本論文的系統來在數字音頻工作站（DAW）中更有效率更正確的去使用虛擬樂器，是對音樂工作者提高效率的很有幫助的方法。音樂工作人若能更快更準的使用虛擬樂器，這對生產這樣樂器的相關的音樂產品的產量一定是有促進作用的，相關樂器和音樂文化的音樂產品增多，也當然更有利于音樂消費者更廣泛的去接觸到此類的音樂文化產品，從而更好的傳播此類音樂文化。

二、使用三維動畫結合虛擬樂器的優勢

（一）三維動畫在制作視頻采樣時能具有更好的統一性

真人的視頻采樣的過程中更容易存在表情或肢體動作的差異性，這些差異會讓視頻動作連接存在更多的不連貫和不一致性。三維動畫可以更好的保持三維動畫人物的一貫肢體動作和表情。讓人覺得更加的美觀與自然連接。

（二）針對不同的使用人群，三維動畫的形象具有更多的可選擇性

如果使用真人的視頻采樣，雖然可以更方便的獲取和錄制，但這樣不僅存在人物肖像版權問題，而且很難改變人物形象，一旦錄制之后將無法改變。而三維動畫可以更容易的保留演奏動作的同時，更方便的改變人物形象。這樣可以讓更好的應用在不同的人物形象的音樂產品中。例如，年輕人喜歡的二次元文化中的小說人物、動畫人物、歷史文化人物和游戲人物等等。

三、三維動畫與虛擬樂器的聯動系統的設計與實現

（一）確定樂器的類型

無論是西洋樂器還是中國民族樂器都分別根據演奏特征與鳴響特征有著細致的分類。為了設計好三維動畫與虛擬樂器的統一與連接，主要需要根據演奏特征對其進行分類。不同的演奏特征的樂器由于發音的演奏形式不同左手與右手的設計也會產生不同。三維動畫的采樣的排列組合的數量也會產生很大區別。依據演奏特征，現代樂器主要分為吹奏類、拉弦類、彈撥類和打擊類這四種類型。吹奏類的樂器主要是由口部吹氣使樂器產生震動，從而控制聲音的音量與音長，左右手配合控制音高。拉弦類樂器主要是依靠右手的弓對弦進行摩擦產生震動，從而控制聲音的音量與音長，左手通過按弦改別弦的長短是音高發生改變。彈撥類樂器主要是依靠右手的手指對弦的施壓與釋放產生震動，左手也是通過按弦改別弦的長短是音高發生改變。打擊類樂器也分為有音高打擊樂器與無音高打擊樂器，根據不同的樂器的材質材料和材質長短產生擊打時產生的音高與音色的區別。

（二）樂器的演奏技法的分類

本文以拉弦類樂器中的中國傳統樂器二胡作為的研究對象，二胡是中國傳統樂器中最具有代表性的傳統樂器之一，因為他演奏技法全面，音色高亢明亮，所以二胡在各類風格的音樂中都有很好的表現性。EWQL公司的虛擬樂器產品“SILK”中的二胡樂器采樣了非常全面的二胡技法，并且具有相較于同類型虛擬樂器而言最為理想的音質效果。SILK當中采樣的二胡樂器技法包括長弓、短弓、快弓、頓弓、顫弓和擊弓等演奏技法的分類，在SILK操作界面當中也可以通過鍵位切換的方式來改變演奏技法。雖然在虛擬樂器中聽不出左手指法的差異性，但是在三維動畫的視頻采樣中必須要考慮到左手把位與指法的特征才能夠更準確地在三維動畫中表現出更接近真實演奏的形態。由此，需要把左手歸類為空弦、食指、中指、無名指和小拇指五種指法來進行三維動畫視頻設計。

（三）分析虛擬樂器的各技法的音頻采樣特征

首先需要通過MIDI對不同的技法和音高出發來導出樂器中的采樣音頻，然后需要對其音頻的包絡進行分析。對音頻的的音量包絡分析時，具體根據音量包絡的起建（Attack）、衰減（Decay）、 保持（Sustain） 和釋放（Release）的各個數據可以更準確地制作弓在演奏時的形態，包括運弓的速度和長音的換弓點。跳弓與頓弓這類短促型的弓法可以根據音頻的總長度來設計運弓的時間。顫弓可以根據音頻中波形峰值到谷值之間浮動的次數來判斷音頻采樣時在固定時間單位內右手顫弓的次數。

（四）針對音頻采樣特征設計演奏技法的視頻采樣

三維建模與視頻采樣設計時，根據上述需要把右手上下弓與左手的空弦、食指、中指、無名指和小拇全部進行視頻設計。由于二胡的內外弦并不能在視頻中準確的體現出區別，所以在三維動畫設計中可以忽略掉著一部分。SILK中的二胡虛擬樂器的音頻采樣是對每一個演奏技法都進行了28個音的進行了采樣，也就是從小字組c1至小字組e3。雖然實際二胡中常用的定弦是內弦d1與外弦a1的定弦方法，但是考慮到某些演奏曲目中定弦存在特殊性，所以需要對c1至e3進行全部三維視頻采樣。由此，需要對c1至d1進行空弦的三維視頻采樣，并且對#c1至e1進行食指、中指、無名指和小拇的采樣。如此能保證演奏時的隨機性，更能貼近實際演奏時的指法形態。

（五）在DAW中三維動畫視頻采樣與MIDI音頻采樣的聯動系統設計

使用數字音頻工作站Ableton live與Max for live兩個軟件的結合，在Ableton live中用MIDI控制器出發虛擬樂器音頻，同時使用Max for live觸發三維動畫的演奏采樣。在Max for live中對上述的視頻采樣庫需要進行像SILK的二胡虛擬樂器的一樣進行分類，并使用虛擬樂器相同的鍵位切換，才能保持觸發時的一致。并且虛擬樂器的音頻中并不能判斷采樣時是上弓還是下弓，但是視頻演奏必須要考慮到上弓與下弓的問題，所以需要在Max for live中多設計出一個組上下弓的鍵位切換，這樣三維動畫視頻才可以滿足實際演奏時上下弓的真實性。

（六）對比與校正

利用上述設計的三維動畫與虛擬樂器聯動的設計系統，以MIDI文件同時觸發視頻與音頻采樣，來實現音視同步的表演形式。為了更好的驗證與對比三維動畫和虛擬樂器聯動系統與實際真人演奏者的真實性差異性和一致性。需要通過相同一段樂章的演奏來進行對比分析。樂章的要求不僅要滿足一定的時長要求，并且要使用到全部的演奏技法，以此來準確且完整校正左手指法、右手運功、三維動畫視頻采樣與音頻采樣的時間差這三個重點差異性問題。

四、結論

總而言之，中國傳統音樂文化一直在發展與傳承，而三維動畫與虛擬樂器的結合，作為新型的媒體形式的傳播方式和載體，已在不同音樂類型與產品中得到了廣泛應用，所以，要想促進傳統音樂文化的傳播，非常有必要與新型媒體技術相結合。借助新型媒體技術在音樂舞臺和音樂教育方面的應用的形式，不僅可以年輕人的對傳統音樂文化的興趣，而且對于發揮傳統音樂藝術的魅力也具有很大的幫助，使傳統音樂藝術更具藝術氣息和現代科技感。