基于GPU通用計算平臺的樂譜自動識別系統設計

謝晨偉，陸天翼，湯勇明

(東南大學電子科學與工程學院，南京210096)

?

基于GPU通用計算平臺的樂譜自動識別系統設計

謝晨偉，陸天翼，湯勇明*

(東南大學電子科學與工程學院，南京210096)

摘要:在GPU通用計算平臺上實現了一個鋼琴獨奏樂曲的樂譜識別系統，它讀取WAV格式音頻文件，利用GPU通用計算技術加速自相關函數算法來實現音高的識別，并綜合考慮短時能量和基音周期的變化進行節拍劃分。通過實際測試，驗證了該樂譜識別系統的準確性，并證明了GPU并行計算對系統計算效率提升的效果:將計算時間減少到傳統CPU計算時間的16%左右。關鍵詞:GPU通用計算;自相關函數法;短時能量;樂譜識別

使機器“聽懂”樂器的演奏并輸出相應的樂譜，這種功能在音樂創作中能夠極大地提高作曲人的創作效率，同時在日常生活中也有著非常大的娛樂價值。樂譜的自動識別主要包括音高的識別(即基音周期的識別)和節拍的識別。近年來，國內外很多學者在相關領域做出了巨大的貢獻。

馮雅中等人［1］采用的倒譜法，以及胡瑛等人［2］和徐國慶等人［3］采用的小波變換法是變換域估計法中的代表。倒譜法由于引入對數計算所以計算量較大。小波變換法雖然適用于語音信號這樣的非平穩信號，但其抗噪性能欠佳。常亮等人［4］和林琴等人［5］使用的自相關函數算法(ACF)是時域估計法中的代表，該算法利用自相關函數在信號基音周期的整數倍上出現峰值的性質進行基音周期識別，具有良好的抗噪性以及較強的抗相位失真能力。

另外出于實用性的考慮，基音周期識別往往對計算效率有很高的要求。GPU通用計算技術將GPU大規模并行計算的能力應用于一般意義上的科學計算，極大的提升了程序的執行效率。王海峰等人［6］介紹了GPU在通用計算領域的典型應用。李玉峰等［7］和張健等［8］分別利用GPU加速離散小波變換和方程組求解算法。NVIDIA推出了統一計算設備架構(CUDA)和對應的編程語言CUDA C［9］，使得使用者在無需具備很多計算機圖形學知識的情況下完成GPU通用計算的編程。

綜合考慮各種基音周期識別算法的計算量、抗噪性等方面的要求，本文采用自相關函數算法進行基音周期的識別，并使用CUDA C語言在GPU通用計算平臺上進行系統的編程。

讀取WAV格式音頻文件之后，首先由CPU對數據進行分幀處理，并將數據拷貝到GPU，創建大量的線程并發執行以下操作:利用帶通濾波和中心削波對樂曲信號進行預處理，接著利用自相關函數進行樂曲信號基音周期的識別。之后，GPU將識別的結果返回給CPU，CPU結合基音周期識別結果和信號短時能量信息進行節拍劃分。算法的流程如圖1所示。

圖1　算法流程圖

1　算法的實現過程

1.1分幀處理

自相關函數法要求幀的長度至少取信號周期的兩倍。而利用GPU進行并行計算的思路是將數據分成盡量多的份數同時進行計算，因此一般要求每一幀的長度應盡可能的短。為此，我們將每一幀的長度定為樂曲信號中可能出現的最大基音周期的兩倍，令Fs為樂曲信號的采樣率，Tmax為最大基音周期，N為最短幀長，則:

在實際應用中，Tmax通常是頻率為130.8 Hz的音調對應的周期，即0.007 65 s。

1.2數據的拷貝和線程的創建

如圖2所示，對數據進行分幀處理之后，CPU將數據發送到GPU，GPU為每一幀數據創建一條線程，該線程進行對應幀的基音周期識別。

圖2　數據與線程之間的映射

需要注意的是，在計算自相關函數時，程序會頻繁地訪問存儲樂曲信號的數組，平均每個元素要被訪問數百次。而設備存儲器屬于片外存儲器，訪問它需要大量的時間［12］，這極大地限制了GPU并行計算的能力。針對這個問題，可以在計算前將數組的一個副本放在共享存儲器中，共享存儲器屬于片上存儲器，訪問速度與寄存器相當。這樣，只需要訪問一次設備存儲器，之后可以直接訪問共享存儲器，從而極大的減少了訪問數據的時間。

數據傳送完成之后即可創建線程進行計算，本文共創建2 048條線程進行數據的計算，即將原來的樂曲數據分成2 048幀，每條線程進行一幀數據的計算，不同線程之間并發地執行計算，從而大大的減少了系統識別樂譜的總時間。

2011年，經廣州市委組織部、廣東省委組織部選派，我作為省第六批援疆教師，前往新疆疏附縣第二中學任教。那年4月30日，我和同事們沿著314國道，乘坐汽車穿行于戈壁大漠。我們翻過一座又一座的荒山，晶瑩的雪山看似近在眼前，仿佛觸手可及，可車子卻像爬行在一條天路上，顛簸著，蠕動著，好像永遠沒有盡頭，車內的人也陸續出現暈眩、嘔吐的癥狀。天高地闊，卻孤立隔絕；風景壯美，卻荒蕪乏陳。我暗自忖度，那些看慣大漠孤煙的學生們會是怎樣的呢？他們會有怎樣的課堂？怎樣的視野和生活？而我，能為他們做些什么呢？

1.3帶通濾波和中心削波

本文對樂曲信號的預處理主要分為兩部分:帶通濾波和中心削波。數字濾波器的設計較為簡單，在此不再贅述。本文所用的中心削波處理函數的表達式為

式中的削波電平L是由音頻信號的峰值大小確定的。Dubnowski［10］提出將語音信號幀分為3個小段，找出第1段和第3段的最大幅度值，并將削波電平L取為其中較小值的80%左右。本文通過測試比較，將削波電平L取為較小值的68%時效果最好。

1.4基音周期檢測

對于一幀長度為N的語音信號sw(n)，它的自相關函數定義為:

根據信號處理理論，當l為信號周期的整數倍時，Rw(l)為一個峰值點。

在具體的編程實現中，假設sw(n)為存儲樂曲信號的數組，根據計算公式，將自相關函數的計算結果存儲于數組Rw(l)中，然后遍歷Rw(l)，找出數組中最大元素所在的位置L，若信號的采樣率為Fs，則基音周期T為:

1.5節拍識別

上文在GPU上計算出每一幀數據的基音周期，并將計算結果返回給CPU。本小節將結合短時能量和基音周期進行節拍劃分，具體步驟如下:

②如果兩幀數據基音周期相同，再比較兩幀數據的短時能量值。短時能量值定義為:

假設某相鄰兩幀數據的短時能量值分別為:Ew－1和Ew，設定閾值β(β＞1)，當Ew≥β·Ew－1時，確定Ew所在的幀為一個新的節拍的開始。

2　實驗測試

本文以鋼琴獨奏樂曲《小步舞曲》的節選片段為例(約14 s)，說明樂譜自動識別的過程及識別效果。需要說明的是，一首樂曲的節拍并不固定，取決與演奏時的拍速，所以本文將重點放在檢測不同節拍之間的相對時長上。

表1為進行實驗的軟硬件環境。

表1　實驗環境

為檢驗音高識別的正確性，我們列出常用音名對應的基頻，見表2。

表2　常用音名及其基音頻率

實驗過程如下:

①讀取《小步舞曲(節選)》:WAV音頻格式，雙聲道，采樣率44.1 kHz，量化位數16位。

②以800個數據點為一幀對信號進行分幀處理，并將數據拷貝到GPU。

③GPU創建2個線程組，每個線程組包含1 024條線程，線程間并發地進行計算，并結合表1確定音高，最后將結果返回給CPU。

④進行節拍的劃分并確定每個節拍的相對時長。

表3給出了程序中檢測到的各節拍的基音頻率平均值及相對時長(其中t為最短的一拍所對應的時間)，基音頻率與標準值之間略有差異，但與相鄰兩個音名之間的差異相比可以忽略，并不會影響音名的識別。通過對比，系統的識別結果與標準的《小步舞曲》樂譜相比完全一致。

表3　實驗測試結果

為了檢驗GPU通用計算技術對計算效率的提升，我們將同一算法用傳統的CPU串行計算方式實現，用以對比。對于《小步舞曲(節選)》，傳統CPU串行程序的執行時間為1.285 s，而通過GPU通用計算技術加速后的執行時間僅為0.207 s，約為前者的16%。

3　結語

本文研究了自相關函數算法在基音周期識別方面的應用，并在GPU通用計算平臺上用CUDA C語言編程實現了一個樂譜自動識別系統，從測試結果可以看出，該系統能夠準確地識別鋼琴獨奏樂曲的樂譜，而GPU通用計算技術則在很大程度上提高了算法的計算效率，滿足實際應用中對識別速度的要求。本文測試實驗采用時長14 s的樂曲信號，GPU創建了2個線程組，每個線程組包含1 024條線程。當實際應用中碰到更大數據量的計算任務時，可以通過增加GPU線程組數量進一步提高程序的識別速度。

參考文獻:

［1］馮雅中，莊越挺，潘云鶴.一種啟發式的用哼唱檢索音樂的層次化方法［J］.計算機研究與發展，2004(2):333－339.

［2］胡瑛，陳寧.基于小波變換的清濁音分類及基音周期檢測算法［J］.電子與信息學報，2008(2):353－356.

［3］徐國慶，楊丹.小波變換與FFT聯合識別樂音［J］.重慶大學學報:自然科學版，2005，12:51－54.

［4］常亮，徐敬德，崔慧娟.電話線質量語音的基音周期提取算法［J］.清華大學學報:自然科學版，2013，11:1548－1552+1557.

［5］林琴，郭玉堂，劉亞楠.基于自相關平方函數與小波變換的基音檢測［J］.計算機應用，2009(5):1433－1436.

［6］王海峰，陳慶奎.圖形處理器通用計算關鍵技術研究綜述［J］.計算機學報，2013(4):757－772.

［7］李玉峰，吳蔚，王愷.基于GPGPU的JPEG2000圖像壓縮方法［J］.電子器件，2013(2):163－168.

［8］張健.方程組的迭代法求解在GPU上的實現［J］.電子器件，2010(6):766－771.

［9］Nvidia C U D A.Nvidia Cuda c Programming Guide［M］.NVIDIA Corporation，2011:120.

［10］Dubnowski J J，Sehafer R W，Rabiner L R.Real-Time Digital Hardware Pitch Deteetor［J］.IEEE Trans on Aeousties，Speeh，and Signal Proeessing，1976，24(2):2－8.

謝晨偉(1992－)，男，漢族，本科生，東南大學電子科學與工程學院，xiecw.mail@gmail.com;

湯勇明(1973－)，男，漢族，博士，研究員，東南大學電子科學與工程學院。主要從事電路與系統、顯示電子學領域的教學和科研工作，tym@seu.edu.cn。

陸天翼(1992－)，男，漢族，本科生，東南大學電子科學與工程學院，lodge671 @foxmail.com;

Design of USB3.0 Data Transmission Interface in High Speed Data Acquisition System

YANG Shaobo1，2，PEI Dongxing1，2*，YUE Xiaozhong1，2
(1.Key Laboratory of Instrumentation Science and Dynamic Measurement，North University of China，Tai Yuan 030051，China;
2.Key Lab of Instrumentation Science and Dynamic Measurement，Ministry of Education，North University of China，Taiyuan 030051，China)

Abstract:Stable and reliable high-speed data transmission plays an important role in high-speed data acquisition system.Because missile-borne electronic tester has high demand for speed of data transmission，a high-speed data collection and transmission system is designed.Data transmission part in this system adopts CYUSB3014 chip produced by Cypress company as the interface chip.Interface connection and working process of the hardware is introduced.Main module of the interface software design，such as the DMA channel，GPIF II programmable interface firmware programming are introduced.Test shows that this system has realized reliable high-speed data transmission，and the firmware program operates normally and stably.

Key words:memory testing; high-speed data acquisition; high-speed data transmission; USB3.0 interface

doi:EEACC:7210G10.3969/j.issn.1005－9490.2015.04.039

收稿日期:2014－08－19修改日期:2014－09－15

中圖分類號:TP391.42

文獻標識碼:A

文章編號:1005－9490(2015)04－0908－04