八音盒視頻運動音符識別綜合實驗設計

于 蕾，張 宇，柳守一，汲清波

（哈爾濱工程大學信息與通信工程學院，哈爾濱 150001）

0 引 言

“機器視覺”［1］作為一門綜合性創新實驗課程，綜合了光學［2］、機械自動化、電子信息、計算機軟硬件［3］等課程。涵蓋專業知識廣泛：包括信號處理、計算機視覺、計算機工程等專業知識?！皺C器視覺”實驗課程，有利于將知識融會貫通并應用于實際工程中。

本文針對實驗課程實例——“八音盒視頻處理”，設計了基于圖像處理［4］的視頻關鍵特征檢測［5］實驗方案。實驗實例對象為18 音階機械八音盒，其運行視頻的截圖如圖1 所示。實驗方案，將對實例對象八音盒的運行視頻，通過數字圖像處理、提取特征等方式，完成樂譜特征提取，將識別到的音符特征表征出來并演奏。

圖1 實例對象——八音盒

1 相關原理

八音盒核心部件有（見圖1）：①滾軸部、②音板、③儲能彈簧。針對給定的八音盒視頻，以提取并恢復相應音符信息為目標進行設計。八音盒是由滾軸旋轉，滾軸上的凸起撥動音板發聲的，包含音符信息的位置集中在2 個區域：②銀色不同長度的音板部分和③滾軸上不同位置的凸起。在音符信息變化過程中，音板的明暗變化較弱，易受光源不均勻等外界因素干擾，滾軸部分雖存在明顯噪聲干擾，卻包含更明確的音符特征信息。設計實驗針對滾軸部分凸起進行圖像處理提取特征，并結合音頻頻率分析對提取到的音符特征進行恢復。

實驗設計的原理包括數字圖像處理、信號時域頻域分析、樂器數字接口（Musical Instrument Digital Interface，MIDI）編程等技術［6］。

1.1 圖像形態學

圖像形態學［7-8］也被稱作數字形態學，以形態結構單元為工具對圖像進行處理。形態學通過不同大小、不同形狀存放不同權重的基礎結構單元，對整幅圖像做平移不變性的計算處理，以達到提取特征、消除噪聲、圖像映射變換等目的。圖像形態學一般對灰度圖像或者二值圖像進行處理。一類典型的應用是通過形態學運算降低圖像干擾噪聲，在很大程度上保留圖像本身的必要特征［9］。圖像形態學的基本運算包括：形態學開操作、形態學閉操作、形態學膨脹和形態學腐蝕［10］。

（1）二值形態學。結構元素是形態學操作中最重要的基本單元，不同的基本單元對圖像進行處理會產生截然不同的結果。常用的結構元素形狀包括矩形和十字形等。在進行形態學操作時，其基本結構單元被稱作形態學算子。形態學算子直接決定了形態學處理的結果。形態學運算的本質是形態學算子在圖像上的平移不變性運算，類似于加窗?；镜男螒B運算包括腐蝕和膨脹。

（2）形態學腐蝕。形態學腐蝕是一種常用的形態學圖像處理手段，通過腐蝕操作，可在一定程度上保留目標特征而消除部分噪聲干擾。常常與形態學膨脹同時使用。假設用B（x）代表結構元素，對工作空間E中的每一點x，形態學腐蝕運算結果

式中，“⊙”為腐蝕運算符。形態學腐蝕如圖2 所示。

圖2 形態學腐蝕

（3）形態學膨脹。與形態學腐蝕相反，形態學膨脹如圖3 所示，膨脹運算結果

圖3 形態學膨脹

式中：“⊕”為膨脹運算符；B（y）為點y位置對應的原素結構；?為空集。

1.2 音頻信號時頻分析

傅里葉變換在解決信號時頻問題時具有很大的局限性，為解決傅里葉變換不能區分時間尺度上不同頻率信息，提出短時傅里葉變換（Short Time Fourier Transform，STFT）［12-13］。其本質是對目標信號與窗函數相乘，分析一段時間內的頻譜特性，將窗函數按時間順序平移計算下一個窗口的頻譜特性。在進行STFT的過程中：首先假定一個非平穩信號在窗口內是平穩的，將目標信號x（t）與有限窗函數h（t）相乘再進行傅里葉變換，即可得到窗口時間內頻譜，對h（t）在時間軸x上的移動，對信號進行逐段分析得到信號的一組頻譜。信號x（t）的STFT定義［14］為

式中，h（τ－t）為h（t）在時間軸τ 上的被動得到的有限窗函數［15］。分別截取小時間段內的短信號做快速傅里葉變換（Fast Fourier Transform，FFT）變換，即可得到信號x（t）的時域頻域分析結果。

1.3 MIDI編程

MIDI［16-17］是桌面系統底層封裝的應用程序接口（Application Programming Interface，API），通過調用API接口可實現驅動聲卡發聲，常用于音樂相關項目的開發。不但可播放本地文件，還可通過鏈接庫實現不同音階的音符播放。

2 音符實時識別系統

系統總體流程如圖4 所示，將八音盒運行視頻分為2 個部分：視頻圖像信息和音頻信息；圖像信息經過右路圖像處理部分獲取圖像特征。音頻信息經過左路得到時域頻域分析結果，將視頻圖像特征與音頻的時域頻域分析結果在時間上匹配，獲得不同時刻圖像上特征所代表的具體音符（頻率）信息，通過MIDI 編程將音樂演奏播放。

圖4 系統總體流程圖

2.1 圖像處理

視頻中圖像信息過于復雜，大部分圖像對樂譜的識別沒有作用。采用提取感興趣區域（region of interest，ROI）選擇包含樂譜信息的部分進行處理。這里選擇勻速轉動的滾軸區域作為感興趣區域。

選定感興趣區域后，從視頻中獲取每一幀圖像并截取感興趣區域，對每一幀圖像進行灰度處理和圖像二值化，處理結果如圖5 所示。

圖5 圖像處理過程

由圖5（a）、（b）可知，滾軸左右兩側部分存在難以去除的反光干擾噪點，中間部分圖像雖然存在部分噪點，但去除相對容易，所以將滾軸軸體中部作為主要分析對象。在圖5（b）的二值圖像中，存在2 種主要的噪點：滾軸上的固有缺陷產生的小型噪點（下稱為小噪點）和接縫處印有型號的鋼印造成的大范圍噪點（下稱為大噪點）。

對不同類型的噪點，采用的去除噪聲的手段也不一樣。對于小噪點，采用形態學運算的方式，在保留足夠有效特征的基礎上，去除圖像中的小噪點。先利用3 ×2 的矩形算子對圖像做開運算去除小噪點，再用1×2 的矩形算子對圖像進行膨脹操作，在縱向上彌補開運算對圖像特征造成的損失。處理后的圖像如圖5（c）所示。可看到小噪點被有效去除，大噪點依然存在。對于大噪點，將在后面的音符識別中進行靜默過濾操作。通過對大噪點的出現范圍及其白色像素數量與閾值比較，當識別到大噪點轉動到目標區域時，將音符識別算法靜默。

2.2 音符識別

經過圖像處理，中間部分只剩大噪點的干擾，在此基礎上設計音符識別提取部分。如圖6 所示，繪制長條矩形區域，縱向涵蓋滾軸18 個音節對應的凸起，橫向寬度略大于一個凸起特征。將長矩形18 等分，分別對應不同位置的音符凸起。通過判斷每個格子內的白色像素點比率來判定是否有音符特征經過，若當前幀的圖像指定格子里存在音符特征，則白色像素比率將會大于閾值，此時將當前幀的目標格子標記為白色。

圖6 分區檢測過程

在標記音符特征的同時，將特征信息按時間序列繪畫并顯示，輸出音符樂譜特征如圖8（b）所示。

2.3 音頻信號的時頻分析

為獲得視頻中不同位置音符特征所對應的實際音符（頻率），采用對視頻的音頻信號進行時域頻域分析。從視頻文件中提取到相應的wav 音頻文件，將音頻文件輸入到程序中。其中時域信號如圖7 所示。

圖7 音頻時域信號

對音頻時域信號進行STFT，得到信號的時頻特性，如圖8（a）所示，由圖可獲得各音符的頻率。

圖8 音符特征與視頻特征對比

2.4 獲得音符頻率

在音符識別和時頻分析后，得到音頻中的視頻圖像中的音符信息特征與音頻信號的時頻特征，分別如圖8（a）、（b）所示。其中時頻特征包含了每個音符的頻率信息，還包含了不同頻率的音符出現的時序信息。圖8（b）中包含了滾軸上不同位置的音符圖像的位置信息以及不同音符出現的時序信息。兩幅圖的時序信息是存在對應關系，可得圖8（b）中每個位置所代表的頻率。例如圖8（a）、（b）中虛線內為一個周期T，以黑色矩形內信息為例，上下兩圖之間具有同樣的音符時序變化信息，將特征輸出一一對應，即可獲得視頻圖像中每個位置的音符的頻率。位置序號與音符頻率對應關系見表1。

表1 位置序號與音符頻率對應關系

由表1 可見，不同序號位置同凸起對應的音符，結合圖8（b）即可獲得完整的樂譜信息。獲取的完整樂譜信息將用于后續的MIDI編程中。

2.5 MIDI編程實現

MIDI編程可發出不同音色的音符和旋律。選擇鋼琴作為實施演奏的音色樂器。MIDI 編程以一個8位十六進制參數來控制輸出音符的音量、音調和音色。以0x00403C90 為例，有效位為后6 位，即0x403C90。其中：0x40 為音量；0x3C 為音調；范圍為0x0-0x 7F；0x90 為樂器范圍應該是0x90-0x9F。其中，0x99 為鼓類，其余皆為不同音色的鋼琴。

在演奏實現中，由表1 中位置與音符對應關系預設到程序內，以圖6 右圖中小格子內顏色變化為激勵信號，當顏色由黑色變白色時，即識別到音符到來，利用MIDI播放當前位置對應的音符。當對視頻實時處理，產生實時輸出的處理后視頻的同時，完成對識別到的樂譜演奏的效果。

3 結 語

本文提供了對八音盒視頻通過計算機視覺等方法，從視頻中識別當前所演奏的音符，并能以實時演奏和打印輸出的2 種方式實現對識別到的音符特征的重現。

本方案的優點：采用的圖像處理算法相對簡單易于操作，識別音符信息具有較高的準確性，能實時演奏且效果直觀等。在其他方面還具有一定的局限性，如：短時傅里葉變換這種時頻分析方法，對音頻主旋律的頻率有很好的解析效果，但由于實際音頻中還包括伴奏的旋律，伴奏的信號強度要小于主旋律音符信號，對伴奏旋律音符頻率的分析結果存在一定誤差?？筛倪M對音頻信號的時頻分析方法，如采取更高精度的小波變換、濾掉主旋律頻率后單獨對和音頻率進行時頻分析等方法，來獲得更高的頻率精度。