數(shù)說聲音：聲音的數(shù)值表示、操作與交互

于方軍 賈剛

聲音文件可以簡(jiǎn)單看是一組頻率、響度、音色構(gòu)成的數(shù)據(jù)，這些數(shù)據(jù)遵從一定的規(guī)律按照時(shí)間維度組織起來(lái)，就構(gòu)成了音樂和語(yǔ)言，由于增加了時(shí)間維度，所以它不像圖像那樣用一張紙就能保存下來(lái)。在物理學(xué)中，關(guān)于聲音的描述是它由物體振動(dòng)產(chǎn)生的，振動(dòng)的本質(zhì)是位移關(guān)于時(shí)間的函數(shù)。在現(xiàn)實(shí)生活中，聽到的聲音信號(hào)都是隨時(shí)間連續(xù)變化的，這種信號(hào)叫模擬信號(hào)，而計(jì)算機(jī)存儲(chǔ)和使用的都是數(shù)字信號(hào)，所以需要把模擬信號(hào)轉(zhuǎn)化成數(shù)字信號(hào)后才能在計(jì)算機(jī)中使用。

本文將以聲音數(shù)據(jù)為核心，探尋如何對(duì)聲音進(jìn)行數(shù)字表示與處理，并通過開源硬件實(shí)驗(yàn)讓學(xué)生體驗(yàn)音樂的構(gòu)成。

● 聲音編碼：模擬聲音的數(shù)字化過程

模擬聲音轉(zhuǎn)化為數(shù)字信號(hào)分為采樣、量化、編碼三個(gè)過程，如圖1所示。在計(jì)算機(jī)上錄音就是把模擬聲音信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)，而播放時(shí)則是把數(shù)字信號(hào)還原成模擬信號(hào)輸出，這兩個(gè)過程一般通過計(jì)算機(jī)上配置的聲卡來(lái)實(shí)現(xiàn)。采樣過程是按照一定的時(shí)間間隔在連續(xù)的波上進(jìn)行間隔取值，如圖1取了10個(gè)樣。1秒鐘采樣次數(shù)稱為采樣頻率，常用采樣頻率有8kHz、11.025kHz、32kHz、44.1kHz、48kHz等，8kHz就是1秒鐘采樣8000次，采樣頻率越高，聲音的還原就越真實(shí)越自然，但數(shù)據(jù)量就會(huì)越大。量化過程就是給縱坐標(biāo)定一個(gè)刻度，記錄每個(gè)采樣的縱坐標(biāo)值。編碼過程是將每個(gè)量化后的樣本值轉(zhuǎn)換成二進(jìn)制編碼。而整個(gè)數(shù)字化過程就是將所有樣本二進(jìn)制編碼連起來(lái)存儲(chǔ)在計(jì)算機(jī)上，這樣就把模擬信號(hào)轉(zhuǎn)換成了數(shù)字信號(hào)。

● 聲音讀取：用程序讀取一段音頻文件

標(biāo)準(zhǔn)的Python包含Wave庫(kù)，且支持wav格式的音頻文件的讀寫，wav文件由頭部信息和音頻采樣數(shù)據(jù)構(gòu)成，前44個(gè)字節(jié)為頭部信息，包括聲道數(shù)、量化位數(shù)、采樣頻率、采樣點(diǎn)數(shù)等信息，后部為音頻采樣數(shù)據(jù)。用Python讀取Scratch圖形化編程中的小貓叫文件Meow.wav的相關(guān)參數(shù)，如圖2所示。

f.getparams（）可以獲取音頻的屬性參數(shù)，其中比較關(guān)鍵的是聲道數(shù)（nchannels）、量化位數(shù)（sampwidth）、采樣頻率（framerate）、采樣點(diǎn)數(shù)（nframes）等，本音頻文件是1個(gè)聲道，量化位數(shù)是2B（也就是用2個(gè)字節(jié)16位二進(jìn)制數(shù)據(jù)表示聲音縱坐標(biāo)），采樣頻率為11025，一共采樣6512個(gè)數(shù)據(jù)點(diǎn)。利用這些數(shù)據(jù)我們可以計(jì)算聲音文件的一些信息，如用采樣數(shù)據(jù)點(diǎn)數(shù)除以采樣頻率：6512/11025=0.5906，得到聲音播放時(shí)長(zhǎng)約為0.59秒。接著，用每個(gè)采樣點(diǎn)的時(shí)間作為橫坐標(biāo)，每個(gè)時(shí)間點(diǎn)的聲音數(shù)據(jù)作為縱坐標(biāo)，就能做出聲音波形，如圖3所示。

● 聲音修改：觀察聲音變化

可以用代碼改變數(shù)組中某一段采樣點(diǎn)數(shù)值，如1000～1500采樣點(diǎn)值都改為0（如圖4），重新繪制波形文件后會(huì)發(fā)現(xiàn)波形圖像中間少了一段，重新生成wav文件播放，會(huì)聽到中間有一段是沒有聲音的。

● 聲音重寫：用計(jì)算機(jī)數(shù)據(jù)方式生成音樂

下面，用wave庫(kù)寫一段音樂（歌曲《兩只老虎》的第一句），如下頁(yè)圖5所示。

代碼中先定義一個(gè)寫音符函數(shù)，函數(shù)包含每個(gè)音符時(shí)長(zhǎng)、音調(diào)、采樣頻率、文件、音量、量化位數(shù)6個(gè)參數(shù)。在寫入lzlh.wav文件時(shí)，要把聲道數(shù)、采樣頻率、量化位數(shù)規(guī)定好，寫入文件頭中，完成后可以用播放器打開生成文件試聽效果。

● 聲音交互：用掌控板做一個(gè)趣味鋼琴

用掌控板模擬鋼琴演奏，是通過觸摸p、y、t、h、o、n按鍵，讓蜂鳴器發(fā)出Do、Re、Mi、Fa、So、La的聲音。如果要做得更有趣味性，可以在掌控板的OLED屏上顯示模擬鋼琴圖片，并在鋼琴鍵上顯示提示音符。為了確定“鋼琴”是否按下，按的是哪一個(gè)音符，可以在觸摸按鍵時(shí)在對(duì)應(yīng)位置顯示模擬手指。

為了簡(jiǎn)化代碼，我們只顯示按鍵演奏對(duì)應(yīng)音符部分代碼，代碼用mPython完成，如圖6所示，通過對(duì)比圖形化代碼塊和純代碼編程，學(xué)生更容易理解程序的邏輯構(gòu)成，并發(fā)現(xiàn)每一個(gè)音符對(duì)應(yīng)一組數(shù)據(jù)，如C4中音Do對(duì)應(yīng)（262，500），代表該音符頻率是262hz時(shí)長(zhǎng)是500毫秒，完成后就可以用它彈奏簡(jiǎn)單樂曲。

至此，從讀取、修改、重寫三個(gè)維度展現(xiàn)了數(shù)據(jù)的編碼、改寫、仿真的過程，最后通過一個(gè)創(chuàng)客作品完成了聲音交互的作品的設(shè)計(jì)，如圖7所示。通過本案例實(shí)驗(yàn)，學(xué)生會(huì)發(fā)現(xiàn)聲音文件的處理與圖像文件的處理有著相同的方式，都需要把模擬信號(hào)轉(zhuǎn)成計(jì)算機(jī)識(shí)別的數(shù)字信號(hào)，轉(zhuǎn)換成相關(guān)的二進(jìn)制編碼。

數(shù)字技術(shù)的發(fā)展給我們提供了一種更好地處理信息的方式。把各種信息轉(zhuǎn)換為二進(jìn)制代碼的形式會(huì)更方便保存和遠(yuǎn)距離傳播;反之，進(jìn)行模擬輸出時(shí)還要經(jīng)過一個(gè)數(shù)模轉(zhuǎn)換的過程。理解了這兩個(gè)過程，學(xué)生就會(huì)更好地理解基于計(jì)算機(jī)技術(shù)的人工智能是如何感知周圍環(huán)境信息并做出反應(yīng)的。這也是進(jìn)一步理解語(yǔ)音識(shí)別相關(guān)技術(shù)的基礎(chǔ)。