基于RaspberryPi的Audio—only音頻游戲和交互硬件的設計與研究

摘 要：文章針對國內視障人群專用音頻游戲較少且體驗較差的問題，設計了一款基于Raspberry Pi的Audio-only音頻游戲終端，其利用了聲源定位技術以及立體聲重建技術，在終端實現了三款音頻游戲。結果表明，此音頻游戲給視障人群帶來了更好的游戲體驗。

關鍵詞：聲源定位；立體聲場；音頻游戲；樹莓派

引言

目前全球視障人群的2.85億中，中國約有1691萬，他們因本身對于圖像世界無法真切感受，精神需求顯得尤為迫切[1]。近些年視障人群逐漸受到更多重視，但由于視障人群教育事業的不發達和對視障人士生活自理能力培養的不夠重視，視障人士的權利并不能得到很好的保障。所以雖然他們也渴望與正常人群溝通；和正常人一樣擁有豐富的娛樂方式、體驗精彩的游戲世界，但由于生理上的局限，他們的業余生活往往十分單一。

現在市面上的游戲大多是基于圖像，也就是視覺游戲，而僅僅基于聲音的游戲很少或者還沒有推廣開來，尤其是針對視障人群開發的音頻游戲，多為直接將文字轉換為語音輸出。在國外文獻[2]中，Drewes等人開發了一款擬真的聽覺游戲，它采用了攜帶式計算機和增強現實技術；而國內對于增強現實聽覺技術的研究多以計算機專業的擴展研究為主，現有的研究主要有3D音頻效果的實現和音頻媒介的交互[3]。因此對于視障人群來說，用戶體驗方面并不夠友好。我們希望開發出一種Audio-only的立體聲音頻游戲終端。Audio-only游戲與傳統游戲的區別就是，玩家不再依賴視覺，而是通過聽覺感知并操作游戲。而這種純基于聽覺的游戲，不僅在視覺障礙人群中有巨大的市場潛力，也給普通人帶來更加豐富和新奇的游戲體驗，它不僅是一種娛樂方式，還可以被用來訓練聽覺感知方面的某些技能，具有一定的教育功用。

1 項目的技術實現

1.1 基于麥克風陣列的聲源定位

現有的聲源定位方法主要分為三類：基于時延估計的定位方法、基于波束形式的定位方法和基于高分辨率空間譜估計的定位方法[4]。由于本設計目標人群將頭戴耳機，在耳機兩側固定麥克風來實現簡單的二維立體聲定位，所以游戲場景中聲源為近場聲源。因麥克風為雙陣元，而目前最常用的基于TDOA的近場聲源定位法無法同時確定雙陣元麥克風的聲源到麥克風的距離和夾角，所以從實用與簡易的角度出發，文章給出一個基于聲音幅度大小的二維聲源定位法。即拾取兩個聲道錄音的時間片段并對其切片，各自提取出兩個聲道錄音文件中聲音的最大幅度及最大聲音幅度出現的時間，通過比較兩個聲道該時間點出現的前后，確定出聲源距兩個麥克風的距離，從而簡單判斷出聲源位置的左、中、右。

1.2 OpenAL實現立體聲場重建

本設計的另一大創新點在于立體聲場的重建，該重建是利用OpenAL軟件實現的。OpenAL是跨平臺音效API，設計給多通道三維位置音效的特效表現[5]，其API結構主要包括三大對象，源

（Source）、緩沖區（Buffer）與聽者（Listener）。源指的就是播放的立體聲音效，可以想象成一張CD光盤；而緩沖區就是存儲著音效數據的對象，可以想象成播放光盤的CD機；最后的聽者，顧名思義，指的就是頭戴耳機的玩家。通過查閱資料我們發現現階段對于虛擬聲重建技術的研究主要是基于頭部相關傳輸函數HRTF（Head-Related Transfer Function）[6]，該函數描述了聲波從聲援到人耳的傳輸過程，是人的生理結構對聲波的空間濾波的結果。在實際應用中，利用耳機或揚聲器重發用HRTF處理過的信號，可以虛擬出各種不同的空間聽覺效果[7]。

1.3 矩陣鍵盤實現游戲交互

文章的游戲設計除了基于麥克風定位聲源，也可以通過矩陣鍵盤進行游戲交互。為了實現這一功能，我們團隊并不是直接將矩陣鍵盤與樹莓派相連，而是將Arduino作為“中轉站”，實現矩陣鍵盤的連接。Arduino的好處在于有鍵盤庫和便于擴展接口。玩家在進行矩陣鍵盤交互時，只需要在相應的地方按下按鍵，鍵盤便會通過Arduino給樹莓派傳值，繼而判斷是否成功贏得游戲。

1.4 百度云語音實現指令交互

由于本項目的主要受眾人群是殘障人士，因此語音指令交互給殘障人士提供了良好的用戶體驗，也體現了本項目的一大特點。通過查閱資料，我們發現國內外的語音交互技術與應用百花齊放，在不同語言交互技術的比較與實驗之后，決定使用百度云語音技術實現語音指令交互。百度云語音開放原始API接口供開發者靈活實現各種語音交互應用。其語音指令交互包括兩部分，語音識別和語音合成。玩家在使用我們的項目產品時，可以直接以語音的方式控制游戲，而不是世面上大多音頻游戲中復雜的按鍵；另一方面，考慮到音頻游戲的性質，百度云語音很好的解決了語音游戲指令的需求，即游戲指令是以語音的方式呈現給玩家，帶來更好的用戶體驗與沉浸感。

2 應用

最終我們實現了一個基于Raspberry Pi的Audio-only音頻游戲和交互硬件設計產品，以樹莓派作為游戲終端，頭戴式立體聲耳機作為交互設備，而且通過矩陣鍵盤實現玩家與游戲的交互，以及麥克風矩陣進行聲音收集以及聲源定位。在此產品中，我們設計了三款音頻游戲，分別是打地鼠、打蚊子以及動物農場。第一款游戲打地鼠，是基于聲音強度的立體聲音頻游戲，通過矩陣鍵盤進行游戲交互，可用來鍛煉玩家的聽力以及反應力。第二款游戲打蚊子，是基于聲音強度的立體聲音頻游戲，通過麥克風陣列進行游戲交互，可用來鍛煉玩家的聽力以及反應力。第三款游戲動物農場，是基于聲音音色的音頻游戲，通過矩陣鍵盤進行游戲交互，可用來鍛煉玩家的聽力以及記憶力。我們設計的產品不僅可以提供給玩家沉浸感十足的游戲體驗，也可以達到教育與聽力治療效用。具體硬件如圖1。

3 結束語

文章通過聲源定位和立體聲場重建技術，設計并實現三款音頻游戲，并將樹莓派作為該游戲的終端，結合頭戴式耳機最終實現了基于Raspberry Pi的Audio-only音頻游戲和交互硬件設計。該硬件設計可以提供給視障人群良好的游戲沉浸感以及一定的聽力與教育效用，同時對于普通人群來說，也是一種新奇的游戲體驗。

參考文獻

[1]謝 濤，何子江.黑暗之光——北京市西城區視障人群文化生活基礎設施現狀調研[J].青春歲月，2012：352+351.

[2]孫青.Audio-only教育游戲中虛擬聲定位的研究[D].南京師范大學，2011.

[3]易俊.基于立體成像與三維虛擬聲音的增強現實系統的研究[D].武漢：華中科技大學，2007：29.

[4]于向麗，呂成國.近場聲源定位算法研究[J].智能計算機與應用，2011，5：69-70+76.

[5]http：//www.baike.com/wiki/OpenAL .OpenAL_互動百科[EB/OL].

[6]王超.多通道立體聲虛擬重建技術研究[D].上海交通大學，2009.

[7]鐘小麗，謝菠蓀.頭相關傳輸函數的研究進展（一）[J].電聲技術，2004，12：44-46+62.