基于彎曲度傳感器的智能鋼琴手套設計

胡瀚文　黃強

摘 要 手是人類與外界進行交互操作的重要人體器官。音樂是眾所周知的用于表達情感和思想的媒介。學習彈鋼琴，是開發人的智力最有效的途徑之一。本文針對鋼琴訓練對設備及資金投入要求較高的問題，設計了一款不需要外界設備，就能進行鋼琴指法和曲譜練習的鋼琴手套。本手套涉及Arduino編程、傳感器、3D打印、通訊、音樂等知識。本研究屬于智能教學教具開發，具有較好的教育和社會價值。

關鍵詞 智能音箱 steam教具 Arduino單片機 3D打印

中圖分類號：TP212.9文獻標識碼：A

0引言

在我們的日常活動中，手是人類與外界進行交互操作的重要人體器官。人們用手來抓取物體，表達思想，感知物質世界。數據手套常被用來采集手部信息。1977年，Thomas Defanti發明了第一個數據手套“Sayre Glove”。它是基于光學原理的柔性光纖傳感器，它所采用的光纖的一端有一個光源，另一端是一個光電接收器。其測量狀態的原理是當傳感器彎曲時光電接收器所接收到的光通量會發生變化，以檢測手指的動作。1981年， Bell實驗室Gary Grimes設計了一種新型的數據手套用來代替傳統的鍵盤，它用到接近傳感器、慣性傳感器、關節彎曲傳感器等多種傳感器。接近傳感器檢測操作者的大拇指是否與手的其它部位或手指相接觸，當發生接觸時向計算機發送數據信息;關節彎曲傳感器檢測手指的彎曲角度;慣性傳感器測量前臂和手腕的姿態。這種數據手套可以用來檢測手敲鍵盤姿勢，從而為糾正手勢提供數據基礎。

音樂是眾所周知的用于表達情感和思想的媒介。學習彈鋼琴，是開發人的智力最有效的途徑之一。特別是兒童自幼開始學習彈鋼琴，除了可以提高素質，陶冶情操和提升文化修養之外，在開發智力方面，還有著特殊的功效。成熟掌握彈鋼琴技能需要長時間的訓練、熟練記憶指法和曲譜，同時需要較多的資金投入，包括對設備的資金投入和學習培訓的資金投入。

2012年7月18日，佐治亞理工學院的研究人員與Shepherd中心的研究者合作創造了一種無線音樂手套——MMT手套，也叫“移動的音樂手”。手套能與電腦、MP3播放器或智能電話配合，將一首歌曲的音符通過無線電傳輸到與手套連接的設備中，通過讓人的手指振動的方式來傳達出該按哪個鍵盤鍵。這項發明可以幫助因為四肢癱瘓導致手部觸覺或活動受限的人進行康復治療。

在信息化水平飛速發展的今天，研究適于應用智能、文化開放的教學設備是具有、較好的意義及良好的社會效益。本文設計了一款不需要外界設備，就能進行鋼琴指法和曲譜練習的鋼琴手套。

1整體結構

智能鋼琴手套，包括：手套組件和音箱組件。練習者帶上手套后，只需根據手指彎曲的狀態，就可發出相應的聲音，從而達到練習鋼琴指法和曲目的目的。其中手套組件包括手套、指關節處的彎曲度傳感器、信號發射模塊、第一控制單元等。其中手套根據中華人民共和國國家標準：成年人手部號型（GB/T 16252-1996）確定。音箱組件包括：殼體、信號接收模塊、揚聲器模塊、第二控制單元。其中，第一控制單元和彎曲度傳感器以及信號發射模塊電連接;第二控制單元和揚聲器模塊以及信號接收模塊電連接。

1.音箱組件 2.電池盒 3.手套組件

圖1：智能鋼琴手套實體圖

2關鍵設計

2.1功能設計

在做基于彎曲度傳感器手套控制的藍牙音箱時，主要設計了三種功能：（1）音箱能夠播放不同音調;（2）可以通過手勢來控制音箱的音調;（3）手套和音箱之間的連接屬于無線連接。

2.2外觀設計

基于彎曲度傳感器手套控制的藍牙音箱的外觀分為上位機和下位機兩部分，如圖2：（1）上位機把傳感器和我們生活中常使用的手套相結合;（2）下位機音箱使用3D打印方形且帶有一定曲面的外殼，這樣更能夠把聲音放大。

2.3交互方式

基于彎曲度傳感器手套控制的藍牙音箱的方式包括：（1）彎曲度傳感器測量手指的彎曲程度;（2）揚聲器發出音調。

2.4供電方式

基于彎曲度傳感器手套控制的藍牙音箱設計的使用場景為舞臺表演，供電方式選擇是電池直接供電。

3實體設計

3.1元器件

智能鋼琴音箱元器件包括Arduino Nano控制器、Arduino Nano擴展板、彎曲度傳感器、10K 電阻、藍牙模塊、揚聲器和音箱外殼等，如圖3。其中音箱外殼由3D打印技術打印。

3.1.1 Arduino Nano控制器

上位機和下位機都采用Arduino Nano為控制核心，能夠支持彎曲度傳感器、藍牙通訊、揚聲器等。Arduino Nano是一塊基于開放原始代碼的超小Simple i/o平臺，與之前的USB版Arduino duemilanove 相比較，Arduino Nano在體積上占很大優勢，Arduino既可以用來開發出需要獨立運行，并且具有互動效果的電子用品;也可以用來開發出與電腦相連接，同Flash，Processing，Max/Msp，PD，VVVV等軟件一同合作完成的互動作品。

Arduino Nano擁有12個數字輸入/輸出端口D2～D13;8個模擬輸入端口A0～A7;1對TTL電平串口收發端口RX/ TX;6個PWM端口，D3、D5、D6、 D9、D10、D11。Arduino Nano采用Atmel Atmega328P-AU單片機，支持USB下載及供電，支持外接5V～12V直流電源供電，支持9V電池供電，支持ISP下載，具體如圖4。

3.1.2彎曲度傳感器

flex 2.2彎曲傳感器，當傳感器的金屬面向外彎曲時，該傳感器的電阻值會發生變化，從而可以檢測到彎曲度。非彎曲狀態電阻： ～9000 ;90度彎曲電阻：～14000 ;180度彎曲電阻：～22000 。 實驗室，彎曲傳感器連接了一個10K 電阻，與Arduino Nano相連接。

彎曲度傳感器為模擬傳感器，讀取傳感器值對應的函數是analogRead（ ），對應的取值范圍是0-1023。本作品共使用5個彎曲傳感器，傳感器與Arduino Nano連線如圖4。

彎曲度傳感器的金屬面彎曲時，彎曲度傳感器的電阻值會發生變化，從而檢測對應手指關節處是否彎曲。在使用中，第一控制單元根據彎曲度傳感器測量的手指關節處是否彎曲生成相應的字符信號，并且將該字符信號傳輸至信號發射模塊，設置于殼體內的信號接收模塊接收該字符信號并且將該字符信號傳輸至第二控制單元，第二控制單元根據接受到的字符信號控制揚聲器模塊發出相應的聲音（例如，仿鋼琴聲）。

3.1.3 HC-05主從機一體藍牙模塊

它的最大特點是當藍牙設備與藍牙設備配對連接成功后，我們可以忽視藍牙內部的通信協議，直接將藍牙當做串口用。藍牙HC-05，空曠地帶傳輸距離10米左右，默認波特率為9600、默認配對密碼為1234。該作品使用2個HC-05藍牙模塊，一塊作為發射模塊，一塊作為接受模塊使用。設置波特率函數為Serial.begin（9600），發射信號對應的函數為Serial.println（ ），讀取信號值對應的函數為Serial.Read（ ）。上位機和下位機HC-05藍牙模塊接線一樣。

揚聲器模塊，相當于一個無源蜂鳴器。蜂鳴器分為有源蜂鳴器和無源蜂鳴器。有源蜂鳴器內部有震蕩、驅動電路，加電源就可以響。優點是用起來省事，缺點是頻率固定了，只有一個單音。無源蜂鳴器聲音頻率可控，可以做出“多來米發索拉西”的效果。常用的函數包括tone（ ），和noTone（ ）。在編曲過程中，我們選用了“多來米發索拉西多（高音）”，合計8個音調。（見表1表2）

3.1.4程序設計

采用Arduino IDE進行程序編寫，程序主要實現功能為，當做某一特定手勢的時候，音箱會發出對應音調的聲音。首先，要對手勢進行編碼。

上位機程序要實現功能為，當做某特定手勢的時候，發出不同的字符信號。

下位機要實現功能為，當接收到字符信號時，音箱會發出對應音調的聲音。（見表3、表4、表5、表6、表7）

3.2測試

當彎曲傳感器接好線之后，分別測出各個手指頭彎曲（見表6）和不彎曲時傳感器值（見表7）。基于彎曲度傳感器手套控制的藍牙音箱，通過短暫的訓練，即可以完成各個音調的控制。使用熟練可以依靠手勢變化彈出一首簡單的曲子。讓每個感興趣的人很快就能上手，并且知識含量也比較豐富。

為了讓傳感器能夠直觀測出彎曲和不彎曲的狀態，根據測量值，定義了各個彎曲傳感器彎曲和非彎曲的取值范圍。

4結論

（1）該作品涉及知識包括開源硬件、編程、藍牙通訊、聲音、音樂、3D打印等跨學科知識。作品本身使用的是開源軟硬件，通過一定學習，每個人可以通過自己編碼方式，制作一個屬于自己風格的音箱。

（2）該作品可實現1個音節、8個音調的聲音，后續音階有待開發。

（導師：黃強）

作者簡介：胡瀚文（2000-），男，常德芷蘭實驗學校;導師：黃強（1989-），男，北京因科未來教育科技有限公司。

參考文獻

[1] 梁善林.一種基于視覺手勢識別的虛擬演奏[D].北京：北方工業大學，2017.

[2] David J. Stunnan，and David ZeltZer.A Survey of Glov-based Input[C].IEEE ComPuter Craphics & Applications， January，1994.

[3] 劉賢梅，李從信，賈惠柱.桌面虛擬現實系統中數據手套的應用研究[J].系統仿真學報，2001.

[4] T. G. Zimmerman et al.A Hand Gesture Interface Device[C].Proc. Human Factors in Computing System and Graphics Interface， ACM Press， New York， April ，1987.

[5] 馬曉鳴.學習鋼琴與智力開發.林區教學，2008，132（03）：97-98.

[6] 孫江波.彈鋼琴擬人機器手設計與研究[D].長春工業大學，2015.

[7] GB/T 16252-1996，中華人民共和國國家標準：成年人手部號型[S].