基于腦機(jī)數(shù)據(jù)集中處理的輔助鋼琴訓(xùn)練方法

聶文斐 關(guān)義軒 王一歌 曹燕

摘 ?要：傳統(tǒng)的鋼琴訓(xùn)練方法及系統(tǒng)通常以心理學(xué)規(guī)律為設(shè)計(jì)原理，而伴隨著腦科學(xué)的發(fā)展、可穿戴設(shè)備的普及以及腦機(jī)接口技術(shù)的逐漸成熟，設(shè)備和技術(shù)的成熟使得利用腦機(jī)裝置采集生理數(shù)據(jù)輔助訓(xùn)練者進(jìn)行訓(xùn)練成為可能。本文提出了一種通過腦機(jī)接口技術(shù)的輔助鋼琴訓(xùn)練方法，主要功能包括音樂偏好測(cè)試部分和休息時(shí)間確定部分。這種鋼琴訓(xùn)練方法通過腦電波數(shù)據(jù)的采集與集中處理，一方面能利用音樂推薦算法得出測(cè)試者的偏好音樂類型庫(kù)，生成測(cè)試者的音樂偏好曲目，另一方面通過結(jié)合生理數(shù)據(jù)和心理學(xué)規(guī)律，確定具有最佳訓(xùn)練效率的訓(xùn)練和休息時(shí)長(zhǎng)，并為訓(xùn)練者提供可以讓其有效放松的音樂，幫助其消除疲勞，使其學(xué)習(xí)效率得到顯著提升，從而幫助訓(xùn)練者更好地掌握技能。

關(guān)鍵詞：鋼琴訓(xùn)練方法;腦電波數(shù)據(jù);音樂偏好測(cè)試

中圖分類號(hào)：TN911.6;TP274 ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2019）14-0008-03

An Assisted Piano Training Method Based on the Centralized Processing of

Brain-Computer Data

NIE Wenfei，Guan Xixuan，WANG Yige，CAO Yan

（South China University of Technology，Guangzhou ?510641，China）

Abstract：Traditional piano training methods and systems are usually based on psychological principles. With the development of brain science，the popularity of wearable devices and the gradual maturity of brain-computer interface technology，it is possible to use brain-computer devices to collect physiological data to assist in training. In this paper，an assisted piano training method through brain-computer interface technology is proposed. Its main functions include music preference test and rest time determination. Through the brainwave data acquisition and concentrated processing， this piano training method can on the one hand obtain music preference library of the trainer using music recommendation algorithms，and on the other hand，through the combination of physiological data and psychology rule，determine the training with the best efficiency and rest time，provide the trainer relaxing music to help them eliminate fatigue and significantly improve learning efficiency，so as to grasp skills better.

Keywords：piano training methods;brainwave data;music preference test

0 ?引 ?言

傳統(tǒng)的鋼琴訓(xùn)練方法及系統(tǒng)多利用心理學(xué)規(guī)律進(jìn)行人工設(shè)計(jì)，近年來(lái)，腦科學(xué)的發(fā)展、可穿戴設(shè)備的普及以及腦機(jī)接口技術(shù)的逐漸成熟，使得利用腦機(jī)裝置采集生理數(shù)據(jù)輔助訓(xùn)練成為可能。工業(yè)界現(xiàn)已有較為成熟的設(shè)備和方案;如神念公司（NeuroSky）提供有完整的腦機(jī)裝置、腦電算法以及數(shù)據(jù)分析API/SDK。因此，我們可以嘗試?yán)矛F(xiàn)有的腦科學(xué)技術(shù)，通過采集腦電波數(shù)據(jù)和數(shù)據(jù)的集中處理，同時(shí)結(jié)合其他生理或心理學(xué)規(guī)律[1]，提出一種效率更高的鋼琴訓(xùn)練方法。

1 ?相關(guān)研究

目前，在腦電設(shè)備技術(shù)領(lǐng)域，腦電技術(shù)也日趨成熟，許多研究也取得了較好的成果，如文獻(xiàn)[2]提出了一種基于腦機(jī)交互的注意力訓(xùn)練方法及系統(tǒng)，通過在日常生活與學(xué)習(xí)過程中，獲取訓(xùn)練者的注意力訓(xùn)練結(jié)果，便于對(duì)訓(xùn)練者的專注度問題進(jìn)行干預(yù)訓(xùn)練，而文獻(xiàn)[3]提出了一種面向虛擬現(xiàn)實(shí)應(yīng)用的多通道自適應(yīng)腦機(jī)交互方法，解決了目前基于虛擬現(xiàn)實(shí)的腦機(jī)交互方法中存在的單用戶、功能單一的局限性。我們所聚焦的鋼琴訓(xùn)練其實(shí)離不開音樂推薦系統(tǒng)[4]，而如何利用腦電技術(shù)以及音樂推薦來(lái)解決鋼琴訓(xùn)練的問題也成為了相關(guān)研究者們的關(guān)注重點(diǎn)，如文獻(xiàn)[5]提出了基于腦機(jī)交互的音樂情緒化推薦方法，通過采集用戶的腦電信號(hào)自動(dòng)搜索對(duì)應(yīng)情緒的音樂推薦給用戶，該方法可為嬰幼兒音樂培養(yǎng)、睡眠治療和音樂搜索帶來(lái)新的途徑。于是，在目前相關(guān)工作的基礎(chǔ)上，我們可以將腦機(jī)交互技術(shù)和音樂推薦方法應(yīng)用到鋼琴訓(xùn)練方法的改進(jìn)中，以提高學(xué)習(xí)者的學(xué)習(xí)效率，促進(jìn)新型鋼琴訓(xùn)練方法的推廣。

2 ?基于腦機(jī)數(shù)據(jù)集中處理的輔助鋼琴訓(xùn)練方法

2.1 ?方案概述

在本文中，我們將提出一種基于腦機(jī)數(shù)據(jù)集中處理的輔助鋼琴訓(xùn)練方法，在腦機(jī)系統(tǒng)方面，我們將采用三觸點(diǎn)腦機(jī)接口設(shè)備采集腦電數(shù)據(jù)，通過采集不同腦區(qū)的腦波數(shù)據(jù)發(fā)送到集中處理平臺(tái)，集中處理平臺(tái)分析和建模后發(fā)送控制命令，指導(dǎo)訓(xùn)練者進(jìn)行訓(xùn)練和休息，并提供給訓(xùn)練者有效的休息方式。

心理學(xué)研究中的莫扎特效應(yīng)是一種通過讓測(cè)試者傾聽一定時(shí)間的類似莫扎特曲風(fēng)的音樂，可以顯著提高測(cè)試者認(rèn)知表現(xiàn)的現(xiàn)象[6]。在提出的鋼琴訓(xùn)練方法中，通過采集學(xué)習(xí)者腦電數(shù)據(jù)確定學(xué)習(xí)者的休息時(shí)刻，再結(jié)合學(xué)習(xí)者的音樂偏好，播放一定時(shí)間的具有莫扎特效應(yīng)的音樂，幫助訓(xùn)練者更快地消除疲勞。同時(shí)，這種訓(xùn)練方法通過結(jié)合生理學(xué)數(shù)據(jù)和心理學(xué)規(guī)律，可較顯著地提高學(xué)習(xí)者的學(xué)習(xí)效率。

具體方案實(shí)現(xiàn)主要包括音樂偏好測(cè)試和休息時(shí)間確定兩個(gè)部分。音樂偏好測(cè)試部分在給測(cè)試者佩戴腦機(jī)采集裝置后，播放不同曲風(fēng)的音樂，分別采集測(cè)試者傾聽不同曲風(fēng)的音樂時(shí)的腦電波數(shù)據(jù)，發(fā)送到集中處理平臺(tái)，計(jì)算出測(cè)試者在不同曲風(fēng)環(huán)境下的大腦放松度，結(jié)合測(cè)試者的歷史音樂數(shù)據(jù)，用推薦算法得出測(cè)試者的偏好音樂類型庫(kù)，生成測(cè)試者的音樂偏好曲目。休息時(shí)間確定部分在訓(xùn)練者彈鋼琴的時(shí)候通過腦機(jī)裝置采集訓(xùn)練者的腦電波數(shù)據(jù)，定時(shí)發(fā)送到數(shù)據(jù)集中處理平臺(tái)計(jì)算訓(xùn)練者該時(shí)間段的專注度和用腦量，當(dāng)訓(xùn)練者的專注度低于給定的閾值時(shí)，提示訓(xùn)練者進(jìn)行休息，并自動(dòng)播放訓(xùn)練者個(gè)人偏好音樂庫(kù)中的音樂，設(shè)定播放時(shí)長(zhǎng)為T2，并根據(jù)訓(xùn)練者接下來(lái)的訓(xùn)練時(shí)段時(shí)長(zhǎng)反饋調(diào)節(jié)下一個(gè)休息時(shí)長(zhǎng)。通過結(jié)合訓(xùn)練者的生理數(shù)據(jù)和心理學(xué)規(guī)律，確定具有最佳訓(xùn)練效率的訓(xùn)練時(shí)長(zhǎng)和休息時(shí)長(zhǎng)，通過為訓(xùn)練者提供對(duì)其放松最有效的音樂，幫助其有效消除疲勞，顯著地提高訓(xùn)練者在單位時(shí)間內(nèi)的學(xué)習(xí)效率，從而幫助訓(xùn)練者更好地掌握技能。

接下來(lái)兩個(gè)小節(jié)將詳細(xì)闡述音樂偏好測(cè)試和休息時(shí)間確定兩個(gè)部分的詳細(xì)步驟。

2.2 ?音樂偏好測(cè)試

本文的實(shí)驗(yàn)系統(tǒng)采用3通道單觸點(diǎn)腦電接口設(shè)備，可采集大腦的8種原始腦電波數(shù)據(jù)，腦機(jī)接口設(shè)備會(huì)每隔固定時(shí)間T1（T1=2s）向數(shù)據(jù)集中處理平臺(tái)發(fā)送數(shù)據(jù)包，數(shù)據(jù)包中包括原始腦電信號(hào)數(shù)據(jù)，包括8種原始腦電波，集中處理平臺(tái)先對(duì)原始腦電信號(hào)進(jìn)行濾波，判斷腦電波數(shù)據(jù)的可信度，如果可信度較低則丟棄，將濾波和判斷后的腦電波里的數(shù)據(jù)通過神念公司提供的eSense算法計(jì)算用戶的用腦量、專注度、放松度等指標(biāo)，用腦量、專注度、放松度均映射為0—10區(qū)間的數(shù)值，便于分析和比較。

接下來(lái)結(jié)合圖1具體闡述訓(xùn)練者音樂偏好測(cè)試部分的步驟。

步驟1：各模塊初始化，測(cè)試者佩戴腦電接口設(shè)備后，模塊相互之間發(fā)送測(cè)試信號(hào)，經(jīng)集中處理平臺(tái)確認(rèn)后系統(tǒng)通信正常，工作正常;

步驟2：在音樂播放庫(kù)M中分別添加m種曲風(fēng)類型的音樂（保證m>n且M覆蓋N，N為歷史音樂記錄，n為歷史音樂記錄分類種數(shù)），設(shè)置每種曲風(fēng)類型的音樂的播放時(shí)間均為T3（T3=10min），每種音樂播放結(jié)束后將播放時(shí)間內(nèi)的腦電波數(shù)據(jù)發(fā)送到集中處理平臺(tái)處理;

步驟3：將用戶聽曲風(fēng)p類型音樂時(shí)的腦電波數(shù)據(jù)通過eSense算法計(jì)算用戶對(duì)應(yīng)的放松度和用腦量，將計(jì)算后的平均放松度a（p）和平均用腦量b（p）存入到腦機(jī)處理數(shù)據(jù)庫(kù)中;

步驟4：按照步驟3的方法分別測(cè)試出聽其他風(fēng)格類型的音樂的平均放松度和用腦量并存入到腦機(jī)處理數(shù)據(jù)庫(kù)中;

步驟5：將用戶的歷史音樂記錄N輸入集中處理平臺(tái)，并根據(jù)音樂分類算法對(duì)用戶的歷史音樂記錄分成n類，統(tǒng)計(jì)曲風(fēng)p音樂出現(xiàn)的頻率計(jì)算出用戶對(duì)于曲風(fēng)p音樂的偏好度c（p），存入腦機(jī)處理數(shù)據(jù)庫(kù)中;

步驟7：通過加權(quán)公式計(jì)算出曲風(fēng)p音樂對(duì)用戶的“莫扎特效應(yīng)”有效度EX（p）=α*a（p）+β*b（p）+γ*c（p），其中α+β+γ=1;

步驟8：運(yùn)用步驟7中的方法分別計(jì)算其他風(fēng)格類型的音樂的“莫扎特效應(yīng)”有效度;

根據(jù)所有風(fēng)格音樂“莫扎特效應(yīng)”有效度從高到低的順序生成測(cè)試者的音樂偏好庫(kù)。

2.3 ?休息時(shí)間確定

本節(jié)結(jié)合圖2具體闡述訓(xùn)練者休息時(shí)間確定部分的步驟。

步驟1：各模塊初始化，測(cè)試者佩戴腦電接口設(shè)備后，模塊之間相互之間發(fā)送測(cè)試信號(hào)，經(jīng)集中處理平臺(tái)確認(rèn)后系統(tǒng)通信正常，工作正常;

步驟2：設(shè)定時(shí)間窗口為T1，訓(xùn)練開始，每隔T1時(shí)間長(zhǎng)度腦機(jī)接口設(shè)備將訓(xùn)練者的腦電數(shù)據(jù)發(fā)送到集中處理平臺(tái)，集中處理平臺(tái)通過腦電算法，即eSense算法分別計(jì)算出訓(xùn)練者在T1時(shí)間內(nèi)的平均專注度e（x）和用腦量d（x）;

步驟3：將訓(xùn)練者在T1時(shí)間內(nèi)的平均專注度e（x）和用腦量d（x）分別與系統(tǒng)設(shè)定的平均專注度閾值e（th）和用腦量閾值d（th）進(jìn)行比較，本T1時(shí)間段內(nèi)平均專注度e（x）d（th）成立時(shí)，本T1時(shí)間段內(nèi)的標(biāo)志位flag置1，否則置0;

步驟4：判斷接收到的數(shù)據(jù)包否是第一個(gè)數(shù)據(jù)包，如果是第一個(gè)數(shù)據(jù)包，返回步驟2，否則，進(jìn)入步驟5;

步驟5：將上一個(gè)T1時(shí)間段內(nèi)的flag值flag（pr）與本T1時(shí)間段實(shí)時(shí)計(jì)算出的flag（rt）值進(jìn)行與運(yùn)算，運(yùn)算后的結(jié)果存入指示變量res=flag（pr）& flag（rt）;

步驟6：實(shí)時(shí)判斷res值，若res>0，則提示訓(xùn)練者進(jìn)行休息，記錄已訓(xùn)練時(shí)長(zhǎng)T（al），并更新已訓(xùn)練總時(shí)長(zhǎng)T（sum），否則，返回步驟2;

步驟7：?jiǎn)?dòng)音樂播放模塊，根據(jù)音樂推薦庫(kù)按偏好度從高到低的順序播放音樂，播放時(shí)長(zhǎng)為T2（T2=15min）;

步驟8：實(shí)時(shí)判斷上一個(gè)T1時(shí)間段內(nèi)訓(xùn)練時(shí)長(zhǎng)T（alp）與T（al）的大小，如T（alp）

步驟9：判斷已訓(xùn)練總時(shí)長(zhǎng)T（sum）是否大于最大訓(xùn)練時(shí)長(zhǎng)T（max），如果已超過最大訓(xùn)練時(shí)長(zhǎng)，則提示訓(xùn)練者訓(xùn)練結(jié)束，關(guān)閉系統(tǒng);否則，返回步驟2。

3 ?結(jié) ?論

本文將腦機(jī)接口技術(shù)、腦電波數(shù)據(jù)處理技術(shù)以及音樂推薦技術(shù)應(yīng)用到鋼琴訓(xùn)練中，提出了一種基于腦機(jī)數(shù)據(jù)集中處理的輔助鋼琴訓(xùn)練方法，這種鋼琴訓(xùn)練方法通過腦電波數(shù)據(jù)的采集與集中處理，一方面能生成測(cè)試者的音樂偏好曲目，另一方面可確定具有最佳訓(xùn)練效率的訓(xùn)練時(shí)長(zhǎng)和休息時(shí)長(zhǎng)，同時(shí)還能夠提供對(duì)訓(xùn)練者放松最有效的音樂，有效幫助訓(xùn)練者消除疲勞，使訓(xùn)練者在單位時(shí)間內(nèi)的學(xué)習(xí)效率得到顯著提高，從而幫助其更好地掌握技能。

參考文獻(xiàn)：

[1] 劉勛，吳艷紅，李興珊，等.認(rèn)知心理學(xué)：理解腦、心智和行為的基石 [J].中國(guó)科學(xué)院院刊，2011，26（6）：620-629.

[2] 曹曉明.一種基于腦機(jī)交互的注意力訓(xùn)練方法及系統(tǒng)，中國(guó)專利：CN106708261A [P].2017-05-24.

[3] 李遠(yuǎn)清，瞿軍，肖景.一種面向虛擬現(xiàn)實(shí)應(yīng)用的多通道自適應(yīng)腦機(jī)交互方法，中國(guó)專利：CN107329571A [P].2017-11-07.

[4] 陳雅茜.音樂推薦系統(tǒng)及相關(guān)技術(shù)研究 [J].計(jì)算機(jī)工程與應(yīng)用，2012，48（18）：9-16+47.

[5] 王蔚，袁海云，夏棋，等.基于腦機(jī)交互的音樂情緒化推薦方法，中國(guó)專利：CN103412646A [P].2013-11-27.

[6] 黃君.莫扎特效應(yīng)的實(shí)驗(yàn)研究 [D].重慶：西南大學(xué)，2009.

作者簡(jiǎn)介：聶文斐（1964-），女，漢族，河南新鄉(xiāng)人，就職于國(guó)家移動(dòng)超聲探測(cè)工程技術(shù)研究中心，副主任，本科，研究方向：信號(hào)檢測(cè);通訊作者：曹燕（1980-），女，漢族，重慶人，副教授，博士，研究方向：聲信號(hào)處理。